Resumen Técnico: Efectividad de las Estrategias de Adaptación para el Aprendizaje Federado Basado en VLM en Teledetección

1. Planteamiento del Problema

La teledetección (RS) genera vastas cantidades de datos de imágenes distribuidos en archivos descentralizados. Sin embargo, las regulaciones legales, las preocupaciones de privacidad y las restricciones de ancho de banda a menudo impiden la centralización de estos datos, lo que hace que los enfoques convencionales de aprendizaje profundo sean impracticables. El Aprendizaje Federado (FL) ofrece una alternativa descentralizada donde los clientes entrenan modelos localmente y comparten únicamente los parámetros. Un desafío crítico en el FL para RS es la heterogeneidad de datos (non-IID): las variaciones geográficas, estacionales y dependientes del sensor causan cambios significativos en la distribución y desequilibrios de etiquetas entre clientes. Esto a menudo conduce a óptimos específicos de cada cliente, lo que ralentiza la convergencia y degrada la generalización del modelo global agregado.

Si bien los Modelos de Visión-Lenguaje (VLM), como CLIP, demuestran robustez ante cambios de distribución debido a sus representaciones transferibles aprendidas a partir de datos de imagen-texto a gran escala, su aplicación en FL se ve obstaculizada por su enorme tamaño de parámetros. La adaptación completa de estos modelos incurre en un costo de comunicación y una complejidad computacional local prohibitivos. En consecuencia, existe una falta de orientación sobre qué estrategia de adaptación de VLM equilibra mejor la capacidad de generalización, la eficiencia de comunicación y el costo computacional en el contexto específico de la clasificación de imágenes de RS.

2. Metodología

El artículo presenta el primer estudio comparativo exhaustivo de las estrategias de adaptación de VLM dentro de un marco de FL para RS. El estudio evalúa cuatro estrategias distintas en el conjunto de datos BigEarthNet-S2 (entrenamiento federado) y evalúa la generalización en EuroSAT, RESISC45 e ImageNet.

Estrategias de Adaptación Investigadas

1. Ajuste Fino Completo (FFT - Full Fine-Tuning): Actualiza todos los parámetros de los codificadores de imagen y texto ($\theta_{train} = \theta$). Ofrece la máxima flexibilidad representacional pero incurre en los mayores costos de comunicación y computación.
2. Ajuste Fino Específico del Codificador: Restringe las actualizaciones a ya sea el codificador de imagen ($\theta_{train} = \{\theta_v\}$) o el codificador de texto ($\theta_{train} = \{\theta_t\}$), congelando el otro. Esto reduce los costos de comunicación en comparación con FFT, pero limita la adaptación transmodal.
3. Aprendizaje de Prompts (CoOp): Optimiza solo un pequeño conjunto de vectores de contexto aprendibles (prompts suaves) que se anteponen a los nombres de las clases, manteniendo los codificadores congelados. Esto minimiza la sobrecarga de comunicación y la carga computacional, pero restringe la capacidad de adaptación al nivel del prompt.
4. Adaptación de Bajo Rango (LoRA - Low-Rank Adaptation): Congela los pesos preentrenados e inserta matrices de bajo rango entrenables en las capas de proyección de los transformadores. Esto permite la adaptación a un subespacio de bajo rango, preservando las representaciones preentrenadas mientras reduce significativamente el número de parámetros entrenables en comparación con FFT.

Diseño Experimental

• Configuración Federada: Los clientes se particionan por país (ej. Austria, Bélgica, Finlandia) para simular distribuciones de datos non-IID.
• Líneas Base (Baselines): Incluye una ResNet-50 entrenada desde cero y una línea base de CLIP Zero-shot.
• Métricas: El rendimiento se mide mediante micro/macro-mAP (en distribución) y precisión/recall top-1/top-5 (fuera de distribución). La complejidad se cuantifica mediante FLOPs/MACs y el número de parámetros transmitidos.
• Mitigación del Olvido Catastrófico: El estudio investiga PAINT, un método que utiliza interpolación lineal entre los pesos preentrenados y los ajustados, para analizar el compromiso entre la especialización de la tarea y la preservación de la generalización zero-shot.

3. Resultados Clave

Rendimiento In-Distribution (BigEarthNet-S2)

Todas las estrategias de adaptación superan significativamente a la línea base de CLIP Zero-shot y a la ResNet-50 entrenada desde cero.

• LoRA y FFT logran el mayor rendimiento, con LoRA mejorando el micro-mAP en más de un 52% en comparación con CLIP Zero-shot.
• Las estrategias de codificador específico muestran ganancias moderadas, mientras que CoOp proporciona la menor mejora, lo que sugiere que limitar las actualizaciones a los prompts restringe la capacidad del modelo para alinearse con el sustancial cambio de dominio de los datos de RS.

Rendimiento Fuera de Distribución y Olvido Catastrófico

Se observa un compromiso crítico entre la especialización de la tarea y la generalización transdominio:

• Olvido Severo: FFT exhibe el olvido más catastrófico, cayendo de un 75.6% de precisión top-1 (Zero-shot) a un 7.8% en ImageNet. Esto indica que la adaptación sin restricciones a los datos de RS destruye las representaciones preentrenadas.
• Preservación: LoRA preserva la mayor parte del conocimiento preentrenado, manteniendo un 75.1% de precisión top-1 en ImageNet (una caída <1%), mientras que aún logra un sólido rendimiento en los conjuntos de datos de RS.
• Especificidades del Codificador: El ajuste fino del codificador de texto preserva mejor las características visuales que el ajuste fino del codificador de imagen, lo que resulta en un mejor rendimiento fuera de distribución en conjuntos de datos como EuroSAT y RESISC45 en comparación con el ajuste solo de imagen.
• Análisis de PAINT: La interpolación de pesos (PAINT) revela que maximizar el rendimiento en la tarea de RS degrada inherentemente el rendimiento en ImageNet. Sin embargo, los checkpoints intermedios y los coeficientes de interpolación específicos pueden ofrecer un compromiso equilibrado.

Complejidad y Comunicación

• Costo de Comunicación: CoOp es el más eficiente, transmitiendo solo ~46.85K parámetros. LoRA le sigue con ~1.08M de parámetros, lo cual es dos órdenes de magnitud inferior a FFT (427.62M).
• Complejidad Computacional:
  • Sin Almacenamiento en Caché (Caching): FFT y el ajuste fino de codificador específico tienen FLOPs altos similares. CoOp es ligeramente más eficiente debido a menos operaciones en la construcción de características de texto.
  • Con Almacenamiento en Caché (Caching): El ajuste fino de codificador específico se beneficia significativamente del almacenamiento en caché de características congeladas (ej. características de texto en el ajuste de codificador de imagen), reduciendo los FLOPs en ~387B en comparación con FFT. LoRA no se beneficia del almacenamiento en caché de manera tan efectiva porque los módulos inyectados alteran el flujo de características, lo que resulta en una complejidad ligeramente mayor que FFT.

4. Significancia y Guías

El artículo establece que, si bien los VLM son poderosos para el FL en RS, la elección de la estrategia de adaptación dicta la viabilidad y el rendimiento del sistema. Los autores derivan las siguientes guías basadas en restricciones operativas:

1. Ajuste Fino del Codificador de Texto: Recomendado cuando el objetivo principal es la transferencia de conocimiento a conjuntos de datos de RS relacionados. Ofrece la mejor generalización trans-dataset entre los modelos de ajuste fino con costos de comunicación moderados.
2. Aprendizaje de Prompts (CoOp): Recomendado solo cuando el ancho de banda de comunicación es la restricción dominante. Minimiza la sobrecarga pero sacrifica la precisión de la tarea y la generalización.
3. LoRA: Recomendado como el compromiso óptimo para escenarios que requieren tanto alto rendimiento como eficiencia de comunicación. Logra resultados competitivos in-distribución mientras reduce la sobrecarga de comunicación en dos órdenes de magnitud en comparación con FFT y mitiga el olvido catastrófico.
4. FFT + PAINT: Recomendado cuando se extiende un modelo zero-shot a una nueva tarea preservando estrictamente el rendimiento en tareas previamente aprendidas, a pesar del alto costo de comunicación.

5. Conclusión

El estudio concluye que las estrategias de adaptación con eficiencia de parámetros, particularmente LoRA, son muy adecuadas para el entrenamiento federado de VLM en teledetección. Mitigan eficazmente los costos de comunicación y el olvido catastrófico mientras mantienen un rendimiento competitivo. Por el contrario, el Ajuste Fino Completo (FFT) sin restricciones, aunque efectivo para tareas in-distribución, conduce a una pérdida significativa de las capacidades de generalización, limitando su aplicabilidad en entornos donde se requiere robustez transdominio. El trabajo futuro pretende extender este análisis a modelos fundacionales específicos de dominio y modalidades de sensores multiespectrales.