Resumen Técnico: Cambiando de Modalidades: Adaptando Modelos de Teledetección a Nuevos Satélites y Sensores

Declaración del Problema

Los modelos de teledetección (RS) suelen entrenarse y desplegarse en conjuntos estáticos de modalidades (por ejemplo, sensores satelitales específicos o bandas espectrales). Sin embargo, el panorama de la observación de la Tierra es dinámico: se lanzan satélites con sensores novedosos, los antiguos se retiran y la disponibilidad de datos cambia (por ejemplo, datos gratuitos que pasan a ser de pago). Esto crea un desafío crítico: los modelos existentes fallan cuando se presentan con modalidades no vistas durante el entrenamiento. Por ejemplo, un modelo entrenado con las 12 bandas de Sentinel-2 no puede realizar predicciones sobre un nuevo sensor hiperespectral de cientos de bandas.

El artículo identifica tres escenarios específicos donde los modelos deben adaptarse a estas modalidades cambiantes sin el lujo de re-etiquetar datos o entrenar desde cero debido a las restricciones computacionales y de anotación:

1. Transferencia de Modalidad: Cambiar un modelo de una modalidad antigua ($M_A$) a una nueva ($M_B$) manteniendo la capacidad predictiva (por ejemplo, pasar de LandSAT a Sentinel-2).
2. Adición de Modalidad: Incorporar una nueva modalidad ($M_B$) en las predicciones junto con la existente ($M_A$) para aprovechar información complementaria.
3. Escrutinio de Modalidad (Modality Peeking): Mejorar las predicciones en una modalidad antigua ($M_A$) mediante la observación de una nueva modalidad no etiquetada ($M_B$) durante la adaptación, para luego revertir a $M_A$ para la inferencia.

La literatura existente aborda estos escenarios de forma aislada (por ejemplo, Destilación de Conocimiento para transferencia, Aprendizaje Semi-Supervisado para el escrutinio, Expansión de Conocimiento Multimodal para la adición) o asume modalidades fijas (Aprendizaje Continuo, Adaptación de Dominio). No existe un marco unificado para manejar los tres escenarios en un entorno libre de etiquetas utilizando datos multimodales no etiquetados.

Metodología: DeluluNet

Los autores proponen DeluluNet, una arquitectura unificada diseñada para adaptar un modelo predictivo unimodal existente ($f_0$) a modalidades cambiantes utilizando datos emparejados no etiquetados ($D_a \subset M_A \times M_B$). El concepto central es la Alucinación de Modalidad: predecir representaciones de la modalidad faltante a partir de las que están presentes.

Arquitectura

DeluluNet aumenta un profesor unimodal pre-entrenado ($f_0$, típicamente un ViT) con tres componentes modulares:

1. Extracción Específica de la Modalidad:
   • Los componentes de $M_A$ se inicializan con los pesos de $f_0$.
   • Los componentes de $M_B$ (tokenizador y capas de transformador) se inicializan aleatoriamente para aprender características específicas de la nueva modalidad.
2. Fusión Cross-Modality mediante Transformers de Enmascaramiento:
   • Inspirado en el modelado de imágenes enmascaradas, este componente facilita el aprendizaje entre modalidades.
   • Emplea enmascaramiento a nivel de token (enmascarando aleatoriamente tokens a través de las modalidades) y enmascaramiento a nivel de modalidad (tratando una modalidad completa como ausente).
   • Un Transformer de Enmascaramiento utiliza atención cruzada para "alucinar" (imputar) tokens enmascarados o modalidades completas basadas en los tokens visibles de la otra modalidad. Una consulta aprendida atiende a los tokens visibles de la otra modalidad para predecir los faltantes.
3. Cabezal Predictor:
   • Un cabezal específico de la tarea ($Head_{M_B}$) que predice a partir de las representaciones de $M_B$.

Estrategia de Entrenamiento

DeluluNet se entrena de extremo a extremo utilizando una estrategia de mezcla de lotes (batch mixing) que alterna entre dos divisiones de datos:

• División de Adaptación No Etiquetada ($D_a$): Contiene datos emparejados de $M_A$ y $M_B$. El modelo aplica enmascaramiento (a nivel de token y de modalidad) y utiliza la Pérdida de Destilación. El modelo aprende a predecir a partir de las representaciones alucinadas, destilando el conocimiento del profesor unimodal $f_0$.
• División Etiquetada ($D_l$): Contiene datos de $M_A$ etiquetados. El modelo trata a $M_B$ como enmascarado (alucinado) y aplica la Pérdida de Entropía Cruzada contra las etiquetas reales. Esto permite al modelo aprender de etiquetas reales utilizando entradas pseudo-multimodales.

Funciones de Pérdida

El objetivo de entrenamiento combina cuatro términos de pérdida:

1. Pérdida de Destilación: En lotes no etiquetados, alineando las predicciones con el profesor $f_0$.
2. Pérdida de Entropía Cruzada: En lotes etiquetados, alineando las predicciones con la verdad de terreno.
3. MSE de Pre-fusión: Supervisa directamente el transformer de enmascaramiento, fomentando que los tokens CLS y de parche predichos coincidan con los tokens reales de la modalidad enmascarada.
4. MSE Latente: Ancla la representación fusionada a las representaciones penúltimas congeladas del profesor mediante un decodificador.

Resultados Clave

Los autores evaluaron DeluluNet en tres conjuntos de datos (EuroSAT, reBEN, DFC2020) que cubren cambios de banda (dentro de Sentinel-2) y cambios entre satélites (Sentinel-1 a Sentinel-2).

• Transferencia de Modalidad: DeluluNet superó consistentemente a las líneas base sin etiquetas como la Destilación de Conocimiento (KD) y el Emparejamiento de Profesor Transformado (TTM). Notablemente, en varios escenarios de transferencia (por ejemplo, S2-rgb a S2-non-rgb), DeluluNet superó a los modelos DINOv3 totalmente supervisados, alcanzando un rendimiento cercano a los modelos fundacionales de RSFM multimodales (oráculos) sin requerir etiquetas en la modalidad objetivo.
• Adición de Modalidad: DeluluNet mejoró el rendimiento sobre la línea base unimodal $f_0$ y superó a las líneas base de Expansión de Conocimiento Multimodal (MKE). En algunos casos, igualó o excedió a los oráculos de RSFM supervisados (por ejemplo, Panopticon, OlmoEarth) entrenados con datos multimodales etiquetados.
• Escrutinio de Modalidad (Modality Peeking): DeluluNet mejoró consistentemente las predicciones en la modalidad original ($M_A$) aprovechando las observaciones no etiquetadas de $M_B$, superando a las líneas base de Aprendizaje Semi-Supervisado como MixMatch.
• Estudios de Ablación: Eliminar cualquier componente (Transformers de Enmascaramiento, MSE de Pre-fusión, MSE Latente o Mezcla de Lotes) resultó en una degradación del rendimiento en todos los escenarios, confirmando la necesidad del mecanismo de alucinación y los términos de pérdida específicos.
• Costo Computacional: Aunque DeluluNet es más costoso computacionalmente que los modelos unimodales debido a la alucinación, su costo es comparable al de los RSFMs multimodales existentes (como Panopticon) cuando manejan entradas multimodales.

Significación y Reivindicaciones

El artículo afirma que DeluluNet proporciona una alternativa práctica y libre de etiquetas para el re-etiquetado y re-entrenamiento en un mundo cambiante. Su principal significación radica en:

1. Marco Unificado: Es el primer método que aborda conjuntamente los escenarios de transferencia, adición y escrutinio bajo una única arquitectura.
2. Sostenibilidad: Ofrece un camino para adaptar modelos existentes a nuevos sensores sin el costo insostenible de pre-entrenar modelos fundacionales desde cero o recolectar enormes conjuntos de datos etiquetados para cada nuevo sensor.
3. Desplegabilidad Inmediata: Los profesionales pueden aumentar los modelos ajustados existentes con componentes modulares utilizando datos satelitales emparejados ampliamente disponibles y no etiquetados, en lugar de esperar a que se desarrollen nuevos modelos fundacionales.

Los autores reconocen limitaciones, señalando que el trabajo actual asume tareas de uso de suelo estáticas y observaciones co-localizadas emparejadas. Destacan que el desalineamiento temporal (por ejemplo, en el monitoreo de desastres) y la necesidad de un aprendizaje auto-supervisado continuo del propio modelo fundacional son direcciones importantes para trabajos futuros. El artículo concluye haciendo un llamado a establecer benchmarks a largo plazo que cubran diversas modalidades para apoyar la evolución sostenible de los modelos de teledetección junto con las constelaciones de satélites.