Resumo Técnico: Mudança de Modalidades: Adaptando Modelos de Sensoriamento Remoto a Novos Satélites e Sensores

Declaração do Problema

Modelos de sensoriamento remoto (RS) são tipicamente treinados e implantados em conjuntos estáticos de modalidades (por exemplo, sensores de satélite específicos ou bandas espectrais). No entanto, o cenário de observação da Terra é dinâmico: satélites são lançados com novos sensores, modelos antigos são aposentados e a disponibilidade de dados muda (por exemplo, dados gratuitos tornando-se pagos). Isso cria um desafio crítico: os modelos existentes falham quando confrontados com modalidades não vistas durante o treinamento. Por exemplo, um modelo treinado na imagem de 12 bandas do Sentinel-2 não consegue realizar previsões em um novo sensor hiperespectral de centenas de bandas.

O artigo identifica três cenários específicos onde os modelos devem se adaptar a essas mudanças de modalidade sem o luxo de rotular novos dados ou treinar do zero devido a restrições computacionais e de anotação:

1. Transferência de Modalidade: Alternar um modelo de uma modalidade antiga ($M_A$) para uma nova ($M_B$) mantendo a capacidade preditiva (ex: mover-se do LandSAT para o Sentinel-2).
2. Adição de Modalidade: Incorporar uma nova modalidade ($M_B$) nas previsões junto com a modalidade existente ($M_A$) para aproveitar informações complementares.
3. Espreita de Modalidade (Modality Peeking): Melhorar as previsões em uma modalidade antiga ($M_A$) ao observar uma nova modalidade não rotulada ($M_B$) durante a adaptação, retornando então à $M_A$ para inferência.

A literatura existente aborda esses cenários isoladamente (ex: Destilação de Conhecimento para transferência, Aprendizado Semissupervisionado para espreita, Expansão de Conhecimento Multimodal para adição) ou assume modalidades fixas (Aprendizado Contínuo, Adaptação de Domínio). Não existe um framework unificado para lidar com todos os três cenários em um ambiente livre de rótulos usando dados multimodais não rotulados.

Metodologia: DeluluNet

Os autores propõem o DeluluNet, uma arquitetura unificada projetada para adaptar um modelo preditivo unimodal existente ($f_0$) a mudanças de modalidades usando dados pareados não rotulados ($D_a \subset M_A \times M_B$). O conceito central é a Alucinação de Modalidade: prever representações de modalidades ausentes a partir daquelas que estão presentes.

Arquitetura

O DeluluNet aumenta um professor unimodal pré-treinado ($f_0$, tipicamente um ViT) com três componentes modulares:

1. Extração Específica de Modalidade:
   • Os componentes de $M_A$ são inicializados a partir dos pesos de $f_0$.
   • Os componentes de $M_B$ (tokenizador e camadas de transformer) são inicializados aleatoriamente para aprender características específicas da nova modalidade.
2. Fusão Cross-Modality via Masking Transformers:
   • Inspirado no modelagem de imagem mascarada (masked image modeling), este componente facilita o aprendizado entre modalidades.
   • Ele emprega mascaramento de nível de token (mascaramento aleatório de tokens entre modalidades) e mascaramento de nível de modalidade (tratando uma modalidade inteira como ausente).
   • Um Masking Transformer utiliza atenção cruzada para "alucinar" (imputar) tokens mascarados ou modalidades inteiras com base nos tokens visíveis da outra modalidade. Uma consulta (query) aprendida atende aos tokens visíveis da outra modalidade para prever os ausentes.
3. Cabeça de Preditor (Predictor Head):
   • Uma cabeça específica para a tarefa ($Head_{M_B}$) que realiza previsões a partir das representações de $M_B$.

Estratégia de Treinamento

O DeluluNet é treinado de ponta a ponta usando uma estratégia de mistura de lotes (batch mixing) que alterna entre dois divisões de dados:

• Divisão de Adaptação Não Rotulada ($D_a$): Contém dados pareados de $M_A$ e $M_B$. O modelo aplica mascaramento (nível de token e de modalidade) e utiliza a Perda de Destilação (Distillation Loss). O modelo aprende a prever a partir das representações alucinadas, destilando o conhecimento do professor unimodal $f_0$.
• Divisão Rotulada ($D_l$): Contém dados de $M_A$ rotulados. O modelo trata $M_B$ como mascarado (alucinado) e aplica a Perda de Entropia Cruzada (Cross-Entropy Loss) contra os rótulos reais. Isso permite que o modelo aprenda com rótulos reais usando entradas pseudo-multimodais.

Funções de Perda

O objetivo de treinamento combina quatro termos de perda:

1. Perda de Destilação (Distillation Loss): Em lotes não rotulados, alinhando as previsões com o professor $f_0$.
2. Perda de Entropia Cruzada (Cross-Entropy Loss): Em lotes rotulados, alinhando as previsões com o ground truth.
3. MSE de Pré-fusão (Pre-fusion MSE): Supervisiona diretamente o masking transformer, incentivando os tokens CLS e de patch previstos a corresponderem aos verdadeiros tokens da modalidade mascarada.
4. MSE Latente (Latent MSE): Ancoragem da representação fundida às representações penúltimas congeladas do professor via um decodificador.

Principais Resultados

Os autores avaliaram o DeluluNet em três conjuntos de dados (EuroSAT, reBEN, DFC2020) cobrindo mudanças de bandas (dentro do Sentinel-2) e mudanças entre satélites (Sentinel-1 para Sentinel-2).

• Transferência de Modalidade: O DeluluNet superou consistentemente baselines livres de rótulos como Destilação de Conhecimento (KD) e Transformed Teacher Matching (TTM). Notavelmente, em vários cenários de transferência (ex: S2-rgb para S2-non-rgb), o DeluluNet superou modelos DINOv3 totalmente supervisionados, alcançando um desempenho próximo a modelos de fundação multimodais (RSFMs) oráculos sem exigir rótulos na modalidade alvo.
• Adição de Modalidade: O DeluluNet melhorou o desempenho sobre o baseline unimodal $f_0$ e superou os baselines de Expansão de Conhecimento Multimodal (MKE). Em alguns casos, igualou ou excedeu os oráculos de RSFM supervisionados (ex: Panopticon, OlmoEarth) treinados com dados multimodais rotulados.
• Espreita de Modalidade (Modality Peeking): O DeluluNet melhorou consistentemente as previsões na modalidade original ($M_A$) ao aproveitar observações não rotuladas de $M_B$, superando baselines de Aprendizado Semissupervisionado como o MixMatch.
• Estudos de Ablação: A remoção de qualquer componente (Masking Transformers, Pre-fusion MSE, Latent MSE ou Batch Mixing) resultou em degradação de desempenho em todos os cenários, confirmando a necessidade do mecanismo de alucinação e dos termos de perda específicos.
• Custo Computacional: Embora o DeluluNet seja mais custoso computacionalmente do que modelos unimodais devido à alucinação, seu custo é comparável aos RSFMs multimodais existentes (como o Panocomicon) ao lidar com entradas multimodais.

Significância e Alegações

O artigo afirma que o DeluluNet fornece uma alternativa prática e livre de rótulos para a rotulação e o retreinamento em um mundo em mudança. Sua principal significância reside em:

1. Framework Unificado: É o primeiro método a abordar conjuntamente os cenários de transferência, adição e espreita sob uma única arquitetura.
2. Sustentabilidade: Oferece um caminho para adaptar modelos existentes a novos sensores sem o custo insustentável de pré-treinar modelos de fundação do zero ou coletar conjuntos massivos de dados rotulados para cada novo sensor.
3. Imediata Implementabilidade: Profissionais podem aumentar modelos finetunados existentes com componentes modulares usando dados de satélite pareados não rotulados amplamente disponíveis, em vez de esperar pelo desenvolvimento de novos modelos de fundação.

Os autores reconhecem limitações, observando que o trabalho atual assume tarefas de uso do solo estáticas e observações pareadas co-localizadas. Eles destacam que o desalinhamento temporal (ex: monitoramento de desastres) e a necessidade de aprendizado autossupervisionado contínuo do próprio modelo de fundação são direções importantes para trabalhos futuros. O artigo conclui com um chamado por benchmarks de longo prazo que cubram diversas modalidades para apoiar a evolução sustentável dos modelos de sensoriamento remoto junto com as constelações de satélites.