On What Depends the Robustness of Multi-source Models to Missing Data in Earth Observation?

Resumo Técnico: Do Que Depende a Robustez de Modelos Multi-fonte a Dados Ausentes em Observação da Terra?

Declaração do Problema
Na Observação da Terra (OT), modelos multi-fonte aproveitam fluxos de dados diversos (por exemplo, óptico, radar, meteorológico, topográfico) para aprimorar a precisão preditiva. No entanto, esses modelos frequentemente sofrem de uma vulnerabilidade crítica: tipicamente assumem a disponibilidade de todas as fontes de dados durante a inferência. Em cenários do mundo real, a perda de dados é inerente devido a fatores como oclusão por nuvens, falhas de sensores (por exemplo, Landsat 7 SLC-off) ou paradas operacionais de satélites. Embora a literatura recente tenha introduzido modelos multi-fonte robustos projetados para lidar com dados ausentes, os fatores específicos que determinam por que alguns modelos superam outros em cenários variados de dados ausentes permanecem pouco compreendidos. Estudos existentes não avaliaram suficientemente a interação entre a natureza da tarefa, a complementaridade das fontes de dados e a arquitetura do modelo no contexto de dados ausentes por fonte.

Metodologia
Os autores conduziram uma avaliação abrangente de seis modelos multi-fonte de última geração em três tarefas distintas de classificação em OT, envolvendo fontes de dados estáticas (única data) e temporais.

• Conjuntos de Dados:
  • CropH-b & CropH-m: Tarefas de reconhecimento de culturas binárias e multiclasse utilizando quatro fontes: Séries Temporais de Imagens de Satélite (SITS) ópticas multiespectrais, SITS de radar, séries temporais meteorológicas e informações topográficas.
  • TreeSatAI-TS: Classificação multilabel de espécies arbóreas utilizando SITS ópticas, SITS de radar e imagens aéreas de alta resolução de data única.
• Modelos Avaliados:
  • ISensD: Fusão no nível de entrada usando dropout de sensor (substituindo características ausentes por zeros).
  • FSensD: Fusão no nível de características com atenção cruzada e dropout de sensor (mascarando características ausentes).
  • OOD-f: Fusão no nível de características com concatenação, simulando todos os casos de ausência por fonte.
  • TIMML: Fusão no nível de características com atenção cruzada, dropout de sensor e perdas de previsão auxiliares por fonte.
  • ESensI: Modelo baseado em ensemble usando cabeças de previsão compartilhadas em camadas por fonte.
  • Co-Ens: Modelo baseado em ensemble usando restrições de similaridade nas previsões por fonte.
• Desenho Experimental:
  • Os modelos foram treinados em cenários de dados completos.
  • A validação foi realizada sob duas condições principais de dados ausentes: (1) Fonte única ausente (uma fonte removida enquanto as outras permanecem) e (2) Fonte única disponível (apenas uma fonte fornecida para previsão).
  • O desempenho foi medido usando a pontuação F1 ponderada.
  • Um escore de complementaridade foi calculado para quantificar a queda relativa no desempenho quando uma fonte específica está ausente, definido como $(P_A - P_{m(s)}) / P_{m(s)}$, onde $P_A$ é o desempenho com todas as fontes e $P_{m(s)}$ é o desempenho com a fonte $s$ ausente.

Principais Resultados
A avaliação revelou que a robustez de modelos multi-fonte não é uniforme, mas depende de três fatores intrincados:

1. Natureza da Tarefa Preditiva: A utilidade de uma fonte de dados varia conforme a tarefa. Por exemplo, séries temporais meteorológicas provaram ser mais eficazes para classificação binária de culturas do que para identificação multiclasse de tipos de culturas, enquanto SITS de radar foi mais discriminativa para distinguir tipos específicos de culturas.
2. Complementaridade da Fonte de Dados: Alto desempenho individual de uma fonte de dados não garante alta complementaridade. Em alguns casos (por exemplo, modelo OOD-f em CropH-b), dados meteorológicos mostraram escores de complementaridade mais altos do que dados ópticos, apesar de desempenho inferior em fonte única. Inversamente, na classificação de árvores, dados aéreos de alta resolução forneceram a maior complementaridade, apesar de não serem o melhor desempenho em fonte única.
3. Design do Modelo:
   • Cenários de Fonte Ausente: Modelos como OOD-f e TIMML demonstraram robustez superior quando uma única fonte de dados estava ausente.
   • Cenários de Fonte Única: Modelos como ESensI e Co-Ens performaram melhor quando apenas uma única fonte de dados estava disponível para previsão.
   • Descobertas Contra-intuitivas: O estudo observou instâncias onde a remoção de uma fonte de dados levou a um desempenho preditivo melhorado. Por exemplo, no conjunto de dados TreeSatAI-TS, o uso de apenas SITS de radar com os modelos ESensI e Co-Ens superou a configuração de dados completos. Da mesma forma, dados meteorológicos degradaram o desempenho do TIMML, ESensI e Co-Ens na tarefa multiclasse CropH-m.

Significado e Afirmações
O artigo afirma fornecer uma compreensão estruturada dos fatores que governam a robustez de modelos multi-fonte em OT. Os autores enfatizam que:

• A robustez é dependente do contexto: Nenhuma arquitetura de modelo única é universalmente eficaz para todos os cenários de dados ausentes; a escolha ótima depende da tarefa específica e das características dos dados.
• Mais dados nem sempre é melhor: A suposição de que incorporar todas as fontes de dados disponíveis é sempre benéfica é desafiada. O estudo demonstra que fontes de dados específicas podem introduzir ruído ou redundância, levando a um melhor desempenho quando excluídas.
• Especialização é necessária: Se um cenário de implantação espera apenas uma fonte de dados, treinar um modelo especializado para esse cenário específico é mais eficaz do que confiar em um modelo multi-fonte robusto geral, que pode ser pouco confiável em condições de fonte única.

Os autores concluem que essas descobertas sugerem a necessidade de abordagens mais simplificadas em aplicações de OT, potencialmente envolvendo a seleção cuidadosa de fontes de dados com base na análise de dados ausentes, semelhante a métodos de seleção de características em IA Explicável (XAI).