Resumo Técnico: Aumento da Robustez das Previsões do Modelo a Sensores Ausentes em Observação da Terra

Declaração do Problema

Modelos de Aprendizado de Máquina (ML) multi-sensor para Observação da Terra (OT) integram dados de diversas fontes (por exemplo, óptico, radar, meteorologia) para aprimorar a precisão das previsões. No entanto, a persistência dos dados dos sensores não pode ser garantida em implantações do mundo real devido a falhas técnicas ou fatores ambientais (por exemplo, cobertura de nuvens impedindo imagens ópticas). A literatura existente abordou dados ausentes por meio de estratégias como dropout temporal (focado em entradas de sensor único) ou modelos invariantes a sensores (focados em imagens estáticas). Uma lacuna significativa permanece no tratamento de sensores ausentes dentro de cenários de séries temporais multi-sensor, onde os modelos padrão de ML carecem de robustez inerente, levando a previsões enviesadas ou falhas quando entradas específicas de sensores estão indisponíveis.

Metodologia

Os autores propõem dois métodos novos, adaptados especificamente para cenários de séries temporais multi-sensor, para aumentar a robustez do modelo contra sensores ausentes:

1. Dropout de Sensor de Entrada (ISensD)

Inspirado em técnicas de aumento de dados, o ISensD introduz um mecanismo de Dropout de Sensor (SensD) no nível de entrada durante o treinamento.

• Mecanismo: Para uma dada amostra, as características de entrada de sensores inteiros são aleatoriamente mascaradas.
• Implementação:
  • SensD Padrão: Utiliza um hiperparâmetro $r$ (razão de dropout) onde as características do sensor são mascaradas com base em uma distribuição de Bernoulli ($d_s \sim \text{Bernoulli}(r)$).
  • Sem Razão (NR): Uma variante sem parâmetros que seleciona aleatoriamente uma combinação de todas as combinações possíveis de sensores ausentes ($2^{|S|} - 1$) para cada lote.
• Treinamento: O modelo é treinado nessas entradas mascaradas usando uma arquitetura padrão de fusão multi-sensor (fusão no nível de entrada), otimizando parâmetros para minimizar a perda em relação à verdade fundamental.

2. Ensemble Invariante a Sensor (ESensI)

Inspirado em modelos invariantes a sensores, o ESensI propõe uma arquitetura de ensemble com um cabeçalho de previsão compartilhado.

• Mecanismo: O modelo emprega codificadores dedicados a sensores ($E_{\theta_s}$) para cada sensor para extrair características, mas utiliza um único cabeçalho de previsão compartilhado ($P_\phi$) para todos os sensores.
• Codificação de Sensor: Para garantir que o modelo saiba quais características de sensor estão sendo processadas, um vetor de codificação de sensor aprendível ($\rho_s$) é adicionado às características codificadas antes do cabeçalho compartilhado.
• Otimização: Diferentemente de ensembles padrão onde cabeçalhos específicos de sensor são otimizados independentemente, o ESensI otimiza conjuntamente os parâmetros dedicados aos sensores e os parâmetros do cabeçalho compartilhado, forçando o modelo a aprender representações invariantes entre os sensores.

Configuração Experimental

Os métodos foram validados em três conjuntos de dados temporais multi-sensor de OT:

1. CropHarvest (CH): Reconhecimento de múltiplas culturas usando Sentinel-2 (óptico), Sentinel-1 (radar), ERA5 (meteorologia) e SRTM (topografia).
2. Teor de Umidade do Combustível Vivo (LFMC): Estimativa de umidade da vegetação usando Landsat-8 (óptico), Sentinel-1 (radar) e vários sensores ambientais estáticos.
3. Material Particulado 2,5 (PM25): Regressão de qualidade do ar usando condições atmosféricas, dinâmica e dados de precipitação.

Baselines: Os métodos propostos foram comparados a quatro baselines da literatura:

• Entrada: Fusão padrão no nível de entrada com imputação de média.
• ITempD: Fusão de entrada com Dropout Temporal (adaptado para sensores).
• Característica: Fusão no nível de características usando imputação baseada em exemplares (busca de similaridade).
• Ensemble: Agregação de modelos dedicados a sensores, ignorando previsões de sensores ausentes.

Métrica de Avaliação: A métrica principal para robustez foi a Pontuação de Robustez de Desempenho (PRS), que mede o erro preditivo relativo de modelos com sensores ausentes em comparação com modelos com disponibilidade total de sensores.

Resultados Principais

• Robustez a Sensores Ausentes: Tanto ISensD quanto ESensI demonstraram robustez significativamente maior (valores de PRS mais altos) à medida que a porcentagem de sensores ausentes aumentava, superando as baselines padrão (Entrada, ITempD, Característica).
• Superioridade do Ensemble: O método padrão de Ensemble (sem o cabeçalho invariante) provou ser a arquitetura mais robusta no geral, frequentemente superando o ESensI proposto em métricas brutas de robustez. No entanto, o ESensI melhorou o método Ensemble em casos específicos (por exemplo, conjunto de dados PM25).
• Desempenho do ISensD: O método ISensD mostrou uma melhoria marcada na robustez sobre suas baselines diretas (Entrada e ITempD). A variante sem parâmetros "Sem Razão" (NR) performou comparavelmente às versões de razão ajustadas, sugerindo que é uma alternativa viável.
• Compromisso no Desempenho com Sensores Completos: Uma observação crítica foi o compromisso entre robustez e precisão com sensores completos. Enquanto os métodos Ensemble e ESensI se destacaram em cenários de sensores ausentes, eles frequentemente exibiram desempenho preditivo inferior (F1/R2) quando todos os sensores estavam disponíveis em comparação com o método padrão de Entrada. Os autores observam que o ISensD performou pior que a baseline de Entrada em cenários com sensores completos, sugerindo que o modelo pode priorizar excessivamente cenários de dados ausentes durante o treinamento.

Significado e Alegações

O artigo alega abordar uma lacuna crítica na literatura de OT, fornecendo métodos especificamente projetados para cenários de séries temporais multi-sensor onde sensores podem estar ausentes.

• Contribuição: A introdução do ISensD e ESensI oferece estratégias práticas para aumentar a robustez do modelo sem exigir retreinamento quando sensores falham.
• Alegações Modestas: Os autores reconhecem que, embora seus métodos melhorem a robustez, eles não necessariamente maximizam a precisão preditiva quando todos os dados estão presentes. Eles afirmam explicitamente que a fonte dessa robustez não é totalmente compreendida — pode decorrer da adaptabilidade do modelo, de uma desconsideração de informações específicas de sensores ou da irrelevância inerente de certos dados de sensores para a tarefa de previsão específica.
• Trabalho Futuro: Os autores identificam a necessidade de investigar os mecanismos por trás dessa robustez e equilibrar o compromisso entre resiliência a sensores ausentes e precisão com sensores completos.