Towards Knowledge Guided Pretraining Approaches for Multimodal Foundation Models: Applications in Remote Sensing

Resumo Técnico: Abordagens de Pré-treinamento Guiadas por Conhecimento para Modelos Fundamentais Multimodais em Sensoriamento Remoto

1. O Problema

O aprendizado auto-supervisionado tornou-se o paradigma dominante para o pré-treinamento de modelos fundamentais (foundation models) em sensoriamento remoto, utilizando grandes volumes de dados não rotulados. As abordagens existentes baseiam-se principalmente em:

• Reconstrução Mascarada (Masked Reconstruction - MR): Ocultar partes da imagem e reconstruí-las.
• Previsão do Próximo Token (Next-Token Prediction): Prever sequências futuras.

Embora eficazes, esses métodos falham em capturar a interação causal entre diferentes variáveis geoespaciais e ambientais. Por exemplo, eles não modelam explicitamente como variáveis "condutoras" (drivers), como o clima (temperatura, precipitação), influenciam diretamente variáveis "resposta" (como o crescimento da vegetação ou umidade do solo observada por satélite). Modelos baseados apenas em correlação ou reconstrução espacial/temporal não aprendem a dinâmica causal necessária para tarefas complexas de previsão e estimativa.

2. Metodologia Proposta: KG-VSF

Os autores propõem uma nova tarefa de pré-treinamento chamada Previsão de Passos Variáveis Guiada por Conhecimento (Knowledge Guided Variable-Step Forecasting - KG-VSF).

• Conceito Central: O pré-treinamento é modelado como uma tarefa de geração condicional. O modelo utiliza variáveis condutoras (dados climáticos até uma data futura) para prever variáveis de resposta (imagens de satélite no futuro).
• Arquitetura:
  • Codificador de Imagem (Satélite): Utiliza um Vision Transformer (ViT) compartilhado para extrair características espaciais de imagens multiespectrais.
  • Codificador de Clima: Utiliza uma LSTM unidirecional para codificar séries temporais de dados climáticos (ERA5).
  • Codificador Temporal: Incorpora o dia do ano (DOY) e o delta de tempo entre imagens.
  • Codificador de Sequência Multimodal: Combina as embeddings espaciais, climáticas e temporais usando um Transformer com atenção causal (forward-only) para evitar vazamento de informação do futuro.
  • Previsor (Forecaster): Um módulo leve que transforma as embeddings do tempo atual para um tempo futuro, utilizando os dados climáticos até aquela data futura como condição.
• Estratégia de Pré-treinamento em Duas Fases:
  1. Fase 1 (Reconstrução Mascarada): Treina os codificadores individuais (satélite e clima) e o codificador multimodal para reconstruir dados mascarados, estabelecendo uma base de embeddings.
  2. Fase 2 (Previsão): Introduz o previsor. O modelo é forçado a aprender a relação causal entre o clima (condutor) e a mudança na superfície (resposta) para prever imagens futuras. Sem os dados climáticos, a tarefa de previsão torna-se significativamente mais difícil, forçando o modelo a internalizar a causalidade.

3. Contribuições Chave

1. Novo Objetivo de Pré-treinamento: Introdução do KG-VSF, que explicitamente codifica dependências causais entre modalidades (Clima $\to$ Superfície) no processo de aprendizado, diferindo de métodos puramente correlacionais.
2. Validação em Múltiplas Tarefas: Demonstração de que embeddings gerados pelo KG-VSF superam métodos tradicionais (MR e VSF padrão) em tarefas onde a causalidade é crítica.
3. Análise de Causalidade: Experimentos rigorosos (como testes de "contrafactual" e "embaralhamento" de dados climáticos) provam que o ganho de desempenho vem da compreensão causal e não apenas da presença de uma segunda modalidade.
4. Recursos Abertos: Os autores disponibilizam o código e os modelos treinados para a comunidade.

4. Resultados Experimentais

Os modelos foram pré-treinados em dois conjuntos de dados (Global e US Cropland) e avaliados em diversas tarefas de downstream (ajuste fino):

• Mapeamento de Tipos de Culturas (Pixel-wise Crop Mapping):
  • O KG-VSF alcançou o melhor F1 Score médio (0.7602), superando significativamente o MM-MR (0.7056) e o MM-VSF (0.5426).
  • Destacou-se por exigir menos dados de ajuste fino para atingir alto desempenho em comparação com modelos treinados do zero.
• Estimativa e Previsão de Umidade do Solo:
  • Na previsão de umidade do solo, o KG-VSF obteve um R² de 0.8081, superando o MM-VSF (0.7606) e o MM-MR (0.6039).
  • Na previsão futura (forecasting), o KG-VSF manteve alta precisão mesmo em horizontes de previsão longos (>100 dias), enquanto outros modelos degradaram rapidamente.
• Previsão de Imagens Futuras (Zero-Shot):
  • Em cenários de previsão de imagens futuras sem ajuste fino (zero-shot), o KG-VSF demonstrou capacidade superior em capturar dinâmicas físicas (ex: crescimento de culturas, acúmulo de neve, secagem de rios) baseadas nos dados climáticos de entrada.
  • Modelos baseados em MR falharam em preencher lacunas de dados de forma fisicamente coerente (ex: adicionando "verde" falso em áreas secas).
• Análise de Embeddings (t-SNE):
  • Visualizações mostraram que o KG-VSF cria clusters mais compactos e semanticamente consistentes para diferentes tipos de culturas, indicando uma representação latente mais estruturada.

5. Significância e Conclusão

O trabalho demonstra que incorporar conhecimento de domínio (causalidade) diretamente na tarefa de pré-treinamento é superior a apenas aumentar a escala de dados ou usar arquiteturas complexas sem direção causal.

• Impacto Científico: O KG-VSF oferece uma abordagem mais fisicamente consistente e interpretável para modelos fundamentais em geociências.
• Aplicabilidade: A metodologia é transferível para outras áreas onde variáveis condutoras influenciam respostas observáveis, como previsão de incêndios florestais, estimativa de rendimento agrícola e modelagem de saúde (onde fatores clínicos e ambientais interagem).
• Conclusão: Embora o KG-VSF seja superior em tarefas dependentes de causalidade, o artigo reconhece que nenhuma estratégia de pré-treinamento é universalmente ideal para todas as aplicações de geociências. No entanto, para tarefas que envolvem a dinâmica de crescimento e mudança da superfície terrestre, a abordagem guiada por conhecimento é fundamental.