SHRUG-FM: Reliability-Aware Foundation Models for Earth Observation

Resumo Técnico: SHRUG-FM

1. O Problema

Os Modelos de Fundação Geoespaciais (GFMs) para observação da Terra (EO) têm demonstrado grande sucesso ao aprender representações transferíveis a partir de grandes conjuntos de dados de satélite (como Sentinel e Landsat). No entanto, esses modelos enfrentam um problema crítico de confiabilidade em cenários do mundo real:

• Falhas em Distribuições Não Vistas (OOD): Os GFMs tendem a falhar em ambientes sub-representados durante o pré-treinamento (ex: desertos, regiões polares, eventos climáticos extremos ou mudanças sazonais não cobertas pelos dados de treino).
• Falta de Mecanismos de Detecção: A maioria dos modelos atuais não possui mecanismos internos para detectar entradas fora da distribuição (OOD) ou quantificar incerteza, levando frequentemente a previsões excessivamente confiantes (overconfident predictions) em situações de alto risco, como mapeamento de desastres.
• Risco Operacional: Em aplicações críticas (incêndios, inundações, deslizamentos), a incapacidade de identificar quando o modelo não deve confiar em sua própria previsão pode levar a decisões catastróficas.

2. Metodologia: A Abordagem SHRUG-FM

O SHRUG-FM é um framework de predição seletiva projetado para permitir que os GFMs identifiquem falhas prováveis e se abstêm de fazer previsões quando a confiança é baixa. A inovação central reside na fusão de três sinais complementares de confiabilidade ao longo de todo o pipeline de modelagem:

1. Sinal de Entrada (Input-level OOD - $U_I$):

   • Foca nas características geofísicas da cena (ex: cobertura do solo, elevação, declive) em vez de apenas nos pixels brutos.
   • Utiliza bases de dados externas (como HydroATLAS e Copernicus DEM) para calcular a extremidade das características físicas em relação à distribuição dos dados de pré-treinamento.
   • Inclui mapas de densidade espacial para identificar regiões geograficamente sub-representadas no conjunto de treino original.

2. Sinal de Embedding (Embedding-level OOD - $U_E$):

   • Analisa a representação interna do modelo (espaço latente). Mesmo que a entrada pareça normal, o embedding pode revelar que a amostra é "familiar" para o modelo.
   • Utiliza técnicas de clustering (k-means) nos embeddings de pré-treinamento para criar protótipos representativos.
   • Calcula duas métricas de OOD: a distância normalizada ao centro do cluster mais próximo e o NCDD (Nearest Centroid Distance Deficit), que mede o quão próximo um ponto está do seu cluster em comparação com todos os outros.

3. Sinal de Tarefa (Task-specific Uncertainty - $U_T$):

   • Quantifica a incerteza preditiva específica da tarefa de descida (downstream).
   • Utiliza ensembles (conjuntos de modelos) para estimar incertezas aleatórias (inerentes aos dados) e epistêmicas (falta de consenso do modelo).
   • Métricas chave: Entropia Média (aleatória) e Informação Mútua (epistêmica).

Mecanismo de Decisão:
Esses três sinais são alimentados em um classificador "caixa de vidro" (glass-box), especificamente uma árvore de decisão rasa (shallow decision tree).

• O classificador aprende a função de seleção $g$ que decide se aceita a previsão do modelo ou se abstém (marca como "falha").
• A abordagem de "caixa de vidro" é crucial para a interpretabilidade, permitindo que os usuários entendam por que uma previsão foi rejeitada (ex: "rejeitado devido à alta inclinação do terreno combinada com alta incerteza epistêmica").

3. Contribuições Principais

• Formalização de Fontes de Falha: Identificação e quantificação distinta de três fontes de falha em GFMs: nível de entrada (físico), nível de embedding (representacional) e nível de tarefa (incerteza preditiva).
• Framework Unificado de Predição Seletiva: Criação do SHRUG-FM, um framework agnóstico ao modelo que integra esses sinais em um mecanismo de abstenção interpretável.
• Validação Empírica em Cenários de Alto Risco: Avaliação robusta em três tarefas críticas de mapeamento rápido:
  1. Segmentação de cicatrizes de incêndio (Burn scar segmentation).
  2. Mapeamento de inundações (Flood mapping).
  3. Detecção de deslizamentos de terra (Landslide detection).

4. Resultados

Os experimentos foram conduzidos utilizando modelos baseados no conjunto de dados SSL4EO-S12 e decodificadores CNN.

• Redução de Risco: O SHRUG-FM reduziu consistentemente o risco de previsão (taxa de falha) nas amostras retidas em comparação com baselines de sinal único (como apenas entropia preditiva ou apenas detecção OOD).
  • Exemplo (Incêndios): O risco em 50% de cobertura (Risk@0.5) caiu de 0.137 (melhor baseline de sinal único) para 0.090 com o SHRUG-FM.
  • Exemplo (Inundações): A área sob a curva de risco-cobertura (AURC) foi reduzida para 0.115, superando todas as outras abordagens.
• Robustez em Dados Escassos: Mesmo na tarefa de deslizamentos de terra, onde o conjunto de dados de treino é extremamente pequeno (225 amostras), o framework conseguiu identificar um subconjunto de alta confiança, reduzindo significativamente o AURC.
• Interpretabilidade: A análise das árvores de decisão revelou que a Informação Mútua (incerteza epistêmica) foi o indicador mais robusto e persistente para falhas em todas as tarefas. A densidade espacial foi crucial para inundações, enquanto a distância no espaço de embedding (NCDD) foi vital para eventos raros como deslizamentos.
• Paradoxo da Entrada: O estudo observou que, em regimes de dados muito baixos, a adição de características físicas (input) pode, ocasionalmente, introduzir ruído que dificulta a otimização da árvore de decisão, embora sejam mantidos por sua importância para a interpretabilidade humana.

5. Significado e Impacto

O trabalho do SHRUG-FM representa um passo fundamental para a segurança e confiança na implantação de IA para gestão ambiental:

• Ponte entre Benchmark e Realidade: O framework preenche a lacuna entre o desempenho em benchmarks e a confiabilidade no mundo real, permitindo que os GFMs sejam usados em aplicações sensíveis a riscos.
• Mecanismo de Triagem Operacional: Em cenários operacionais, o SHRUG-FM atua como um sistema de triagem: previsões com baixa confiança são roteadas para analistas humanos ou modelos de maior fidelidade, enquanto as previsões confiáveis são automatizadas.
• Transparência: Ao fornecer thresholds de abstenção interpretáveis e explicar as razões das rejeições, o sistema facilita a adoção de modelos de IA por especialistas de domínio e tomadores de decisão.

Em suma, o SHRUG-FM transforma a incerteza em sinais acionáveis, permitindo que os Modelos de Fundação Geoespaciais operem com maior segurança, evitando previsões cegas em condições extremas ou desconhecidas.