Resumo Técnico: A Frota do Modelo Fundamental Mini-JEPA Habilita Inteligência Hidrológica Agêntica

Declaração do Problema

Modelos fundamentais geoespaciais geralmente seguem um paradigma "generalista": treinar um único modelo massivo em dados diversos multiespectrais, de radar e atmosféricos para produzir um espaço de incorporação universal. Embora eficaz para caracterização ampla, essa abordagem enfrenta três limitações críticas em domínios especializados como a hidrologia:

1. Compromisso de Sinal: Um único espaço de incorporação deve alocar dimensões para fenômenos com origens físicas distintas (por exemplo, refletância óptica versus retroespalhamento de micro-ondas). Isso frequentemente leva ao subpesamento de sinais especializados relevantes para tarefas hidrológicas específicas.
2. Acessibilidade e Custo: Modelos em escala planetária (por exemplo, Google AlphaEarth) são caros para treinar, frequentemente de código fechado e exigem recursos computacionais massivos, tornando-os inacessíveis para muitos grupos de pesquisa e difíceis de auditar ou estender.
3. Falta de Especialização: Modelos generalistas podem não capturar os sinais físicos sutis necessários para o raciocínio hidrológico especializado, onde os dados relevantes frequentemente residem em uma modalidade específica de sensor.

Os autores propõem que, em vez de um único modelo monolítico, uma frota de modelos pequenos e especializados por sensor, gerenciada por um roteador agêntico, poderia oferecer uma alternativa mais eficiente, interpretável e performática para a inteligência hidrológica.

Metodologia

1. A Frota Mini-JEPA

A contribuição central é uma frota de cinco modelos fundamentais Mini-JEPA (Arquitetura de Incorporação Conjunta Preditiva).

• Arquitetura: Todos os cinco modelos compartilham uma espinha dorsal idêntica Vision Transformer-Small (ViT-S) (12 camadas, 6 cabeças de atenção, dimensão oculta 384) e um espaço de saída de 64 dimensões para garantir comparabilidade direta com modelos em escala planetária como o AlphaEarth.
• Receita de Treinamento: Eles utilizam o objetivo de treinamento I-JEPA combinado com um regularizador VICReg. Diferentemente dos Autoencoders Mascarados (MAE) que reconstroem pixels (forçando o modelo a aprender ruído específico do sensor), o JEPA prevê representações latentes mascaradas. Isso permite que a mesma receita de treinamento seja aplicada em diferentes modalidades de sensor sem viés para perfis de ruído específicos (por exemplo, speckle SAR ou listras MODIS).
• Dados: Cada modelo é pré-treinado em um produto distinto do Google Earth Engine cobrindo 9.704 manchas (128x128 pixels, resolução de 30m) através dos Estados Unidos Continentais (CONUS) para o ano de 2022. As cinco modalidades são:
  1. S2-Óptico: Refletância de superfície Sentinel-2 (mediana anual).
  2. S1-SAR: SAR de dupla polarização Sentinel-1 (VV+VH).
  3. MODIS-Térmico: Temperatura da superfície terrestre MODIS (dia/noite).
  4. S2-Fenologia: Compostos trimestrais Sentinel-2 capturando dinâmicas sazonais.
  5. Topo-Solo: Uma pilha de elevação/declive/aspecto SRTM e propriedades SoilGrids.

2. Framework de Avaliação

Os autores caracterizam a frota ao longo de três eixos:

• Interpretabilidade em Nível de Dimensão: Usando correlações de Spearman e importância de permutação de Floresta Aleatória para mapear dimensões de incorporação a variáveis ambientais (por exemplo, umidade do solo, precipitação, temperatura).
• Geometria do Variedade: Analisando a estrutura geométrica dos espaços de incorporação de 64 dimensões por meio de razões de participação global (dimensionalidade efetiva) e dimensionalidade intrínseca local (baseada em k-NN).
• Complementaridade: Usando Análise de Correlação Canônica (CCA) e regressão conjunta de Floresta Aleatória para determinar se os Mini-JEPAs fornecem informações não capturadas pelo AlphaEarth.

3. Sistema Agêntico

Um agente de roteamento (LLM) foi implementado para operacionalizar a frota:

• Cartas de Referência: Cada Mini-JEPA é resumido em uma "carta de referência" compacta contendo seu dicionário de dimensões, perfil geométrico, descrição de sinal físico e métricas de desempenho preditivo.
• Lógica de Roteamento: Dada uma pergunta hidrológica em linguagem natural, o roteador LLM lê essas cartas e emite um plano estruturado para consultar Mini-JEPAs específicos (e opcionalmente o AlphaEarth).
• Recuperação e Síntese: Modelos selecionados realizam recuperação de k-vizinhos mais próximos contra índices FAISS. Um LLM de síntese combina o contexto recuperado para gerar uma resposta final.

Principais Resultados

1. A Física do Sensor Impulsiona a Especialização

Cada Mini-JEPA demonstrou sua maior habilidade preditiva na variável ambiental fisicamente correspondente ao seu sensor:

• MODIS-Térmico: Alcançou $R^2 = 0,97$ para temperatura média anual.
• Topo-Solo: Alcançou $R^2 = 0,97$ para elevação.
• S2-Fenologia: Alcançou $R^2 = 0,81$ para precipitação (via resposta da vegetação).
• S1-SAR: Alcançou $R^2 = 0,62$ para precipitação.
• S2-Óptico: Alcançou $R^2 = 0,73$ para aridez.
  Notavelmente, os padrões de desempenho da frota não foram simples consultas de sensor para variável, mas refletiram processos de superfície complexos (por exemplo, a fenologia prevendo precipitação melhor que o SAR). Todos os modelos lutaram com cobertura de terra categórica (NLCD), sugerindo uma limitação de tarefa e não uma falha do modelo.

2. Geometrias de Variedade Distintas

Os cinco modelos produziram variedades de incorporação com estruturas geométricas distintas, refletindo sua física de sensor:

• Dimensionalidade Global: Variou de 8,9 (S1-SAR) a 20,2 (MODIS-Térmico).
• Complexidade Local: O S1-SAR exibiu alta complexidade local (média local $n_{80} \approx 6,0$), enquanto o MODIS-Térmico foi quase unidimensional localmente ($n_{80} \approx 2,0$), consistente com a temperatura variando ao longo de gradientes suaves.
  Isso confirma que fixar a arquitetura e a receita isola o sensor como o principal motor das diferenças estruturais.

3. Complementaridade com o AlphaEarth

• Valor Aditivo: Combinar Topo-Solo ou S2-Fenologia com o AlphaEarth produziu ganhos positivos ($\Delta R^2$ até 0,031) para umidade do solo, aridez e precipitação.
• Redundância: Para variáveis onde o AlphaEarth já performou bem (temperatura, elevação), os Mini-JEPAs ofereceram pouco ganho adicional, embora pudessem igualar o desempenho do AlphaEarth individualmente.
• Substituição: Em variáveis correspondentes à física, um único Mini-JEPA (22M de parâmetros) poderia substituir o generalista em escala planetária, alcançando pontuações $R^2$ comparáveis com uma fração do poder computacional.

4. Desempenho Agêntico

• Precisão de Roteamento: O roteador LLM alcançou uma taxa de acerto de 100% nas modalidades esperadas para um conjunto curado de 40 perguntas.
• Qualidade da Resposta: Em avaliações "LLM-como-Juiz":
  • Agregado: O sistema de dupla recuperação (AlphaEarth + Frota) mostrou ganhos agregados modestos sobre o AlphaEarth sozinho ($\Delta \approx +0,021$), devido em grande parte à saturação de pontuação em perguntas amplas.
  • Perguntas de Modalidade Única: Para perguntas onde o sinal físico reside limpidamente em um sensor, a frota roteada superou significativamente o AlphaEarth sozinho (d de Cohen = 1,10, p = 0,031).
  • Substituição: A frota roteada sozinha performou comparavelmente ao AlphaEarth em perguntas correspondentes à física, validando seu uso como alternativa autônoma quando generalistas não estão disponíveis.

Significado e Alegações

O artigo afirma que Mini-JEPAs especializados e treinados localmente oferecem um caminho viável e complementar aos modelos fundamentais em escala planetária para a ciência ambiental.

• Democratização: O design da frota reduz a barreira de entrada, permitindo que instituições com recursos computacionais modestos (uma única GPU de estação de trabalho) construam, auditem e estendam incorporações ambientais sob medida.
• Interpretabilidade: Ao separar modelos por física de sensor, o sistema fornece maior clareza interpretativa sobre quais sinais físicos impulsionam previsões específicas, ao contrário da natureza "caixa preta" de incorporações generalistas.
• Flexibilidade Agêntica: O agente de roteamento compõe com sucesso esses especialistas em um sistema funcional que se adapta aos requisitos físicos de uma consulta, superando generalistas em tarefas especializadas.
• Coexistência: Os autores vislumbram um futuro onde incorporações generalistas e frotas especializadas coexistam, com agentes selecionando dinamicamente a ferramenta apropriada com base na física da pergunta.

Os autores permanecem modestos, reconhecendo limitações como a restrição a dados do CONUS, o corpus de treinamento de um único ano e a saturação das pontuações de LLM-como-Juiz em perguntas amplas. Eles sugerem que trabalhos futuros devem explorar especialização por regime hidrológico (por exemplo, neve, árido) e escala temporal, e testar a generalização geográfica além do domínio de treinamento.