Resumo Técnico: TerraBench e TerraAgent

Declaração do Problema

A tomada de decisão climática e ambiental atual exige o raciocínio através de fontes de dados heterogêneas, incluindo dados físicos em grade, imagens de satélite, contexto geoespacial e saídas de simuladores. Existe uma lacuna significativa nas capacidades dos sistemas de IA existentes:

• Modelos de Fundação de Clima/Tempo: Conseguem prever bem, mas carecem da capacidade de raciocinar interativamente em linguagem natural.
• Grandes Modelos de Linguagem (LLMs): Conseguem raciocinar em linguagem, mas não conseguem operar diretamente sobre dados de sistemas terrestres de alta dimensão.

Benchmarks existentes (ex: OpenEarthAgent, ThinkGeo) tipicamente isolam essas capacidades em tarefas estreitas ou focam primariamente no alinhamento de rastreamento de ferramentas, falhando em avaliar se um agente pode raciocinar conjuntamente sobre imagens de satélite, dados em grade, contexto GIS, saídas de simulação e evidências fundamentadas em documentos dentro de um fluxo de trabalho unificado e auditável. Consequentemente, fluxos de trabalho científicos do mundo real nas ciências da Terra permanecem subatendidos, e falhas de tolerância numérica frequentemente passam despercebidas.

Metodologia

Estrutura TerraAgent

Os autores introduzem o TerraAgent, uma estrutura executável do tipo ReAct projetada para acoplar o planejamento de LLMs com ferramentas científicas. Principais características arquiteturais incluem:

• Orquestração de Fluxo de Trabalho: O modelo coordena fluxos de trabalho, invocando ferramentas especializadas no domínio enquanto as saídas quantitativas são geradas por recuperação de dados, processamento geoespacial, previsão, simulação ou computação explícita, em vez de geração por modelo de linguagem.
• Registro de Ferramentas: A estrutura integra 77 sub-ferramentas em categorias que incluem recuperação de dados de reanálise/ambientais, previsões, processamento de satélite/EO, análise de GIS/OpenStreetMap, simulação determinística, visualização e busca na web.
• Stack de Simulação: Inclui simuladores determinísticos para diversos domínios de impacto, tais como AquaCrop (água-cultura), DSSAT (sistemas de cultivo), CLIMADA (impacto de eventos), UTCI (estresse térmico), EnergyPlus (demanda de edifícios) e SUMO (disrupção de tráfego).
• Saída: Retorna saídas estruturadas e com proveniência (NetCDF, GeoTIFF, CSV, PNG) e um rastro de evidência.

Benchmark TerraBench

Construído sobre o TerraAgent, o TerraBench é um benchmark para o raciocínio fundamentado em ciências da Terra composto por 403 tarefas agênticas extensas.

• Estrutura: Organizado em três trilhas:
  1. Fundamentos: Execução determinística sobre dados em grade, imagens de satélite e camadas GIS.
  2. Fundamentado em Simuladores: Intervenção, planejamento e raciocínio contrafactual sob suposições explícitas.
  3. Verificação Fundamentada em Documentos: Reprodução ou aproximação de quantidades publicadas usando dados e ferramentas públicas.
• Domínios: Cobre oito áreas de aplicação: previsão do tempo, análise de furacões/ciclones, planejamento de infraestrutura, resposta a emergências, gestão de recursos hídricos, adaptação agrícola, qualidade do ar e monitoramento ambiental.
• Níveis de Raciocínio: As tarefas são anotadas em quatro níveis (0–3), adaptando a hierarquia causal de Pearl:
  • Nível 0: Fundamentação observacional (resolução de coordenadas espaço-temporais, alinhamento de grades de dados).
  • Nível 1: Raciocínio associativo.
  • Nível 2: Raciocínio intervencional.
  • Nível 3: Raciocínio contrafactual/retrospectivo.
• Protocolo de Anotação: Um pipeline rigoroso, semi-automatizado, com participação humana (human-in-the-loop). Apenas 50,9% das amostras propostas foram retidas após revisão humana, e 74,4% dos itens aceitos exigiram múltiplas passagens de execução para finalizar os rastros canônicos. Isso prioriza a profundidade da anotação e a fundamentação científica sobre a escala bruta.

Metodologia de Avaliação

O benchmark emprega um protocolo de avaliação detalhado que desacopla o uso de ferramentas ao nível do processo da correção da resposta final:

• Métricas de Processo: Seis métricas incluindo Validade de Instrução (InstAcc), Taxa de Sucesso de Chamada de Ferramenta, Precisão de Seleção de Ferramenta (ToolAcc), Correção de Argumento (ArgAcc) e Consistência de Ordem de Fluxo de Trabalho (OrderScore). Estas são combinadas em um ToolUseScore composto.
• Métricas de Resultado:
  • Hit@tol: Uma métrica estrita de passar/falhar baseada em se o erro absoluto está dentro de uma tolerância definida ($\lambda = \max(\tau_{abs}, \tau_{rel}|y|, f)$).
  • NumScore: Uma métrica de pontuação sensível à tolerância que fornece crédito parcial para erros próximos usando uma função de decaimento exponencial (base 2) para erros que excedem a banda de tolerância.

Principais Resultados

Desempenho dos Modelos

A avaliação empírica revela limitações significativas nos modelos atuais, mesmo entre sistemas de fronteira:

• Modelos de Fronteira: O modelo de melhor desempenho, Claude Sonnet 4.6, alcançou um 59,22 ToolUseScore, mas apenas um 22,88 Hit@tol e 28,44 NumScore.
• Modelos de Pesos Abertos: O modelo de pesos abertos mais forte, Qwen3.5-35B, ficou significativamente atrás com um 39,95 ToolUseScore e 5,89 Hit@tol.
• Lacuna Processo vs. Resultado: Um padrão consistente em todos os modelos é que a qualidade do processo (ToolUseScore) é substancialmente superior à qualidade da resposta (NumScore/Hit@tol). Por exemplo, o Qwen3.5-9B alcançou um ToolUseScore não trivial de 31,18, mas apenas 1,20 Hit@tol.

Análise de Falhas

• Modos de Falha Dominantes: Os principais gargalos não são erros de seleção de ferramenta, mas sim fundamentação de argumentos e erros numéricos. Mais de 84% das respostas numéricas ficaram fora das margens de erro aceitáveis em todos os modelos.
• Erros Específicos: "Valores de Argumento Errados" e "Erro Numérico Além da Tolerância" foram os modos de falha mais universais.
• Uso de Ferramentas: Modelos mais fortes utilizaram um subconjunto mais amplo de ferramentas (reanálise, GIS, previsão), enquanto modelos mais fracos colapsaram para um subconjunto mais estreito. Ferramentas de simulação e visualização foram raramente utilizadas (ex: <1,5% das chamadas), sugerindo que os modelos otimizam para respostas textuais diretas em vez de externalizar evidências.
• Dificuldade das Trilhas: As tarefas Fundamentadas em Simuladores foram identificadas como as mais difíceis no geral, enquanto os Fundamentos foram os mais fáceis.

Significância e Alegações

O artigo afirma que o TerraBench é o primeiro benchmark a unificar imagens de observação da Terra, dados ambientais em grade, raciocínio GIS, simulação determinística e verificação fundamentada em documentos sob uma única interface executável. Sua significância reside em:

1. Avaliação Unificada: Fornece um fluxo de trabalho unificado e auditável para comparar as capacidades de agentes de ciências da Terra, abordando a fragmentação de benchmarks anteriores.
2. Pontuação Sensível à Tolerância: Ao parear métricas de nível de processo com pontuação de tolerância numérica, expõe uma lacuna sistemática entre a proficiência de orquestração de ferramentas e a correção científica que avaliações anteriores de apenas "rastreamento de ferramenta" perderam.
3. Reprodutibilidade: TerraAgent e TerraBench oferecem um ambiente de teste reprodutível com contratos de saída estruturados e computação baseada em artefatos, permitindo o desenvolvimento de agentes de LLM cientificamente fundamentados.
4. Restrições Realistas: O benchmark demonstra que agentes de ciências da Terra confiáveis devem ir além do simples acesso a ferramentas para coordenar fluxos de trabalho heterogêneos, parametrizar ferramentas precisamente e preservar a proveniência dos artefatos.

Os autores concluem que, embora os modelos de fronteira superem as bases abertas em métricas de processo, uma lacuna significativa permanece na produção de saídas numericamente corretas e cientificamente fundamentadas, indicando que os agentes atuais ainda não estão prontos para fluxos de trabalho autônomos e robustos nas ciências da Terra.