CMIP-Forge: An Agentic System that Retrieves, Computes, and Self-Reviews Climate Science

Resumo Técnico: CMIP-Forge

Declaração do Problema
O Projeto de Intercomparação de Modelos Acoplados Fase 6 (CMIP6) gerou um corpo de conhecimento vasto e fragmentado, abrangendo mais de 7.000 publicações de acesso aberto, juntamente com conjuntos de dados massivos armazenados na Earth System Grid Federation (ESGF). À medida que a comunidade transita para o CMIP7, surgiu um gargalo crítico de escalabilidade: a incapacidade de sintetizar eficientemente a literatura científica não estruturada (configurações de modelos, vieses, procedimentos de avaliação) com a análise de dados em tempo real. Os agentes de Large Language Model (LLM) existentes na ciência climática operam primariamente sobre dados estruturados, carecendo de acesso sistemático à literatura não estruturada que define como os dados devem ser interpretados. Além disso, a geração de código por agente único nas geociências é propensa a erros físicos sutis (por exemplo, interpretar incorretamente variáveis acumuladas como fluxos, ignorar o peso de área) que podem corromper silenciosamente as projeções. Os sistemas atuais carecem de um mecanismo para fundamentar a análise autônoma na literatura revisada por pares enquanto impõem invariantes físicos e metodológicos.

Metodologia
O CMIP-Forge é um sistema híbrido de Geração Aumentada de Recuperação (RAG) e análise autônoma projetado para preencher a lacuna entre a literatura científica e os arquivos de dados da ESGF. A arquitetura do sistema compreende quatro subssistemas principais:

1. Corpus de Literatura e Recuperação: O sistema utiliza um corpus curado de 6.581 publicações relacionadas ao CMIP6 (101.828 fragmentos indexados). Os documentos são analisados usando o framework MinerU para preservar a estrutura lógica (cabeçalhos, tabelas, equações) e segmentados em fragmentos semanticamente coerentes. A recuperação utiliza uma estratégia de busca híbrida no Qdrant, combinando embeddings de vetores densos (Google Gemini Embedding 2) com indexação esparsa BM25 para lidar tanto com o contexto semântico quanto com correspondências exatas para identificadores específicos do CMIP6 (variáveis, modelos, experimentos). Um grafo de citações permite que o agente percorra linhagens metodológicas.
2. Acesso e Resolução de Dados: O agente inclui um resolvedor de metadados que traduz consultas em linguagem natural em facetas precisas da ESGF (variáveis, fontes, experimentos). Para abordar a lacuna semântica nos metadados concisos da ESGF, o sistema utiliza um LLM para reescrever entradas de metadados em parágrafos otimizados para busca antes do embedding. O sistema também integra acesso direto aos dados de reanálise Copernicus ERA5 via Climate Data Store (CDS) para validação observacional.
3. Pipeline de Análise Agêntica: O núcleo de trabalho é um agente ReAct baseado em LangGraph que planeja análises de múltiplas etapas, invoca ferramentas e executa código Python em um ambiente isolado (sandbox). O agente é restringido por uma arquitetura de "Defesa em Profundidade" projetada para impor invariantes físicos e metodológicos:
   • Análise Estática de Código: Um linter de Árvore de Sintaxe Abstrata (AST) inspeciona blocos de código antes da execução, bloqueando operações como a aplicação de kernels de processamento de imagem (Sobel, Laplacian) a grades geofísicas, geração de dados sintéticos para variáveis nomeadas ou computação de médias espaciais não ponderadas.
   • Primitivos Auditados: O sandbox é pré-carregado com funções auxiliares verificadas (ex: médias ponderadas por área, gradientes conscientes do raio da Terra) para evitar improvisação.
   • Telemetria de Tempo de Execução: Estatísticas de execução (mínimo, média, máximo, dimensões) são automaticamente capturadas e injetadas no contexto de revisão para fornecer âncoras empíricas contra alucinações.
   • Protocolo de Desafio Empírico: O agente é explicitamente instruído a rejeitar críticas de revisores que contradigam a telemetria observada, combatendo a tendência dos LLMs de ceder a feedbacks confiantes, porém incorretos.
4. Revisão por Pares Adversária Autônoma: Pipelines analíticos são submetidos a um protocolo de revisão multiagente assíncrono. Agentes revisores independentes (extraídos de diferentes famílias de modelos de fundação, ex: Claude, GPT, Gemini) auditam a metodologia, o código, as figuras e a telemetria do trabalhador. Os revisores retornam vereditos estruturados (ACEITAR, REVISAR, REJEITAR), disparando um loop de autocorreção autônomo até que um veredito de aprovação seja alcançado.

Principais Contribuições

• Integração de Conhecimento Não Estruturado e Dados em Tempo Real: O CMIP-Forge é o primeiro sistema a acoplar um corpus RAG de larga escala e sensível a seções da literatura climática com análise de dados em nuvem e acesso a reanálise observacional.
• Enforcement Executável de Rigor Científico: Em vez de depender apenas de engenharia de prompt, o sistema implementa uma arquitetura de defesa em profundidade multicamadas usando análise estática AST, primitivos científicos auditados e telemetria de tempo de execução para impor invariantes geofísicos.
• Mecanismo de Revisão Adversária: O sistema introduz um loop de revisão por pares adversário onde agentes independentes auditam o output do trabalhador, criando um mecanismo de autocorreção para erros metodológicos.
• Proveniência Transparente: O sistema libera registros imutáveis de telemetria e proveniência para cada sessão, incluindo código, figuras e o histórico completo das interações agente-revisor, permitindo o diagnóstico de modos de falha do sistema.

Resultos
O sistema foi avaliado através de sete pipelines de pesquisa autônoma de ponta a ponta cobrindo teleconexões atmosféricas, dinâmica oceânica, extremos regionais e projeções de aquecimento global:

• AMOC e Blindagem Europeia: O agente sintetizou com sucesso literatura e dados para avaliar a hipótese de que o desaceleramento da AMOC amortece o aquecimento europeu, concluando que, embora uma impressão cinemática emerja, o efeito de blindagem é inconsistente entre os modelos e frequentemente sobreposto por mudanças na circulação atmosférica.
• Assimetria do ENSO: O sistema identificou um modo de falha em métricas padrão de RMSE para modelos não inicializados, mudando autonomamente para uma métrica de Distribuição de RMSE. Revelou que, embora alguns modelos capturem a amplitude do ENSO, eles falham em reproduzir a assimetria devido ao Viés da Língua Fria Equatorial.
• Correntes de Limite Ocidental: O agente analisou a atividade de redemoinhos (eddies) de mesoescala, destacando os limites da inferência de realização única em escalas decadais, onde a variabilidade interna mascara sinais forçados.
• Extremos Regionais: Nas projeções de aquecimento e precipitação no Mediterrâneo, o sistema quantificou a dispersão inter-modelos, demonstrando que as médias de conjunto podem ser enganosas quando a dispersão entre membros excede os gradientes sub-regionais.
• Projeções de GMST: O sistema operacionalizou o problema do "modelo quente" ao restringir o conjunto a modelos de Sensibilidade Climática de Equilíbrio (ECS) de baixa a média, produzindo datas de ultrapassagem do limiar do Acordo de Paris consistentes com as metodologias do AR6.

Crucialmente, os experimentos expuseram modos de falha concretos do próprio loop de revisão, incluindo "regressão sicofante" (onde o trabalhador modifica incorretamente códigos válidos baseando-se em críticas de revisores plausíveis, mas falsas), vereditos de REVISAR não resolvidos e a submissão de esqueletos de código (code stubs) que burlaram o processo de revisão. Essas falhas foram diagnosticadas via telemetria imutável do sistema.

Significância
O CMIP-Forge demonstra que um sistema de análise agêntica, quando fundamentado em literatura revisada por pares, restringido por salvaguardas de código automatizadas e auditado por um loop de revisão adversário independente, pode completar autonomamente fluxos de trabalho complexos de pesquisa climática. O sistema oferece um caminho das arquivísticas de conhecimento passivo para motores de raciocínio científico ativos e informados pela literatura, abordando a intratabilidade cognitiva da descoberta e análise manual de dados conforme a comunidade escala em direção ao CMIP7. No entanto, os autores notam modestamente que a atual arquitetura de revisão por pares carrega riscos epistêmicos significativos (como restrições alucinadas e sicofancia) que devem ser abordados antes que o sistema possa ser implantado para produção científica não supervisionada. O sistema serve como uma prova de conceito para um novo modo de investigação científica onde a síntese de conhecimento não estruturado e dados em tempo real é automatizada, transparente e rigorosamente auditada.