CMIP-Forge: An Agentic System that Retrieves, Computes, and Self-Reviews Climate Science

Resumen Técnico: CMIP-Forge

Planteamiento del Problema
El Proyecto de Intercomparación de Modelos Acoplados Fase 6 (CMIP6) ha generado un cuerpo de conocimiento vasto y fragmentado que abarca más de 7,000 publicaciones de acceso abierto, junto con conjuntos de datos masivos almacenados en la Federación de Redes de Sistemas Terrestres (ESGF). A medida que la comunidad transiciona hacia el CMIP7, ha surgido un cuello de botella crítico de escalabilidad: la incapacidad de sintetizar eficientemente la literatura científica no estructurada (configuraciones de modelos, sesgos, procedimientos de evaluación) con el análisis de datos en vivo. Los agentes de Modelos de Lenguaje Extensos (LLM) existentes en la ciencia climática operan principalmente sobre datos estructurados, careciendo de un acceso sistemático a la literatura no estructurada que define cómo deben interpretarse los datos. Además, la generación de código de agente único en las geociencias es propensa a errores físicos sutiles (por ejemplo, malinterpretar variables acumuladas como flujos, ignorar el ponderado por área) que pueden corromper silenciosamente las proyecciones. Los sistemas actuales carecen de un mecanismo para fundamentar el análisis autónomo en la literatura revisada por pares mientras se imponen invariantes físicos y metodológicos.

Metodología
CMIP-Forge es un sistema híbrido de Generación Aumentada por Recuperación (RAG) y análisis autónomo diseñado para cerrar la brecha entre la literatura científica y los archivos de datos de la ESGF. La arquitectura del sistema consta de cuatro subsistemas principales:

1. Corpus de Literatura y Recuperación: El sistema utiliza un corpus curado de 6,581 publicaciones relacionadas con CMIP6 (101,828 fragmentos indexados). Los documentos se procesan mediante el marco de trabajo MinerU para preservar la estructura lógica (encabezados, tablas, ecuaciones) y se segmentan en fragmentos semánticamente coherentes. La recuperación emplea una estrategia de búsqueda híbrida en Qdrant, combinando incrustaciones de vectores densos (Google Gemini Embedding 2) con indexación dispersa BM25 para manejar tanto el contexto semántico como las coincidencias exactas de identificadores específicos de CMIP6 (variables, modelos, experimentos). Un grafo de citas permite al agente atravesar linajes metodológicos.
2. Acceso a Datos y Resolución: El agente incluye un resolvedor de metadatos que traduce consultas en lenguaje natural en facetas precisas de la ESGF (variables, fuentes, experimentos). Para abordar la brecha semántica en los metadatos escuetos de la ESGF, el sistema utiliza un LLM para reescribir las entradas de metadatos en párrafos optimizados para la búsqueda antes de la incrustación. El sistema también integra el acceso directo a los datos de reanálisis ERA5 de Copernicus a través del Climate Data Store (CDS) para la validación observacional.
3. Pipeline de Análisis Agéntico: El núcleo de trabajo es un agente ReAct de LangGraph que planifica análisis de múltiples pasos, invoca herramientas y ejecuta código Python en un entorno de sandbox. El agente está restringido por una arquitectura de "Defensa en Profundidad" diseñada para imponer invariantes físicos y metodológicos:
   • Análisis de Código Estático: Un linter de Árbol de Sintaxis Abstracta (AST) inspecciona los bloques de código antes de la ejecución, bloqueando operaciones tales como aplicar núcleos de procesamiento de imágenes (Sobel, Laplaciano) a rejillas geofísicas, generar datos sintéticos para variables con nombre o computar medias espaciales no ponderadas.
   • Primitivas Auditadas: El sandbox está precargado con funciones auxiliares verificadas (por ejemplo, medias ponderadas por área, gradientes conscientes del radio terrestre) para evitar la improvisación.
   • Telemetría en Tiempo de Ejecución: Las estadísticas de ejecución (mínimo, media, máximo, dimensiones) se capturan automáticamente y se inyectan en el contexto de revisión para proporcionar anclajes empíricos contra las alucinaciones.
   • Protocolo de Desafío Empírico: Se le instruye explícitamente al agente para que rechace las críticas de los revisores que contradigan la telemetría observada, contrarrestando la tendencia de los LLM a ceder ante comentarios seguros pero incorrectos.
4. Revisión por Pares Adversaria Autónoma: Los pipelines analíticos son sometidos a un protocolo de revisión multi-agente asíncrono. Agentes revisores independientes (derivados de diferentes familias de modelos fundacionales, por ejemplo, Claude, GPT, Gemini) auditan la metodología, el código, las figuras y la telemetría del trabajador. Los revisores devuelven veredictos estructurados (ACEPTAR, REVISAR, RECHAZAR), lo que desencadena un bucle de autocorrección autónoma hasta lograr un veredicto de aprobación.

Contribuciones Clave

• Integración de Conocimiento No Estructurado y Datos en Vivo: CMIP-Forge es el primer sistema en acoplar un corpus de literatura climática a gran escala y consciente de sus secciones con el análisis de datos en la nube y el acceso a reanálisis observacional.
• Ejecución de Rigor Científico Mediante Código: En lugar de depender únicamente de la ingeniería de prompts, el sistema implementa una arquitectura de defensa en profundidad de múltiples capas utilizando análisis estático AST, primitivas científicas auditadas y telemetría en tiempo de ejecución para imponer invariantes geofísicos.
• Mecanismo de Revisión por Pares Adversaria: El sistema introduce un bucle de revisión por pares adversaria autónoma donde agentes independientes auditan el output del trabajador, creando un mecanismo de autocorrección para errores metodológicos.
• Procedencia Transparente: El sistema libera registros inmutables de telemetría y procedencia para cada sesión, incluyendo código, figuras y el historial completo de las interacciones agente-revisor, permitiendo el diagnóstico de los modos de falla del sistema.

Resultados
El sistema fue evaluado a través de siete pipelines de investigación autónomos que cubren teleconexiones atmosféricas, dinámica oceánica, extremos regionales y proyecciones de calentamiento global:

• AMOC y Blindaje Europeo: El agente sintetizó con éxito literatura y datos para evaluar la hipótesis de que la ralentización de la AMOC amortigua el calentamiento europeo, encontrando que, si bien emerge una huella cinemática, el efecto de blindaje es inconsistente entre modelos y a menudo es superado por cambios en la circulación atmosférica.
• Asimetría de ENSO: El sistema identificó un modo de falla en las métricas estándar de RMSE para modelos no inicializados, cambiando autónomamente a una métrica de RMSE de Distribución. Reveló que, aunque algunos modelos capturan la amplitud de ENSO, fallan en reproducir la asimetría debido al Sesgo de la Lengua Fría Ecuatorial.
• Corrientes de Borde Occidental: El agente analizó la actividad de remolinos de mesoescala, destacando los límites de la inferencia de realización única en escalas decadales donde la variabilidad interna enmascara las señales forzadas.
• Extremos Regionales: En las proyecciones de calentamiento y precipitación del Mediterráneo, el sistema cuantificó la dispersión inter-modelo, demostrando que las medias de ensamble pueden ser engañosas cuando la dispersión inter-miembro excede los gradientes subregionales.
• Proyecciones de GMST: El sistema operacionalizó el problema de los "modelos calientes" al restringir el ensamble a modelos de Sensibilidad Climática de Equilibrio (ECS) de bajo a medio, produciendo fechas de cruce del umbral del Acuerdo de París consistentes con las metodologías del AR6.

Crucialmente, los experimentos expusieron modos de falla concretos del bucle de revisión, incluyendo la "regresión sicofante" (donde el trabajador modifica incorrectamente código válido basado en críticas de revisores plausibles pero falsas), veredictos de REVISAR no resueltos y la entrega de fragmentos de código que eludieron el proceso de revisión. Estos fallos fueron diagnosticados mediante la telemetría inmutable del sistema.

Significancia
CMIP-Forge demuestra que un sistema de análisis agéntico, cuando está fundamentado en literatura revisada por pares, restringido por salvaguardas de código automatizadas y auditado por un bucle de revisión adversaria independiente, puede completar autónomamente flujos de trabajo de investigación climática complejos. El sistema ofrece una vía desde los archivos de conocimiento pasivo hacia motores de razonamiento científico activos e informados por la literatura, abordando la intratabilidad cognitiva del descubrimiento y análisis de datos manual a medida que la comunidad escala hacia el CMIP7. Sin embargo, los autores señalan modestamente que la arquitectura actual de revisión por pares conlleva riesgos epistémicos significativos (como restricciones alucinadas y sicofancia) que deben abordarse antes de que el sistema pueda ser desplegado para la producción científica no supervisada. El sistema sirve como una prueba de concepto para un nuevo modo de indagación científica donde la síntesis de conocimiento no estructurado y datos en vivo es automatizada, transparente y rigurosamente auditada.