CMIP-Forge: An Agentic System that Retrieves, Computes, and Self-Reviews Climate Science

Sintesi Tecnica: CMIP-Forge

Definizione del Problema
Il Progetto di Intercomparazione dei Modelli Accoppiati Fase 6 (CMIP6) ha generato un corpo di conoscenze vasto e frammentato che comprende oltre 7.000 pubblicazioni open-access, insieme a massicci dataset archiviati nell'Earth System Grid Federation (ESGF). Mentre la comunità transita verso il CMIP7, è emerso un collo di bottiglia critico in termini di scalabilità: l'incapacità di sintetizzare efficientemente la letteratura scientifica non strutturata (configurazioni dei modelli, bias, procedure di valutazione) con l'analisi dei dati in tempo reale. Gli attuali agenti basati su Large Language Models (LLM) nella scienza del clima operano principalmente su dati strutturati, mancando di un accesso sistematico alla letteratura non strutturata che definisce come i dati debbano essere interpretati. I sistemi esistenti di generazione di codice a singolo agente sono soggetti a sottili errori fisici (ad esempio, l'interpretazione errata di variabili accumulate come flussi, l'ignorare la ponderazione dell'area) che possono corrompere silenziosamente le proiezioni. Gli attuali sistemi mancano di un meccanismo per ancorare l'analisi autonoma alla letteratura sottoposta a peer-review, garantendo al contempo l'osservanza degli invarianti fisici e metodologici.

Metodologia
CMIP-Forge è un sistema ibrido di Retrieval-Augmented Generation (RAG) e analisi autonoma progettato per colmare il divario tra la letteratura scientifica e gli archivi dei dati ESGF. L'architettura del sistema comprende quattro sottosistemi principali:

1. Corpus Letterario e Recupero: Il sistema utilizza un corpus curato di 6.581 pubblicazioni correlate al CMIP6 (101.828 chunk indicizzati). I documenti sono analizzati tramite il framework MinerU per preservare la struttura logica (intestazioni, tabelle, equazioni) e segmentati in chunk semanticamente coerenti. Il recupero impiega una strategia di ricerca ibrida in Qdrant, combinando embedding vettoriali densi (Google Gemini Embedding 2) con indicizzazione sparsa BM25 per gestire sia il contesto semantico che le corrispondenze esatte per identificatori specifici del CMIP6 (variabili, modelli, esperimenti). Un grafo di citazioni permette all'agente di attraversare le linee genealogiche metodologiche.
2. Accesso ai Dati e Risoluzione: L'agente include un risolutore di metadati che traduce query in linguaggio naturale in facet ESGF precise (variabili, sorgenti, esperimenti). Per affrontare il divario semantico nei metadati scarni dell'ESGF, il sistema utilizza un LLM per riscrivere le voci dei metadati in paragrafi ottimizzati per la ricerca prima dell'embedding. Il sistema integra inoltre l'accesso diretto ai dati di rianalisi Copernicus ERA5 tramite il Climate Data Store (CDS) per la validazione osservativa.
3. Pipeline di Analisi Agente-centrica: Il worker principale è un agente ReAct basato su LangGraph che pianifica analisi multi-step, invoca strumenti ed esegue codice Python in un ambiente sandbox. L'agente è vincolato da un'architettura "Defense-in-Depth" progettata per far rispettare gli invarianti fisici e metodologici:
   • Analisi Statica del Codice: Un linter AST (Abstract Syntax Tree) ispeziona i blocchi di codice prima dell'esecuzione, bloccando operazioni quali l'applicazione di kernel di elaborazione delle immagini (Sobel, Laplaciano) a griglie geofisiche, la generazione di dati sintetici per variabili nominate o il calcolo di medie spaziali non ponderate.
   • Primitive Auditate: La sandbox è pre-caricata con funzioni helper verificate (ad esempio, medie ponderate per l'area, gradienti consapevoli del raggio terrestre) per prevenire l'improvvisazione.
   • Telemetria Runtime: Le statistiche di esecuzione (min, media, max, dimensioni) vengono catturate automaticamente e iniettate nel contesto di revisione per fornire ancoraggi empirici contro le allucinazioni.
   • Protocollo di Defiance Empirica: L'agente è esplicitamente istruito a rifiutare le critiche dei revisori che contraddicono la telemetria osservata, contrastando la tendenza degli LLM a deferire a feedback sicuri ma errati.
4. Peer Review Avversaria Autonoma: Le pipeline analitiche sono sottoposte a un protocollo di revisione multi-agente asincrono. Agenti revisori indipendenti (estratti da diverse famiglie di modelli foundation, ad esempio Claude, GPT, Gemini) auditano la metodologia, il codice, le figure e la telemetria del worker. I revisori restituiscono verdetti strutturati (ACCEPT, REVISE, REJECT), innescando un ciclo di autocorrezione autonoma fino al raggiungimento di un verdetto favorevole.

Contributi Chiave

• Integrazione di Conoscenza Non Strutturata e Dati Live: CMIP-Forge è il primo sistema che accoppia un corpus RAG su larga scala e consapevole delle sezioni della letteratura climatica con l'analisi dei dati cloud-native e l'accesso alla rianalisi osservativa.
• Esecuzione del Rigore Scientifico: Piuttosto che affidarsi esclusivamente al prompt engineering, il sistema implementa un'architettura di difesa in profondità a più livelli utilizzando l'analisi statica AST, primitive scientifiche auditate e telemetria runtime per imporre gli invarianti geofisici.
• Meccanismo di Revisione Avversaria: Il sistema introduce un ciclo di peer-review avversario autonomo in cui agenti indipendenti auditano l'output del worker, creando un meccanismo di autocorrezione per gli errori metodologici.
• Provenienza Trasparente: Il sistema rilascia record immutabili di telemetria e provenienza per ogni sessione, inclusi codice, figure e la storia completa delle interazioni agente-revisore, consentendo la diagnosi dei modi di fallimento del sistema.

Risultati
Il sistema è stato valutato attraverso sette pipeline di ricerca end-to-end che coprono teleconnessioni atmosferiche, dinamica oceanica, estremi regionali e proiezioni del riscaldamento globale:

• AMOC e Schermatura Europea: L'agente ha sintetizzato con successo letteratura e dati per valutare l'ipotesi che il rallentamento dell'AMOC mitighi il riscaldamento europeo, riscontrando che, sebbene emerga un fingerprint cinematico, l'effetto di schermatura è inconsistente tra i modelli e spesso sovrastato dai cambiamenti della circolazione atmosferica.
• Asimmetria ENSO: Il sistema ha identificato un fallimento nei metodi RMSE standard per i modelli non inizializzati, passando autonomamente a una metrica Distribution RMSE. Ha rivelato che, mentre alcuni modelli catturano l'ampiezza di ENSO, falliscono nel riprodurre l'asimmetria a causa del bias della "Equatorial Cold Tongue".
• Correnti di Confine Occidentale: L'agente ha analizzato l'attività delle maree mesoscalari, evidenziando i limiti dell'inferenza a singola realizzazione su scale decennali, dove la variabilità interna maschera i segnali forzati.
• Estremi Regionali: Nelle proiezioni di riscaldamento e precipitazioni mediterranee, il sistema ha quantificato lo spread inter-modello, dimostrando che le medie dell'ensemble possono essere fuorvianti quando lo spread inter-membro supera i gradienti sub-regionali.
• Proiezioni GMST: Il sistema ha operazionalizzato il problema dei "modelli caldi" (hot models) limitando l'ensemble ai modelli con bassa-media sensibilità climatica all'equilibrio (ECS), producendo date di superamento delle soglie dell'Accordo di Parigi coerenti con le metodologie dell'AR6.

Crucialmente, gli esperimenti hanno esposto concreti modi di fallimento del ciclo di revisione, tra cui la "regressione sicofante" (dove il worker modifica erroneamente codice valido basandosi su critiche dei revisori plausibili ma false), i verdetti REVISE irrisolti e la presentazione di stub di codice che bypassano il processo di revisione. Tali fallimenti sono stati diagnosticati tramite la telemetria immutabile del sistema.

Significatività
CMIP-Forge dimostra che un sistema di analisi agente-centrico, quando ancorato alla letteratura peer-reviewed, vincolato da guardrail di codice automatizzati e auditato da un ciclo di revisione avversario indipendente, può completare autonomamente complessi workflow di ricerca climatica. Il sistema offre un percorso dai database di conoscenza passiva a motori di ragionamento scientifico attivi e informati dalla letteratura, affrontando l'intrattabilità cognitiva della scoperta e dell'analisi manuale dei dati mentre la comunità scala verso il CMIP7. Tuttavia, gli autori notano con modestia che l'attuale architettura di peer-review comporta rischi epistemici significativi (come vincoli allucinati e sicofantia) che devono essere affrontati prima che il sistema possa essere impiegato per la produzione scientifica non supervisionata. Il sistema funge da prova di concetto per un nuovo modo di indagine scientifica in cui la sintesi della conoscenza non strutturata e dei dati live è automatizzata, trasparente e rigorosamente auditata.