Riepilogo Tecnico: CausalDS – Benchmarking del Ragionamento Causale negli Agenti di Data Science

1. Definizione del Problema

Gli attuali benchmark per i Large Language Models (LLM) nella data science e nel ragionamento causale soffrono di una frammentazione che non riesce a catturare la complessità dell'analisi causale del mondo reale. Le valutazioni esistenti tipicamente isolano capacità specifiche:

• I benchmark di data science (es. DS-1000, MLE-bench) enfatizzano la codifica, l'uso di strumenti e l'analisi aperta, ma mancano di una struttura generatrice di dati causali nascosta e principesca.
• I benchmark di ragionamento causale (es. CLadder, CausalGraph2LLM) testano il ragionamento su grafi simbolici, l'intervento e la logica controfattuale, ma operano spesso su livelli puramente simbolici o utilizzano esempi curati dalla letteratura esistente.

Questa separazione crea un divario in cui i modelli possono fare affidamento sull' "inferenza causale ammortizzata" (memorizzazione di pattern da dataset esistenti) piuttosto che su un genuino ragionamento sensibile alla struttura, un modo di fallimento definito "causal parrot" (pappagallo causale). Inoltre, una data science causale realistica richiede che un agente non solo risponda a domande causali, ma sappia anche interpretare descrizioni di dominio, ispezionare dati osservazionali, determinare l'identificabilità, stimare quantità, quantificare l'incertezza e riconoscere quando una domanda è non rispondibile (astensione). Nessun benchmark esistente valuta congiuntamente il ragionamento simbolico, l'esecuzione di data science, la quantificazione dell'incertezza, l'astensione epistemica e l'uso di strumenti all'interno di un unico framework sintetico ma realistico.

2. Metodologia: Il Framework CausalDS

CausalDS affronta questo divario generando scene di data science causale sintetiche che fungono da unità di benchmark. Ogni scena consiste in un Modello Causale Strutturale (SCM) nascosto, una storia in linguaggio naturale, dati osservazionali tabulari e una suite di task che spaziano attraverso la gerarchia a tre livelli di Pearl.

2.1 Pipeline di Generazione delle Scene

Il processo di generazione segue una pipeline rigorosa per garantire che la verità fondamentale (ground truth) sia nota pur mantenendo la coerenza narrativa:

1. Campionamento dei Grafi: I Grafi Aciclici Diretti (DAG) sono campionati da motivi canonici (catene, fork, collider, ecc.) e possono essere espansi tramite "grafting basato su ancora", dove motivi ausiliari vengono attaccati attraverso nodi condivisi per aumentare la complessità preservando il flusso narrativo.
2. Istanziazione dell'SCM: Ogni grafo viene istanziato con un Modello Causale Strutturale utilizzando profili di meccanismo tipizzati (continui e booleani) tratti da registri che mescolano regole biochimiche/booleane empiriche con regimi sintetici.
3. Livello di Osservazione: Una scelta progettuale critica distingue l'SCM concettuale dai dati rilasciati all'agente. Le variabili concettuali possono essere sostituite da bundle di misurazioni rumorose (proxy). Questo livello aumenta la difficoltà dell'analisi dei dati senza alterare lo stato di identificabilità causale sottostante.
4. Verbalizzazione: I nodi astratti vengono mappati su nomi di variabili rilevanti per il dominio (opzionalmente seminati da CauseNet) e verificati da un auditor per garantire che la storia in linguaggio naturale generata rifletta fedelmente il grafo nascosto senza introdurre "archi accidentali".
5. Derivazione dei Task: Da ogni scena, i task vengono derivati attraverso il Rango 1 (associazione/predizione), il Rango 2 (intervento/identificazione/stima) e il Rango 3 (controfattuale/mediazione).

2.2 Harness di Valutazione

Gli agenti interagiscono con un ambiente sandbox (utilizzando mini-swe-agent) dove devono:

• Leggere i file forniti (storie, schemi dei dati, dati osservazionali).
• Eseguire codice (Python/bash) per eseguire l'analisi.
• Scrivere file di risposta in un formato specifico.
• Gestire osservazioni imperfette e decidere se astenersi quando un target è non identificabile.

2.3 Punteggio e Metriche

La valutazione è completamente deterministica e assegna punteggi su cinque assi distinti:

• Ragionamento Causale Simbolico: Recupero del grafo e logica di identificazione.
• Esecuzione di Data Science: Accuratezza delle stime e delle predizioni.
• Quantificazione dell'Incertezza: Calibrazione degli intervalli di confidenza.
• Astensione Epistemica: Identificazione corretta di query non identificabili e rifiuto di rispondere.
• Uso di Strumenti/Efficienza: Utilizzo di token e conteggio delle chiamate agli strumenti.

Un punteggio composito (CausalDSScore) aggrega le prestazioni, penalizzando sia gli errori di contenuto che i fallimenti nell'astensione su task non identificabili.

3. Contributi Chiave

• Scene Sintetiche Fondate su SCM: Il primo benchmark che genera SCM nascosti, sintetizza dati osservazionali e calcola la verità fondamentale privata per la valutazione, ancorando al contempo gli assi di composizione (tipi di variabili, strutture di grafo) a distribuzioni empiriche da dataset reali per garantire il realismo.
• Verbalizzazione Libera e Fedele al Grafo: Una pipeline che mappa i nodi astratti del grafo su variabili di dominio coerenti e genera storie in linguaggio naturale, auditate per garantire che la narrazione non si discosti dalla struttura causale sottostante.
• Livello di Osservazione Separato: Un meccanismo per variare la difficoltà della data science (tramite proxy rumorosi) indipendentemente dall'identificabilità causale, permettendo di testare le capacità di stima senza cambiare la domanda causale.
• Suite di Task Ampia: Un insieme completo di task che copre tutti i tre righi della gerarchia di Pearl, inclusi predizione, associazione, recupero del grafo, identificazione, stima dell'effetto, diagnostica del bias e ragionamento controfattuale.
• Valutazione Deterministica Consapevole dell'Astensione: Un sistema di punteggio che tratta l'astensione su estimandi non identificabili come un esito di prima classe, impedendo ai modelli di essere premiati per l'allucinazione di risposte a domande impossibili da rispondere.

4. Risultati Sperimentali

Gli autori hanno valutato sei modelli (tre modelli chiusi di frontiera: Claude Opus 4.8, Gemini 3.1 Pro, GPT-5.5; e tre modelli a pesi aperti: Qwen 3.6 35B, Kimi K2.6, Gemma 4 26B) su un esame di composizione realistica di 100 scene.

• Dissociazione delle Prestazioni: I cinque assi di valutazione non collassano in un'unica capacità. I modelli differiscono significamente in correttezza del contenuto, quantificazione dell'incertezza, riconoscimento dell'astensione e l'efficienza dell'uso degli strumenti.
• Leaderboard: Claude Opus 4.8 ha ottenuto il miglior CausalDSScore complessivo (0.278), guidando nel tasso di superamento, nell'errore normalizzato e nel rapporto segnale-rumore (SNR). È stato l'unico modello a raggiungere una correttezza del contenuto perfetta (100%) nei task binari mantenendo forti prestazioni di astensione.
• L'Astensione come Differenziatore: La capacità di riconoscere query non identificabili è stata un importante elemento di distinzione. I modelli di frontiera (specialmente GPT-5.5 e Claude) hanno mostrato tassi di superamento dell'astensione significativamente più alti (fino al 75%) rispetto ai modelli a pesi aperti (fino al 18.8% per Gemma 4 26B).
• Quantificazione dell'Incertezza: Tutti i modelli hanno mostrato eccessiva sicurezza (overconfidence). La copertura empirica degli intervalli ATE nominali al 95% è crollata tra il 20.0% e il 71.4%, con Claude Opus 4.8 che ha performato meglio (71.4%).
• Uso di Strumenti ed Efficienza: I modelli di frontiera (Claude, GPT-5.5) hanno utilizzato una strategia "quasi one-shot" con meno chiamate agli strumenti (2.1–3.4 per task) e un minor uso di token, mentre i modelli a pesi aperti hanno iterato pesantemente (11–18 chiamate/task) e consumato significativamente più token.
• Durezza dell'Osservazione: Sotto le varianti di osservazione più difficili (proxy rumorosi), le prestazioni sono degradate, particolarmente per i modelli a pesi aperti. GPT-5.5 ha mostrato il calo maggiore nella calibrazione della stima continua (errore normalizzato medio salito a 3.10), mentre Claude Opus 4.8 ha mantenuto un errore controllato.

5. Significato e Rivendicazioni

Il paper sostiene che CausalDS fornisce un'evoluzione necessaria nel benchmarking integrando il ragionamento simbolico, la stima quantitativa e l'uso agentico degli strumenti in un unico setting realistico. Il principale reperto empirico è che la competenza nella data science causale si decompone: i modelli possono padroneggiare le parti (leggere la struttura, produrre stime) ma fallire sul tutto (sapere la qualità della stima o se una risposta è autorizzata).

Gli autori affermano che un agente competente nella data science causale deve superare tutti e cinque gli assi simultaneamente. Il benchmark espone che i modelli di frontiera attuali si stanno avvicinando a questa capacità, con Claude Opus 4.8 che emerge come l'agente più vicino a un "agente di data science causale completo", mentre i modelli a pesi aperti e quelli più piccoli faticano significativamente sugli assi epistemici (astensione e incertezza) e sull'efficienza dell'uso degli strumenti. Il lavoro evidenzia che "sapere quando astenersi" è una competenza distinta e avanzata che distingue gli agenti robusti da quelli inclini all'allucinazione.