Riepilogo Tecnico: CauTion – Sapere Quando Fidarsi degli LLM per la Scoperta Causale di Ensemble

1. Definizione del Problema

La scoperta causale da dati osservazionali affronta limitazioni fondamentali quando si fa affidamento esclusivamente su metodi statistici. Gli approoli basati sui vincoli (es. PC, FCI) sono sensibili alle dimensioni del campione finito e possono recuperare solo una Classe di Equivalenza di Markov (MEC), lasciando molte direzioni degli archi irrisolte. I metodi basati sul punteggio e di ottimizzazione continua (es. GES, NOTEARS) soffrono spesso di ottimi locali, sensibilità agli iperparametri e assunzioni distribuzionali che potrebbero non sussistere nella pratica.

Per colmare queste lacune, sono stati introdotti i Large Language Models (LLM) per fornire conoscenza di dominio e prior semantici. Tuttavia, i metodi esistenti aumentati dagli LLM soffrono di tre criticità fondamentali:

1. Costi dei Token Elevati ed Esposizione agli Errori: I metodi globali interrogano gli LLM su tutte le $O(n^2)$ coppie di variabili, portando a costi proibitivi ed esponendo l'intero grafo al rischio di allucinazioni dell'LLM.
2. Amplificazione dell'Errore: I metodi che considerano solo archi non orientati (es. LLM-MEC) limitano le query agli archi irrisolti ma soffrono di accumulo di errori; un singolo errore dell'LLM può innescare una cascata di orientamenti errati tramite le regole di Meek.
3. Bias Algoritmico e Affidabilità Non Verificata: La maggior parte dei metodi si basa su un singolo algoritmo centrato sui dati, rendendo i risultati vulnerabili a specifici bias algoritmici. Inoltre, spesso incorporano la conoscenza dell'LLM senza verificarne l'affidabilità rispetto al dataset specifico, trattando l'LLM come un oracolo infallibile.

2. Metodologia: Il Framework CauTion

Gli autori propongono CauTion, un framework che integra la conoscenza di dominio degli LLM in un ensemble di algoritmi di scoperta causale statistica attraverso il filtraggio del consenso e l'arbitrato calibrato sulla fiducia. La pipeline opera in tre fasi distinte:

Fase 1: Ensemble di Algoritmi e Filtraggio del Consenso

Il framework aggrega gli output di molteplici algoritmi di scoperta causale (specificamente PC, GES e CAMML negli esperimenti). Per ogni coppia di variabili, i voti vengono accumulati per classificare gli archi in due set:

• Set di Consenso ($\mathcal{C}$): Coppie in cui tutti gli algoritmi concordano (es. tutti votano per $A \to B$ o tutti votano per nessun arco). Questi archi vengono risolti direttamente senza l'intervento dell'LLM. Sul dataset Win95pts ($n=76$), questo passaggio risolve circa il 96,6% degli archi con un'accuratezza del 99,6%, fungendo da pseudo-ground truth ad alta confidenza.
• Set Disputato ($\mathcal{D}$): Coppie in cui gli algoritmi sono in disaccordo o incerti. Questi vengono passati alla fase di arbitrato.

Fase 2: Arbitrato Calibrato sulla Fiducia

Questa fase determina quando fidarsi dell'LLM stimando l'affidabilità relativa dell'LLM e dell'ensemble di algoritmi senza annotazioni esterne.

• Stima della Affidabilità:
  • Calibrazione dell'LLM: L'LLM viene interrogato su un campione stratificato del Set di Consenso (che funge da proxy per le etichette) per stimare la sua accuratezza nei compiti di esistenza e direzione degli archi.
  • Calibrazione dell'Algoritmo: Viene eseguita una valutazione Leave-One-Out (LOO) in cui la previsione di ciascun algoritmo viene confrontata con il voto di maggioranza degli altri algoritmi per stimarne l'accuratezza.
• Calcolo del Peso della Fiducia: In base alle accuratezze calibrate, vengono calcolati i pesi di fiducia ($\alpha_{exist}$ e $\alpha_{dir}$). Questi pesi quantificano l'affidabilità relativa dell'LLM rispetto all'ensemble di algoritmi. Se entrambi i soggetti operano vicino ai livelli del caso, il sistema scende a un peso uguale.
• Votazione Calibrata: Per gli archi nel Set Disputato:
  • Il sistema controlla prima se il margine di voto dell'ensemble di algoritmi supera una soglia derivata dai pesi di fiducia. Se gli algoritmi sono sicuri, l'LLM viene saltato.
  • Se il margine dell'algoritmo è basso, l'LLM viene interrogato. La decisione finale è un'aggregazione pesata sulla fiducia tra il voto dell'algoritmo e la risposta dell'LLM.
  • Le query sulla direzione utilizzano una tecnica di doppio framing (interrogando $A \to B$ e $B \to A$) per mitigare il bias di posizione, mantenendo solo le risposte coerenti.

Fase 3: Riparazione dei Cicli

Il processo di votazione produce un grafo diretto che può contenere cicli. Un passaggio di riparazione dei cicli assicura che l'output finale sia un Grafo Aciclico Diretto (DAG) valido.

• I cicli vengono rilevati e gli archi all'interno di essi vengono valutati in base al loro margine di incertezza algoritmica.
• Gli archi incerti vengono presentati all'LLM insieme al percorso del ciclo e alle interpretazioni delle variabili. All'LLM viene chiesto di Invertire (Flip) la direzione dell'arco o di Rimuovere (Remove) l'arco.
• Se l'LLM non riesce a risolvere il ciclo o non rimangono azioni possibili, gli archi con la più bassa probabilità di esistenza vengono rimossi iterativamente finché il grafo non diventa aciclico.

3. Contributi Chiave

Il documento delinea tre contributi primari:

1. Concettuale: Inquadra la scoperta causale aumentata da LLM come un problema di arbitrato calibrato sulla fiducia. Questa prospettiva tratta gli LLM e gli algoritmi statistici come fonti di evidenza complementari ma imperfette, sottolineando che la conoscenza dell'LLM dovrebbe essere integrata solo dopo che la sua affidabilità è stata calibrata rispetto a un ensemble di metodi statistici.
2. Metodologico: La proposta di CauTion, un framework che combina il consenso tra algoritmi, l'arbitrato consapevole dell'affidabilità e la riparazione dei cicli che preserva il DAG. Esso restringe unicamente le query all'LLM agli archi disputati e riduce il peso dell'influenza dell'LLM quando la sua accuratezza di dominio stimata è bassa.
3. Empirico: Dimostrazione che CauTion supera costantemente sia i baseline centrati sui dati che quelli aumentati da LLM su sei benchmark. I guadagni di prestazione si dimostrano scalabili con la dimensione del grafo e il metodo mostra una forte robustezza rispetto alle variazioni nella selezione del backend dell'LLM.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su sei dataset dal repository bnlearn (Cancer, Insurance, Water, Alarm, Barley, Win95pts) con conteggi di variabili da 5 a 76.

• Prestazioni: CauTion ha ottenuto la minima Distanza di Hamming Strutturale (SHD) e i punteggi F1 più elevati in tutti i dataset. Sul dataset più grande, Win95pts ($n=76$), CauTion ha ottenuto un SHD di 27, superando significativamente il secondo miglior baseline aumentato da LLM (SCP) che aveva un SHD di 63.
• Scalabilità: Il divario di prestazioni tra CauTion e i baseline si è ampliato all'aumentare della scala del grafo, validando il design del framework per la gestione di strutture più grandi e complesse.
• Robustezza: CauTion ha dimostrato una stabilità superiore attraverso sei diversi backend di LLM (da modelli deboli come Llama-3.1-8B a modelli forti come Claude-Sonnet-4.6). Al contrario, i metodi completamente guidati da LLM (es. LLM-BFS, CORR-LLM) hanno mostrato un grave degrado delle prestazioni e un'alta varianza quando venivano utilizzati modelli più deboli.
• Efficienza: Filtrando oltre il 90% degli archi tramite il consenso, CauTion ha ridotto drasticamente l'uso dei token rispetto ai metodi globali di LLM. Per Win95pts, CauTion ha utilizzato circa 26k token, mentre i metodi globali come SCP hanno utilizzato oltre 3 milioni di token.

5. Significato e Rivendicazioni

Il documento afferma che CauTion affronta il compromesso fondamentale tra l'elevata esposizione all'errore dei metodi globali basati su LLM e il bias dei metodi statistici a singolo algoritmo. Introducendo un meccanismo di calibrazione della fiducia, il framework assicura che la conoscenza di dominio dell'LLM venga sfruttata solo quando l'evidenza statistica è insufficiente e quando l'LLM è empiricamente calibrato per essere affidabile per il compito specifico.

Gli autori dichiarano che questo lavoro fa avanzare la metodologia della scoperta causale, offrendo una via verso un recupero della struttura più affidabile in domini come la medicina, l'epidemiologia e l'economia. Riconoscono le limitazioni, notando che l'ensemble attuale utilizza un set fisso di tre algoritmi e che gli esperimenti sono stati condotti su benchmark a variabili discrete, lasciando la validazione della generalizzazione a dati continui o di tipo misto per il futuro.