Benchmarking LLMs for Pairwise Causal Discovery in Biomedical and Multi-Domain Contexts

1. Il Problema

L'articolo affronta la sfida critica di implementare in sicurezza i Large Language Models (LLM) in settori ad alto rischio come la biomedicina. Per essere strumenti affidabili, gli LLM devono andare oltre il semplice riconoscimento di pattern e dimostrare una capacità di ragionamento causale genuina.
Il problema specifico studiato è la Scoperta Causale Pairwise (PCD): l'abilità di un modello di identificare, da testo non strutturato, se esiste una relazione causa-effetto tra due entità e di estrarre le frasi esatte che rappresentano causa ed effetto.
Le difficoltà principali risiedono nella natura sfumata del linguaggio:

• Causalità implicita: Relazioni senza marcatori lessicali espliciti (es. "causa", "dovuto a").
• Complessità testuale: Relazioni che si estendono su più frasi (inter-sentenziali) o che coinvolgono più coppie causa-effetto nella stessa frase.
• Rumore: Distinzione tra correlazione, affermazioni ipotetiche e fatti causali reali.

2. Metodologia

Gli autori hanno sviluppato un benchmark rigoroso e unificato per valutare 13 LLM open-source su 12 dataset diversi (biomedicina, finanza, scienze sociali, notizie).

A. Design Sperimentale

L'indagine è stata strutturata in due fasi principali e 12 compiti sperimentali distinti, basati su tre assi di difficoltà:

1. Presenza del Marcatore (M): Esplicito (con indicatori lessicali) vs. Implicito (senza indicatori).
2. Ambito Testuale (B): Intra-sentenziale (entro una frase) vs. Inter-sentenziale (tra più frasi).
3. Cardinalità (r): Singola coppia vs. Multiple coppie.

I compiti sono stati divisi in:

• Rilevamento (Detection): Determinare se una relazione causale esiste (Classificazione binaria).
• Estrazione (Extraction): Identificare e estrarre le span esatte di causa ed effetto.

B. Protocollo di Annotazione

Per garantire la qualità dei dati ("Golden Dataset"), è stato utilizzato un protocollo di annotazione rigoroso con 8 annotatori umani:

• Criteri: Solo affermazioni fattuali (niente ipotesi o citazioni di "scienziati che credono"), span univoche, granularità minima (escludendo i marcatori causali dalle span stesse) e scomposizione delle relazioni multiple.
• Affidabilità: Solo gli esempi con accordo del 100% sono stati mantenuti. L'accordo inter-annotatore (Cohen's κ) è stato elevato ($\kappa \ge 0.758$).

C. Modelli e Strategie di Prompting

• Modelli: 13 modelli open-source di diverse dimensioni (da 3B a 70B) e architetture (Dense, MoE, modelli di ragionamento come DeepSeek-R1, modelli di codice come Qwen-Coder).
• Strategie di Prompting:
  • Zero-shot: Istruzioni dirette.
  • Few-shot In-Context Learning (FICL): Esempi nel prompt.
  • Chain-of-Thought (CoT): Richiesta di ragionamento passo-passo.
  • Ibrido (CoT+FICL): Combinazione di esempi e ragionamento.
  • Tecniche avanzate: Least-to-Most (LtM) e ReAct per compiti di estrazione complessi.

3. Risultati Chiave

I risultati evidenziano carenze significative negli attuali modelli LLM rispetto al ragionamento causale umano.

• Prestazioni Generali Basse: Nessun modello ha superato il 50% di accuratezza media complessiva.
  • Il miglior modello per il rilevamento è DeepSeek-R1-Distill-Llama-70B con un punteggio medio ($C_{detect}$) del 49.57%.
  • Il miglior modello per l'estrazione è Qwen2.5-Coder-32B-Instruct con un punteggio medio ($C_{extract}$) del 47.12%.
• Dipendenza dai Marcatori: I modelli performano bene su relazioni esplicite e intra-sentenziali, ma le prestazioni crollano drasticamente (spesso sotto il 10-20%) su relazioni implicithe e inter-sentenziali.
• Divergenza tra Rilevamento ed Estrazione: I modelli specializzati nel ragionamento (es. DeepSeek) eccellono nel rilevamento binario ma falliscono nell'estrazione precisa delle span, spesso a causa di vincoli di token o di generazione di risposte incomplete. Al contrario, modelli come Qwen mostrano un migliore equilibrio.
• Impatto del Domain: I modelli faticano particolarmente sui testi biomedici complessi, dove le relazioni causali sono spesso implicite e distribuite su più frasi (es. cartelle cliniche).
• Confronto Umano: Gli annotatori umani hanno raggiunto un tasso di veri positivi del 95%, evidenziando un divario enorme rispetto agli LLM (30-40%).

4. Contributi Principali

1. Benchmark Unificato: La prima valutazione sistematica e comparativa di LLM open-source su compiti di PCD attraverso domini multipli (sanità, finanza, ecc.) e livelli di difficoltà variabili.
2. Dataset Validato: Creazione di un dataset di riferimento con alto accordo inter-annotatore, specifico per testare la capacità di distinguere causalità da correlazione e affermazioni ipotetiche.
3. Analisi delle Limitazioni: Dimostrazione empirica che le attuali capacità di ragionamento degli LLM sono fragili in scenari realistici (implicito, multi-frase), rendendoli attualmente non sicuri per l'uso autonomo in decisioni cliniche critiche.
4. Risorsa Open Source: Pubblicazione completa di dati, codice e prompt per favorire la ricerca futura.

5. Significato e Implicazioni

Lo studio ha implicazioni profonde per l'adozione degli LLM in ambito sanitario:

• Sicurezza Clinica: L'incapacità di gestire relazioni causali implicite e complesse rende gli LLM attuali inaffidabili per compiti come l'estrazione di eventi avversi da farmaci o la revisione sistematica della letteratura medica senza supervisione umana.
• Direzione Futura: Per colmare il divario, è necessario un fine-tuning specifico su corpora causali di dominio (es. EHR, abstract biomedici) e l'integrazione di grafi della conoscenza medica.
• Flussi di Lavoro Ibridi: Il paper suggerisce che l'uso più promettente immediato è in flussi di lavoro ibridi (Human-in-the-loop), dove l'LLM accelera la ricerca ma un esperto umano valida le relazioni causali estratte.

In sintesi, il paper funge da "reality check" per la comunità AI, dimostrando che, sebbene gli LLM siano potenti strumenti linguistici, la loro capacità di ragionamento causale strutturato è ancora lontana dall'essere pronta per applicazioni ad alto rischio in medicina.