Eliciting associations between clinical variables from LLMs via comparison questions across populations

Riepilogo Tecnico: Elicitazione di Associazioni tra Variabili Cliniche da LLM tramite Domande di Confronto

Enunciato del Problema
I Large Language Models (LLM) sono addestrati su un'ampia letteratura biomedica che comprende popolazioni di pazienti diversificate, potenzialmente codificando complesse strutture di correlazione e causalità tra variabili cliniche. Tuttavia, interrogare direttamente gli LLM per relazioni statistiche specifiche (ad esempio, "Qual è la correlazione tra X e Y nella popolazione Z?") è irto di insidie. L'elicitazione diretta spesso produce risposte basate su un richiamo specifico piuttosto che su conoscenze aggregate, soffre di sycophancy (adattamento alle credenze percepite dell'utente), è sensibile all'ordine dei prompt e può generare output allucinati o razionalizzati a posteriori. Inoltre, gli LLM non possono essere trattati come agenti auto-riflessivi; devono essere considerati soggetti sperimentali le cui rappresentazioni interne sono inferite attraverso il comportamento. La sfida consiste nel recuperare strutture di associazione significative e potenziali collegamenti causali dagli LLM senza accesso alle loro attivazioni interne o pesi, tenendo conto delle variazioni specifiche della popolazione.

Metodologia
Gli autori propongono un framework che tratta l'LLM come un soggetto sperimentale, utilizzando domande di confronto strutturate per inferire correlazioni implicite e applicando la Predizione Causale Invariante (ICP) per identificare candidati causali robusti.

1. Domande di Confronto a Tripla:
   Invece di chiedere una correlazione numerica, il metodo interroga l'LLM con domande a tripla che coinvolgono tre pazienti artificiali (1, 2 e 3).

   • Configurazione: Per una coppia di variabili $X_j$ e $X_k$, i valori di $X_j$ sono specificati per tutti e tre i pazienti. Il valore di $X_k$ è specificato solo per il Paziente 3.
   • Compito: All'LLM viene chiesto se il Paziente 3 è più simile al Paziente 1 o al Paziente 2, tenendo conto del valore di $X_k$.
   • Meccanismo: Variando sistematicamente i valori di $X_k$ per il Paziente 3 mentre si mantengono costanti i pazienti di riferimento, il metodo osserva come si sposta l'"equilibrio" della decisione di similarità. Se $X_j$ e $X_k$ sono fortemente correlati nella rappresentazione dell'LLM, il valore di $X_k$ influenzerà significativamente la decisione.

2. Modello Decisionale Surrogato:
   Le risposte binarie (Paziente 1 vs. Paziente 2) sono modellate utilizzando un surrogato statistico. Gli autori assumono una rappresentazione "razionale" dell'LLM in cui il modello esegue una stima per varianza inversa per prevedere lo stato reale di un paziente basandosi su misurazioni rumorose e indizi indiretti.

   • La probabilità di scegliere il Paziente 2 è modellata come una funzione logistica della differenza tra lo stato stimato del Paziente 3 e un punto medio di riferimento.
   • I coefficienti logistici adattati ($\beta$) sono matematicamente correlati alla correlazione di popolazione sottostante ($\rho$).
   • Stimatore Simmetrico: Per eliminare termini di disturbo relativi alla scalatura delle variabili e alla ponderazione relativa degli indizi, il metodo inverte i ruoli di $X_j$ e $X_k$ in un secondo set di interrogazioni. La correlazione viene recuperata dal prodotto dei rapporti delle pendenze delle due interrogazioni direzionali, producendo una stima simmetrica $\hat{\rho}$.

3. Spostamenti di Ambiente Promptati e ICP:
   Per passare dalla correlazione all'inferenza causale, il metodo impiega la Predizione Causale Invariante (ICP).

   • Ambienti Sintetici: Gli autori creano diversi "ambienti" variando il testo del prompt per specificare diverse sottopopolazioni (ad esempio, diversi valori medi per variabili specifiche come la storia di fumo o l'esposizione all'inquinamento atmosferico).
   • Applicazione ICP: Le matrici di correlazione sono stimate per ogni ambiente promptato. L'ICP testa sottoinsiemi di predittori candidati per verificare se le loro pendenze di regressione su una variabile target rimangono invarianti attraverso questi ambienti. Le correlazioni spurie tendono a rompersi sotto spostamenti di distribuzione, mentre i veri legami causali rimangono stabili.
   • Filtraggio Conservativo: Una variabile viene mantenuta come candidato genitore solo se non può essere esclusa da alcun insieme invariante, garantendo un insieme conservativo di candidati causali.

Contributi Chiave

• Estrazione basata su Triplette: Un framework innovativo per recuperare correlazioni pairwise dai giudizi di similarità degli LLM senza richiedere l'accesso agli interni del modello (attivazioni o pesi).
• Ambienti Promptati per la Valutazione Causale: Un metodo per stimare correlazioni specifiche dell'ambiente manipolando le descrizioni delle sottopopolazioni nei prompt, consentendo l'applicazione dell'ICP ai dati derivati dagli LLM.
• Dimostrazione Clinica: Validazione in due distinti domini clinici: Malattia Polmonare Ostruttiva Cronica (COPD) e Sclerosi Multipla (MS).

Risultati
Il metodo è stato valutato utilizzando i modelli gpt-oss-120b e gpt-oss-20b di OpenAI su dataset COPD (marcatori della funzione polmonare) e MS (biomarcatori e scale cliniche).

• Adattamento del Modello e Stabilità: Il modello decisionale surrogato ha adattato bene le risposte binarie a tripla. Le superfici decisionali erano lisce e monotone, con confini decisionali coerenti con i segni di correlazione attesi (ad esempio, pendenze negative per coppie correlate positivamente).
• Plausibilità Clinica:
  • COPD: Le correlazioni estratte mostravano una struttura forte e coerente. Le variabili spirometriche (FEV1, FEV1/FVC) formavano un blocco compatto, e le relazioni fisiologiche note (ad esempio, associazione negativa tra FEV1/FVC e metriche di intrappolamento dell'aria) sono state recuperate.
  • MS: Le correlazioni erano generalmente più deboli rispetto alla COPD, probabilmente a causa di una letteratura più scarsa o eterogenea nei dati di addestramento. Tuttavia, coppie consolidate (ad esempio, T25FW e T2-LV) sono state recuperate.
• Confronto con Interrogazioni Dirette: Le stime basate su triplette erano significativamente meno rumorose e più stabili rispetto alle interrogazioni numeriche dirette. Le interrogazioni dirette producevano distribuzioni disperse (deviazioni standard 0,1–0,3) e erano meno sensibili agli spostamenti di ambiente, mentre le stime a tripla variavano in modo appropriato attraverso gli ambienti, un prerequisito per l'ICP.
• Inferenza Causale (ICP):
  • COPD: L'ICP ha identificato un piccolo insieme di genitori candidati conservativi: pack-years $\to$ DLCO, PM2.5 $\to$ TLC e BMI $\to$ R5-R20. Questi si allineano con la conoscenza clinica consolidata (ad esempio, il fumo che riduce la capacità di diffusione).
  • MS: L'ICP ha identificato il volume delle lesioni nere T1 come genitore di EDSS e sGFAP come genitore di 9HPT, coerente con le evidenze meta-analitiche sul carico lesionale e la disabilità.
• Robustezza: Le stime sono state stabili attraverso diverse scelte di valori di riferimento e hanno mostrato una struttura relativa coerente attraverso le dimensioni del modello (120b vs 20b), sebbene il modello più piccolo abbia prodotto magnitudini di correlazione assoluta leggermente inferiori.

Significato e Affermazioni
Il documento afferma che l'elicitazione indiretta tramite confronti a tripla offre una "via cauta" dalle correlazioni implicite negli LLM a affermazioni causali congruenti con i modelli di risposta del modello. Il significato risiede in:

1. Superamento delle Limitazioni delle Interrogazioni Dirette: Il metodo evita le allucinazioni e la sycophancy associate alle interrogazioni numeriche dirette affidandosi a giudizi di similarità relativa.
2. Sondaggio Comportamentale: Tratta gli LLM come soggetti sperimentali, inferendo la loro rappresentazione interna delle relazioni cliniche attraverso esperimenti comportamentali controllati piuttosto che assumere che possano auto-segnalare la verità.
3. Scoperta Causale senza Dati: Dimostra un percorso per eseguire la predizione causale invariante utilizzando solo ambienti "sintetici" ingegnerizzati tramite prompt, aggirando la necessità di molteplici dataset clinici a livello individuale che sono spesso difficili da ottenere.

Gli autori rimangono modesti, notando che il metodo recupera associazioni implicate dal modello piuttosto che verità cliniche empiriche. La traduzione dalle pendenze adattate alle correlazioni si basa su assunzioni relazionali specifiche, e lo studio è limitato a due domini e a un set specifico di modelli. Tuttavia, il framework fornisce uno strumento esplorativo vitale per sondare la struttura di associazione rappresentata all'interno degli LLM.