DeepImagine: Learning Biomedical Reasoning via Successive Counterfactual Imagining

Riassunto Tecnico: DeepImagine

1. Il Problema: Previsione degli Esiti dei Trial Clinici

Prevedere l'esito di un trial clinico prospettico è una sfida monumentale per i Large Language Models (LLM) e i modelli statistici tradizionali (come Random Forest o regressione logistica). Il problema risiede nel fatto che gli esiti sono determinati da un insieme complesso di fattori (dimensione del campione, fase del trial, geografia, dosaggio, ecc.) che interagiscono secondo leggi causali nascoste. I modelli attuali tendono a operare su base correlazionale (trovando pattern statistici), ma falliscono nel catturare i meccanismi causali che governano come un cambiamento in una singola variabile (es. un aumento del dosaggio) modifichi l'esito finale.

2. Metodologia: Successive Counterfactual Imagining

L'idea centrale di DeepImagine è che, invece di chiedere a un modello di prevedere direttamente l'esito di un nuovo trial, il modello dovrebbe "immaginare" una serie di trasformazioni controfattuali partendo da un trial storico di cui si conosce già l'esito.

Il framework si articola in diverse fasi:

• Successive Counterfactual Imagining (SCI): Il modello percorre un cammino di stati controfattuali $x(0), x(1), \dots, x(T)$. Ogni passaggio $x(t-1) \to x(t)$ modifica una sola variabile sperimentale alla volta. Il modello deve prevedere come l'esito $R$ cambia ad ogni passo. Questo trasforma un problema di previsione complesso in una serie di transizioni locali più semplici da apprendere.
• Apprendimento tramite Coppie Controfattuali:
  • Controfattuali Naturali (Supervised Fine-Tuning - SFT): Utilizzo di dati reali dove le variabili cambiano naturalmente, come studi di dose-ranging (stesso farmaco, dosaggi diversi) o trial con molteplici misure di esito (outcome measures) riportate nello stesso studio.
  • Controfattuali Approssimativi (Reinforcement Learning - RL): Per variabili dove non esistono dati reali identici (es. geografia o meccanismo d'azione), il framework utilizza un sistema di recupero (retrieval) per trovare trial altamente simili. Poiché l'esito intermedio è ignoto, si utilizza l'algoritmo GRPO (Group Relative Policy Optimization), premiando il modello solo sulla correttezza della previsione finale (terminal reward).
• Tracce di Ragionamento Sintetiche: Per migliorare la capacità di ragionamento, il training include tracce di ragionamento generate da modelli più potenti (GPT-5.4) che spiegano causalmente perché un cambiamento in $x$ porti a un cambiamento in $R$.

3. Contributi Chiave

1. Framework DeepImagine: Un approccio sistematico per insegnare il ragionamento causale biomedico agli LLM attraverso l'approssimazione di modelli strutturali causali (SCM).
2. Pipeline di Retrieval per Controfattuali: Un metodo basato su embedding (NV-Embed-v2) e grafi per identificare coppie di trial "quasi-controfattuali" che differiscono per un numero minimo di variabili.
3. Integrazione SFT + RL: Un metodo ibrido che combina la supervisione diretta (dove disponibile) con l'ottimizzazione tramite rinforzo (dove i dati sono latenti), ottimizzando la traiettoria di immaginazione.

4. Risultati Sperimentali

Il modello è stato addestrato su Qwen3.5-9B utilizzando tecniche LoRA. I test sono stati condotti su dataset di perturbazione di "misure di esito" (outcome measures) e "bracci di studio" (study arms).

• Performance: Il modello fine-tuned (Qwen-3.5-9B) ha superato significativamente il modello di riferimento o3-mini-2025-01-31.
  • Outcome Perturbation: L'accuratezza pesata è passata dal 64.71% (o3-mini) al 74.81% (DeepImagine).
  • Arm Perturbation: L'accuratezza pesata è passata dal 63.40% (o3-mini) al 74.72% (DeepImagine).
• Interpretabilità: Le tracce di ragionamento generate dal modello non sono solo accurate, ma forniscono segnali interpretabili che permettono di ricostruire modelli causali strutturati.

5. Significato e Implicazioni

DeepImagine segna un passaggio fondamentale dai modelli linguistici come "predittori statistici" a modelli come "agenti di ragionamento scientifico". Dimostrando che è possibile apprendere meccanismi causali latenti attraverso l'immaginazione controfattuale, il lavoro apre la strada a LLM biomedici più affidabili, capaci di supportare la ricerca clinica non solo prevedendo il futuro, ma spiegando il "perché" dei cambiamenti biologici e clinici.