InsightFlow: LLM-Driven Synthesis of Patient Narratives for Mental Health into Causal Models

1. Il Problema

La formulazione del caso clinico in ambito di salute mentale è un processo sistematico fondamentale per comprendere i problemi di un paziente, strutturando sintomi, storia e fattori psicosociali in un modello causale. I clinici utilizzano spesso il framework "5P" (Problemi Presentanti, Fattori Predisponenti, Fattori Scatenanti, Fattori Perpetuanti e Fattori Protettivi) per creare grafici causali che visualizzano le relazioni tra questi elementi.

Tuttavia, la creazione manuale di questi grafici a partire dalle trascrizioni delle sessioni terapeutiche presenta diverse criticità:

• Tempo e risorse: È un processo estremamente laborioso.
• Soggettività: Esiste una bassa accordo inter-valutatore (spesso con un kappa di Cohen tra 0,33 e 0,45), poiché diversi esperti possono identificare fattori diversi o collegamenti causali differenti per lo stesso caso.
• Mancanza di standardizzazione: La variabilità umana rende difficile l'analisi su larga scala o il monitoraggio sistematico del progresso terapeutico.

L'obiettivo del paper è automatizzare questo processo utilizzando i Large Language Models (LLM) per generare grafici causali allineati al framework 5P, riducendo il carico cognitivo sui terapeuti e fornendo uno strumento di supporto decisionale.

2. Metodologia

Gli autori hanno sviluppato InsightFlow, un sistema end-to-end basato su LLM. Lo studio ha seguito un approccio misto (computazionale e valutazione umana) su un dataset di 46 trascrizioni di sessioni di intake psicoterapeutico (dal corpus MentalCLOUDS).

A. Creazione del "Ground Truth" (Umano)

Due clinici esperti hanno annotato manualmente le trascrizioni seguendo un protocollo strutturato basato sui 5P:

1. Identificazione dei Problemi Presentanti (sintomi principali).
2. Individuazione dei Fattori Scatenanti (eventi recenti).
3. Tracciamento dei Fattori Predisponenti (vulnerabilità di fondo).
4. Aggiunta dei Fattori Perpetuanti (comportamenti che mantengono il problema).
5. Costruzione di un grafo diretto con archi che rappresentano relazioni causa-effetto, iterando fino a esaurire le catene causali plausibili.

B. Pipeline di InsightFlow (Automazione)

Il sistema utilizza il modello Llama-3 8B in due fasi principali:

1. Estrazione dei Fattori: Un prompt specifico chiede all'LLM (fingendo di essere uno psicologo clinico) di estrarre e classificare i fattori in formato JSON secondo le categorie 5P.
2. Costruzione degli Archi Causali: Il sistema genera coppie di nodi e chiede all'LLM, fornendo il contesto della trascrizione, se esiste una relazione causale diretta tra di essi (risposta "TRUE" o "FALSE"). Questo approccio iterativo e basato sul feedback permette di filtrare collegamenti spuri e costruire una rete coerente.

C. Valutazione

Il sistema è stato valutato attraverso due dimensioni:

• Metriche Automatiche: Confronto strutturale (NetSimile) e semantico (embedding SBERT per nodi e archi) tra i grafi generati dall'LLM e quelli umani. Sono stati calcolati anche metriche di teoria dei grafi (densità, centralità, clustering, diametri).
• Revisione Esperta: Cinque esperti clinici hanno valutato i grafi generati dall'LLM (alla cieca) su una scala da 1 a 5 per sei dimensioni: Completezza, Coerenza, Specificità, Plausibilità dei nodi, Plausibilità degli archi e Utilità clinica.

3. Contributi Chiave

1. Dataset di Benchmark: Creazione di un dataset annotato manualmente di 46 sessioni cliniche basato sul framework 5P, che funge da ground truth.
2. Metodologia di Prompting Iterativa: Sviluppo di un metodo a due stadi (estrazione + verifica delle relazioni causali) che sfrutta la capacità di ragionamento dell'LLM per costruire grafi causali complessi.
3. Analisi Comparativa Rigorosa: Confronto multidimensionale tra output umano e LLM, utilizzando sia metriche computazionali avanzate che valutazioni cliniche qualitative.
4. Analisi Strutturale: Identificazione delle differenze topologiche (es. grafi "a catena" umani vs. grafi "a ragnatela" dell'LLM) e delle comunità di fattori.

4. Risultati

• Similarità Strutturale e Semantica: I grafi generati dall'LLM mostrano una similarità strutturale (NetSimile) compresa tra 0,38 e 0,46 rispetto ai grafi umani. Questo range è comparabile alla similarità tra due annotatori umani diversi (circa 0,45), indicando che l'LLM opera entro la variabilità naturale dell'esperto umano. La similarità semantica (cosine similarity) di nodi e archi è alta (> 0,70), suggerendo che l'LLM identifica gli stessi concetti clinici fondamentali.
• Valutazione Esperta: I grafi dell'LLM hanno ottenuto punteggi moderati ma solidi (media 3,2 - 3,6 su 5) in tutte le categorie, paragonabili a quelli dei grafi umani. Gli esperti hanno considerato i grafi utili per il supporto decisionale, sebbene richiedano una certa raffinazione.
• Differenze Topologiche:
  • Densità e Clustering: I grafi dell'LLM sono leggermente più densi (0,27 vs 0,25) e mostrano un clustering più alto (~0,17 vs ~0,12). L'LLM tende a creare "scorciatoie" causali (triangoli) che gli umani spesso omettono per parsimonia, creando reti più ricche e interconnesse ("a ragnatela") rispetto alle catene lineari umane.
  • Centralità: L'LLM distribuisce l'influenza causale in modo più uniforme (maggiore betweenness e closeness centrality), mentre gli umani tendono a focalizzarsi su pochi nodi hub.
  • Coerenza Tematica: L'analisi delle comunità rivela che i nodi dell'LLM si raggruppano logicamente per tipo (es. fattori scatenanti ambientali vs. perpetuanti), riflettendo una coerenza clinica.
• Limiti Rilevati: L'LLM ha mostrato carenze nel ragionamento temporale esplicito (mancanza di ordinamento cronologico) e talvolta ha generato nodi ridondanti o duplicati.

5. Significato e Conclusioni

Il paper dimostra che è fattibile utilizzare gli LLM per automatizzare la sintesi di modelli causali clinici da narrazioni terapeutiche non strutturate.

• Impatto Clinico: InsightFlow si presenta come un potente strumento di supporto decisionale che può accelerare la formulazione del caso, offrendo ai terapeuti una bozza iniziale strutturata e tracciabile (ogni nodo è collegabile alla trascrizione originale).
• Affidabilità: Sebbene esistano differenze stilistiche (l'LLM tende a essere più "esaustivo" e meno "parsimonioso" rispetto all'umano), la qualità clinica è paragonabile a quella umana e rientra nella normale variabilità tra esperti.
• Futuro: Il lavoro suggerisce che l'integrazione di questi strumenti nei flussi di lavoro clinici è promettente, purché accompagnata da supervisione esperta. I futuri sviluppi dovranno concentrarsi sul miglioramento del ragionamento temporale, sulla rimozione delle ridondanze e sull'addestramento su dataset più ampi e diversificati culturalmente.

In sintesi, InsightFlow rappresenta un passo significativo verso l'uso dell'IA generativa non solo per l'analisi testuale, ma per la costruzione di modelli di ragionamento clinico strutturati, potenzialmente in grado di scalare l'analisi dei casi in salute mentale.