Clinically Grounded AI-Scribing in Psychotherapy: Benchmarking LLMs Against Expert Documentation in the iCARE Framework

Nelle stanze silenziose dove si svolge la psicoterapia, il lavoro è profondamente umano. Si basa su un terapeuta che ascolta la storia di un cliente, nota il peso di una pausa e comprende il contesto di una paura che risale a anni prima. Affinché il terapeuta possa svolgere questo lavoro in modo efficace, deve anche tenere un registro. Questi appunti non sono meri documenti amministrativi; sono la mappa del mondo interiore di una persona, che catturano tutto, dalla crisi immediata alla lunga storia di famiglia e abitudini che l'hanno plasmata. Tradizionalmente, scrivere questi appunti è stato un pesante onere, che ha allontanato l'attenzione del clinico dal paziente per rivolgerla a uno schermo del computer. Negli ultimi anni, l'intelligenza artificiale ha promesso di sollevare questo peso. Questi "scribi AI" possono ascoltare una conversazione e trascriverla, ma nel complesso mondo della salute mentale, la maggior parte dei sistemi attuali non è all'altezza. Tendono a produrre riassunti brevi e secchi che perdono le sfumature, le correnti emotive sottostanti e i dettagli critici sulla sicurezza che definiscono una sessione di terapia. La sfida è stata quella di costruire una macchina che non si limiti a trascrivere parole, ma che comprenda la storia.

Un team di ricercatori provenienti dall'India e da Singapore ha compiuto un passo significativo verso la risoluzione di questo problema, ripensando a come dovrebbero essere strutturati gli appunti terapeutici e come le macchine dovrebbero imparare a scriverli. Hanno iniziato creando un nuovo, completo framework per la documentazione chiamato iCARE. A differenza dei formati abbreviati standard utilizzati in molti ospedali, progettati per rapidi controlli amministrativi, iCARE è costruito per catturare l'intera profondità di un incontro clinico. È una struttura dettagliata con diciassette sezioni distinte, che vanno dalle informazioni identificative di base e i problemi principali del cliente fino a un'analisi approfondita della loro storia medica, una valutazione del rischio per pericoli immediati come l'autolesionismo e un piano per le sessioni future. I ricercatori hanno sostenuto che un sistema di IA debba prima essere capace di generare questo quadro ricco e completo prima di poter essere condensato in un riassunto più breve. Per testare questa idea, hanno costruito un nuovo dataset chiamato iHOPE. Hanno preso 174 sessioni terapeutiche registrate da una collezione pubblica, hanno pulito l'audio per garantire che ogni parola fosse udita e poi hanno incaricato un team di psichiatri e psicologi esperti di scrivere note perfette, standard d'oro, per ogni sessione utilizzando il nuovo formato iCARE. Questo ha creato un benchmark, un insieme di risposte ideali contro cui qualsiasi macchina potesse essere misurata.

I ricercatori hanno poi messo alla prova undici diversi modelli linguistici di grandi dimensioni (LLM). Questi modelli, che sono i potenti programmi informatici alla base degli attuali chatbot, sono stati chiamati ad ascoltare le registrazioni terapeutiche e a scrivere le note iCARE. Hanno testato i modelli in due modi: prima, fornendo loro le registrazioni senza esempi da seguire, e secondo, mostrando loro un esempio di una nota perfetta prima di chiedere loro di scrivere le restanti. I risultati hanno rivelato una netta divisione tra i diversi tipi di IA. I modelli a codice chiuso, che sono sviluppati da grandi aziende tecnologiche e non sono aperti alla modifica del pubblico, hanno ottenuto costantemente prestazioni migliori rispetto ai modelli open-source, che sono costruiti dalla comunità pubblica. Un modello specifico, GPT-4o-mini, ha ottenuto i punteggi più alti nei test informatici standard che misurano quanto le parole della macchina corrispondano a quelle degli esperti umani. Un altro modello, Gemini Pro, ha mostrato una particolare forza nell'identificare i marcatori di crisi, come i segni di rischio suicidario o l'abuso di sostanze, che sono dettagli di sicurezza critici nella terapia.

Tuttavia, la storia è diventata più interessante quando i ricercatori hanno chiesto a esperti umani di giudicare le note, piuttosto che affidarsi ai punteggi informatici. Hanno coinvolto sei professionisti della salute mentale per leggere gli appunti alla cieca, senza sapere quale IA li avesse scritti, e valutarli su cinque qualità chiave: affidabilità, pertinenza, accuratezza, completezza e chiarezza. Gli esperti umani hanno scoperto che, sebbene i migliori modelli informatici fossero validi, faticavano ancora con il flusso temporale. Le macchine spesso non riuscivano a distinguere correttamente tra ciò che era accaduto in una sessione passata e ciò che era pianificato per la successiva, un aspetto fondamentale della terapia che richiede la comprensione di una linea temporale. Sorprendentemente, gli esperti umani hanno preferito le note di un modello open-source più piccolo, chiamato Mistral, rispetto ai modelli commerciali più potenti. Infatti, Mistral è stato l'unico sistema che ha ottenuto un punteggio leggermente superiore alle note scritte dagli umani in una categoria specifica: la completezza. Questo risultato suggerisce che il modo in cui misuriamo attualmente il successo dell'IA tramite algoritmi informatici non sempre corrisponde a ciò di cui un clinico umano ha effettivamente bisogno. I modelli commerciali erano eccellenti nel far corrispondere frasi specifiche, ma il modello più piccolo sembrava catturare l'essenza clinica della sessione in modo più efficace agli occhi degli esperti.

Lo studio conclude che, sebbene l'intelligenza artificiale sia pronta ad assistere i terapeuti, non è ancora pronta a sostituirli. I ricercatori hanno scoperto che la strada migliore è quella collaborativa, in cui l'IA si occupa del lavoro pesante di redazione delle note dettagliate, permettendo al terapeuta di revisionare, perfezionare e finalizzare il registro. Questo approccio potrebbe liberare un tempo prezioso per i clinici, consentendo loro di concentrarsi sul paziente piuttosto che sulla tastiera. Il team ha sottolineato che il loro lavoro non è una soluzione finale, ma una base. Hanno reso il loro nuovo framework, il loro dataset di note degli esperti e il loro metodo di valutazione disponibili ad altri scienziati affinché il campo possa continuare a migliorare. L'obiettivo ultimo è colmare il divario tra l'enorme necessità di assistenza mentale e il numero limitato di terapeuti disponibili, usando la tecnologia per supportare, piuttosto che sostituire, la connessione umana che è al cuore della guarigione.