TherapyGym: Evaluating and Aligning Clinical Fidelity and Safety in Therapy Chatbots

1. Il Problema

L'uso dei Large Language Models (LLM) per il supporto alla salute mentale è in rapida crescita, ma i metodi di valutazione attuali sono inadeguati per questo dominio ad alto rischio.

• Limiti delle metriche esistenti: Le metriche standard per i chatbot (come BLEU, ROUGE, o test di preferenza generici) misurano la fluidità conversazionale e la coerenza, ma falliscono nel catturare le dimensioni cliniche critiche della psicoterapia: la fedeltà (aderenza ai modelli terapeutici basati su evidenze) e la sicurezza.
• Mancanza di standard clinici: I lavori precedenti si sono concentrati sulla classificazione dei disturbi o su valutazioni di preferenze generiche, senza ancorarsi a costrutti clinici validati scientificamente (come la scala CTRS - Cognitive Therapy Rating Scale).
• Sfida dell'interattività: La competenza terapeutica emerge attraverso interazioni multi-turno, rendendo costosa e non scalabile la valutazione umana continua. Inoltre, l'uso di giudici basati su LLM introduce rischi di bias e inaffidabilità.

2. Metodologia: Il Framework TherapyGym

Gli autori introducono THERAPYGYM, un framework end-to-end che valuta e allinea i chatbot terapeutici lungo due pilastri clinici: Fedeltà (Fidelity) e Sicurezza (Safety).

A. Componenti Chiave

1. Simulazione del Paziente:
   • Utilizza un simulatore di pazienti basato su modelli cognitivi CBT (Patient-ψ), che genera profili di pazienti con sintomi, credenze di base e pensieri automatici realistici.
   • Permette di creare scenari terapeutici diversificati e scalabili senza i rischi etici e logistici dell'uso di pazienti reali.
2. THERAPYJUDGEBENCH (Benchmark di Validazione):
   • Un set di 116 dialoghi simulati (10 turni ciascuno) annotati da due professionisti CBT licenziati.
   • Le annotazioni includono punteggi su 11 dimensioni di abilità CBT (basate sulla CTRS) e 4 flag di sicurezza binari (es. mancato intervento su crisi, abuso, o consigli medici inappropriati).
   • Serve come "gold standard" per calibrare e validare i giudici automatizzati.
3. THERAPYJUDGE (Giudice LLM):
   • Un modello LLM addestrato (tramite prompting strutturato e esempi) per valutare i dialoghi completi, restituendo punteggi CTRS e flag di sicurezza.
   • Viene validato contro le annotazioni umane per garantire che recuperi il segnale clinico necessario.
4. Allineamento tramite Reinforcement Learning (RL):
   • Il framework utilizza GRPO (Group Relative Preference Optimization) per l'addestramento online.
   • Funzione di Ricompensa: Combina i punteggi CTRS normalizzati (per massimizzare la competenza terapeutica) e penalità per le violazioni di sicurezza.
   • Il modello agisce come terapeuta, interagisce con il simulatore, riceve feedback dal giudice e ottimizza la propria politica per massimizzare la ricompensa.

B. Labeling e Sicurezza

• Fedeltà (CTRS): Valuta 11 abilità (es. Agenda, Feedback, Ascolto, Collaborazione, Ristrutturazione Cognitiva) su una scala 0-6.
• Sicurezza: Rileva 4 categorie di rischio critico:
  1. Fornire pareri medici o consigli sui farmaci.
  2. Non affrontare crisi o rischi imminenti.
  3. Non affrontare casi di abuso.
  4. Non affrontare il deterioramento funzionale.

3. Contributi Principali

1. Framework di Valutazione Clinica: Prima metodologia che opera esplicitamente i pilastri di fedeltà e sicurezza per i chatbot terapeutici, utilizzando la CTRS come standard di riferimento.
2. THERAPYJUDGEBENCH: Un dataset di validazione unico con 1.270 valutazioni di esperti, fondamentale per auditare e calibrare i giudici LLM in contesti di salute mentale.
3. Pipeline di Addestramento RL: Dimostra che è possibile addestrare modelli terapeutici in un ambiente simulato sicuro, utilizzando ricompense basate su metriche cliniche (CTRS) e vincoli di sicurezza, senza bisogno di pazienti umani durante la fase di ottimizzazione.
4. Validazione dei Giudici LLM: Dimostra che i giudici LLM, se adeguatamente calibrati, possono recuperare un segnale clinico significativo (correlazione con esperti), rendendo scalabile la valutazione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli come Qwen3-4B e Qwen3-1.7B, confrontando le versioni base con quelle addestrate tramite GRPO in TherapyGym.

• Miglioramento delle Abilità Terapeutiche (CTRS):
  • Il punteggio medio CTRS valutato da esperti umani è aumentato drasticamente da 0.10 a 0.60.
  • Il punteggio valutato dal giudice LLM è salito da 0.16 a 0.59.
  • I miglioramenti sono stati particolarmente evidenti in abilità strutturate come Feedback (da 0.04 a 0.65) e Focus (da 0.04 a 0.67).
• Riduzione delle Violazioni di Sicurezza:
  • Il tasso di violazioni di sicurezza (valutato da umani) è diminuito da 0.38 a 0.20.
  • Un esperimento di ablazione ha mostrato che rimuovere la penalità di sicurezza durante l'addestramento porta a un aumento delle violazioni (da 0.13 a 0.43), confermando l'importanza della componente di sicurezza nella funzione di ricompensa.
• Affidabilità del Giudice:
  • Il giudice LLM ha raggiunto una correlazione di Spearman media di 0.56 con gli esperti umani sulle dimensioni CTRS, un livello considerato accettabile e coerente con la variabilità inter-valutatore umana nella terapia reale.
• Analisi Qualitativa:
  • Le conversazioni addestrate mostrano un passaggio da risposte generiche di validazione emotiva a interventi strutturati CBT: definizione dell'agenda, identificazione dei pensieri automatici, ristrutturazione cognitiva e assegnazione di compiti a casa concreti.

5. Significato e Impatto

• Sicurezza Scalabile: TherapyGym offre un modo per sviluppare chatbot terapeutici che sono non solo coinvolgenti, ma anche clinicamente responsabili e sicuri, riducendo il rischio di danni in contesti reali.
• Ponte tra Ricerca e Pratica: Il framework colma il divario tra le metriche generiche di NLP e gli standard clinici rigorosi, permettendo lo sviluppo di modelli allineati con le pratiche basate su evidenze (EBP).
• Fondamento per il Futuro: Sebbene l'attuale focus sia sulla Terapia Cognitivo-Comportamentale (CBT), il framework è progettato per essere esteso ad altri approcci (es. DBT, ACT) e a scenari multilingue.
• Avvertenza Etica: Gli autori sottolineano che il sistema è uno strumento di ricerca per la valutazione e l'allineamento dei modelli, non uno strumento clinico pronto per il deployment. I modelli non devono sostituire i professionisti della salute mentale.

In sintesi, TherapyGym rappresenta un passo fondamentale verso l'automazione sicura ed efficace della terapia assistita da AI, dimostrando che l'addestramento guidato da ricompense cliniche può trasformare un LLM generico in un agente terapeutico competente e sicuro.