CARE: An Explainable Computational Framework for Assessing Client-Perceived Therapeutic Alliance Using Large Language Models

Titolo

CARE: Un Framework Computazionale Spiegabile per Valutare l'Alleanza Terapeutica Percepita dal Cliente Utilizzando Modelli Linguistici di Grande Dimensione (LLM)

1. Il Problema

L'alleanza terapeutica (la relazione collaborativa tra counselor e cliente) è uno dei predittori più forti del successo del counseling. In particolare, la percezione del cliente dell'alleanza è cruciale e correla più fortemente con gli esiti del trattamento rispetto alle valutazioni del counselor. Tuttavia, catturare accuratamente queste percezioni presenta sfide significative:

• Metodi Tradizionali: I questionari post-sessione sono onerosi per i clienti, spesso compilati con ritardo o in modo irregolare, e non offrono feedback tempestivo.
• Limiti degli Approcci Computazionali Esistenti: Le soluzioni attuali basate sull'NLP tendono a produrre punteggi globali grezzi, mancano di razionali interpretabili (spiegazioni del "perché") e falliscono nel modellare il contesto olistico della sessione, analizzando spesso i turni di conversazione in isolamento.
• Divario di Percezione: Esiste spesso una discrepanza significativa tra come il counselor valuta l'alleanza e come il cliente la percepisce, limitando l'efficacia degli interventi.

2. Metodologia

Il paper introduce CARE (Client-perceived Alliance Relationship Evaluator), un framework basato su LLM progettato per prevedere punteggi multidimensionali dell'alleanza e generare razionali spiegabili direttamente dalle trascrizioni del counseling.

A. Arricchimento del Dataset (CounselingWAI)

• Fonte: Utilizzo del dataset CounselingWAI, contenente sessioni di counseling online in cinese e punteggi dell'Inventario dell'Alleanza di Lavoro (WAI) riportati dai clienti.
• Nuova Annotazione: Il dataset è stato arricchito con 9.516 razionali curati da esperti. Due counselor esperti hanno analizzato le trascrizioni per identificare evidenze specifiche nel dialogo che giustificavano i punteggi assegnati dal cliente per ciascuna delle 12 voci del questionario.
• Dimensioni Valutate: L'alleanza è misurata su tre dimensioni chiave (secondo il modello di Bordin):
  1. Goal (Obiettivi): Accordo sulle finalità della terapia.
  2. Task (Compiti): Accordo sui metodi e compiti terapeutici.
  3. Bond (Legame): Forza del legame interpersonale ed emotivo.

B. Architettura del Modello

• Backbone: Il modello è basato su LLaMA-3.1-8B-Instruct.
• Paradigma di Addestramento: Viene utilizzata una supervisione aumentata da razionali (Rationale-Augmented Supervision). Invece di addestrare il modello solo sui punteggi numerici, il modello apprende a generare spiegazioni testuali che collegano le evidenze del dialogo ai punteggi dell'alleanza. Questo permette al modello di internalizzare il ragionamento umano esperto.
• Fine-Tuning: Il modello è stato fine-tuned con supervisione completa dei parametri su 10 epoche.

C. Valutazione

• Metriche: Correlazione di Pearson e Spearman, Errore Quadratico Medio (MSE).
• Baselines: Confronto con counselor umani (valutazioni reali), modelli LLM generici in zero-shot (GPT-4o, DeepSeek-R1, Claude-3, Qwen2.5) e varianti del modello senza razionali.
• Validazione dei Razionali: Valutazione automatica (BLEU, ROUGE, BERTScore) e valutazione umana (Fedeltà, Rilevanza, Informatività).

3. Risultati Chiave

Gli esperimenti dimostrano che CARE supera significativamente sia i counselor umani che i modelli LLM generici:

• Superiorità rispetto ai Counselor Umani: I counselor umani mostrano una correlazione moderata con le valutazioni dei clienti (Pearson $r \approx 0.22-0.30$). CARE ha raggiunto correlazioni molto più elevate:
  • Goal: $r = 0.52$ (+73% rispetto ai counselor).
  • Task: $r = 0.50$ (+67%).
  • Bond: $r = 0.46$ (+109%).
• Superiorità rispetto agli LLM Generici: CARE ha superato modelli potenti come GPT-4o e DeepSeek-R1 in termini di correlazione, precisione predittiva e stabilità (minore deviazione standard).
• Impatto dei Razionali: L'ablation study ha dimostrato che l'addestramento con razionali migliora le prestazioni rispetto al solo fine-tuning sui punteggi (es. miglioramento del 16% sulla dimensione Goal).
• Qualità delle Spiegazioni: I razionali generati da CARE sono stati valutati dagli esperti come altamente fedeli al dialogo, rilevanti e informativi, riflettendo un ragionamento simile a quello umano.

4. Contributi Principali

1. Arricchimento del Dataset: Creazione di un dataset unico con 9.516 razionali esperti che collegano le evidenze conversazionali ai punteggi dell'alleanza percepita dal cliente.
2. Framework Spiegabile: Sviluppo di CARE, un modello che non solo predice i punteggi, ma fornisce giustificazioni contestuali, rendendo l'AI trasparente e utile per la pratica clinica.
3. Validazione Empirica: Dimostrazione che un modello LLM fine-tuned su dati specifici supera sia gli umani (counselor) che i modelli generici di grandi dimensioni nella comprensione della prospettiva del cliente.
4. Insight Pratici: Applicazione del modello a un dataset reale più ampio ha rivelato pattern comuni di interazione (es. l'uso eccessivo di strategie di supporto senza risposte positive del cliente porta a un'alleanza debole) e ha fornito indicazioni attuabili per migliorare le pratiche di counseling.

5. Significato e Implicazioni

Il lavoro di CARE rappresenta un passo avanti significativo nell'integrazione tra Intelligenza Artificiale e salute mentale:

• Strumento di Supporto: Offre uno strumento AI-assistito che può aiutare i counselor a calibrare la propria percezione dell'alleanza rispetto a quella reale del cliente, identificando potenziali incomprensioni in tempo reale o post-sessione.
• Scalabilità e Accessibilità: Permette di valutare l'alleanza terapeutica in modo automatico e continuo, superando i limiti dei questionari manuali.
• Interpretabilità: La capacità di generare razionali basati sul contesto rende il sistema affidabile per i professionisti, che possono comprendere il "perché" dietro una valutazione, facilitando l'adozione nella pratica clinica reale.
• Etica: Il sistema è progettato come strumento di supporto e non per diagnosi o intervento clinico autonomo, con rigorose misure di privacy e anonimizzazione dei dati.

In sintesi, CARE dimostra che i modelli linguistici, se addestrati con dati arricchiti da conoscenza esperta e razionali, possono catturare sfumature complesse delle relazioni umane in modo più accurato rispetto ai metodi tradizionali, aprendo nuove strade per il counseling basato sui dati.