Riepilogo Tecnico: CBT-Audio

Enunciato del Problema

La ricerca attuale sull'applicazione dell'Intelligenza Artificiale alla Terapia Cognitivo-Comportamentale (CBT) è prevalentemente limitata alle interazioni basate sul testo. Sebbene i Modelli Linguistici su Larga Scala (LLM) siano stati valutati sulla generazione di risposte terapeutiche e sulla classificazione delle conoscenze, tali valutazioni si basano su trascrizioni testuali, creando un significativo "punto cieco". Nella pratica clinica, i terapeuti si affidano pesantemente a segnali vocali non verbali — come tono, velocità, esitazione, tremore e altezza tonale — per valutare il disagio del paziente, interpretando spesso la discrepanza tra cosa dice un paziente e come lo dice. I dataset e i benchmark esistenti (ad es. Cactus, DiaCBT, RealCBT) sono o sintetici o esclusivamente testuali, non riuscendo a catturare la variabilità emotiva e i pattern di reattività presenti nella terapia parlata reale. Inoltre, sebbene esistano ricerche sulla salute mentale basate sul parlato (ad es. DAIC-WOZ), queste si concentrano principalmente sulla classificazione diagnostica piuttosto che sulla stima del disagio a livello di turno all'interno di una sessione terapeutica. Manca una risorsa per valutare se i Modelli Linguistici Audio (ALM) possano utilizzare efficacemente i segnali vocali per stimare l'intensità del disagio del paziente in contesti CBT.

Metodologia

Costruzione del Dataset: CBT-Audio

Gli autori introducono CBT-Audio, un dataset progettato per valutare la stima del disagio del paziente a partire da sessioni CBT parlate.

• Materiale Sorgente: Il dataset comprende 1.802 turni del paziente estratti da 96 registrazioni educative CBT pubblicamente disponibili (circa 20 ore totali) ospitate su YouTube. Queste registrazioni presentano role-play e walkthrough di casi studio in cui il "paziente" è interpretato da un attore, un tirocinante o un clinico, garantendo l'assenza di identificatori reali dei pazienti.
• Pipeline di Elaborazione:
  1. Estrazione dei Turni: WhisperX (utilizzando Whisper-large-v3) è stato utilizzato per la trascrizione e l'allineamento forzato, mentre pyannote speaker-diarization-3.1 ha assegnato le etichette degli interlocutori. I segmenti consecutivi dello stesso interlocutore separati da meno di cinque secondi sono stati uniti.
  2. Classificazione del Ruolo: Le trascrizioni sono state elaborate da Claude Sonnet 4.5 per distinguere tra turni del terapeuta e del paziente basandosi sui pattern conversazionali.
  3. Filtraggio: Sono stati mantenuti solo i turni del paziente con una durata audio $\ge$ 2 secondi, filtrando i backchannel di una sola parola.
• Strategia di Etichettatura:
  • Scala: L'intensità del disagio è valutata su una scala ordinale da 1 a 5 adattata dal Positive and Negative Affect Schedule (PANAS), che va da "Calmo" (1) a "Sopraffatto" (5).
  • Etichette di Riferimento: Generate utilizzando un approccio di Valutazione della Similarità Semantica (SSR). GPT-audio 1.5 è stato istruito con la clip audio del paziente e i tre turni precedenti di contesto per generare una descrizione dello stato emotivo. Questa descrizione è stata incorporata utilizzando BGE-m3 e confrontata tramite similarità del coseno rispetto a cinque definizioni di ancoraggio. L'ancoraggio con la maggiore similarità ha determinato l'etichetta. Il processo è stato ripetuto tre volte, con il voto di maggioranza (mediana in caso di parità) che fungeva da etichetta di riferimento finale.
  • Validazione: Un sottoinsieme di 194 clip è stato annotato da cinque esperti indipendenti con background clinico e di ricerca. Il consenso degli esperti ha concordato con le etichette di riferimento entro $\pm$1 livello nell'81,4% delle clip, con un accordo inter-valutatore moderato (Krippendorff's $\alpha$ = 0,439).

Configurazione Sperimentale

• Modelli: Sono stati valutati dieci Modelli Linguistici Audio (ALM) open-source, tra cui SALMONN-7B, MiniCPM-o 2.6, Phi-4-Multimodal, Qwen2.5-Omni, Qwen3-Omni, Kimi-Audio, Ultravox, Audio Flamingo 3, Voxtral-Mini e Gemma-4-E4B. Questi modelli rappresentano architetture diverse (ad es. encoder basati su Whisper, encoder audio personalizzati, strutture MoE).
• Condizioni di Input: Ogni modello è stato testato in tre condizioni:
  1. Solo Audio (AO): Clip audio del paziente + 3 turni di contesto (trascrizione).
  2. Solo Trascrizione (TO): Trascrizione del paziente + 3 turni di contesto.
  3. Audio + Trascrizione (AT): Clip audio del paziente + trascrizione del paziente + 3 turni di contesto.
• Compito: I modelli sono stati istruiti a restituire un singolo intero (1–5) stimando l'intensità del disagio del paziente.
• Metriche: La metrica primaria è stata l'Errore Assoluto Medio (MAE). Le metriche secondarie includevano l'accuratezza a 1 scarto ($A_1$), la correlazione di rango di Spearman ($\rho$), il $\kappa$ ponderato quadratico di Cohen (QWK) e l'RMSE. La significatività statistica è stata valutata utilizzando test di rango con segno di Wilcoxon appaiati sugli errori assoluti per turno.

Risultati Chiave

Prestazioni Complessive

• Migliori Performer: Gemma-4-E4B e Qwen3-Omni-30B-A3B hanno ottenuto il MAE più basso. Gemma-4-E4B ha ottenuto le prestazioni migliori con l'input Audio+Trascrizione (MAE 0,720), mentre Qwen3-Omni ha ottenuto le prestazioni migliori con Solo Audio (MAE 0,785).
• Variabilità del Modello: Le prestazioni sono variate significativamente tra le famiglie di modelli. Ad esempio, SALMONN-7B è stato un chiaro outlier con alti tassi di errore (MAE > 1,6), mentre Voxtral-Mini (3,6 miliardi di parametri) ha ottenuto prestazioni comparabili a modelli di dimensioni doppie. Il numero di parametri non ha mostrato una correlazione chiara con le prestazioni nell'intervallo di 7–8 miliardi di parametri.

Impatto della Modalità di Input

• Audio vs Testo: L'input solo audio non ha costantemente superato l'input solo trascrizione. Anzi, per alcuni modelli (ad es. Ultravox, SALMONN), la sola trascrizione è stata la configurazione superiore.
• Audio + Trascrizione: La combinazione di audio con trascrizioni ha prodotto i miglioramenti più consistenti. In 8 famiglie di modelli su 10, l'aggiunta dell'audio alla trascrizione ha migliorato la stima del disagio rispetto all'uso della sola trascrizione. Questo miglioramento è stato statisticamente significativo ($p < 0,05$) per quattro modelli: Audio Flamingo 3, Kimi-Audio-7B, Gemma-4-E4B e Qwen3-Omni-30B-A3B.
• Casi di Studio: L'analisi di casi specifici ha rivelato che l'audio fornisce il massimo valore quando il contenuto verbale e la consegna vocale divergono.
  • Sottostima da parte del Testo: Quando un paziente esprimeva disperanza verbalmente ma con una voce quasi lacrimosa ed esitante, i modelli basati solo sul testo sottostimavano il disagio, mentre i modelli informati dall'audio correggevano questo errore.
  • Sovrastima da parte del Testo: Quando un paziente descriveva sintomi di ansia verbalmente ma con una voce stabile e controllata (o ridendo), i modelli basati solo sul testo sovrastimavano il disagio, mentre i segnali audio aiutavano i modelli a riconoscere la mancanza di un disagio acuto immediato.
  • Allineamento: Quando parole e voce erano allineati, tutte le condizioni di input hanno ottenuto prestazioni simili.

Significato e Affermazioni

Il documento afferma che CBT-Audio colma una lacuna critica nell'IA per la salute mentale rendendo misurabile il comportamento parlato del paziente per la valutazione. Gli autori non affermano di aver costruito un sistema diagnostico clinico; piuttosto, dimostrano che:

1. L'audio fornisce informazioni complementari: I segnali vocali contengono segnali di disagio non catturati dal testo, in particolare quando c'è una discrepanza tra contenuto e consegna.
2. I modelli ALM attuali possono sfruttare questi segnali: Sebbene l'audio da solo non sia una sostituzione universale per il testo, combinare l'audio con le trascrizioni permette ai modelli open-source attuali di stimare meglio l'intensità del disagio del paziente.
3. Direzione Futura: Il lavoro sostiene l'argomento che i futuri modelli CBT dovrebbero essere progettati e valutati come modelli di interazione terapeutica parlata, non solo come generazione di testo. CBT-Audio fornisce una base per lo sviluppo di sistemi più sicuri e consapevoli dell'audio per l'interazione nella salute mentale e per la valutazione dei modelli sulla loro capacità di rilevare le sfumature del disagio del paziente.

Limitazioni

Gli autori riconoscono diverse limitazioni:

• Fonte dei Dati: Tutte le registrazioni sono in inglese e presentano attori/tirocinanti invece di pazienti reali in cerca di trattamento, il che potrebbe limitare la generalizzabilità dei range emotivi rispetto alla terapia reale.
• Automazione: L'estrazione dei turni si è affidata alla diarizzazione e alla trascrizione automatiche, che possono introdurre errori, in particolare con il parlato sovrapposto.
• Ambito: Le etichette misurano il disagio percepito dall'interazione osservabile, non la diagnosi clinica o l'autoreport del paziente. Il dataset è destinato alla valutazione della ricerca, non alla valutazione clinica.