💻 computer science

CBT-Audio: Evaluating Audio Language Models for Patient-Side Distress Intensity Estimation in CBT Session Recordings

Ce papier présente CBT-Audio, un ensemble de données de 1 802 tours de parole de patients annotés issus de séances de TCC, afin de démontrer que les modèles linguistiques audio améliorent considérablement l'estimation de la détresse des patients en capturant des indices vocaux que les modèles basés uniquement sur le texte manquent, en particulier lorsque le contenu verbal et la délivrance vocale divergent.

Auteurs originaux : Qixuan Hu, Shuchang Ye, Xumou Zhang, Anastasia Serafimovska, Anastasia Suraev, Amit Saha, Ping-hsiu Lin, Sydney Su, Usman Naseem, Adam G. Dunn, Jinman Kim

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qixuan Hu, Shuchang Ye, Xumou Zhang, Anastasia Serafimovska, Anastasia Suraev, Amit Saha, Ping-hsiu Lin, Sydney Su, Usman Naseem, Adam G. Dunn, Jinman Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre l'humeur d'une personne simplement en lisant une transcription de sa conversation. Si elle dit : « Je vais bien », vous pourriez penser qu'elle va bien. Mais que se passe-t-il si elle prononce ces mêmes mots alors que sa voix tremble, que son débit est frénétique et qu'elle a l'air sur le point de pleurer ? Dans une véritable séance de thérapie, un thérapeute saisirait immédiatement cette différence. Il sait que la manière dont quelqu'un dit quelque chose est souvent aussi importante que ce qu'il dit.

Cependant, la plupart des systèmes d'intelligence artificielle (IA) étudiant la thérapie ont été « sourds ». Ils n'ont pu lire que les transcriptions textuelles, manquant ainsi les indices vitaux cachés dans la voix. Cet article présente un nouvel outil appelé CBT-Audio pour corriger ce point aveugle.

Voici une décomposition de ce que les chercheurs ont fait, en utilisant des analogies simples :

1. Le Problème : Le Point Aveugle « Texte Uniquement »

Imaginez la thérapie cognitivo-comportementale (TCC) comme une danse entre un thérapeute et un patient. Depuis des années, les chercheurs tentant de créer une IA pour aider à cette danse n'ont fait qu'observer les traces de pas (les transcriptions textuelles) laissées derrière. Ils n'ont pas pu voir les expressions des danseurs ni entendre leur respiration.

L'article soutient qu'il s'agit d'une grave erreur. Un patient disant « Je suis anxieux » d'une voix calme et posée signifie quelque chose de très différent de celui qui dit « Je suis anxieux » d'une voix tremblante et aigüe. Les modèles d'IA actuels, qui ne lisent que le texte, manquent ces indices vocaux cruciaux.

2. La Solution : CBT-Audio (La Nouvelle « Oreille »)

Les chercheurs ont créé un nouvel ensemble de données appelé CBT-Audio.

La Source : Ils n'ont pas utilisé de vrais patients (pour protéger la vie privée). À la place, ils ont rassemblé 96 heures de vidéos éducatives publiques où des acteurs et des cliniciens jouaient des séances de thérapie.
Le Contenu : Ils ont découpé ces vidéos en 1 802 moments individuels où le « patient » parlait.
L'Étiquetage : Ils n'ont pas simplement deviné l'humeur. Ils ont utilisé un système intelligent (et plus tard, des experts humains) pour noter chaque moment sur une échelle de 1 à 5, où 1 correspond à « calme » et 5 à « submergé ». Cette notation était basée sur l'audio réel de la voix, et non seulement sur les mots.

3. L'Expérience : Tester 10 « Oreilles »

Les chercheurs ont pris 10 modèles d'IA open-source différents (les « oreilles ») et leur ont soumis un test. Ils ont demandé à chaque IA de deviner le niveau de détresse (1–5) du patient dans ces 1 802 moments. Ils ont testé l'IA dans trois conditions différentes :

Audio Uniquement : L'IA pouvait entendre la voix mais ne pouvait pas lire les mots.
Texte Uniquement : L'IA pouvait lire les mots mais ne pouvait pas entendre la voix (comme une personne sourde lisant une transcription).
Audio + Texte : L'IA pouvait à la fois entendre la voix et lire les mots.

4. Les Résultats : La « Voix » Ajoute de la Valeur

Les découvertes ressemblaient à la découverte qu'un nouveau sens vous aide à mieux vous repérer dans une pièce :

Entendre n'est pas toujours mieux que lire : Si vous ne donniez à l'IA que l'audio (sans le texte), ce n'était pas toujours mieux que de lui donner seulement le texte. Parfois, la voix seule était confuse.
Mais la combinaison est gagnante : Lorsque les chercheurs ont donné à l'IA à la fois l'audio et le texte, elle a nettement mieux performé dans 8 des 10 modèles.
La Magie du « Décalage » : La plus grande amélioration s'est produite lorsque les mots et la voix ne correspondaient pas.
- Exemple : Si un patient dit « Je vais bien » (texte) mais a l'air sur le point de pleurer (audio), l'IA qui entend l'audio réalise que la détresse est élevée. L'IA qui ne lit que le texte pense que le patient est calme.
- Exemple : Si un patient dit « Je transpire et je panique » (texte) mais a l'air calme et posé (audio), l'IA qui entend l'audio réalise que le patient décrit en fait un événement passé ou une peur hypothétique, et ne panique pas actuellement.

5. Ce Que Cela Signifie (Selon l'Article)

L'article conclut que l'audio n'est pas seulement un remplacement du texte ; c'est un partenaire du texte.

Les modèles d'IA actuels peuvent apprendre à utiliser ces indices vocaux (ton, vitesse, hésitation) pour mieux comprendre la détresse.
Le plus grand bénéfice survient lorsque l'IA peut repérer le « décalage » entre ce qu'une personne dit et la manière dont elle le dit.
Cet ensemble de données (CBT-Audio) permet aux chercheurs de tester si l'IA « écoute » vraiment le poids émotionnel d'une voix, et non pas seulement traiter la définition du dictionnaire des mots.

En bref : L'article a construit un terrain d'entraînement où l'IA peut apprendre à écouter le ton d'une voix, et non pas seulement les mots. Ils ont constaté que lorsque l'IA peut entendre la voix et lire les mots, elle devient beaucoup meilleure pour comprendre à quel point une personne est réellement en détresse, surtout lorsque la voix raconte une histoire différente de celle des mots.

Résumé Technique : CBT-Audio

Énoncé du Problème

La recherche actuelle sur l'application de l'Intelligence Artificielle à la Thérapie Cognitivo-Comportementale (TCC) est principalement limitée aux interactions textuelles. Bien que les Grands Modèles de Langage (LLM) aient été évalués sur la génération de réponses thérapeutiques et la classification des connaissances, ces évaluations reposent sur des transcriptions textuelles, créant un « angle mort » significatif. En pratique clinique, les thérapeutes s'appuient fortement sur des indices vocaux non verbaux — tels que le ton, le rythme, les hésitations, les tremblements et la hauteur de voix — pour évaluer la détresse du patient, interprétant souvent le décalage entre ce que le patient dit et comment il le dit. Les ensembles de données et les benchmarks existants (par exemple, Cactus, DiaCBT, RealCBT) sont soit synthétiques, soit uniquement textuels, échouant à capturer la variabilité émotionnelle et les schémas de réactivité présents dans la thérapie parlée réelle. De plus, bien que la recherche en santé mentale basée sur la parole existe (par exemple, DAIC-WOZ), elle se concentre largement sur la classification diagnostique plutôt que sur l'estimation de la détresse au niveau des tours de parole au sein d'une séance thérapeutique. Il manque des ressources pour évaluer si les Modèles de Langage Audio (ALM) peuvent utiliser efficacement les indices vocaux pour estimer l'intensité de la détresse du patient dans des contextes de TCC.

Méthodologie

Construction de l'Ensemble de Données : CBT-Audio

Les auteurs introduisent CBT-Audio, un ensemble de données conçu pour évaluer l'estimation de la détresse du patient à partir de séances de TCC parlées.

Matériel Source : L'ensemble de données comprend 1 802 tours de parole de patients extraits de 96 enregistrements éducatifs de TCC disponibles publiquement (environ 20 heures au total) hébergés sur YouTube. Ces enregistrements présentent des jeux de rôle et des analyses de cas où le « patient » est joué par un acteur, un stagiaire ou un clinicien, garantissant l'absence d'identifiants de vrais patients.
Pipeline de Traitement :
1. Extraction des Tours de Parole : WhisperX (utilisant Whisper-large-v3) a été utilisé pour la transcription et l'alignement forcé, tandis que pyannote speaker-diarization-3.1 a attribué les étiquettes des locuteurs. Les segments consécutifs du même locuteur séparés par moins de cinq secondes ont été fusionnés.
2. Classification des Rôles : Les transcriptions ont été traitées par Claude Sonnet 4.5 pour distinguer les tours de parole du thérapeute et du patient en fonction des schémas conversationnels.
3. Filtrage : Seuls les tours de parole du patient avec une durée audio $\ge$ 2 secondes ont été conservés, filtrant les rétroactions d'un seul mot.
Stratégie d'Étiquetage :
- Échelle : L'intensité de la détresse est notée sur une échelle ordinale de 1 à 5 adaptée de l'échelle PANAS (Positive and Negative Affect Schedule), allant de « Calme » (1) à « Submergé » (5).
- Étiquettes de Référence : Générées à l'aide d'une approche de Notation de Similarité Sémantique (SSR). GPT-audio 1.5 a été sollicité avec le clip audio du patient et les trois tours de parole précédents de contexte pour générer une description de l'état émotionnel. Cette description a été intégrée à l'aide de BGE-m3 et comparée via la similarité cosinus à cinq définitions d'ancres. L'ancre présentant la plus grande similarité a déterminé l'étiquette. Le processus a été répété trois fois, la majorité des voix (médiane en cas d'égalité) servant d'étiquette de référence finale.
- Validation : Un sous-ensemble de 194 clips a été annoté par cinq experts indépendants ayant des antécédents cliniques et de recherche. Le consensus des experts a été en accord avec les étiquettes de référence à $\pm$ 1 niveau pour 81,4 % des clips, avec un accord inter-évaluateur modéré (Krippendorff's $\alpha$ = 0,439).

Configuration Expérimentale

Modèles : Dix Modèles de Langage Audio (ALM) open-source ont été évalués, notamment SALMONN-7B, MiniCPM-o 2.6, Phi-4-Multimodal, Qwen2.5-Omni, Qwen3-Omni, Kimi-Audio, Ultravox, Audio Flamingo 3, Voxtral-Mini et Gemma-4-E4B. Ces modèles représentent des architectures diverses (par exemple, encodeurs basés sur Whisper, encodeurs audio personnalisés, structures MoE).
Conditions d'Entrée : Chaque modèle a été testé dans trois conditions :
1. Audio Uniquement (AO) : Clip audio du patient + 3 tours de contexte (transcription).
2. Transcription Uniquement (TO) : Transcription du patient + 3 tours de contexte.
3. Audio + Transcription (AT) : Clip audio du patient + transcription du patient + 3 tours de contexte.
Tâche : Les modèles ont été sollicités pour produire un entier unique (1–5) estimant l'intensité de la détresse du patient.
Métriques : La métrique principale était l'Erreur Absolue Moyenne (MAE). Les métriques secondaires incluaient la précision à 1 près ( $A_1$ ), la corrélation de rang de Spearman ( $\rho$ ), le $\kappa$ pondéré quadratique de Cohen (QWK) et l'erreur quadratique moyenne (RMSE). La significativité statistique a été évaluée à l'aide de tests de rangs signés de Wilcoxon appariés sur les erreurs absolues par tour de parole.

Résultats Clés

Performance Globale

Meilleurs Performeurs : Gemma-4-E4B et Qwen3-Omni-30B-A3B ont obtenu les MAE les plus faibles. Gemma-4-E4B a obtenu les meilleurs résultats avec une entrée Audio + Transcription (MAE 0,720), tandis que Qwen3-Omni a obtenu les meilleurs résultats avec Audio Uniquement (MAE 0,785).
Variabilité des Modèles : Les performances variaient considérablement entre les familles de modèles. Par exemple, SALMONN-7B était un cas aberrant clair avec des taux d'erreur élevés (MAE > 1,6), tandis que Voxtral-Mini (3,6 milliards de paramètres) performait de manière comparable à des modèles deux fois plus grands. Le nombre de paramètres ne montrait pas de corrélation claire avec la performance dans la plage de 7 à 8 milliards de paramètres.

Impact de la Modalité d'Entrée

Audio vs Texte : L'entrée audio uniquement n'a pas systématiquement surpassé l'entrée transcription uniquement. En fait, pour certains modèles (par exemple, Ultravox, SALMONN), la transcription uniquement était le paramétrage supérieur.
Audio + Transcription : La combinaison de l'audio avec les transcriptions a produit les améliorations les plus constantes. Dans 8 familles de modèles sur 10, l'ajout de l'audio à la transcription a amélioré l'estimation de la détresse par rapport à l'utilisation de la transcription seule. Cette amélioration était statistiquement significative ( $p < 0,05$ ) pour quatre modèles : Audio Flamingo 3, Kimi-Audio-7B, Gemma-4-E4B et Qwen3-Omni-30B-A3B.
Études de Cas : L'analyse de cas spécifiques a révélé que l'audio apporte la plus grande valeur lorsque le contenu verbal et la délivrance vocale divergent.
- Sous-estimation par le Texte : Lorsqu'un patient exprimait du désespoir verbalement mais avec une voix près des larmes et hésitante, les modèles basés uniquement sur le texte sous-estimaient la détresse, tandis que les modèles informés par l'audio corrigeaient cela.
- Sur-estimation par le Texte : Lorsqu'un patient décrivait des symptômes d'anxiété verbalement mais avec une voix stable et contrôlée (ou des rires), les modèles basés uniquement sur le texte sur-estimaient la détresse, tandis que les indices audio aidaient les modèles à reconnaître l'absence de détresse aiguë immédiate.
- Alignement : Lorsque les mots et la voix étaient alignés, toutes les conditions d'entrée performaient de manière similaire.

Signification et Revendications

L'article revendique que CBT-Audio comble une lacune critique dans l'IA pour la santé mentale en rendant le comportement parlé du patient mesurable pour l'évaluation. Les auteurs ne revendiquent pas avoir construit un système de diagnostic clinique ; ils démontrent plutôt que :

L'audio fournit des informations complémentaires : Les indices vocaux contiennent des signaux de détresse non capturés par le texte, en particulier lorsqu'il y a un décalage entre le contenu et la délivrance.
Les ALM actuels peuvent exploiter ces indices : Bien que l'audio seul ne soit pas un remplacement universel pour le texte, la combinaison de l'audio avec les transcriptions permet aux modèles open-source actuels de mieux estimer l'intensité de la détresse du patient.
Perspective Future : Ce travail soutient l'argument selon lequel les futurs modèles de TCC devraient être conçus et évalués comme des modèles d'interaction thérapeutique parlée, et non seulement de génération de texte. CBT-Audio fournit une base pour développer des systèmes plus sûrs et conscients de l'audio pour l'interaction en santé mentale et pour évaluer les modèles sur leur capacité à détecter les nuances de la détresse du patient.

Limitations

Les auteurs reconnaissent plusieurs limitations :

Source des Données : Tous les enregistrements sont en anglais et mettent en scène des acteurs/stagiaires plutôt que de vrais patients cherchant un traitement, ce qui peut limiter la généralisabilité des gammes émotionnelles par rapport à la thérapie réelle.
Automatisation : L'extraction des tours de parole reposait sur la diérèse et la transcription automatiques, qui peuvent introduire des erreurs, en particulier avec les paroles qui se chevauchent.
Portée : Les étiquettes mesurent la détresse perçue à partir de l'interaction observable, et non un diagnostic clinique ou une auto-déclaration du patient. L'ensemble de données est destiné à l'évaluation de la recherche, et non à l'évaluation clinique.