Technische Samenvatting: CBT-Audio

Probleemstelling

Huidig onderzoek naar het toepassen van Kunstmatige Intelligentie op Cognitieve Gedragstherapie (CGT) is overwegend beperkt tot tekstgebaseerde interacties. Hoewel Large Language Models (LLM's) zijn geëvalueerd op het genereren van therapeutische antwoorden en het classificeren van kennis, zijn deze evaluaties gebaseerd op teksttranscripten, wat een aanzienlijk "blinde vlek" creëert. In de klinische praktijk vertrouwen therapeuten sterk op non-verbale vocale aanwijzingen—zoals toon, tempo, aarzeling, trillen en toonhoogte—om patiëntnood te beoordelen, waarbij ze vaak de discrepantie interpreteren tussen wat een patiënt zegt en hoe het gezegd wordt. Bestaande datasets en benchmarks (bijv. Cactus, DiaCBT, RealCBT) zijn ofwel synthetisch of uitsluitend tekstueel, en slagen er niet in de emotionele variabiliteit en reactiepatronen vast te leggen die voorkomen in echte gesproken therapie. Bovendien, hoewel er onderzoek naar spraakgebaseerde geestelijke gezondheid bestaat (bijv. DAIC-WOZ), richt dit zich grotendeels op diagnostische classificatie in plaats van schatting van nood op wisselingsniveau binnen een therapeutische sessie. Er ontbreekt een bron om te evalueren of Audio Language Models (ALM's) vocale aanwijzingen effectief kunnen benutten om de intensiteit van patiëntnood in CGT-contexten te schatten.

Methodologie

Datasetconstructie: CBT-Audio

De auteurs introduceren CBT-Audio, een dataset ontworpen om de schatting van patiëntnood uit gesproken CGT-sessies te evalueren.

• Bronmateriaal: De dataset bestaat uit 1.802 patiëntwisselingen, ontleend aan 96 publiek beschikbare CGT-educatieve opnames (totaal ongeveer 20 uur) die op YouTube zijn gehost. Deze opnames bevatten rollenspellen en doorloopjes van casestudies waarbij de "patiënt" wordt gespeeld door een acteur, trainee of klinicus, zodat er geen echte patiëntidentificatiegegevens aanwezig zijn.
• Verwerkingspijplijn:
  1. Wisselingsextractie: WhisperX (met Whisper-large-v3) werd gebruikt voor transcriptie en geforceerde uitlijning, terwijl pyannote speaker-diarization-3.1 sprekerlabels toekende. Achtereenvolgende segmenten van dezelfde spreker die minder dan vijf seconden van elkaar gescheiden waren, werden samengevoegd.
  2. Rolclassificatie: Transcripten werden verwerkt door Claude Sonnet 4.5 om onderscheid te maken tussen therapeut- en patiëntwisselingen op basis van conversatiepatronen.
  3. Filtering: Alleen patiëntwisselingen met een audiolengte $\ge$ 2 seconden werden behouden, waarbij enkelvoudige woord-terugkoppelingen werden gefilterd.
• Labelstrategie:
  • Schaal: De intensiteit van de nood wordt beoordeeld op een ordinale schaal van 1–5, aangepast aan het Positive and Negative Affect Schedule (PANAS), variërend van "Rustig" (1) tot "Overweldigd" (5).
  • Referentielabels: Genereerd met behulp van een Semantic Similarity Rating (SSR)-benadering. GPT-audio 1.5 werd geprompt met de audioclip van de patiënt en de drie voorafgaande wisselingen als context om een beschrijving van de emotionele toestand te genereren. Deze beschrijving werd ingebed met BGE-m3 en via cosinesimilariteit vergeleken met vijf ankerdefinities. Het anker met de hoogste similariteit bepaalde het label. Het proces werd drie keer herhaald, waarbij de meerderheidsstem (mediaan bij gelijke stemmen) diende als het definitieve referentielabel.
  • Validatie: Een subset van 194 clips werd geannoteerd door vijf onafhankelijke experts met een klinische en onderzoeksachtergrond. De expertconsensus stemde binnen $\pm$1 niveau overeen met de referentielabels bij 81,4% van de clips, met een matige inter-rater overeenstemming (Krippendorff's $\alpha$ = 0,439).

Experimentele Opstelling

• Modellen: Tien open-source Audio Language Models (ALM's) werden geëvalueerd, waaronder SALMONN-7B, MiniCPM-o 2.6, Phi-4-Multimodal, Qwen2.5-Omni, Qwen3-Omni, Kimi-Audio, Ultravox, Audio Flamingo 3, Voxtral-Mini en Gemma-4-E4B. Deze modellen vertegenwoordigen diverse architecturen (bijv. Whisper-gebaseerde encoders, aangepaste audio-encoders, MoE-structuren).
• Invoervoorwaarden: Elk model werd getest onder drie voorwaarden:
  1. Alleen Audio (AO): Audioclip van de patiënt + 3 wisselingen context (transcript).
  2. Alleen Transcript (TO): Transcript van de patiënt + 3 wisselingen context.
  3. Audio + Transcript (AT): Audioclip van de patiënt + transcript van de patiënt + 3 wisselingen context.
• Taak: Modellen werden geprompt om een enkel geheel getal (1–5) uit te voeren ter schatting van de intensiteit van de patiëntnood.
• Maten: De primaire maat was de Mean Absolute Error (MAE). Secundaire maten omvatten 1-off nauwkeurigheid ($A_1$), Spearman rangcorrelatie ($\rho$), Quadratic Weighted Cohen's $\kappa$ (QWK) en RMSE. Statistische significantie werd beoordeeld met behulp van gepaarde Wilcoxon signed-rank-tests op absolute fouten per wisseling.

Belangrijkste Resultaten

Algemene Prestatie

• Toppresteerders: Gemma-4-E4B en Qwen3-Omni-30B-A3B behaalden de laagste MAE. Gemma-4-E4B presteerde het beste met Audio+Transcript-invoer (MAE 0,720), terwijl Qwen3-Omni het beste presteerde met Alleen Audio (MAE 0,785).
• Modelvariabiliteit: De prestaties varieerden aanzienlijk tussen modelfamilies. Zo was SALMONN-7B een duidelijke uitschieter met hoge foutpercentages (MAE > 1,6), terwijl Voxtral-Mini (3,6 miljard parameters) vergelijkbaar presteerde met modellen die twee keer zo groot waren. Het aantal parameters toonde geen duidelijke correlatie met de prestaties binnen het bereik van 7–8 miljard parameters.

Impact van Invoermodaliteit

• Audio versus Tekst: Alleen audio-invoer presteerde niet consequent beter dan alleen transcript-invoer. Sterker nog, voor sommige modellen (bijv. Ultravox, SALMONN) was alleen transcript de superieure instelling.
• Audio + Transcript: Het combineren van audio met transcripten leverde de meest consistente verbeteringen op. Bij 8 van de 10 modelfamilies verbeterde het toevoegen van audio aan het transcript de schatting van de nood in vergelijking met het gebruik van alleen het transcript. Deze verbetering was statistisch significant ($p < 0,05$) voor vier modellen: Audio Flamingo 3, Kimi-Audio-7B, Gemma-4-E4B en Qwen3-Omni-30B-A3B.
• Casestudies: Analyse van specifieke gevallen onthulde dat audio de meeste waarde biedt wanneer de verbale inhoud en de vocale levering uiteenlopen.
  • Onderschatting door tekst: Wanneer een patiënt hopeloosheid verbaal uitte maar met een bijna-tranenstem en aarzelend, onderschatten tekst-only modellen de nood, terwijl audio-informeerde modellen dit corrigeerden.
  • Overschatting door tekst: Wanneer een patiënt verbaal angstsymptomen beschreef maar met een stabiele, gecontroleerde stem (of gelach), overschatten tekst-only modellen de nood, terwijl vocale aanwijzingen modellen hielpen het gebrek aan directe acute nood te herkennen.
  • Uitlijning: Wanneer woorden en stem overeenkwamen, presteerden alle invoervoorwaarden vergelijkbaar.

Betekenis en Claims

Het artikel claimt dat CBT-Audio een kritieke kloof in AI voor geestelijke gezondheid aanpakt door gesproken patiëntgedrag meetbaar te maken voor evaluatie. De auteurs claimen niet een klinisch diagnostisch systeem te hebben gebouwd; in plaats daarvan demonstreren zij dat:

1. Audio aanvullende informatie biedt: Vocale aanwijzingen bevatten noodsignalen die niet door tekst worden vastgelegd, met name wanneer er een mismatch is tussen inhoud en levering.
2. Huidige ALM's deze aanwijzingen kunnen benutten: Hoewel audio alleen geen universele vervanging voor tekst is, stelt het combineren van audio met transcripten huidige open-source modellen in staat de intensiteit van patiëntnood beter te schatten.
3. Toekomstige richting: Het werk ondersteunt het argument dat toekomstige CGT-modellen moeten worden ontworpen en geëvalueerd als modellen van gesproken therapeutische interactie, en niet alleen als tekstgeneratie. CBT-Audio biedt een fundament voor het ontwikkelen van veiligere, audio-bewuste systemen voor interactie op het gebied van geestelijke gezondheid en het evalueren van modellen op hun vermogen om de nuances van patiëntnood te detecteren.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• Bron van gegevens: Alle opnames zijn in het Engels en bevatten acteurs/trainees in plaats van echte patiënten die behandeling zoeken, wat de generaliseerbaarheid van emotionele reeksen in vergelijking met real-world therapie kan beperken.
• Automatisering: De extractie van wisselingen was afhankelijk van automatische diarizatie en transcriptie, wat fouten kan introduceren, met name bij overlappende spraak.
• Reikwijdte: De labels meten gepercipieerde nood uit waarneembare interactie, niet klinische diagnose of patiëntzelfrapportage. De dataset is bedoeld voor onderzoeksevaluatie, niet voor klinische beoordeling.