Can Conversational Temporal Dynamics Improve Depression Detection in Dyads? A Preliminary Investigation in Multi-Modality Perspectives

Technische Samenvatting: Conversationele Temporele Dynamiek in Dyadische Depressiedetectie

Probleemstelling
Automatische detectie van depressie tijdens klinische interviews berust doorgaans op het modelleren van semantische inhoud (via tekstencoders zoals RoBERTa) en akoestische kenmerken (via zelfgesuperviseerde spraakmodellen zoals WavLM). Echter, de interactionele timing tussen de clinicus (of virtuele interviewer) en de deelnemer blijft ondergemodelleerd. Hoewel individuele spraakpatronen (bijv. reactielatentie, pauzeduur) bekend staan als gecorreleerd met depressie, is de specifieke temporele structuur van de dyadische uitwisseling—hoe de interviewer en de deelnemer hun beurten coördineren—niet rigoureus geëvalueerd als een op zichzelf staande modaliteit gefuseerd met moderne neurale encoders. Dit artikel onderzoekt of Conversationele Temporele Dynamiek (CTD), specifiek de timing van dyadische beurtparen, kan dienen als een lichtgewicht, interpreteerbare aanvulling op standaard akoestische en semantische modaliteiten.

Methodologie
De studie maakt gebruik van de DAIC-WOZ dataset, een benchmark van semi-gestructureerde klinische interviews met een virtuele interviewer ("Ellie"). De auteurs hanteren een strikt, subject-onafhankelijk protocol met een train/dev/test-verdeling, waarbij sessies met integriteitsproblemen in de data zijn uitgesloten.

Het voorgestelde systeem bestaat uit drie parallelle detectievertakkingen, die alle poolen over dezelfde Ask/Res (interviewer/deelnemer) segmentatie:

1. Akoestisch (A): Een bevroren WavLM-large encoder verwerkt de uitingen van de deelnemer. Een lichtgewicht "SUPERB-stijl" probe (softmax-laagweging + attention pooling) aggregeert uiting-niveau embeddings naar een sessie-niveau waarschijnlijkheid.
2. Semantisch (T): Een bevroren RoBERTa-large encoder verwerkt de beurten van de deelnemer (alleen tekst). Instanties worden geaggregeerd via mean pooling naar een sessie-niveau waarschijnlijkheid.
3. Conversationele Temporele Dynamiek (CTD): Een compacte, vaste 24-dimensionale feature set afgeleid van dyadische beurt-pair timing. Features omvatten beurtduur, stem/stilte-ratio's, reactielatenties en backchannel-aantallen voor zowel de interviewer (Ask) als de deelnemer (Res). Deze worden gemiddeld over de sessie en geclassificeerd met behulp van L2-geregulariseerde logistische regressie.

Fusiestrategie
De auteurs vergelijken single-modality prestaties met late-fusie strategieën. Ze implementeren een convexe-gewogen late fusie waarbij scores van modaliteiten (waarschijnlijkheden) worden gecombineerd via een gewogen som ($p_{w} = \sum w_m p_m$). Gewichten en beslissingsdrempels worden uitsluitend op de development set getuned om de macro-F1 te maximaliseren, wat verdere lekkage naar de testdata voorkomt.

Belangrijkste Resultaten

• Single-Modality Prestaties: Op de development set bereikte de CTD-module de hoogste prestatie (Macro-F1: 0,746), waarmee zij zowel de bevroren RoBERTa-large (0,690) als de bevroren WavLM-large (0,673) overtrof. Op de ingehouden testset gaven CTD en RoBERTa gelijk (0,631), terwijl WavLM achterbleef (0,545).
• Fusie Prestaties: De convexe-gewogen fusie van alle drie de modaliteiten bereikte een development Macro-F1 van 0,804 en een test Macro-F1 van 0,669.
• Modaliteitsweging: De geleerde fusiegewichten voor het driewegsysteem waren [Akoestisch: 0,0, Semantisch: 0,3, CTD: 0,7]. Aan de akoestische stroom werd een gewicht van nul toegekend, wat aangeeft dat de combinatie van semantiek en CTD voldoende was en dat de akoestische vertakking in deze specifieke fusiecontext geen additionele discriminatieve waarde bood.
• Ablatie: De meest significante winst kwam voort uit het toevoegen van CTD aan de semantische detector (verbetering van de dev F1 van 0,690 naar 0,804). Het toevoegen van akoestiek aan semantiek of CTD verbeterde de testprestaties niet.

Significantie en Claims
Het artikel positioneert deze bevindingen als een voorlopig onderzoek in plaats van een definitieve klinische oplossing, waarbij de beperkingen van de kleine omvang en de bekende tekortkomingen van de DAIC-WOZ benchmark worden erkend. De primaire claims zijn:

1. CTD als een First-Class Modaliteit: Conversationele timing is een onderscheidende, interpreteerbare modaliteit die de prestaties van hoog-dimensionale zelf-gesuperviseerde neurale encoders (1024-dim) kan evenaren of overtreffen met slechts 24 dimensies.
2. Complementariteit: CTD is zeer complementair aan semantische inhoud, maar niet aan de specifieke akoestische kenmerken die door de bevroren WavLM-large probe in deze opzet worden geëxtraheerd.
3. Interpreteerbaarheid en Efficiëntie: De CTD-module biedt een lichtgewicht, transparant alternatief voor "black box" deep learning modellen, wat suggereert dat hoe een gesprek getimed wordt even informatief is als wat er gezegd wordt of hoe het klinkt.

De auteurs waarschuwen dat de resultaten indicatief zijn vanwege de kleine steekproefomvang (n=33 dev, n=45 test) en overlappende betrouwbaarheidsintervallen. Ze benadrukken dat de aan de akoestiek toegekende gewicht van nul specifiek kan zijn voor deze cohort en probe-configuratie, en dat toekomstig werk validatie op grotere, diverse en cross-culturele datasets vereist voordat echte wereldimplementatie mogelijk is.