When Consistency Becomes Bias: Interviewer Effects in Semi-Structured Clinical Interviews

Probleemstelling

Automatische detectie van depressie op basis van gesprekken tussen arts en patiënt heeft de laatste jaren grote vooruitgang geboekt, mede door de beschikbaarheid van openbare corpora en geavanceerde taalmodellen. Een cruciaal probleem blijft echter de interpretbaarheid van deze modellen. Hoewel vaak hoge prestaties worden gerapporteerd, is onduidelijk welke factoren de voorspellingen daadwerkelijk aandrijven.

De auteurs stellen de vraag of modellen de depressie van een deelnemer kunnen detecteren op basis van de vragen van de interviewer alleen. Ze vermoeden dat er sprake is van een systematische bias: modellen leren niet de linguïstische kenmerken van de patiënt, maar exploiteren in plaats daarvan vaste prompts en posities in het interviewscript. Dit fenomeen noemen ze "prompt-induced bias" (door prompts veroorzaakte bias). Als modellen deze "korte weg" (shortcuts) nemen, is de hoge prestatie een artefact van het interviewprotocol en niet een echte detectie van depressieve symptomen.

Methodologie

1. Data
De studie analyseert drie verschillende corpora met semi-gestructureerde klinische interviews:

• DAIC-WOZ: Amerikaanse interviews met een virtuele interviewer ("Ellie") die door een mens wordt bediend. Bevat volledige transcripties van zowel interviewer als deelnemer.
• E-DAIC: Een uitgebreide versie van DAIC-WOZ met een volledig automatische virtuele interviewer. Officieel alleen transcripties van de deelnemer beschikbaar.
• ANDROIDS: Een Italiaans corpus met spontane spraak in een semi-gestructureerd interview. Geen grond-truth transcripties beschikbaar.

Voor E-DAIC en ANDROIDS hebben de auteurs volledige transcripties gegenereerd voor zowel de interviewer als de deelnemer met behulp van de WhisperX ASR-pijplijn (Automatic Speech Recognition), om een eerlijke vergelijking mogelijk te maken.

2. Modelarchitecturen
Om te testen of het effect model-onafhankelijk is, werden twee verschillende architecturen gebruikt:

• Longformer: Een transformer-model met sparse attention, geschikt voor lange documenten (interviews).
• GCN (Graph Convolutional Network): Een grafgebaseerd model dat woorden en documenten als knopen in een graf voorstelt. Dit model biedt interpretabiliteit door te identificeren welke specifieke woorden (keywords) als bewijs dienen.

3. Experimenteel Opzet
Voor elke dataset en architectuur werden twee varianten getraind en geëvalueerd:

• P-model (Participant-only): Getraind uitsluitend op de antwoorden van de deelnemer.
• I-model (Interviewer-only): Getraind uitsluitend op de prompts/vragen van de interviewer.

De prestaties werden gemeten aan de hand van macro-averaged F1-scores op de ontwikkelings- en testsets.

Belangrijkste Bijdragen

1. Kwantificering van Prompt-Induced Bias: De auteurs tonen aan dat I-modellen (alleen interviewer) vaak gelijkwaardige of zelfs betere prestaties leveren dan P-modellen (alleen deelnemer) op alle drie de datasets. Dit bewijst dat de interviewer-prompten zelf sterke voorspellende signalen bevatten die niets te maken hebben met de toestand van de patiënt.
2. Model-onafhankelijkheid: Het bias-effect werd gereproduceerd met zowel transformer-architecturen (Longformer) als graf-neurale netwerken (GCN), wat aantoont dat het een fundamenteel probleem is van de datastructuur en niet van een specifiek modeltype.
3. Kwalitatieve Analyse van Beslissingsbewijs: Door middel van heatmaps en keyword-analyse tonen ze aan dat I-modellen zich richten op zeer specifieke, smalle segmenten van het interview (de prompts), terwijl P-modellen bewijs breder verspreiden over de taal van de deelnemer.

Resultaten

• DAIC-WOZ: De interviewer-kant was consistent sterker dan de deelnemer-kant voor beide model-families (bijv. I-GCN: 0.88 vs P-GCN: 0.85 op de dev-set).
• ANDROIDS: De bias was hier het meest uitgesproken. Het I-Longformer-model behaalde een F1-score van 0.98, wat een aanzienlijke verbetering was ten opzichte van het P-Longformer-model (0.76).
• E-DAIC: Ook hier presteerden de I-modellen vaak beter, hoewel het verschil bij Longformer kleiner was dan bij GCN.
• Testset Validatie: Op de onzichtbare testsets bleek de bias te blijven bestaan. Bijvoorbeeld op E-DAIC presteerden de I-varianten van zowel GCN als Longformer beter dan of gelijk aan de P-varianten.
• Interpretatie: De resultaten suggereren dat modellen leren om te kijken naar welke vraag er gesteld wordt (bijv. "Hoe ga je hiermee om?" of "Ga je nog naar therapie?") en op welk moment in het script deze vraag valt, in plaats van te analyseren hoe de patiënt antwoordt.

Significantie en Conclusie

De studie heeft belangrijke implicaties voor het veld van de automatische depressiedetectie:

• Valse Hoogtes: Veel eerder onderzoek dat interviewer-prompten meeneemt als context, rapporteert mogelijk kunstmatig hoge prestaties. De verbetering komt niet door een beter begrip van de patiënttaal, maar door het exploiteren van script-artefacten.
• Methodologische Risico's: Het gebruik van semi-gestructureerde interviews introduceert onbedoelde bias. Zolang modellen toegang hebben tot de interviewer-taken, kunnen ze "cheaten" door te vertrouwen op de consistentie van het protocol in plaats van op de pathologische signalen van de patiënt.
• Aanbevelingen:
  • Evaluaties moeten strikt controleren of modellen echt leren van de taal van de deelnemer.
  • Het is raadzaam om bij het trainen en evalueren van deze systemen de interviewer-taken te isoleren of te verwijderen om de "echte" prestatie van de patiëntanalyse te meten.
  • Toekomstig werk moet bias-bewuste evaluatieprotocollen ontwikkelen om te voorkomen dat klinische systemen op verkeerde signalen vertrouwen.

Kortom, consistentie in klinische interviews, die bedoeld is om betrouwbaarheid te garanderen, fungeert hier als een valstrik voor AI-modellen die de structuur van het gesprek verwarren met de inhoud van de depressie.