💬 NLP

Assessing Algorithmic Bias in Language-Based Depression Detection: A Comparison of DNN and LLM Approaches

Deze studie vergelijkt Deep Neural Networks en Large Language Models voor het detecteren van depressie in klinische interviews, waarbij wordt vastgesteld dat hoewel LLM's over het algemeen beter presteren dan DNN's en minder genderbias vertonen, beide benaderingen nog steeds kampen met raciale ongelijkheden, waarbij specifieke rechtvaardigheidsbewuste technieken zoals worst-group loss voor DNN's en ethisch prompten voor LLM's een gedeeltelijke mitigatie bieden.

Oorspronkelijke auteurs: Obed Junias, Prajakta Kini, Theodora Chaspari

Gepubliceerd 2026-01-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Obed Junias, Prajakta Kini, Theodora Chaspari

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je twee verschillende soorten detectives hebt die een mysterie proberen op te lossen: "Is deze persoon depressief?" gebaseerd op alleen wat ze zeggen tijdens een interview.

Detective A (De DNN) is als een zeer goed getrainde, gespecialiseerde rechercheur in opleiding. Ze hebben duizenden boeken over mentale gezondheid bestudeerd en kennen de specifieke "regels" van taal die vaak wijzen op verdriet.
Detective B (De LLM) is als een superintelligente, algemene genie die bijna alles op het internet heeft gelezen. Ze zijn niet specifiek getraind voor alleen deze ene zaak, maar ze zijn ongelooflijk goed in het begrijpen van nuance, toon en context.

De onderzoekers in dit artikel wilden zien welke detective beter is in het oplossen van de zaak en, nog belangrijker, of een van beide detectives mensen eerlijk behandelt? Maken ze vaker fouten bij bepaalde groepen mensen (zoals mannen versus vrouwen, of verschillende etnische achtergronden) dan bij anderen?

Hier is de uitsplitsing van hun onderzoek met behulp van eenvoudige analogieën:

1. De Opzet: De Verhoorkamer

De detectives kregen transcripten van de DAIC-WOZ, een collectie van echte klinische interviews waarin mensen over hun leven praatten. De onderzoekers keken naar twee belangrijke "verdachten" voor bias:

Geslacht: Mannen versus Vrouwen.
Ras/Etniciteit: Wit/Blank versus Afro-Amerikaans versus Hispanic.

2. De Confrontatie: Wie is Beter?

Het Resultaat: De LLM (Detective B) was over het algemeen beter in het opsporen van depressie dan de DNN (Detective A).

De Analogie: Denk aan de DNN als een student die een tekstboek uit het hoofd heeft geleerd. Ze kennen de definities, maar missen misschien de "vibe" van een gesprek. De LLM is als een ervaren counselor die tussen de regels door kan lezen.
De Addertjes onder het gras: Hoewel de LLM in het algemeen slimmer was, had het ook blinde vlekken. Het was bijzonder goed in het helpen van de Hispanic groep (die de DNN bijna volledig negeerde), maar het had nog steeds moeite om Afro-Amerikaanse en Witte deelnemers precies hetzelfde te behandelen.

3. Het Bijsturen van de Biases: De "Training"

De onderzoekers probeerden de detectives te "repareren" om ze eerlijker te maken.

Het repareren van Detective A (De DNN)

Omdat de DNN een machine learning-model is, kun je de "wiskunde" ervan veranderen om het eerlijk af te dwingen. Ze probeerden twee methoden:

Methode 1: "De Regel van de Slechtste Groep" (Worst-Group Loss). Stel je een leraar voor die zegt: "Het kan me niet schelen hoe goed je het doet voor de makkelijke leerlingen; ik geef alleen om het feit of je de moeilijkste leerling kunt laten slagen." Het model werd gedwongen zich te concentreren op de groep waar het het meest tekortschoot.
- Resultaat: Dit werkte goed! Het bracht de scores in balans zonder de algemene nauwkeurigheid van de detective te verpesten.
Methode 2: "De Regel van het Gemiddelde" (Fairness-Regularized Loss). Deze methode probeerde de scores tegelijkertijd voor iedereen gelijk te maken.
- Resultaat: Dit maakte de detective te verward. Het probeerde zo hard om voor iedereen eerlijk te zijn, dat de detective eigenlijk slechter werd in het detecteren van depressie in het algemeen.

Het repareren van Detective B (De LLM)

Je kunt de LLM niet gemakkelijk hertrainen, dus de onderzoekers probeerden Prompting (het geven van een specifieke set instructies voordat de detective begint).

De "Ethische Inkadering" Prompt: Ze gaven de LLM een briefje met de tekst: "Hé, behandel iedereen gelijk, ongeacht hun geslacht of ras. Gebruik geen stereotypen. Kijk alleen naar de woorden."
- Resultaat: Dit hielp enorm bij de geslachtsbias. Wanneer de LLM slechts één voorbeeld kreeg (1-shot) samen met deze ethische instructie, behandelde het mannen en vrouwen veel eerlijker.
- De Limiet: Het geven van meer voorbeelden (3-shot of 5-shot) hielp de bias niet verder te corrigeren. Ook loste deze "Ethische Notitie" de bias met betrekking tot ras niet echt op. De LLM had nog steeds moeite om verschillende raciale groepen even eerlijk te behandelen, ongeacht hoeveel instructies of voorbeelden er werden gegeven.

4. De Prijs van Rechtvaardigheid

Er was een afweging tussen tijd en geld.

Detective A (DNN) was ongelooflijk snel en loste een zaak op in 0,002 seconden.
Detective B (LLM) deed er ongeveer 0,68 seconden over per geval.
De Les: Hoewel de LLM langzamer en "duurder" was om te draaien, was het over het algemeen nauwkeuriger en gemakkelijker te corrigeren voor geslachts-bias dan de snellere, goedkopere DNN.

Samenvatting van de Bevindingen

De LLM is de sterkere detective in het algemeen, vooral voor groepen die de DNN volledig miste (zoals Hispanic deelnemers).
Bias is hardnekkig. Zelfs de slimste AI (LLM) worstelt nog steeds met het behandelen van verschillende raciale groepen op exact dezelfde manier, zelfs wanneer je het ethische instructies geeft.
De "Worst-Group" wiskundige truc was de beste manier om de bias van de DNN te herstellen zonder de nauwkeurigheid te breken.
Ethische instructies hielpen de LLM om mannen en vrouwen eerlijk te behandelen, maar alleen wanneer de detective naar slechts één voorbeeld tegelijk keek.

Kortom: Dit artikel laat zien dat hoewel AI steeds beter wordt in het detecteren van depressie, we nog een lange weg te gaan hebben om ervoor te zorgen dat het niet per ongeluk discrimineert op basis van wie iemand is. De "oplossingen" die we proberen, hangen sterk af van het feit of we een gespecialiseerd model of een algemeen doel dienende reus gebruiken.

Technische Samenvatting: Beoordeling van Algoritmische Bias in Taalgebaseerde Depressiedetectie

Probleemstelling
Hoewel Natural Language Processing (NLP) veelbelovende wegen biedt voor automatische detectie van depressie via linguïstische kenmerken, blijven er aanzienlijke zorgen bestaan over algoritmische bias over sociaal-demografische groepen heen. Bestaande literatuur geeft aan dat linguïstische markers van depressie variëren per geslacht, ras en etniciteit, wat potentieel kan leiden tot uiteenlopende prestaties in geautomatiseerde systemen. Hoewel eerder werk zich heeft gericht op bias in audio-gebaseerde of multimodale depressiedetectie, is er een opvallende lacune in de evaluatie van tekstgebaseerde modellen getraind op klinische interviewtranscripten. Bov�ander blijft de impact van opkomende Large Language Models (LLM's) op deze discrepanties, en de effectiviteit van strategieën voor bias-mitigatie binnen klinische NLP-contexten, onderbelicht. Deze studie onderzoekt deze kwesties door Deep Neural Network (DNN) embeddings te vergelijken met few-shot LLM-benaderingen op de Distress Analysis Interview Corpus/Wizard-of-Oz (DAIC-WOZ) dataset, waarbij de focus ligt op geslacht en ras/etniciteit als primaire bronnen van bias.

Methodologie
De studie maakt gebruik van de DAIC-WOZ dataset, bestaande uit klinische interviews gescoord volgens de Patient Health Questionnaire-8 (PHQ-8). Na het uitsluiten van deelnemers met ontbrekende demografische gegevens, beslaat de analyse 186 deelnemers voor geslacht en 184 voor ras/etniciteit.

Modelarchitecturen:
- DNN-gebaseerde benadering: De studie gebruikt Mental-RoBERTa, een domein-adaptief model dat vooraf is getraind op corpora gerelateerd aan mentale gezondheid. Om lange transcripten te verwerken, werd een chunking-strategie gebruikt (vensters van 300 woorden met een overlap van 80 woorden), waarbij de uiteindelijke voorspellingen werden bepaald door meerderheidsstemming (majority voting).
- LLM-benadering: GPT-4o-mini werd gebruikt voor few-shot learning. De studie vergeleek Unguided Prompting (UP) met Guided Prompting (GP), die specifie beke linguïstische kenmerken van depressie bevat, en Guided Prompting with Ethical Framing (GP-EF), die expliciete instructies toevoegt om stereotypen te vermijden en rechtvaardige behandeling te waarborgen. Experimenten werden uitgevoerd in 1-shot, 3-shot en 5-shot settings.
Bias-mitigatiestrategieën:
- Voor DNN's: Twee fairness-bewuste loss-functies werden geïmplementeerd:
  - Worst-Group Loss: Bestraft het model op basis van de subgroep met de hoogste cross-entropy loss om de prestaties op de slechtst presterende groep te verbeteren.
  - Fairness-Regularized Loss: Voegt een strafterm toe die proportioneel is aan de maximale discrepantie in subgroep-specifieke losses.
- Voor LLM's: Bias-mitigatie werd uitsluitend verkend via in-context learning via prompt engineering (GP en GP-EF) en het variëren van het aantal shots.
Evaluatiemetrieken:
Prestaties werden gemeten met behulp van Balanced Accuracy (BA), True Positive Rate (TPR), Precisie en F1-score. Fairness werd gekwantificeerd met behulp van Equalized Odds (EO), gedefinieerd als $1 - |TPR_{niet-gevoelig} - TPR_{gevoelig}|$ . Statistische significantie werd beoordeeld via t-testen en ANOVA.

Belangrijkste Bijdragen
Dit artikel draagt bij aan het vakgebied door:

Een vergelijkende analyse te bieden van DNN-gebaseerde embeddings en LLM's voor depressiedetectie, waarbij zowel prestaties als algoritmische rechtvaardigheid worden geëvalueerd.
Het onderzoeken van fairness-bewuste modelleringsrestricties (loss-functies) voor tekstgebaseerde depressiedetectie, een taak die voorheen werd gedomineerd door onderzoek naar tabulaire of multimodale data.
Het onderzoeken van in-context learning technieken met variërende prompt-framings om bias in LLM's te mitigeren, een benadering die voorheen niet is bestudeerd voor depressiedetectie.

Resultaten

Prestatievergelijking: LLM's presteerden over het algemeen beter dan DNN-gebaseerde embeddings in depressieclassificatie, met name voor ondervertegenwoordigde groepen zoals Hispanic deelnemers.
Geslachtsbias:
- DNN's: Toonden significante geslachtsdispariteiten (EO = 0,85) vóór mitigatie. De Worst-Group Loss bereikte een betere balans tussen prestaties en rechtvaardigheid vergeleken met de Fairness-Regularized Loss, die de rechtvaardigheid verbeterde maar ten koste ging van de nauwkeurigheid.
- LLM's: Vertoonden minder geslachtsbias vergeleken met DNN's (EO = 0,93 in 1-shot). De GP-EF strategie verbeterde de EO verder in de 1-shot setting, waardoor de verschillen in TPR statistisch insignificant werden. Het verhogen van het aantal shots (3 en 5) verminderde de discrepanties echter niet consistent verder.
Ras/Etniciteitsbias:
- DNN's: Significante dispariteiten bestonden er, waarbij Hispanic deelnemers rond het niveau van toeval presteerden vóór debiasing. Beide loss-functies verbeterden de prestaties voor de Hispanic en Afro-Amerikaanse groepen, waarbij Worst-Group Loss een superieur evenwicht bood.
- LLM's: Hoewel LLM's de algehele detectie voor Hispanic deelnemers verbeterden ten opzichte van DNN's, bleven raciale dispariteiten bestaan. Noch prompt framing (GP, GP-EF), noch het verhogen van het aantal shots, slaagde erin de verschillen tussen Afro-Amerikaanse/Hispanic en Wit/Blank groepen effectief te verminderen.
Efficiëntie: DNN-gebaseerde embeddings waren aanzienlijk sneller (0,0025s per sample) vergeleken met LLM's (0,68s per sample), hoewel LLM's superieure prestatie- en fairness-resultaten vertoonden.

Significantie en Claims
Het artikel concludeert dat hoewel LLM's superieure prestaties en over het algemeen een verminderde geslachtsbias bieden vergeleken met traditionele DNN-embeddings, sociaal-demografische discrepanties — met name over raciale groepen heen — in beide modeltypen voortbestaan. De studie benadrukt dat bias-mitigatiestrategieën geen 'one-size-fits-all' zijn; Worst-Group Loss bleek effectief voor DNN's, terwijl Ethical Framing in prompts veelbelovend was voor LLM's in specifieke settings (1-shot genderanalyse).

De auteurs claimen bescheiden dat deze bevindingen de complexiteit onderstrepen van het balanceren van rechtvaardigheid en nauwkeurigheid in klinische NLP. Ze benadrukken de noodzaak om debiasing-strategieën af te stemmen op specifieke modeltypen en demografische contexten. De studie erkent beperkingen, waaronder de ondervertegenwoordiging van Hispanic deelnemers met depressie in de dataset en de evaluatie van slechts twee representatieve modellen per categorie, wat suggereert dat toekomstig werk een breder scala aan modellen en meertalige datasets moet verkennen om de generaliseerbaarheid te valideren.