💬 NLP

Assessing Algorithmic Bias in Language-Based Depression Detection: A Comparison of DNN and LLM Approaches

Diese Studie vergleicht tiefe neuronale Netze und große Sprachmodelle für die Erkennung von Depressionen in klinischen Interviews und stellt fest, dass LLMs im Allgemeinen DNNs übertreffen und eine reduzierte geschlechtsspezifische Verzerrung aufweisen, wobei beide Ansätze jedoch weiterhin mit rassistischen Disparitäten zu kämpfen haben, wobei spezifische fairness-orientierte Techniken wie der Worst-Group-Loss für DNNs und ethisches Prompting für LLMs eine teilweise Entlastung bieten.

Ursprüngliche Autoren: Obed Junias, Prajakta Kini, Theodora Chaspari

Veröffentlicht 2026-01-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Obed Junias, Prajakta Kini, Theodora Chaspari

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei verschiedene Arten von Detektiven, die ein Rätsel lösen versuchen: „Ist diese Person depressiv?“ basierend nur auf dem, was sie während eines Interviews sagen.

Detektiv A (Die DNN) ist wie ein hochgradig ausgebildeter, spezialisierter Junior-Offizier. Er hat tausende von Psychologiebüchern studiert und kennt die spezifischen „Regeln“ der Sprache, die oft auf Traurigkeit hindeuten.
Detektiv B (Das LLM) ist wie ein superintelligentes, universell begabtes Genie, das fast alles im Internet gelesen hat. Er wurde nicht speziell nur für diesen einen Fall trainiert, aber er ist unglaublich gut darin, Nuancen, Tonfall und Kontext zu verstehen.

Die Forscher in dieser Arbeit wollten sehen, welcher Detektiv besser darin ist, den Fall zu lösen, und vor allem: Behandelt einer der beiden die Menschen fair? Machen sie bei bestimmten Gruppen häufiger Fehler (wie Männern gegenüber Frauen oder unterschiedlichen ethnischen Hintergründen)?

Hier ist die Aufschlüsselung ihrer Untersuchung unter Verwendung einfacher Analogien:

1. Das Setup: Der Verhörraum

Den Detektiven wurden Transkripte aus dem DAIC-WOZ gegeben, einer Sammlung echter klinischer Interviews, in denen Menschen über ihr Leben sprachen. Die Forscher untersuchten zwei Hauptverdächtige für Voreingenommenheit (Bias):

Geschlecht: Männer vs. Frauen.
Rasse/Ethnizität: Weiß/Kaukasisch vs. Afroamerikanisch vs. Hispanisch.

2. Das Duell: Wer ist besser?

Das Ergebnis: Das LLM (Detektiv B) war im Allgemeinen besser darin, Depressionen zu erkennen als die DNN (Detektiv A).

Die Analogie: Denken Sie an die DNN als einen Studenten, der ein Lehrbuch auswendig gelernt hat. Er kennt die Definitionen, aber übersieht vielleicht die „Vibe“ eines Gesprächs. Das LLM ist wie ein erfahrener Berater, der zwischen den Zeilen lesen kann.
Der Haken: Obwohl das LLM insgesamt klüger war, hatte es auch blinde Flecken. Es war besonders gut darin, der hispanischen Gruppe zu helfen (gegenüber der die DNN fast völlig versagte), aber es hatte immer noch Schwierigkeiten, afroamerikanische und weiße Teilnehmer exakt gleich zu behandeln.

3. Die Korrektur der Vorurteile: Das „Training“

Die Forscher versuchten, die Detektive zu „reparieren“, um sie fairer zu machen.

Die Korrektur von Detektiv A (Die DNN)

Da die DNN ein maschinelles Lernmodell ist, kann man ihre „Mathematik“ ändern, um sie zur Fairness zu zwingen. Sie probierten zwei Methoden aus:

Methode 1: „Die Regel der schlechtesten Gruppe“ (Worst-Group Loss). Stellen Sie sich einen Lehrer vor, der sagt: „Es ist mir egal, wie gut ihr bei den einfachen Schülern abschneidet; mir ist nur wichtig, ob ihr den schwierigsten Schüler bestehen könnt.“ Das Modell wurde gezwungen, sich auf die Gruppe zu konzentrieren, bei der es am meisten versagte.
- Ergebnis: Dies funktionierte gut! Es glich die Ergebnisse aus, ohne die Gesamtgenauigkeit des Detektivs zu ruinieren.
Methode 2: „Die Durchschnitts-Regel“ (Fairness-Regularized Loss). Diese Methode versuchte, die Ergebnisse gleichzeitig für alle gleich zu machen.
- Ergebnis: Dies machte den Detektiv zu verwirrt. Er versuchte so sehr, für alle fair zu sein, dass er tatsächlich schlechter darin wurde, Depressionen insgesamt zu erkennen.

Die Korrektur von Detektiv B (Das LLM)

Man kann das LLM nicht einfach neu trainieren, also versuchten die Forscher es mit Prompting (dem Geben einer spezifischen Anweisung an den Detektiv, bevor er beginnt).

Das „Ethische Framing“-Prompt: Sie gaben dem LLM eine Notiz, die besagte: „Hey, behandle jeden unabhängig von Geschlecht oder Rasse gleich. Nutze keine Stereotypen. Achte nur auf die Worte.“
- Ergebnis: Dies half sehr viel bei der Geschlechts-Voreingenommenheit. Wenn das LLM nur ein Beispiel (1-shot) und diese ethische Notiz erhielt, behandelte es Männer und Frauen viel fairer.
- Die Grenze: Dem LLM mehr Beispiele zu geben (3-shot oder 5-shot), half nicht weiter, die Voreingenommenheit zu beheben. Auch half diese „Ethische Notiz“ nicht wirklich dabei, die Voreingenommenheit bezüglich der Rasse zu beheben. Das LLM hatte immer noch Schwierigkeiten, verschiedene ethnische Gruppen exakt gleich zu behandeln, ungeachtet der Anzahl der Anweisungen oder Beispiele.

4. Die Kosten der Gerechtigkeit

Es gab einen Austausch zwischen Zeit und Geld.

Detektiv A (DNN) war unglaublich schnell und löste einen Fall in 0,002 Sekunden.
Detektiv B (LLM) brauchte etwa 0,68 Sekunden pro Fall.
Das Fazit: Obwohl das LLM langsamer und „teurer“ im Betrieb war, war es im Allgemeinen genauer und einfacher zu korrigieren, was die Geschlechts-Voreingenommenheit betrifft, als die schnellere, günstigere DNN.

Zusammenfassung der Ergebnisse

Das LLM ist der stärkere Detektiv insgesamt, insbesondere für Gruppen, die die DNN komplett übersehen hat (wie hispanische Teilnehmer).
Voreingenommenheit ist hartnäckig. Selbst die klügste KI (LLM) kämpft immer noch damit, verschiedene ethnische Gruppen exakt gleich zu behandeln, selbst wenn man ihr ethische Anweisungen gibt.
Der „Worst-Group“-Mathematiktrick war der beste Weg, um die Voreingenommenheit der DNN zu beheben, ohne ihre Genauigkeit zu beeinträchtigen.
Ethische Anweisungen halfen dem LLM, Männer und Frauen fair zu behandeln, aber nur, wenn der Detektiv gerade nur ein Beispiel gleichzeitig betrachtete.

Kurz gesagt: Die Arbeit zeigt, dass KI zwar besser darin wird, Depressionen zu erkennen, wir aber noch einen weiten Weg vor uns haben, um sicherzustellen, dass sie nicht versehentlich Menschen diskriminiert, basierend darauf, wer sie sind. Die „Fixes“, die wir versuchen, hängen stark davon ab, ob wir ein spezialisiertes Modell oder einen universellen Riesen verwenden.

Technische Zusammenfassung: Bewertung algorithmischer Voreingenommenheit bei der sprachbasierten Depressionserkennung

Problemstellung
Während die Computerlinguistik (NLP) vielversprechende Wege für die automatisierte Depressionserkennung durch linguistische Merkmale bietet, bestehen erhebliche Bedenken hinsichtlich algorithmischer Voreingenommenheit (Bias) über soziodemografische Gruppen hinweg. Die bestehende Literatur deutet darauf hin, dass linguistische Marker für Depressionen je nach Geschlecht, Rasse und Ethnie variieren, was potenziell zu ungleichen Leistungen in automatisierten Systemen führen kann. Obwohl vorangegangene Arbeiten die Voreingenommenheit in der audiobasierten oder multimodalen Depressionserkennung untersucht haben, gibt es eine deutliche Lücke bei der Bewertung von rein textbasierten Modellen, die auf klinischen Interviewtranskripten trainiert wurden. Darüber hinaus bleibt der Einfluss aufkommender Large Language Models (LLMs) auf diese Disparitäten sowie die Wirksamkeit von Strategien zur Minderung von Voreingenommenheit in klinischen NLP-Kontexten untererforscht. Diese Studie untersucht diese Probleme durch einen Vergleich von Deep Neural Network (DNN)-Embeddings mit Few-Shot-LLM-Ansätzen auf dem DAIC-WOZ-Datensatz (Distress Analysis Interview Corpus/Wizard-of-Oz), wobei der Fokus auf Geschlecht sowie Rasse/Ethnie als primäre Quellen der Voreingenommenheit liegt.

Methodik
Die Studie nutzt den DAIC-WOZ-Datensatz, der aus klinischen Interviews besteht, die mittels des Patient Health Questionnaire-8 (PHQ-8) bewertet wurden. Nach Ausschluss von Teilnehmern mit fehlenden demografischen Daten umfasst die Analyse 186 Teilnehmer für das Geschlecht und 184 für Rasse/Ethnie.

Modellarchitekturen:
- DNN-basierter Ansatz: Die Studie verwendet Mental-RoBERTa, ein domänenspezifisch adaptiertes Modell, das auf Mental-Health-Korpora vortrainiert wurde. Um lange Transkripte zu verarbeiten, wurde eine Chunking-Strategie (300-Wörter-Fenster mit 80-Wörter-Überlappung) angewandt, wobei die endgültigen Vorhersagen durch Mehrheitsentscheid (Majority Voting) ermittelt wurden.
- LLM-Ansatz: GPT-4o-mini wurde für das Few-Shot-Learning eingesetzt. Die Studie verglich Unguided Prompting (UP) mit Guided Prompting (GP), welches spezifische linguistische Hinweise auf Depressionen enthält, sowie Guided Prompting with Ethical Framing (GP-EF), das explizite Anweisungen zur Vermeidung von Stereotypen und zur Gewährleistung einer gerechten Behandlung hinzufügt. Die Experimente wurden in 1-Shot-, 3-Shot- und 5-Shot-Settings durchgeführt.
Strategien zur Minderung von Voreingenommenheit (Bias Mitigation):
- Für DNNs: Zwei Fairness-bewusste Verlustfunktionen (Loss Functions) wurden implementiert:
  - Worst-Group Loss: Bestraft das Modell basierend auf der Subgruppe mit dem höchsten Cross-Entropy-Loss, um die Leistung der am schlechtesten abschneidenden Gruppe zu verbessern.
  - Fairness-Regularized Loss: Fügt einen Strafterm hinzu, der proportional zur maximalen Disparität der gruppenspezifischen Losses ist.
- Für LLMs: Die Minderung von Voreingenommenheit wurde ausschließlich durch In-Context-Learning mittels Prompt Engineering (GP und GP-EF) und variierenden Shot-Anzahlen untersucht.
Evaluationsmetriken:
Die Leistung wurde mittels Balanced Accuracy (BA), True Positive Rate (TPR), Precision und F1-Score gemessen. Fairness wurde mittels Equalized Odds (EO) quantifiziert, definiert als $1 - |TPR_{nicht-sensitiv} - TPR_{sensitiv}|$ . Die statistische Signifikanz wurde mittels t-Tests und ANOVA bewertet.

Wesentliche Beiträge
Diese Arbeit leistet einen Beitrag zum Feld durch:

Eine vergleichende Analyse von DNN-basierten Embeddings und LLMs für die Depressionserkennung, wobei sowohl die Leistung als auch die algorithmische Fairness bewertet werden.
Die Untersuchung von Fairness-bewussten Modellierungsbeschränkungen (Loss Functions) für die textbasierte Depressionserkennung, eine Aufgabe, die bisher von der Forschung an tabellarischen oder multimodalen Daten dominiert wurde.
Die Untersuchung von In-Context-Learning-Techniken mit variierenden Prompt-Framings zur Minderung von Vestrogenommenheit in LLMs, ein Ansatz, der bisher für die Depressionserkennung nicht untersucht wurde.

Ergebnisse

Leistungsvergleich: LLMs übertrafen DNN-basierte Embeddings im Allgemeinen bei der Klassifizierung von Depressionen, insbesondere bei unterrepräsentierten Gruppen wie hispanischen Teilnehmern.
Geschlechts-Bias:
- DNNs: Zeigten signifikante geschlechtsspezifische Disparitäten (EO = 0,85) vor der Minderung. Der Worst-Group Loss erreichte ein besseres Gleichgewicht zwischen Leistung und Fairness im Vergleich zum Fairness-Regularized Loss, welcher die Fairness verbesserte, aber auf Kosten der Genauigkeit ging.
- LLMs: Zeigten eine reduzierte Geschlechtsvoreingenommenheit im Vergleich zu DNNs (EO = 0,93 in 1-Shot). Die GP-EF-Strategie verbesserte die EO im 1-Shot-Setting weiter, wodurch die Geschlechtsunterschiede in der TPR statistisch insignifikant wurden. Eine Erhöhung der Anzahl der Shots (3 und 5) reduzierte die Disparitäten jedoch nicht konsistent weiter.
Rasse/Ethnie-Bias:
- DNNs: Es bestanden signifikante Disparitäten; die Leistung hispanischer Teilnehmer lag vor dem Debiasing nahe an Zufallsniveau. Beide Verlustfunktionen verbesserten die Leistung für hispanische und afroamerikanische Gruppen, wobei der Worst-Group Loss ein überlegenes Gleichgewicht bot.
- LLMs: Während LLMs die allgemeine Erkennung für hispanische Teilnehmer im Vergleich zu DNNs verbesserten, blieben rassische Disparitäten bestehen. Weder das Prompt-Framing (GP, GP-EF) noch die Erhöhung der Shot-Anzahl konnten die Disparitäten zwischen afroamerikanischen/hispanischen und weißen/kaukasischen Gruppen effektiv reduzieren.
Effizienz: DNN-basierte Embeddings waren signifikant schneller (0,0025 s pro Probe) im Vergleich zu LLMs (0,68 s pro Probe), obwohl LLMs überlegene Ergebnisse bei Leistung und Fairness zeigten.

Bedeutung und Behauptungen
Die Arbeit kommt zu dem Schluss, dass LLMs zwar eine überlegene Leistung und generell eine reduzierte Geschlechtsvoreingenommenheit im Vergleich zu traditionellen DNN-Embeddings bieten, soziodemografische Disparitäten – insbesondere über Rassengruppen hinweg – jedoch in beiden Modelltypen fortbestehen. Die Studie hebt hervor, dass Strategien zur Minderung von Voreingenommenheit keine Einheitslösungen sind; Worst-Group Loss erwies sich für DNNs als effektiv, während Ethical Framing in Prompts im 1-Shot-Setting (Geschlechtsanalyse) vielversprechend war.

Die Autoren behaupten bescheiden, dass diese Ergebnisse die Komplexität der Abwägung zwischen Fairness und Genauigkeit in der klinischen NLP unterstreichen. Sie betonen die Notwendigkeit, Debiasing-Strategien auf spezifische Modelltypen und demografische Kontexte zuzuschneiden. Die Studie räumt Limitationen ein, einschließlich der Unterrepräsentation hispanischer Teilnehmer mit Depressionen im Datensatz sowie der Evaluierung von nur zwei repräsentativen Modellen pro Kategorie, und schlägt vor, dass zukünftige Arbeiten breitere Modellbereiche und mehrsprachige Datensätze untersuchen sollten, um die Generalisierbarkeit zu validieren.