Investigating Gender Stereotypes in Large Language Models via Social Determinants of Health

Diese Studie untersucht, wie Large Language Models in französischen Patientenakten geschlechtsspezifische Stereotype im Kontext sozialer Gesundheitsdeterminanten reproduzieren und schlägt vor, Wechselwirkungen zwischen diesen Faktoren in die Bias-Bewertung aufzunehmen.

Das Wesentliche

Stell dir vor, du hast einen extrem klugen, aber etwas naiven digitalen Assistenten. Dieser Assistent hat Millionen von Büchern, Artikeln und Online-Gesprächen gelesen, um zu lernen, wie die Welt funktioniert. Er ist so schlau, dass er medizinische Berichte analysieren und sogar Diagnosen stellen könnte. Aber hier liegt das Problem: Da er die Welt so gelesen hat, wie sie war (und ist), hat er auch alle unsere Vorurteile, Klischees und Stereotype „geschluckt".

Diese Forscher aus Nantes haben untersucht, wie stark dieser digitale Assistent (ein sogenanntes „Large Language Model" oder LLM) in der Medizin von Geschlechterklischees beeinflusst wird.

Hier ist die Erklärung der Studie, einfach und mit ein paar bildhaften Vergleichen:

1. Das Problem: Der Assistent mit dem „Brillenfilter"

In der Medizin ist es wichtig, dass ein Arzt oder ein Computerprogramm den Patienten genau so sieht, wie er ist. Aber diese KI-Modelle tragen eine unsichtbare Brille, die durch ihre Trainingsdaten gefärbt ist.

• Die Analogie: Stell dir vor, du fragst einen Assistenten: „Wer ist wahrscheinlich krank?" und gibst ihm nur Informationen wie: „Die Person raucht, ist verheiratet und arbeitet als Handwerker."
• Das Klischee: Ein menschlicher Betrachter könnte denken: „Das klingt nach einem Mann." Ein anderer könnte denken: „Vielleicht ist es eine Frau." Aber die KI hat oft eine feste Erwartungshaltung: „Handwerker + Raucher = Mann."
• Die Gefahr: Wenn die KI dann eine Diagnose stellt, könnte sie fälschlicherweise annehmen, dass der Patient männlich ist, und daher Symptome ignorieren, die typisch für Frauen sind (wie in der Studie gezeigt: Ein männlicher Patient wurde fälschlicherweise mit menstruationsbedingten Problemen konfrontiert, weil die KI das Muster nicht durchschaut hat).

2. Der Versuch: Den Assistenten auf die Probe stellen

Die Forscher wollten herausfinden: Wie stark ist dieser Vorurteils-Filter eigentlich?

Sie haben einen cleveren Trick angewendet, den man sich wie ein Labor-Experiment vorstellen kann:

• Das „Entkleiden" der Daten: Normalerweise enthalten medizinische Texte Hinweise auf das Geschlecht (z. B. „der Patient", „die Patientin", bestimmte Berufsnamen). Die Forscher haben diese Texte „entkleidet". Sie haben alle geschlechtsspezifischen Wörter entfernt und durch neutrale Begriffe ersetzt.
• Die Aufgabe: Sie gaben der KI nur noch die nackten Fakten: „Lebt allein, raucht, ist Rentner, hat einen bestimmten Beruf."
• Die Frage: „Was glaubst du, ist das Geschlecht dieser Person?"

Die KI musste sich also nur auf die Lebensumstände (soziale Determinanten der Gesundheit) verlassen, nicht auf offensichtliche Hinweise.

3. Die Ergebnisse: Die KI denkt wie ein Stereotyp-Träger

Das Ergebnis war aufschlussreich und etwas beunruhigend:

• Die KI „rät" basierend auf Klischees: Selbst ohne geschlechtsspezifische Wörter tendierte die KI stark dazu, bestimmte Berufe oder Lebensstile einem bestimmten Geschlecht zuzuordnen.
  • Beispiel: Wenn jemand „Rentner" und „Raucher" war, sagte die KI fast immer „Mann". Wenn jemand „Student" war, tendierte sie zu „Frau".
• Größe ist nicht alles: Man dachte vielleicht, je größer und schlauer das Modell ist, desto weniger Vorurteile hat es. Aber die Studie zeigte: Auch die riesigen, super-intelligenten Modelle haben diese Vorurteile tief im System. Manchmal sind sie sogar noch stärker in ihren Vorurteilen, wenn sie speziell für die Medizin trainiert wurden (wie ein Arzt, der zu sehr auf alte Lehrbücher schwört).
• Der Beruf ist der Schlüssel: Der stärkste Vorurteils-Trigger war der Beruf. Die KI verknüpfte bestimmte Jobs fast automatisch mit einem Geschlecht, genau wie viele Menschen im echten Leben.

4. Der Vergleich mit Menschen: Wir sind nicht besser

Das Interessanteste an der Studie ist der Vergleich mit echten Menschen. Die Forscher gaben denselben Test auch an eine Gruppe von Studenten.

• Das Ergebnis: Die Studenten und die KI haben fast identische Muster gezeigt! Wenn die KI dachte, ein Handwerker sei ein Mann, dachten die Studenten das auch.
• Die Erkenntnis: Die KI ist kein böses Monster, das neue Vorurteile erfindet. Sie ist wie ein Spiegel. Sie spiegelt nur die gesellschaftlichen Vorurteile wider, die wir Menschen haben. Wenn die KI Vorurteile zeigt, zeigt sie, dass wir Menschen diese Vorurteile immer noch in unseren Daten und unserem Denken tragen.

5. Was bedeutet das für die Zukunft?

Die Forscher sagen nicht, dass wir diese KIs wegwerfen sollen. Aber sie warnen:

• Keine blinden Vertrauens: Wir können diesen digitalen Assistenten nicht einfach in Krankenhäusern einsetzen, ohne zu prüfen, ob sie Vorurteile haben.
• Der „Brillen-Check": Bevor wir KI in der Medizin nutzen, müssen wir ihr „Brille" abnehmen (wie in der Studie gemacht) und prüfen, ob sie immer noch fair urteilt.
• Lösung: Es gibt keine perfekte, vorurteilsfreie KI (da sie von unperfekten Menschen trainiert wird). Aber wir können Strategien entwickeln, um diese Vorurteile zu minimieren, indem wir die KI genau beobachten und sie anweisen, nicht auf Klischees zu hören.

Zusammenfassend:
Diese Studie ist wie ein Gesundheitscheck für die KI. Sie zeigt uns, dass die KI zwar schlau ist, aber oft noch in alten, stereotypen Denkmustern steckt. Wenn wir sie in der Medizin einsetzen wollen, müssen wir sicherstellen, dass sie den Patienten als Individuum sieht und nicht als eine Ansammlung von Klischees über sein Geschlecht oder seinen Beruf. Nur so können wir verhindern, dass die KI Fehler macht, die echte Menschen schaden könnten.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Investigating Gender Stereotypes in Large Language Models via Social Determinants of Health" auf Deutsch:

1. Problemstellung

Large Language Models (LLMs) werden zunehmend im Gesundheitswesen eingesetzt, z. B. zur Unterstützung von Diagnosen auf Basis klinischer Patientendaten. Ein kritisches Problem besteht darin, dass diese Modelle die in ihren Trainingsdaten enthaltenen gesellschaftlichen Vorurteile (Biases) widerspiegeln und verstärken können. Im medizinischen Kontext können solche Verzerrungen zu schwerwiegenden Folgen führen, wie Fehldiagnosen, unangemessenen Behandlungen und der Verstärkung von Gesundheitsungleichheiten.

Bisherige Studien zur Bias-Erkennung in LLMs konzentrierten sich oft auf isolierte soziale Determinanten der Gesundheit (SDoH) wie Geschlecht oder Ethnie in entkontextualisierten Umgebungen. Es fehlt jedoch an Untersuchungen, die die Interaktionen zwischen verschiedenen SDoH-Faktoren (z. B. wie Beruf, Familienstand oder Substanzkonsum mit dem Geschlecht interagieren) in realistischen klinischen Szenarien analysieren. Das Paper adressiert diese Lücke, indem es untersucht, wie LLMs geschlechtsspezifische Stereotype nutzen, um aus neutralisierten SDoH-Daten das Geschlecht eines Patienten vorherzusagen, was potenziell zu fehlerhaften medizinischen Schlussfolgerungen führen kann.

2. Methodik

Datengrundlage und Vorverarbeitung:

• Datensatz: Es wurden 1.700 anonymisierte Abschnitte aus sozialen Anamnesen französischer klinischer Notizen verwendet. Der Datensatz enthält 14 annotierte SDoH-Kategorien (u. a. Geschlecht, Familienstand, Beruf, Substanzkonsum, Einkommen).
• Filterung: Für die Experimente wurden 958 Notizen ausgewählt, die Informationen zu mindestens drei SDoH-Faktoren und spezifisch zum Beruf enthalten.
• Geschlechtsneutralisierung: Um linguistische Geschlechtshinweise im Französischen (z. B. maskuline/feminine Endungen bei Berufen) zu eliminieren, wurden die Daten vorverarbeitet. SDoH-Werte wurden in strukturierte Schlüssel-Wert-Paare umgewandelt. Berufe wurden durch inklusive Formen ersetzt (z. B. „infirmier/infirmière" statt nur „infirmière"), basierend auf der PCS-2020-Nomenklatur des INSEE. Dies geschah, um sicherzustellen, dass das Modell keine expliziten sprachlichen Geschlechtsmarker nutzen kann, sondern auf implizite Stereotype in den SDoH-Daten angewiesen ist.

Aufgabenstellung (Probing Task):

• Die Modelle erhielten die neutralisierten SDoH-Daten als Eingabe.
• Ziel: Vorhersage des Geschlechts des Patienten auf einer 7-stufigen Likert-Skala (1 = weiblich, 4 = unsicher, 7 = männlich).
• Hypothese: Abweichungen von der neutralen Punktzahl 4 deuten auf die Nutzung von Geschlechterstereotypen hin, da keine expliziten Geschlechtsindikatoren im Text vorhanden sind.

Modelle:
Es wurden 9 verschiedene LLMs getestet, darunter:

• Basis-Modelle: Llama-3.1/3.3, Qwen2.5, Mistral (in verschiedenen Größen von 7B bis 72B).
• Medizinisch adaptierte Modelle: OpenBioLLM, Med42, HuatuoGPT.
• Alle Modelle wurden mit identischen Prompting-Strategien und Decoding-Parametern evaluiert.

Evaluationsmetriken:

• Bias-Score: Eine modifizierte Root-Mean-Square-Error (RMSE)-Metrik wurde verwendet, um die Abweichung der Vorhersagen von der neutralen Zahl 4 zu messen. Das Vorzeichen des Fehlers gibt die Richtung der Verzerrung an (positiv = männlich, negativ = weiblich).
• Assoziationsanalyse: Fisher's Exact Tests wurden durchgeführt, um signifikante Zusammenhänge (Odds Ratios) zwischen spezifischen SDoH-Werten (z. B. „Beruf: Arbeiter") und den Geschlechtervorhersagen zu ermitteln.
• Human-Vergleich: Eine Annotation-Kampagne mit 9 menschlichen Teilnehmern diente als Vergleichsbasis, um zu prüfen, ob die Modelle ähnliche Stereotypenmuster wie Menschen aufweisen.

3. Wichtige Beiträge

1. Rahmenwerk zur Stereotypen-Erkennung: Entwicklung eines modellagnostischen Frameworks, das SDoH-Daten aus Patientendatenbanken nutzt, um Interaktionen zwischen Geschlecht und 13 weiteren SDoH-Faktoren zu untersuchen.
2. Analyse von SDoH-Interaktionen: Erste umfassende Untersuchung, wie LLMs spezifische SDoH-Kombinationen (insbesondere Beruf) nutzen, um Geschlechterstereotype zu inferieren, anstatt nur isolierte Merkmale zu betrachten.
3. Vergleich Mensch vs. Maschine: Ein direkter Vergleich zeigt, dass LLMs in ihrer Vorhersage von Geschlecht basierend auf SDoH ähnliche Muster gesellschaftlicher Stereotype aufweisen wie menschliche Annotatoren.
4. Einfluss der Modellgröße und Anpassung: Untersuchung, wie sich die Modellgröße (Parameteranzahl) und die medizinische Feinabstimmung (Fine-Tuning) auf das Bias-Verhalten auswirken.

4. Ergebnisse

• Vorhersagetendenzen: Die meisten Modelle zeigten eine signifikante Abweichung von der Neutralität. Kleinere Modelle (z. B. 8B) tendierten zu einer höheren Sicherheit und stärkeren Verzerrung als größere Modelle (70B+), was auf eine geringere Kapazität zur Verarbeitung komplexer Eingaben hindeutet.
• Beruf als Hauptfaktor: Die Assoziationsanalyse ergab starke Korrelationen zwischen bestimmten Berufen und Geschlechtervorhersagen.
  • Männlich assoziiert: Arbeiter, Landwirte, Rauchen/Alkoholkonsum, Rentner.
  • Weiblich assoziiert: Angestellte, Hausfrauen, Studenten.
• Einfluss der medizinischen Anpassung: Medizinisch adaptierte Modelle (z. B. Med42) zeigten teilweise sogar stärkere Verzerrungen als ihre Basismodelle, was darauf hindeutet, dass Feinabstimmungen auf medizinischen Daten die Stereotype nicht unbedingt reduzieren, sondern manchmal verstärken können.
• Mensch-Maschine-Parallelen: Die menschlichen Annotatoren zeigten signifikant ähnliche Assoziationen zwischen Berufen und Geschlecht wie die LLMs. Dies bestätigt, dass die Modelle gesellschaftliche Vorurteile lernen und replizieren, die auch im menschlichen Denken vorhanden sind.
• Robustheit der Neutralisierung: Experimente zeigten, dass die Entfernung linguistischer Geschlechtshinweise (Neutralisierung) die Bias-Scores signifikant senkte, was beweist, dass die Modelle primär auf SDoH-Inhalte und nicht auf offensichtliche Textmarker zurückgreifen.

5. Bedeutung und Implikationen

• Klinische Sicherheit: Die Studie warnt davor, dass LLMs, die zur Diagnoseunterstützung eingesetzt werden, durch latente Geschlechterstereotype in SDoH-Daten zu falschen Diagnosen führen können (z. B. eine Frau wird fälschlicherweise mit männlichen Symptomen assoziiert oder umgekehrt).
• Neue Evaluationsmetrik: Die vorgeschlagene Methode, SDoH-Interaktionen zu nutzen, ergänzt bestehende Bias-Benchmarks und bietet einen tieferen Einblick in das Verhalten von Modellen in spezifischen Domänen wie der Medizin.
• Herausforderungen für die Entwicklung: Da LLMs probabilistisch auf unbalancierten Trainingsdaten basieren, ist eine vollständige Beseitigung von Bias schwierig. Die Autoren plädieren für einen pragmatischen Ansatz:
  • Priorisierung von Modellen, die für spezifische medizinische Aufgaben optimiert sind und zumindest eine Neutralität auf menschlichem Niveau aufweisen.
  • Nutzung von Prompting-Strategien zur direkten Bias-Minderung im Einsatzfall.
  • Verantwortung der Entwickler, Bias-Minderung bereits in den Trainingsdaten und im Entwicklungsprozess zu integrieren.

Zusammenfassend demonstriert das Paper, dass die Untersuchung von Interaktionen zwischen sozialen Determinanten der Gesundheit und Geschlecht ein leistungsfähiges Werkzeug ist, um verborgene Stereotype in LLMs aufzudecken, die für den sicheren Einsatz im Gesundheitswesen kritisch sind.