Small Changes, Big Impact: Demographic Bias in LLM-Based Hiring Through Subtle Sociocultural Markers in Anonymised Resumes

Die Studie zeigt, dass selbst bei anonymisierten Lebensläufen subtile soziokulturelle Marker wie Hobbys oder Sprachen in LLM-gestützten Bewerbungsprozessen zu einer systematischen Benachteiligung nicht-chinesischer und nicht-weißer Kandidaten führen können, wobei die Bias durch Erklärungs-Prompts noch verstärkt wird.

Das Wesentliche

Titel: Der unsichtbare Filter: Wie KI bei der Jobsuche heimlich nach Herkunft und Geschlecht urteilt

Stellen Sie sich vor, Sie bewerben sich um einen Traumjob. Sie haben Ihren Lebenslauf perfekt vorbereitet, aber Sie wissen, dass die Firma sehr fair sein will. Also streichen Sie Ihren Namen, Ihr Geburtsdatum und Ihre Adresse heraus. Sie denken: „Jetzt kann niemand mehr sehen, wer ich bin. Die Entscheidung basiert nur auf meinen Fähigkeiten."

Das ist die Hoffnung. Doch eine neue Studie aus Singapur zeigt, dass diese Hoffnung trügerisch sein könnte. Die Forscher haben untersucht, wie Künstliche Intelligenz (KI) – genauer gesagt große Sprachmodelle (LLMs) – bei der Auswahl von Bewerbern funktioniert. Und das Ergebnis ist beunruhigend: Die KI kann den Bewerber immer noch „riechen", auch wenn der Name fehlt.

Hier ist die Geschichte der Studie, einfach erklärt:

1. Das Experiment: Der „Tarnkappen"-Test

Die Forscher haben 100 neutrale Lebensläufe erstellt. Diese waren wie leere Schablonen: Gleiche Ausbildung, gleiche Erfahrung, gleiche Fähigkeiten. Aber sie enthielten Platzhalter für Dinge wie Hobbys, Sprachen, Ehrenamt und Freizeitaktivitäten.

Dann haben sie diese Lebensläufe in 4.100 Varianten verwandelt. Sie haben nur die „kleinen Dinge" geändert, die nichts mit der Arbeit zu tun haben, aber kulturell typisch sind:

• Sprache: Statt nur „Englisch" steht dort „Englisch, Mandarin und Hokkien" (typisch für Chinesen) oder „Englisch, Tamil" (typisch für Inder).
• Hobbys: Statt „Bücher lesen" steht dort „PC-Basteln" (oft männlich assoziiert) oder „Backen von Kuchen" (oft weiblich assoziiert).
• Ehrenamt: Statt „Helfen" steht dort „Moschee" oder „Tempel".

Dann gaben sie diese Lebensläufe an 18 verschiedene KI-Modelle und fragten: „Wer ist besser für den Job?"

2. Die Entdeckung: Die KI ist ein Detektiv

Das Ergebnis war schockierend: Die KI hat die „Tarnkappe" durchschaut.

• Die Sprache verrät die Herkunft: Wenn in einem Lebenslauf Mandarin und Hokkien standen, wusste die KI sofort: „Das ist ein chinesischer Bewerber." Wenn Tamil stand: „Das ist ein indischer Bewerber." Die KI rekonstruierte die Ethnie fast perfekt, nur anhand dieser kleinen Hinweise.
• Die Hobbys verraten das Geschlecht: Die KI sah „Fußball" oder „MMA" und dachte sofort „Mann". Sah sie „Yoga" oder „Backen", dachte sie „Frau".

Die Analogie: Stellen Sie sich vor, Sie tragen eine Uniform, die Ihre Identität verdeckt. Aber Sie tragen trotzdem eine bestimmte Art von Schuhen, die nur eine bestimmte Gruppe trägt, und essen nur ein bestimmtes Essen. Ein sehr aufmerksamer Detektiv (die KI) würde trotzdem sagen: „Aha, ich weiß genau, wer Sie sind!"

3. Das Ergebnis: Wer gewinnt, wer verliert?

Die KI war nicht neutral. Sie hatte eine klare Vorliebe:

• Die Gewinner: Männer mit chinesischer oder kaukasischer (weißer) Herkunft bekamen die besten Bewertungen. Sie landeten oft ganz oben auf der Liste.
• Die Verlierer: Frauen, besonders solche mit indischer oder malaiischer Herkunft, landeten am unteren Ende. Sie wurden seltener ausgewählt, obwohl ihre fachlichen Qualitäten exakt gleich waren wie die der Gewinner.

Es ist wie bei einem Marathonlauf, bei dem die Läufer zwar gleich schnell laufen, aber die Schiedsrichter denjenigen, der die „richtigen" Schuhe trägt, automatisch schneller laufen lassen.

4. Der große Irrtum: „Erklär mir, warum!"

Viele denken: „Wenn wir die KI bitten, ihre Entscheidung zu erklären, wird sie fairer."
Die Studie hat das getestet. Sie haben die KI gefragt: „Warum hast du diesen Bewerber gewählt?" und sie eine kurze Begründung geben lassen.
Das Ergebnis: Es wurde oft schlimmer. Die Begründung half der KI nicht, fairer zu sein. Im Gegenteil, sie nutzte die Erklärung, um ihre Vorurteile noch stärker zu rechtfertigen. Es war, als würde ein Richter sagen: „Ich habe ihn verurteilt, weil er die falsche Farbe hat" – und dann eine lange, logisch klingende Erklärung dazu schreiben, warum diese Farbe schlecht ist. Das ändert nichts an der Ungerechtigkeit.

5. Was bedeutet das für uns?

Die Studie zeigt uns drei wichtige Dinge:

1. Anonymisierung reicht nicht mehr: Nur den Namen zu streichen, reicht nicht. Die KI lernt aus riesigen Datenmengen und kennt die kulturellen Muster (welche Sprache, welches Hobby, welche Religion) zu den verschiedenen Gruppen. Diese „kleinen Hinweise" sind wie Fingerabdrücke für die KI.
2. Kleine Änderungen haben große Wirkung: Ein Hobby oder eine Sprache, die für die Arbeit völlig egal sind, können entscheiden, ob Sie den Job bekommen oder nicht.
3. KI ist nicht automatisch fair: Nur weil eine Maschine entscheidet, heißt das nicht, dass sie gerecht ist. Sie übernimmt oft die Vorurteile, die in ihren Trainingsdaten stecken.

Fazit:
Wenn wir KI bei der Jobsuche einsetzen wollen, müssen wir aufpassen. Wir können nicht einfach den Namen streichen und hoffen, dass alles fair ist. Wir müssen die KI selbst testen (wie die Forscher es getan haben) und sicherstellen, dass sie nicht auf diese „unsichtbaren Marker" reagiert. Sonst landen wir in einer Welt, in der der Computer entscheidet, wer einen Job bekommt – basierend auf dem, was er über unsere Kultur und unser Geschlecht „weiß", nicht auf dem, was wir können.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Small Changes, Big Impact: Demographic Bias in LLM-Based Hiring Through Subtle Sociocultural Markers in Anonymised Resumes" auf Deutsch.

1. Problemstellung

Die Integration von Large Language Models (LLMs) in Rekrutierungsprozesse verspricht Effizienz, birgt jedoch erhebliche Risiken für die Fairness. Obwohl Organisationen versuchen, demografische Verzerrungen durch das Entfernen expliziter personenbezogener Daten (PII) wie Namen zu minimieren, bleiben subtile soziokulturelle Marker in Lebensläufen erhalten. Dazu gehören Sprachen, außerschulische Aktivitäten, ehrenamtliche Tätigkeiten und Hobbys.

Die zentrale Forschungsfrage ist, ob diese scheinbar harmlosen, aber demografisch indizierenden Marker ausreichen, um LLMs zu veranlassen, demografische Stereotype zu inferieren und diese in diskriminierende Einstellungsentscheidungen umzusetzen. Bisherige Studien konzentrierten sich oft auf explizite PII; diese Arbeit untersucht die Robustheit von Anonymisierungsverfahren gegenüber impliziten Signalen.

2. Methodik

Die Autoren entwickelten ein generalisierbares Stress-Test-Framework, das im spezifischen soziokulturellen Kontext von Singapur implementiert wurde.

• Datengenerierung:

  • Es wurden 100 neutrale, jobrelevante Lebensläufe generiert, die für verschiedene Branchen (Ingenieurwesen, Finanzen, Gesundheitswesen etc.) angepasst wurden.
  • Diese Baseline-Lebensläufe wurden um 4100 Varianten erweitert.
  • Variablen: Die Varianten unterscheiden sich nur in jobirrelevanten „Additional Information"-Sektionen.
  • Demografische Basket: 4 Ethnizitäten (Chinesisch, Malaiisch, Indisch/Tamil, Kaukasisch) × 2 Geschlechter (Männlich, Weiblich) × 5 kulturell authentische Marker-Variationen pro Gruppe.
  • Marker-Kategorien: Sprachen, Aktivitäten (CCAs), Ehrenamt und Hobbys (z. B. „Moschee-Ehrenamt" für Malaiisch, „Roboter-Club" für Chinesisch-Männlich).

• Evaluierte Modelle:

  • 18 state-of-the-art LLMs (proprietär und Open-Weight), darunter Familien von OpenAI (GPT-5/4), Google (Gemini), Anthropic (Claude), Meta (Llama), DeepSeek, Qwen und Mistral.

• Evaluierte Szenarien (Settings):

  1. Direct Comparison (1v1): Das Modell muss zwischen einem neutralen und einem demografisch markierten Lebenslauf für dieselbe Stelle wählen (Win/Tie/Loss).
  2. Score & Shortlist: Das Modell bewertet jeden Lebenslauf unabhängig auf einer Skala von 1–100. Es wird gemessen, wie oft eine demografische Gruppe die maximale Punktzahl erreicht und somit in die Shortlist kommt.

• Prompt-Variationen:

  • Tests wurden sowohl ohne als auch mit Rationale-Prompting (Anforderung einer 2–3 Sätze langen Begründung) durchgeführt, um zu prüfen, ob Erklärungen die Fairness verbessern oder verschlechtern.

• Metriken:

  • Demografische Wiederherstellbarkeit (Recoverability): Kann das Modell Ethnizität und Geschlecht nur aus den Markern korrekt vorhersagen? (F1-Score).
  • Bias-Metriken: Normalisierte Diskrepanz zwischen bester und schlechtester Gruppe sowie Abweichung vom idealen Ergebnis (0,5 für 1v1, 100% für Top-Score-Rate).

3. Wichtige Beiträge

1. Generalisierbares Framework: Einführung eines standardisierten Testaufbaus mit 4100 kontrollierten Lebensläufen, der Bias in LLMs durch zwei komplementäre Evaluationsparadigmen (Vergleich vs. Scoring) diagnostiziert.
2. Empirische Evidenz für implizite Bias: Nachweis, dass LLMs demografische Stereotype allein aus subtilen, jobirrelevanten Markern ableiten können und diese Ableitungen zu systematischen Verzerrungen in den Ergebnissen führen.
3. Analyse von Prompt-Strategien: Demonstration, dass das Auffordern von Erklärungen (Rationale Prompting) keine zuverlässige Entbiasing-Strategie ist und in vielen Fällen die Verzerrung sogar verstärkt.

4. Ergebnisse

A. Demografische Wiederherstellbarkeit (RQ1)

LLMs können demografische Attribute mit hoher Genauigkeit aus anonymisierten Lebensläufen inferieren:

• Ethnizität: Wird primär durch Sprachmarker bestimmt. Entfernt man Sprachmarker, sinkt die F1-Accuracy für Ethnizität drastisch (z. B. von ~0,97 auf ~0,13).
• Geschlecht: Wird primär durch Hobbys und Aktivitäten bestimmt. Sprachmarker allein liefern kaum Informationen zum Geschlecht. Erst die Kombination aus Aktivitäten, Ehrenamt und Hobbys führt zu einer hohen Genauigkeit (F1 > 0,98).
• Human Validation: Menschliche Annotatoren zeigten ein ähnliches Muster: Sobald alle Marker sichtbar waren, erreichten sie fast perfekte Genauigkeit, was bestätigt, dass diese Marker echte demografische Proxy-Daten sind.

B. Verzerrung in den Ergebnissen (RQ2 & RQ3)

• Systematische Diskrepanzen:
  • Ethnizität als Hauptfaktor: Chinesische und kaukasische männliche Kandidaten wurden systematisch bevorzugt (höchste Ränge). Indische und malaiische Kandidaten (insbesondere Frauen) landeten am Ende der Rangliste.
  • Geschlecht als sekundärer Faktor: Innerhalb jeder ethnischen Gruppe wurden Männer bevorzugt (mit Ausnahme der malaiischen Gruppe in bestimmten Settings).
  • Intersektionalität: Die am stärksten benachteiligte Gruppe waren malaiische und indische Frauen, was auf eine kumulative (intersektionale) Benachteiligung hindeutet.
• Auswirkung des Settings:
  • Das Score & Shortlist-Setting zeigte eine deutlich größere Abweichung vom Ideal als der direkte Vergleich (1v1). Kleine Score-Unterschiede, die durch Bias entstehen, führen hier dazu, dass benachteiligte Gruppen gar nicht mehr in die Top-Score-Shortlist kommen (Opportunitätsverlust).
• Einfluss von Rationale Prompting:
  • Das Auffordern von Begründungen führte im Durchschnitt zu einer Verschlechterung der Fairness. Die Diskrepanz zwischen den Gruppen und die Abweichung vom Ideal nahmen zu. Dies deutet darauf hin, dass Modelle ihre voreingenommenen Entscheidungen nachträglich rationalisieren, anstatt sie zu korrigieren.
• Modell-Heterogenität: Es gab keine klare Korrelation zwischen Modellgröße (Parameterzahl) oder Anbieter und der Fairness. Einige kleinere Modelle waren fairer als große, und innerhalb derselben Modellfamilie variierte das Bias-Verhalten stark.

5. Bedeutung und Implikationen

• Unzulänglichkeit der Anonymisierung: Das bloße Entfernen von Namen und expliziten PII reicht nicht aus, um faire KI-gestützte Einstellungsverfahren zu gewährleisten. Soziokulturelle Marker, die oft als „harmlos" oder „persönlich" betrachtet werden, fungieren als starke Proxy-Variablen für Demografie.
• Risiko von Erklärbarkeits-Strategien: Die Annahme, dass das Erzwingen von Erklärungen (Chain-of-Thought) die Fairness verbessert, ist widerlegt. Im Gegenteil kann es Bias verstärken, indem es dem Modell erlaubt, Stereotype in der Begründung zu festigen.
• Handlungsempfehlungen für die Praxis:
  • Organisationen sollten vor dem Einsatz von LLMs in Hiring-Pipelines demografische Stress-Tests mit kontrollierten Varianten durchführen.
  • Die Wahl des Modells sollte auf Basis von Fairness-Metriken (nicht nur Leistung) erfolgen.
  • Es sind systemische Kontrollen (z. B. Kalibrierung, Nachbearbeitung von Rankings) notwendig, da Prompt-Engineering allein nicht ausreicht.
• Forschungsbeitrag: Das Framework ist so gestaltet, dass es auf andere kulturelle Kontexte übertragbar ist, indem die Marker an lokale soziokulturelle Gegebenheiten angepasst werden.

Fazit: Das Paper zeigt, dass „kleine Änderungen" in anonymisierten Lebensläufen (subtile Marker) einen „großen Einfluss" auf die Ergebnisse automatisierter Einstellungsverfahren haben können. LLMs nutzen diese Marker, um demografische Profile zu rekonstruieren und historische Diskriminierungsmuster fortzuschreiben, was eine dringende Notwendigkeit für neue Audit-Methoden und regulatorische Rahmenbedingungen aufzeigt.