Human, Algorithm, or Both? Gender Bias in Human-Augmented Recruiting

Die Studie zeigt, dass zwar menschliche Rekrutierer geschlechterfairere Kandidatenlisten erstellen als reine KI-Lösungen, die Kombination aus KI-Empfehlungen und menschlicher Nachsuche jedoch die gerechtesten Ergebnisse liefert und somit die Bedeutung menschlicher Aufsicht zur Minderung von Bias in algorithmischen Einstellungsprozessen unterstreicht.

Das Wesentliche

Hier ist eine einfache Erklärung der Studie, als würde man sie einem Freund beim Kaffee erzählen – mit ein paar bildhaften Vergleichen.

🎯 Das große Ziel: Wer stellt die besten Leute ein?

Stell dir vor, du suchst nach dem perfekten Koch für dein Restaurant. Du hast drei Möglichkeiten, wie du vorgehen könntest:

1. Der alte Weg (Mensch): Du blätterst selbst durch hunderte Lebensläufe in einem riesigen Ordner.
2. Der Roboter-Weg (KI): Ein Computerprogramm schaut sich die Lebensläufe an und spuckt dir eine Liste der "besten" Kandidaten aus.
3. Der Team-Weg (Mensch + KI): Der Computer macht zuerst eine Vorauswahl, und du schaust dir diese Liste an, bevor du selbst noch einmal nach weiteren Kandidaten suchst.

Die Forscher von Jobindex (der größte Jobmarkt in Dänemark) wollten wissen: Welcher Weg führt zu einer fairen Auswahl zwischen Männern und Frauen?

---

🔍 Was haben sie herausgefunden?

1. Der Mensch allein: "Der müde Sucher"

Wenn Recruiter nur selbst suchen (ohne KI-Hilfe), finden sie oft mehr Männer als Frauen.

• Die Analogie: Stell dir vor, du suchst nach Nadeln im Heuhaufen, aber du hast nur 10 Minuten Zeit. Du wirst wahrscheinlich nur die ersten paar Nadeln finden, die dir ins Auge springen. Wenn du müde bist oder es eilig hast, übersiehst du vielleicht die guten Kandidaten, die etwas tiefer im Heu liegen.
• Das Ergebnis: Je mehr Zeit und Mühe sich die Recruiter geben (sie schauen sich mehr Lebensläufe an, klicken mehr an), desto fairer wird die Liste. Aber allein reicht es oft nicht, um alle Vorurteile zu beseitigen.

2. Die KI allein: "Der vererbte Vorurteil-Computer"

Wenn nur der Computer entscheidet, ist es oft noch schlechter als beim Menschen.

• Die Analogie: Die KI ist wie ein Schüler, der von einem Lehrer gelernt hat. Wenn der Lehrer (die alten Recruiter) in der Vergangenheit unbewusst mehr Männer eingestellt hat, hat die KI gelernt: "Aha, Männer sind besser." Sie wiederholt also die alten Fehler, nur schneller.
• Das Ergebnis: Die von der KI vorgeschlagene Liste enthält deutlich weniger Frauen als nötig. Sie ist "voreingenommen", weil sie aus alten Daten gelernt hat.

3. Die Kombination (Mensch + KI): "Der beste Coach"

Hier passiert das Magische. Wenn die Recruiter zuerst die KI-Liste ansehen und dann selbst weiter suchen, ist das Ergebnis am fairsten.

• Die Analogie: Stell dir vor, du hast einen Sporttrainer (die KI), der dir sagt: "Schau dir diese 10 Spieler an." Du schaust sie dir an, merkst dir, dass da viele Männer sind, und denkst: "Okay, ich muss jetzt bewusst auch nach Frauen suchen, um das auszugleichen." Der Trainer hat dir den ersten Impuls gegeben, aber dein menschliches Urteil hat die Balance hergestellt.
• Das Ergebnis: Diese Kombination ist mehr als die Summe ihrer Teile. Die KI gibt einen Startschuss, aber der Mensch korrigiert die KI und sucht dann gezielt weiter. Das führt zu den fairesten Listen von allen.

---

💡 Die wichtigsten Erkenntnisse in Kürze

• Mühe lohnt sich: Je mehr Zeit ein Mensch in die Suche investiert, desto fairer wird das Ergebnis.
• KI ist nicht neutral: Eine KI allein ist oft unfairer als ein Mensch, weil sie alte Vorurteile aus der Vergangenheit "lernt".
• Der menschliche Wächter ist wichtig: Wenn Menschen die KI-Ergebnisse überprüfen und dann selbst weiter suchen, wird das System am fairsten. Die KI dient hier als "Inspiration", aber der Mensch als "Korrektur".
• Es kommt auf den Beruf an: In Berufen, die traditionell von Frauen dominiert werden (z. B. Pflege), wurden oft überraschend viele Männer kontaktiert. Vielleicht versuchen Recruiter dort unbewusst, das Geschlechterverhältnis auszugleichen. In männerdominierten Berufen (z. B. Handwerk) war es schwieriger, Frauen zu finden.

🏁 Das Fazit

Die Studie sagt uns: Wir sollten die KI nicht einfach blind vertrauen, aber wir sollten sie auch nicht komplett ablehnen. Der beste Weg ist ein Teamwork: Die KI macht die schwere Vorarbeit, und der Mensch nutzt sein Urteilsvermögen, um sicherzustellen, dass niemand benachteiligt wird. Es ist wie bei einem Auto mit Assistenzsystem: Der Computer hilft beim Lenken, aber der Mensch hat immer noch die Hände am Steuer und die Verantwortung.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Human, Algorithm, or Both? Gender Bias in Human-Augmented Recruiting" auf Deutsch:

1. Problemstellung

Der Markt für HR-Technologie und KI-gestützte Lösungen wächst rasant. Ein zentrales Risiko bei der Automatisierung von Einstellungsprozessen ist die Verstärkung bestehender Vorurteile (Bias), insbesondere bezüglich des Geschlechts, anstatt diese zu reduzieren. Obwohl es viele theoretische Arbeiten zur Fairness in algorithmischem Hiring gibt, fehlen empirische Vergleiche zwischen rein menschlichen, rein KI-gestützten und hybriden (menschlich-KI) Entscheidungsprozessen. Die Studie adressiert diese Lücke, indem sie untersucht, wie sich die Kombination aus menschlicher Erfahrung und KI-Effizienz auf die Geschlechtergerechtigkeit in der Rekrutierung auswirkt.

2. Methodik

Datengrundlage und Setting:

• Plattform: Jobindex, das größte Jobportal und die größte Rekrutierungsagentur Dänemarks.
• Zeitraum: 27 Monate (April 2023 bis Juli 2025).
• Datensatz: Analyse von 58.765 Stellenausschreibungen, bei denen Rekrutierer mit einem Pool von über 180.000 Lebensläufen arbeiteten.
• Datenverarbeitung: Da Jobindex seit September 2021 keine expliziten Geschlechtsangaben mehr von neuen Nutzern erhebt, wurde das Geschlecht für die Analyse mittels eines Klassifikators basierend auf dem Vornamen inferiert (F1-Score: 99,25 %, Abdeckung: 94,5 %).

Experimentelles Design:
Die Studie vergleicht drei Szenarien basierend auf dem Arbeitsablauf der Rekrutierer:

1. Human Recruiting (Menschlich): Rekrutierer ignorieren KI-Empfehlungen und suchen manuell in der Datenbank nach Kandidaten.
2. AI Recruiting (KI): Analyse der rein von der KI generierten Empfehlungsliste (ohne menschliches Eingreifen).
3. Human + AI Recruiting (Hybrid): Rekrutierer prüfen zunächst die KI-Empfehlungen und suchen dann manuell nach weiteren Kandidaten.

Metriken:
Als Fairness-Maßstab wurde die Conditional Demographic (Dis)Parity (CDP) verwendet. Dies ist eine Variante der Demographic Parity (DP), die die Akzeptanzrate (z. B. Kontaktaufnahme) über Geschlechtergruppen hinweg innerhalb spezifischer Schichten (hier: qualifizierte Kandidaten) vergleicht.

• Ein CDP-Verhältnis von 1,0 bedeutet perfekte Parität.
• Werte < 1,0 deuten auf eine Unterrepräsentation der geschützten Gruppe (Frauen) hin.
• Als Referenzwert dient die „80%-Regel" (EEOC-Richtlinie), wobei Werte unter 0,8 als problematisch gelten.

Kandidaten-Subsets:
Die Fairness wurde für verschiedene Stufen des Interaktionsprozesses gemessen:

• Viewed (Angesehen), Clicked (Klicks), Contacted (Kontaktiert).
• Bei KI-Szenarien zusätzlich: Recommended (Empfohlen) und Recommended Top-K (Top-Empfehlungen entsprechend der Anzahl der tatsächlich kontaktierten Kandidaten).

3. Wichtige Beiträge

1. Erste empirische Gegenüberstellung: Die Studie liefert einen der ersten quantitativen Vergleiche der Geschlechterfairness zwischen rein menschlichen, rein KI- und hybriden Rekrutierungsprozessen in einer realen Umgebung.
2. Validierung von Human-in-the-Loop: Sie untersucht spezifisch, wie die Interaktion mit KI-Empfehlungen das nachfolgende menschliche Verhalten beeinflusst.
3. Nuancierte Analyse: Unterscheidung zwischen der Fairness der KI-Auswahl selbst, der Fairness der menschlichen Bewertung der KI-Ergebnisse und der Fairness der nachfolgenden manuellen Suche.

4. Ergebnisse

RQ1: Menschliches Recruiting (ohne KI)

• Rekrutierer, die manuell suchen, produzieren fairere Kandidatenlisten als die reine KI-Lösung.
• Es zeigt sich ein positiver Trend: Je mehr Aufwand (Betrachtung, Klicks, Kontakt) in die Kandidatenbewertung fließt, desto fairer wird das Ergebnis.
• Der CDP-Wert für Contacted-Kandidaten liegt bei ca. 0,813 (leicht über der 80%-Schwelle), während Viewed und Clicked Werte unter 0,7 aufweisen.

RQ2: KI-Recruiting (nur Algorithmus)

• Die rein KI-generierten Empfehlungslisten weisen eine signifikante Verzerrung zugunsten männlicher Kandidaten auf (CDP-Wert für Recommended Top-K: 0,699).
• Dies deutet darauf hin, dass der Algorithmus historische Vorurteile aus den Trainingsdaten (aus einer Zeit, als Namen und Fotos sichtbar waren) reproduziert.
• Die Top-Rankings der KI sind zwar etwas fairer als die gesamte Liste, aber immer noch unfairer als die menschliche Auswahl.

RQ3: Human + AI Recruiting (Hybrid)

• Das Hybrid-Modell liefert die fairsten Ergebnisse. Der CDP-Wert für Contacted-Kandidaten im Hybrid-Szenario liegt bei 0,854, was signifikant höher ist als beim rein menschlichen (0,813) und rein KI-basierten (0,699) Ansatz.
• Synergieeffekt: Die Kombination ist „mehr als die Summe ihrer Teile". Die Interaktion mit der KI-Liste hat einen positiven Einfluss auf die nachfolgende manuelle Suche.
• Phasenanalyse:
  • AI Oversight: Die menschliche Prüfung der KI-Liste verbessert die Fairness der KI-Empfehlungen (von 0,699 auf 0,791 bei Kontakt).
  • Post-AI Oversight: Die anschließende manuelle Suche nach zusätzlichen Kandidaten führt zu den höchsten Fairness-Werten (0,876).
• Es wird angenommen, dass die Sichtbarmachung der KI-Empfehlungen die Rekrutierer unbewusst zu einer diverseren Auswahl anregt oder als Korrektiv dient.

Weitere Analysen:

• Jobkategorien: In stark frauendominierten Branchen (z. B. Pflege, Erziehung) wurden Männer oft überrepräsentiert kontaktiert (CDP > 1), während in männerdominierten Branchen Frauen seltener überrepräsentiert wurden. Dies könnte auf ein aktives „Ausgleichen" durch Rekrutierer hindeuten.
• Trade-off: Es wurde kein signifikanter negativer Trade-off zwischen Fairness und Erfolg (positive Antwortrate der Kandidaten) festgestellt. Höhere Fairness führte nicht zu geringeren Antwortraten.

5. Bedeutung und Fazit

Die Studie liefert starke empirische Belege dafür, dass menschliche Aufsicht (Human Oversight) entscheidend ist, um algorithmische Verzerrungen in der Rekrutierung zu mildern.

• KI allein verstärkt bestehende Geschlechterungleichheiten.
• Menschen allein sind fairer als KI, aber nicht perfekt.
• Die Kombination (Human-Augmented) führt zu den besten Ergebnissen, da die KI als effizienter Filter dient und die menschliche Entscheidungsträger durch die Sichtbarmachung von Alternativen zu einer faireren, bewussteren Auswahl anregt.

Die Autoren betonen, dass dies ein erster Schritt ist und zukünftige Arbeiten weitere sensible Attribute (Alter, Ethnie) sowie eine tiefere Analyse der kausalen Mechanismen der menschlichen Interaktion mit KI-Empfehlungen benötigen. Dennoch unterstreicht die Arbeit die Notwendigkeit von hybriden Systemen für gerechtere Einstellungspraktiken.