Algorithmic Monocultures in Hiring
Diese Studie analysiert einen neuartigen Datensatz von 4 Millionen Bewerbungen, die von einem einzigen Anbieter für Algorithmen gescreent wurden, und stellt fest, dass derartige algorithmische Monokulturen homogene Ablehnungsergebnisse erzeugen, die Bewerber schwarzer und asiatischer Herkunft unverhältnismäßig stark und nachteilig treffen, wodurch häufig breit angelegte Bewerbungsstrategien erforderlich sind, um eine menschliche Prüfung zu erwirken.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Der „Einheits-Gatekeeper"
Stellen Sie sich vor, Sie suchen einen Job. In der Vergangenheit hätten Sie Ihren Lebenslauf vielleicht an 20 verschiedene Unternehmen geschickt. Jedes Unternehmen hatte seinen eigenen Personalverantwortlichen, seine eigene Art, Ihren Lebenslauf zu lesen, und seinen eigenen einzigartigen Geschmack dafür, was einen guten Mitarbeiter ausmacht. Wenn ein Manager Sie nicht mochte, könnte ein anderer Sie vielleicht lieben. Sie hatten viele verschiedene Türen, an die Sie klopfen konnten.
Heute jedoch stellen viele Unternehmen nicht allein ein. Sie alle nutzen denselben „Gatekeeper".
Dieses Papier untersucht ein spezifisches Einstellungsunternehmen namens pymetrics. Sie entwickeln Software, die mithilfe von Spielen Bewerber testet. Anstatt Lebensläufe zu lesen, beobachtet die Software, wie Sie diese Spiele spielen, und vergibt Ihnen eine Punktzahl. Ist die Punktzahl hoch, kommen Sie zu einem Menschen weiter. Ist sie niedrig, werden Sie sofort abgelehnt.
Das Problem? Über 60 % der größten Unternehmen in den USA nutzen exakt denselben Gatekeeper.
Die Autoren nennen dies eine „Algorithmische Monokultur". Stellen Sie sich einen Garten vor, in dem jeder Bauer exakt dieselbe Art von Samen und exakt dieselbe Gießkanne verwendet. Wenn dieser Samen für eine bestimmte Bodenart schlecht ist, wird der Garten jedes Bauern auf die gleiche Weise scheitern. Beim Einstellen bedeutet dies: Wenn der Algorithmus eine Voreingenommenheit hat, lehnt er dieselben Personen bei jedem einzelnen Unternehmen ab, bei dem sie sich bewerben.
Die Studie: Was sie fanden
Die Forscher erhielten Zugang zu einer riesigen, geheimen Datenbank mit 4 Millionen Bewerbungen von 3,3 Millionen Menschen aus 156 verschiedenen Unternehmen. Sie untersuchten, was geschah, als diese Menschen die Spiele spielten.
Hier sind die drei wichtigsten Erkenntnisse:
1. Das „Pech" der Rasse (Ungünstige Auswirkungen)
Die Forscher prüften, ob die Spiele verschiedene ethnische Gruppen fair behandelten. Sie betrachteten die Ergebnisse für jede einzelne Stellenposition separat, nicht nur den Durchschnitt.
- Die Erkenntnis: Sie stellten fest, dass bei Bewerbern schwarzer Hautfarbe etwa 26 % der Bewerbungen für Stellen waren, bei denen der Algorithmus sie statistisch wahrscheinlich ungerecht ablehnen würde. Bei Bewerbern asiatischer Herkunft waren es etwa 15 %.
- Die Analogie: Stellen Sie sich einen Basketballkorb vor, der leicht geneigt ist. Wenn Sie groß sind, könnten Sie den Wurf vielleicht noch schaffen. Aber wenn Sie eine bestimmte Größe haben, macht die Neigung es unmöglich, Punkte zu erzielen. Die Forscher stellten fest, dass für bestimmte ethnische Gruppen die „Neigung" im Algorithmus es viel schwieriger machte, eine „Bestehens"-Punktzahl zu erreichen, obwohl das Spiel selbst nichts nach der Rasse fragte.
2. Die „Systemische Ablehnung" (Überall geschwärzt werden)
Dies ist der überraschendste Teil. Die Autoren fragten: Was passiert, wenn sich eine Person bei vielen verschiedenen Jobs bewirbt?
In einer normalen Welt, wenn Sie sich um 10 Jobs bewerben, könnten Sie von 8 abgelehnt und von 2 angenommen werden. Sie haben eine Chance. Aber da so viele Unternehmen denselben Algorithmus verwenden, sind die Ergebnisse identisch.
- Die Erkenntnis: Wenn sich ein Bewerber um 10 verschiedene Positionen bewirbt, werden 4 % von allen 10 abgelehnt.
- Die Analogie: Stellen Sie sich vor, Sie sind ein Musiker, der einen Auftritt sucht. Sie spielen für 10 verschiedene Bands.
- Normale Welt: Band A mag Ihren Stil nicht, aber Band B liebt ihn. Sie bekommen einen Job.
- Monokultur-Welt: Alle 10 Bands nutzen denselben „Musik-Judge"-Roboter. Der Roboter entscheidet, dass Sie nicht passen. Sie werden sofort von allen 10 Bands abgelehnt. Sie werden „systemisch abgelehnt". Sie haben nicht nur Pech; das System hat Ihnen gleichzeitig jede Tür verschlossen.
Die Forscher stellten fest, dass diese „Alles-oder-Nichts"-Ablehnung viel häufiger vorkommt, als es der Fall wäre, wenn jedes Unternehmen eine eigene, unabhängige Entscheidung treffen würde.
3. Die „Super-Bewerber"-Simulation
Die Forscher wollten wissen: Können Bewerber dies beheben, indem sie sich um mehr Jobs bewerben?
Sie nutzten die Fähigkeit des Computers, „Was-wäre-wenn"-Szenarien durchzuführen. Sie simulierten, was passieren würde, wenn sich ein Bewerber um jeden einzelnen Job bewirbt, der in der Datenbank verfügbar war.
- Die Erkenntnis: Selbst in dieser extremen Simulation wurde niemand von jedem einzelnen Modell abgelehnt. Jeder hatte mindestens einen Job, für den er empfohlen worden wäre.
- Der Realitätscheck: In der realen Welt können Menschen sich jedoch nicht um jeden Job bewerben. Sie müssen selektiv sein. Die Simulation zeigte, dass eine Person sich um 25 verschiedene Positionen bewerben müsste, um eine 99,9%ige Chance zu haben, mindestens eine Empfehlung zu erhalten.
- Die Analogie: Um in diesem System ein einziges „Ja" zu finden, müssen Sie an 25 Türen klopfen. In einem normalen System müssten Sie vielleicht nur an 10 Türen klopfen. Die algorithmische Monokultur zwingt Jobsuchende, viel härter zu arbeiten, nur um eine einzige Chance zu erhalten.
Warum dies wichtig ist
Das Papier argumentiert, dass Unternehmen, wenn sie sich bei der Einstellung auf dieselben wenigen Anbieter verlassen, einen Engpass schaffen.
- Es verschleiert Voreingenommenheit: Wenn man den Durchschnitt aller Unternehmen betrachtet, könnten die Zahlen in Ordnung aussehen. Aber wenn man sich spezifische Jobs ansieht, ist die Voreingenommenheit klar.
- Es schafft „Sackgassen": Es geht nicht nur darum, dass Sie vielleicht nicht einen Job bekommen; es geht darum, dass Sie möglicherweise vom gesamten Arbeitsmarkt ausgeschlossen werden, weil derselbe Algorithmus Sie überall abgelehnt hat, wo Sie gesucht haben.
- Es ist schwer zu beheben: Da die Daten in diesen privaten Unternehmen verborgen sind, ist es für Forscher oder Aufsichtsbehörden sehr schwierig, dies zu erkennen, bevor es zu spät ist.
Die Empfehlungen der Autoren
Das Papier schlägt einige Wege vor, um dies zu beheben:
- Prüfen Sie jeden Job, nicht nur den Durchschnitt: Aufsichtsbehörden sollten untersuchen, wie der Algorithmus Menschen für jeden spezifischen Job behandelt, nicht nur die Gesamtzahl der Einstellungen in einem ganzen Unternehmen.
- Beobachten Sie die „Monokultur": Behörden sollten überwachen, wie viele Unternehmen denselben Anbieter nutzen. Wenn sich zu viele auf dasselbe Tool verlassen, entsteht ein Risiko für die gesamte Wirtschaft.
- Lassen Sie Forscher herein: Der einzige Weg, um zu wissen, ob diese Systeme fair sind, besteht darin, unabhängigen Wissenschaftlern Einblick in die Daten zu gewähren. Die Autoren schlagen vor, dass Gesetze diese Unternehmen dazu verpflichten sollten, Daten mit Forschern zu teilen, ähnlich wie Social-Media-Plattformen jetzt verpflichtet sind, Daten mit Wissenschaftlern zu teilen.
Zusammenfassung
Dieses Papier zeigt auf, dass Unternehmen durch die Nutzung desselben „Einstellungs-Roboters" versehentlich ein System geschaffen haben, in dem dieselben Personen überall abgelehnt werden, wo sie sich bewerben. Es ist, als hätte jeder Club in der Stadt denselben voreingenommenen Türsteher; wenn Sie von ihm abgewiesen werden, kommen Sie in keinen Club, egal wie viele Sie versuchen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.