Applied and Filtered: An End-to-End Algorithmic Fairness Audit of A Public Employment Agency
Diese Arbeit präsentiert das erste unabhängige End-to-End-Fairness-Audit des halbautomatisierten Einstellungssystems von Barcelona Activa und zeigt auf, dass zwar eine aggregierte Geschlechterparität besteht, jedoch aufgrund komplexer Wechselwirkungen zwischen automatisierter Verarbeitung, menschlicher Ermessensfreiheit und der Intransparenz der Anbieter signifikante Disparitäten über Gehaltsstufen, Altersgruppen und Geschlechtsidentitäten hinweg bestehen bleiben, die für traditionelle Modellebenen-Bewertungen unsichtbar sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einen Job zu finden, aber anstatt Ihren Lebenslauf einer Person zu übergeben, betreten Sie ein riesiges, hochtechnologisches Labyrinth. Dies ist die Welt der algorithmischen Fairness, ein Forschungsfeld, das eine einfache, aber knifflige Frage stellt: Wenn Computer bei großen Entscheidungen wie der Einstellung von Personal helfen, behandeln sie alle gleich oder schicken sie bestimmte Menschen versehentlich in Sackgassen? Lange Zeit prüften Experten hauptsächlich das „Gehirn“ des Computers – den Code selbst –, um festzustellen, ob er voreingenommen war. Doch dieses Paper argumentiert, dass die Prüfung nur des Gehirns so ist, als würde man einen Automotor prüfen, während man den Fahrer, die Straßenbedingungen und die Verkehrsregeln ignoriert. Es stellt sich heraus, dass selbst wenn der Motor perfekt ist, das Auto trotzdem verunglücken kann, wenn der Fahrer abgelenkt ist oder die Karte falsch ist. Das ist für alle wichtig, denn Einstellungsalgorithmen werden immer mehr zu den Torwächtern unseres Lebensunterhalts, und wenn sie fehlerhaft sind, können sie Menschen lautlos von Möglichkeiten ausschließen, ohne dass es jemand bemerkt.
Dieses Paper ist eine Detektivgeschichte über ein reales Einstellungs-Labyrinth in Barcelona, Spanien. Die Forscher, die als unabhängige Auditoren fungierten, betrachteten nicht nur den Computercode; sie verfolgten 497.000 Arbeitssuchende durch jeden einzelnen Schritt einer fünfjährigen Reise (von 2017 bis 2022), um zu sehen, an welcher Stelle das System die Kontrolle verlor. Sie untersuchten ein halbautomatisches System, bei dem ein menschlicher Analyst eine Drittanbieter-Software namens „TalentClue“ nutzt, um Kandidaten für Arbeitgeber zu finden. Stellen Sie es sich wie ein Staffellauf mit sieben Etappen vor: Der Arbeitgeber schreibt eine Stelle aus, ein menschlicher Analyst wählt die Schlüsselwörter aus, der Computer filtert die Liste, ein Mensch wählt eine Shortlist aus und schließlich stellt der Arbeitgeber jemanden ein.
Die überraschendste Wendung in dieser Geschichte? Wenn man nur auf die Ziellinie schaute, sah das Rennen fair aus. Die Anzahl der eingestellten Männer und Frauen war fast exakt gleich. Es war, als sähe man zwei Teams mit demselben Endergebnis und würde voraussetzen, dass das Spiel perfekt ausgewogen war. Aber als die Auditoren das Band zurückspulten und jede Etappe des Rennens betrachteten, fanden sie eine andere Geschichte. Das „faire“ Endergebnis verbarg tatsächlich viel Unfairness, die entlang des Weges geschah.
Hier begann das System, Menschen zu Fall zu bringen:
- Die Gehaltsfalle: Während Frauen und Männer insgesamt in ähnlicher Rate eingestellt wurden, war die Wahrscheinlichkeit, dass Frauen für Jobs mit mittlerem Gehalt (zwischen 15.000 € und 24.000 €) auf die Shortlist gesetzt wurden, deutlich geringer. Tatsächlich wurden Frauen für diese spezifischen Jobs nur mit einer Rate von 7,43 % gegenüber 9,45 % bei Männern vorgemerkt. Es ist, als hätte das System eine versteckte Regel, die besagt: „Du kannst den Job bekommen, aber vielleicht nicht den besseren Job.“
- Die Altersmauer: Das System schien einen blinden Fleck für ältere Arbeitnehmer zu haben. Menschen im Alter von 55 Jahren und älter machten 15,6 % der lokalen Erwerbsbevölkerung aus, waren aber im Einstellungsprozess völlig abwesend. Es war, als gäbe es in dem Labyrinth eine Wand, die niemand über 55 sehen, geschweige denn überwinden konnte.
- Das „Andere“-Problem: Für Kandidaten, die sich als nicht-binär identifizierten (weder rein männlich noch weiblich), waren die Chancen unglaublich gering. Sie wurden zu weniger als einem Drittel der Rate von Männern auf die Shortlist gesetzt. Die Forscher merken jedoch an, dass es sehr wenige dieser Kandidaten in den Daten gab (nur 285), sodass die Disparität zwar deutlich ist, sie aber noch nicht genau sagen können, wie groß das Problem für die gesamte Bevölkerung bereits ist.
- Das Bildungs-Paradoxon: Interessanterweise war die Wahrscheinlichkeit, auf die Shortlist gesetzt zu werden, bei Menschen mit höherer Bildung geringer als bei denen mit nur einem High-School-Abschluss. Da Frauen in diesem Datensatz tendenziell über höhere Bildungsabschlüsse verfügen, schadte diese Regel den Chancen von Frauen zusätzlich.
Das Paper hebt auch ein massives Kommunikationsproblem hervor. Die Personen, die die Einstellungsagentur (Barcelona Activa) leiteten, wussten tatsächlich nicht, wie die Computer-Software (TalentClue) entschied, wen sie ihnen anzeigte. Es war, als würde man einen Koch einstellen, aber nicht das Rezept oder die Zutaten sehen dürfen. Die Agentur konnte nicht prüfen, ob der Computer voreingenommen war, weil das Softwareunternehmen die „Geheimzutat“ verborgen hielt.
Schließlich fanden die Forscher heraus, dass das System nicht statisch war; es veränderte sich im Laufe der Zeit. Die Lücke zwischen Männern und Frauen bei der Aufnahme in die Shortlist verkleinerte sich von 2017 bis 2022, aber nur, weil weniger Menschen beider Geschlechter insgesamt auf die Shortlist gesetzt wurden. Es ist wie ein Rennen, bei dem sich der Abstand zwischen den Läufern verringert, weil alle langsamer laufen, und nicht, weil die Strecke fairer geworden ist.
Die wichtigste Erkenntnis ist, dass man nicht einfach den Code eines Computers einmal prüfen kann und ihn dann als „fair“ bezeichnet. Man muss den gesamten Prozess beobachten – die Menschen, die Daten, die Software und die Zeit, die vergeht. Wenn man nur auf das Endergebnis schaut, übersieht man möglicherweise, dass das System bestimmte Gruppen leise von den besten Möglichkeiten wegsteuert. Der Autor schlägt vor, dass Unternehmen anstelle einer einmaligen Prüfung eine ständige Beobachtung ihrer Einstellungssysteme benötigen, wie ein Leuchtturm, der die Wellen im Auge behält, um sicherzustellen, dass der Weg zum Job für alle, jeden Tag, offen steht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.