Developing and assessing a scale for measuring human–AI alignment in hiring decisions

In der modernen Welt verändern sich die Wächter der Möglichkeiten. Jahrzehntelang lag die Entscheidung, jemanden für einen Job einzustellen, vollständig im Bereich des menschlichen Urteilsvermögens – ein Prozess, der von Erfahrung, Intuition und manchmal unbewussten Vorurteilen beeinflusst wurde. Heute übernimmt künstliche Intelligenz zunehmend diese Rolle, indem sie tausende von Lebensläufen filtert und erste Auswahlen trifft, noch bevor ein Mensch überhaupt einen Namen sieht. Dieser Wandel wirft eine grundlegende Frage auf: Wenn eine Maschine eine Einstellungsentscheidung trifft, denkt sie dann wie ein Mensch? Die Antwort ist nicht so einfach wie die Frage, ob der Computer richtig oder falsch liegt. Stattdessen fragen Forscher, wie eng die Entscheidungen der Maschine den ungeordneten, vielfältigen und oft inkonsistenten Arten ähneln, auf die Menschen tatsächlich entscheiden. Um dies zu verstehen, haben Wissenschaftler begonnen, das Einstellen nicht nur als eine wirtschaftliche Transaktion zu betrachten, sondern als einen Test der Ausrichtung, bei dem die Distanz zwischen menschlicher Logik und algorithmischer Logik gemessen wird.

Ein Forscherteam setzte sich zum Ziel, diese Distanz mit einem neuen Ansatz zu messen, den sie einen „Arbeitsmarkt-Turing-Test“ nennen. Der klassische Turing-Test, der vor Jahrzehnten vorgeschlagen wurde, war darauf ausgelegt zu sehen, ob eine Maschine einen Menschen davon überzeugen kann, dass sie ebenfalls ein Mensch ist. Diese neue Version kehrt das Szenario um. Anstatt zu fragen, ob eine Maschine einen Menschen täuschen kann, stellt sie die Frage, wie sehr die Entscheidungen einer Maschine denen eines Menschen ähneln. Die Forscher baten die KI nicht einfach nur, den besten Kandidaten auszuwählen. Sie entwarfen ein kontrolliertes Experiment in Ecuador mit 277 professionellen menschlichen Personalvermittlern. Diese echten Menschen wurden engagiert, um Paare von Bewerbern für zehn verschiedene Arten von Jobs zu bewerten, die von Lagerhelfern bis hin zu Softwareentwicklern reichten. Um sicherzustellen, dass der Test fair war und sich auf den Entscheidungsstil statt auf spezifische Qualifikationen konzentrierte, wurden die Bewerber in jedem Paar hinsichtlich ihrer Fähigkeiten, Ausbildung und Erfahrung angeglichen. Die einzigen Unterschiede zwischen ihnen waren Identitätsmerkmale wie Geschlecht, sexuelle Orientierung oder Einwanderungsstatus – Faktoren, die logischerweise keinen Einfluss darauf haben sollten, wer für den Job eingestellt wird.

Die menschlichen Personalvermittler trafen ihre Entscheidungen, und dann baute die Forschungsgruppe einen digitalen Spiegel. Sie erstellten vier verschiedene Teams von künstlichen Intelligenz-Agenten, die jeweils von einem Large Language Model gesteuert wurden, um exakt dieselbe Aufgabe auszuführen. Das erste Team, genannt „Roboter“, erhielt nur grundlegende Anweisungen, den besten Kandidaten auszuwählen. Das zweite Team, „Avatare“, wurde angewiesen, vorzugeben, bestimmte menschliche Personalvermittler zu sein, indem es deren Persönlichkeitsmerkmale, Bildung und beruflichen Hintergrund nachahmte. Das dritte Team, „Klone“, ging noch einen Schritt weiter; sie wurden nicht nur angewiesen, einen bestimmten Menschen zu imitieren, sondern auch darauf beschränkt, nur dieselben Informationen zu sehen, die auch der Mensch gesehen hatte, und zwar in der exakt gleichen Reihenfolge. Das letzte Team, „Randomistas“, traf seine Entscheidungen durch das Werfen einer digitalen Münze und diente als Baseline für reine Zufälligkeit. Das Ziel war es zu sehen, welches dieser KI-Teams Entscheidungen traf, die am ehesten den menschlichen Personalvermittlern ähnelten.

Um die Ergebnisse zu messen, entwickelten die Forscher eine Skala, um jeden Personalvermittler, ob Mensch oder Maschine, auf einer einzigen Linie einzuordnen. Am einen Ende der Linie steht ein Referenzpunkt namens „Skynet“, der den durchschnittlichen Entscheidungen des einfachen Roboter-Teams entspricht. Dies ist kein Maß für Fairness, sondern ein Maß für rein algorithmische Konsistenz. Ein Personalvermittler, der immer mit Skynet übereinstimmt, handelt auf eine sehr maschinenähnliche Weise. Ein Personalvermittler, der häufig widerspricht, handelt auf eine menschlichere Weise. Die Studie ergab, dass der durchschnittliche menschliche Personalvermittler signifikant von der durchschnittlichen Maschine abwich. Tatsächlich lagen die menschlichen Entscheidungen etwa 1,73 Standardabweichungen von dem typischen Verhalten der Maschine entfernt. Das bedeutet, dass Menschen im Durchschnitt wesentlich weniger vorhersehbar und weniger konsistent sind als die einfache KI.

Die Forscher entdeckten, dass die KI sich dem menschlichen Verhalten annäherte, je mehr man versuchte, sie wie einen Menschen agieren zu lassen, aber sie erreichte den menschlichen Durchschnitt nie ganz. Selbst die „Klone“, die darauf programmiert waren, bestimmte Menschen zu imitieren und auf dieselben Informationen beschränkt waren, die diese Menschen sahen, produzierten immer noch ein Muster von Entscheidungen, das statistisch von den echten Menschen verschieden war. Die überraschendste Erkenntnis kam von den „Randomistas“. Die KI-Agenten, die einfach eine Münze warfen, um ihre Entscheidungen zu treffen, wiesen tatsächlich ein Entscheidungsmuster auf, das dem menschlichen Durchschnitt näher kam als jedes der anspruchsvollen KI-Teams. Dies deutet darauf hin, dass die menschliche Entscheidungsfindung bei Einstellungen ein Maß an Zufälligkeit oder Inkonsistenz enthält, das selbst die menschlichsten KIs kaum replizieren können. Die Menschen trafen nicht nur rationale, regelbasierte Entscheidungen; sie trafen Entscheidungen, die einen Grad an Unvorhersehbarkeit beinhalteten, den Maschinen, selbst wenn sie angewiesen wurden, menschlich zu sein, nicht vollständig erfassen konnten.

Die Studie zeigte auch, dass sich die Kluft zwischen Menschen und Maschinen je nach Komplexität des Jobs vergrößerte. Wenn die Personalvermittler zwischen Kandidaten für einfache Jobs entschieden, wie etwa einen Hausmeister oder einen Lagerarbeiter, stimmten Menschen und Maschinen häufiger überein. Doch sobald die Jobs anspruchsvoller wurden und spezialisierte Fähigkeiten oder höhere Bildung erforderten, sank die Übereinstimmung. Die Maschinen und die Menschen begannen stärker zu divergieren. Zudem stimmten Menschen und Maschinen häufiger nicht überein, wenn die beiden Kandidaten in einem Paar sehr ähnlich waren, mit nur minimalen Unterschieden in Alter oder Berufsjahren. Die Maschinen schienen sich auf diese winzigen Details zu stürzen und eine Entscheidung basierend auf ihnen zu treffen, während Menschen eher dazu neigten, die Kandidaten als im Wesentlichen gleich zu behandten. Dies deutet darauf hin, dass die KI hyper-vigilant gegenüber kleinen Unterschieden ist, während Menschen eher bereit sind, Ambiguität zu akzeptieren.

Die Forscher untersuchten auch, ob sie erklären könnten, warum manche Menschen „maschineller“ waren als andere. Sie untersuchten die Persönlichkeiten der Personalvermittler, deren kognitive Testergebnisse, ihre Ausbildung und ihre Berufserfahrung. Überraschenderweise lieferten keine dieser Faktoren eine klare Erklärung. Die Intelligenz eines Personalvermittlers oder seine Jahre im Beruf sagten nicht voraus, ob er Entscheidungen treffen würde, die einer Maschine ähnelten. Die einzigen Merkmale, die eine schwache Verbindung zeigten, waren persönlichkeitsbasiert: Personalvermittler mit höherem Selbstwertgefühl neigten dazu, etwas maschinenähnlicher zu sein, während diejenigen mit höherer Neurotizismus eine etwas geringere Tendenz zeigten. Aber selbst mit diesen Faktoren blieb der Großteil des Unterschieds zwischen menschlichen und maschinellen Entscheidungen ungeklärt. Dies deutet darauf hin, dass die Art und Weise, wie Menschen diese Entscheidungen treffen, eine komplexe, verborgene Dimension beinhaltet, die sich nicht einfach durch Standardumfragen oder Tests messen lässt.

Letztlich legt die Studie nahe, dass die perfekte Imitation menschlichen Urteilsvermögens nicht nur das Erfassen der durchschnittlichen Tendenz erfordert, einen bestimmten Typ von Kandidaten zu wählen, sondern auch die volle Vielfalt des menschlichen Denkens, einschließlich seiner Inkonsistenzen. KI-Systeme, selbst wenn sie auf menschlich werden getrimmt werden, neigen dazu, konsistenter und regelbasierter zu sein als die Menschen, die sie nachahmen wollen. Dies erzeugt ein Paradoxon: Je mehr ein KI-System versucht, perfekt konsistent und rational zu sein, desto weniger ähnelt es einem Menschen. Die Forscher argumentieren, dass dieser Unterschied entscheidend für das Verständnis der Nutzung von KI bei Einstellungen ist. Wenn wir wollen, dass KI beim Recruiting vertrauenswürdig ist, müssen wir verstehen, dass sie nicht natürlich wie ein Mensch agieren wird. Sie wird nicht von Natur aus dieselbe Ebene der Ambiguität oder Zufälligkeit akzeptieren, die Menschen tun. Die Studie kommt zu dem Schluss, dass wir, bevor wir die Schlüssel zur Einstellung an Algorithmen übergeben, erkennen müssen, dass diese Systeme nicht einfach nur schnellere Menschen sind; sie sind grundlegend andere Arten von Entscheidungsträgern, die einer Logik folgen, die stabil und regelgebunden, aber oft fremd gegenüber der chaotischen Realität menschlicher Entscheidungen ist.