Institutional Prestige as Geographic Bias in Large Language Models: Evidence from Three Factorial Experiments with Bootstrap Confidence Intervals
Durch drei faktoriell angelegte Experimente mit 4.320 API-Aufrufen über vier große Sprachmodelle hinweg zeigt diese Studie, dass die institutionelle Prestige und das Publikationsmedium signifikant stärkere diskriminierende Effekte auf die Bewertung von Kandidaten ausüben als der Name, die ethnische Zugehörigkeit oder der geografische Ursprung des Bewerbers, wobei ein „Rettungseffekt“ aufzeigt, dass hochwirksame Publikationen ein geringes institutionelles Prestige unverhältnismäßig stark kompensieren können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Welt ist künstliche Intelligenz im Stillen zu einem Torwächter geworden. Diese Computerprogramme, bekannt als große Sprachmodelle, werden zunehmend gebeten, Entscheidungen zu treffen, die menschliche Leben prägen. Sie helfen dabei zu entscheiden, wer einen Job bekommt, wer ein Forschungsgeld erhält und wer für einen Kredit qualifiziert ist. Sie tun dies, indem sie Bewerbungen lesen und Punkte vergeben, und agieren dabei als automatisierte Richter. Seit Jahren sorgen sich Wissenschaftler, dass diese digitalen Richter dieselben Vorurteile hegen könnten wie die Menschen, die sie erschaffen haben. Wir wissen, dass sie voreingenommen gegenüber Menschen aufgrund ihres Namens, ihres Geschlechts oder ihrer Herkunft sein können. Doch eine neuere, subtilere Frage ist aufgetaucht: Bevorzugen diese Modelle Kandidaten auch einfach deshalb, weil sie an einer bestimmten Universität studiert haben? Hierbei geht es nicht um die Qualität der Arbeit, die eine Person geleistet hat, sondern um den Ruf der Institution auf ihrem Lebenslauf. Wenn ein Computerprogramm einem Wissenschaftler einer berühmten Universität eine höhere Punktzahl gibt als einem ebenso qualifizierten Wissenschaftler einer weniger berühmten, ist es nicht neutral; es verstärkt bestehende Hierarchien.
Ein Forscherteam setzte sich zum Ziel, diese spezifische Art von Voreingenommenheit unter Verwendung von vier verschiedenen Modellen der künstlichen Intelligenz zu testen. Sie wollten wissen, ob die Modelle auf das Prestige einer Universität reagierten oder schlicht auf das Land, in dem sich diese Universität befand. Um die Antwort zu finden, erstellten sie tausende gefälschte Job- und Förderanträge. Sie hielten die Fähigkeiten und die Erfahrung des Kandidaten in jedem einzelnen Szenario exakt gleich. Die einzigen Dinge, die sie änderten, waren der Name der Universität, die der Kandidat besucht hatte, und in einigen Fällen der Name der Fachzeitschrift, in der der Kandidat seine Arbeit veröffentlicht hatte. Sie testeten Kandidaten von erstklassigen amerikanischen Universitäten, von angesehenen Institutionen aus Chile und Kolumbien sowie von einer Universität in Ecuador, die in globalen Rankings nicht auftaucht. Sie variierten auch die Namen auf den Bewerbungen, einschließlich angloamerikanischer, lateinamerikanischer und arabischer Ursprünge, um zu sehen, ob die Modelle weiterhin alte Stereotypen aufrechterhielten.
Die Ergebnisse waren eindeutig und statistisch belastbar. Die Modelle der künstlichen Intelligenz vergaben konsequent höhere Punktzahlen an Kandidaten von prestigeträchtigen Universitäten. Diese Lücke war keine kleine Schwankung; es war ein stetiger, messbarer Trend. Über verschiedene Modelle und Fachbereiche hinweg erhielt ein Kandidat einer erstklassigen Universität eine Punktzahl, die fast drei Zehntel höher war als die eines Kandidaten von einer nicht gelisteten Universität. In der Welt der automatisierten Bewertung ist dieser Unterschied signifikant. Als die Forscher jedoch die Namen auf den Bewerbungen betrachteten, änderte sich die Geschichte. Die Modelle zeigten keine statistisch signifikante Bevorzugung von Kandidaten mit angloamerikanischen Namen gegenüber denen mit lateinamerikanischen oder arabischen Namen. Die Punktzahlen für diese verschiedenen Namensgruppen lagen so nah beieinander, dass der Unterschied auf Zufall zurückgeführt werden konnte. Dies deutet darauf an, dass die Modelle erfolgreich darauf trainiert wurden, ethnische Namen zu ignorieren, aber nicht darauf, den Status der Schule auf einem Lebenslauf zu ignorieren.
Um zu verstehen, ob diese Voreingenommenheit von der Reputation der Schule oder dem Land stammte, führten die Forscher eine zweite Versuchsreihe durch. Sie verglichen eine hochgerankte Universität in Mexiko mit einer niedrig gerankten bzw. nicht gelisteten Universität in den Vereinigten Staaten. Wenn die Modelle lediglich gegen Entwicklungsländer voreingenommen wären, hätten sie die amerikanische Schule bevorzugt. Stattdessen neigten die Modelle dazu, die mexikanische Universität zu bevorzugen, obwohl sie weniger berühmt als die Top-Universitäten in den USA war, aber bekannter als die kleine amerikanische Universität. Dies bewies, dass die Modelle auf das Prestige der Institution selbst reagierten und nicht nur auf die Geografie. Die Voreingenommenheit betraf die Marke der Universität, nicht den Pass des Bewerbers.
Die überraschendste Entdeckung ergab sich, als die Forscher eine dritte Variable einführten: die Fachzeitschrift, in der der Kandidat seine Forschung veröffentlicht hatte. Sie verglichen Kandidaten, die in der weltweit berühmtesten wissenschaftlichen Zeitschrift publiziert hatten, mit jenen, die in einer kleineren Open-Access-Zeitschrift publiziert hatten. Der Unterschied in den Punktzahlen war gewaltig. Das Prestige der Zeitschrift war weitaus bedeutender als das Prestige der Universität. Ein Kandidat einer weniger berühmten Universität, der in der Top-Zeitschrift publiziert hatte, erhielt eine viel höhere Punktzahl als ein Kandidat einer Top-Universität, der in der kleineren Zeitschrift publiziert hatte. Tatsächlich war der Zuwachs durch eine berühmte Zeitschrift fast sechsmal stärker als der Zuwachs durch eine berühmte Universität. Dies erzeugte einen „Rettungseffekt“, bei dem die Publikation in einer erstklassigen Zeitschrift das Defizit an institutioneller Prestige vollständig kompensierte. Die Modelle schienen eine Publikation in einer erstklassigen Zeitschrift als ein so starkes Qualitätssignal zu werten, dass dies die Voreingenommenheit gegenüber der Schule überlagerte.
Die Forscher untersuchten auch, wie konsistent die Modelle bei der Bewertung waren. Sie fanden heraus, dass die Modelle bei der Bewertung von Kandidaten aus weniger bekannten Institutionen inkonsistenter waren. Ein Mal vergab das Modell eine niedrige Punktzahl für einen Kandidaten einer kleineren Universität, und beim nächsten Mal vergab es für exakt dasselbe Profil eine etwas höhere Punktzahl. Diese Inkonsistenz trat bei Kandidaten von Top-Universitäten nicht so häufig auf. Dies deutet darauf hin, dass die Modelle unsicherer darin sind, Menschen von Institutionen zu beurteilen, die sie weniger gut kennen, was zu einem doppelten Nachteil führt: niedrigere Durchschnittswerte und unvorhersehbarere Bewertungen.
Letztlich zeigt diese Studie, dass die künstliche Intelligenz zwar Fortschritte bei der Vermeidung bestimmter Formen der Diskriminierung gemacht hat, aber eine tief verwurzelte Voreingenommenheit gegenüber Status geerbt hat. Die Modelle fungieren als Verstärker bestehender sozialer Hierarchien, indem sie das Vertraute und das Prestigeträchtige belohnen und das Unbekannte bestrafen. Sie scheinen sich weniger für die Herkunft eines Landes zu interessieren als vielmehr für den Markennamen der Schule. Die Studie bietet jedoch auch einen Weg nach vorn. Sie zeigt, dass qualitativ hochwertige Arbeit, wenn sie an den richtigen Stellen veröffentlicht wird, diese Barrieren durchbrechen kann. Für Forscher weniger bekannter Institutionen liegt der Weg zu einer fairen Bewertung durch diese digitalen Richter nicht in der Änderung ihres Namens oder ihres Landes, sondern in der unbestreitbaren Gewichtigkeit ihrer veröffentlichten Arbeit. Die Maschinen lernen, die Arbeit zu schätzen, aber nur, wenn sie auf der prestigeträchtigsten Bühne präsentiert wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.