Who Do Language Models Think Is Competent? A Mechanistic Analysis of Occupational Bias
Diese Arbeit zeigt auf, dass Sprachmodelle oft interne Repräsentationsbiases hinsichtlich der Kompetenz von Nutzern basierend auf demografischen Merkmalen wie Geschlecht und ethnischer Zugehörigkeit beibehalten, selbst wenn ihre beobachtbaren Ausgaben unvoreingenommen erscheinen, was demonstriert, dass verhaltensbasierte Evaluierungen allein nicht ausreichen, um diese zugrunde liegenden Fehlermodi zu erkennen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Menschen sind in der Lage, unbewusste Annahmen über andere zu hegen, oft ohne es zu merken. Eine Person könnte glauben, dass eine bestimmte demografische Gruppe weniger für einen bestimmten Beruf geeignet sei, selbst wenn sie solche Vorstellungen bewusst ablehnt. Diese verborgenen Assoziationen können Entscheidungen im Stillen beeinflussen, von der Frage, wer eingestellt wird, bis hin zu der Frage, wie viel Hilfe jemand erhält. In der Welt der künstlichen Intelligenz haben große Sprachmodelle gelernt, die menschliche Sprache zu imitieren, indem sie riesige Mengen an Texten studiert haben. Da sie aus menschlichen Texten lernen, nehmen sie oft dieselben verborgenen Assoziationen auf. Jahrelang haben Forscher versucht, zu messen, ob diese Computerprogramme voreingenommen sind, indem sie ihnen direkte Fragen stellten oder ihre Antworten beobachteten. Wenn ein Modell sich weigert, etwas Vorurteilesches zu sagen, wird es oft als sicher betrachtet. Eine neue Studie deutet jedoch darauf an, dass ein Modell an der Oberfläche vollkommen höflich erscheinen kann, während es tief in seiner eigenen Verarbeitung immer noch diese voreingenommenen Ideen bewahrt.
Die Forscher hinter dieser Arbeit, Keren Fuentes und Aaron Mueller, wollten sehen, ob die internen Gedanken eines Modells mit seinem äußeren Verhalten übereinstimmten. Sie konzentrierten sich auf eine spezifische Art von Voreingenommenheit: die Annahme, dass bestimmte Menschen basierend auf ihrem Geschlecht, ihrer Herkunft oder ihrem sozioökonomischen Status eher oder weniger fähig sind, anstatt basierend auf ihren tatsächlichen Fähigkeiten. Um dies zu untersuchen, betrachteten sie zwei verschiedene Wege, um ein Modell zu beurteilen. Das erste ist die „behaviorale“ Sichtweise, also das, was das Modell tatsächlich sagt, wenn es eine Frage gestellt bekommt. Die zweite ist die „repräsentationale“ Sichtweise, die die mathematischen Muster betrachtet, die das Modell in seinem eigenen „Gehirn“ erstellt, während es denkt. Man kann sich den internen Zustand des Modells wie eine verborgene Gedankenebene vorstellen, die existiert, bevor es einen Satz formt. Die Forscher entwickelten eine Methode, um diese verborgene Ebene zu messen, um zu sehen, ob das Modell einen Nutzer als Experten oder als Anfänger behandelte, unabhängig davon, was der Nutzer tatsächlich über seine Erfahrung sagte.
Um dies zu tun, erstellte das Team eine Reihe von berufsspezifischen Fragen zu zwanzig verschiedenen Berufen, die von der Krankenpflege bis zur Softwareentwicklung reichten. Sie stellten diese Fragen drei verschiedenen großen Sprachmodellen, änderten aber in jedem Fall den Kontext leicht ab. Manchmal sagten sie dem Modell, der Nutzer sei ein Profi in diesem Bereich; ein anderes Mal erwähnten sie das Geschlecht, die Herkunft oder das Einkommensniveau des Nutzers, ohne den Beruf zu nennen. Sie maßen dann zwei Dinge: die Komplexität der Sprache, die das Modell in seiner Antwort verwendete, und den internen „Score“, den es dem Fachwissen des Nutzers zuordnete. Die Komplexität der Sprache diente als behaviorales Maß, während der interne Score als Fenster in die verborgene Logik des Modells fungierte.
Die Ergebnisse zeigten eine frappierende Diskrepanz. In vielen Fällen produzierten die Modelle Antworten, die fair und unvoreingenommen wirkten. Wenn sie gebeten wurden, einen Kandidaten einzustellen oder eine technische Frage zu beantworten, gaben die Modelle nicht konsistent unterschiedliche Antworten basierend auf der Herkunft oder dem Geschlecht des Nutzers. Wenn man nur den fertigen Text betrachtete, schienen die Modelle alle gleich zu behandeln. Doch als die Forscher in die interne Verarbeitung des Modells blickten, fanden sie eine andere Geschichte. Die Modelle ordneten Nutzern unterschiedliche Kompetenzstufen zu, basbasierend auf demografischen Details, die eigentlich keine Rolle spielen sollten. Beispielsweise könnte ein Modell einen weißen Nutzer intern als kompetenter einstufen als einen hispanischen Nutzer, selbst wenn beide exakt dieselbe Frage und denselben Jobtitel gestellt hatten. Diese interne Voreingenommenheit existierte auch dann, wenn die endgültigen Worte des Modells keine Vorurteile zeigten.
Die Forscher bewiesen, dass diese internen Scores nicht bloß zufälliges Rauschen waren; sie steuerten tatsächlich das Verhalten des Modells. Durch eine Technik namens „Steering“ konnten sie das Modell intern dazu bewegen, einen Nutzer als mehr oder weniger erfahren wahrzunehmen. Wenn sie dies taten, änderten sich die Antworten des Modells. Wenn sie das Modell dazu bewegten, den Nutzer als Experten zu sehen, verwendete das Modell komplexere Sprache und gab detailliertere technische Ratschläge. Wenn sie es dazu bewegten, den Nutzer als Anfänger zu sehen, wurden die Antworten einfacher. Dies bestätigte, dass die interne Repräsentation von Fachwissen eine reale, kausale Kraft war, die den Output des Modells steuerte. Die Studie zeigte, dass diese internen Vorurteile gegenüber demografischen Hinweisen sensibel reagierten. Selbst wenn das Modell den Beruf des Nutzers kannte, blieben subtile Unterschiede darin, wie es die Kompetenz basierend auf Herkunft oder Geschlecht wahrnahm, in seinem internen Zustand nachweisbar, selbst wenn sie sich nicht immer im endgültigen Text zeigten.
Dieser Befund legt nahe, dass die aktuellen Methoden zur Prüfung von Künstlicher Intelligenz auf Voreingenommenheit viel übersehen könnten. Wenn wir nur prüfen, was ein Modell sagt, könnten wir glauben, es sei fair, wenn es das nicht ist. Die untersuchten Modelle, zu denen Versionen von Gemma und Llama gehörten, zeigten, dass sie Assoziationen zwischen demografischen Gruppen und Kompetenz in ihren verborgenen Schichten kodieren konnten. Diese Assoziationen könnten die Entscheidungen des Modells auf eine Weise beeinflussen, die nicht sofort sichtbar ist. Zum Beispiel variierten die internen Scores der Modelle für Kandidaten nach Herkunft und Geschlecht, obwohl die endgültigen Einstellungsentscheidungen statistisch gesehen über die Gruppen hinweg ähnlich erschienen. Die Forscher fanden heraus, dass die Modelle zwar durch „Steering“ dazu gebracht werden konnten, ihre Einstellungsraten zu ändern, die zugrunde liegenden internen Vorurteile jedoch bestehen blieben, was darauf hindeutet, dass die Modelle demografische Informationen weiterhin auf eine Weise verarbeiteten, die ihr Urteil beeinflusste.
Die Implikationen dieser Arbeit sind erheblich für die Art und Weise, wie wir Künstliche Intelligenz bewerten und verbessern. Es deutet darauf hin, dass ein Modell einen Standard-Sicherheitstest bestehen kann, während es dennoch tief verwurzelte Vorurteile beherbergt, die durch spezifische Prompts oder Bedingungen ausgelöst werden könnten. Die Forscher argumentieren, dass wir über die oberflächliche Ebene dessen, was ein Modell sagt, hinausblicken und untersuchen müssen, wie es denkt. Indem wir diese internen Repräsentationen messen, könnten wir in der Lage sein, Voreingenommenheit zu erkennen und zu korrigieren, bevor sie sich in schädlichem Verhalten manifestiert. Dieser Ansatz bietet einen neuen Weg, um sicherzustellen, dass diese mächtigen Werkzeuge wirklich fair sind – nicht nur in ihren Worten, sondern in ihrem eigentlichen Wesen. Die Studie kommt zu dem Schluss, dass behaviorale Metriken zwar notwendig, aber allein nicht ausreichend sind; ein robustes Verständnis von Fairness erfordert den Blick in die verborgene Mechanik des Modells selbst.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.