Effects of Answer Format Variation on Gender Bias in Large Language Models
Diese Arbeit zeigt, dass das Format der Antwortmöglichkeiten (geschlossene Fragen, Likert-Skalen oder offene Fragen) die Messung von Gender Bias und der Verteilungsgerechtigkeit in großen Sprachmodellen signifikant verändert, was oft zu einer Umkehrung der Modell-Rankings führt und mehrformatige Evaluationsdesigns für eine robuste Bewertung erforderlich macht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der künstlichen Intelligenz sind große Sprachmodelle die digitalen Motoren, die alles von Chatbots bis hin zu Suchassistenten antreiben. Diese Systeme werden mit riesigen Mengen an Text aus dem Internet trainiert und lernen, vorherzusagen, welche Wörter als Nächstes kommen sollten. Da sie aus menschlichen Texten lernen, nehmen sie zwangsläufig die Muster, Vorurteile und Stereotypen auf, die in diesen Daten vorhanden sind. Eines der beständigsten und schädlichsten Muster ist die Geschlechtervoreingenommenheit (Gender Bias), bei der ein Modell automatisch davon ausgehen könnte, dass ein Arzt ein Mann und eine Krankenschwester eine Frau ist. Um dies zu beheben, müssen Forscher messen, wie stark diese Vorurteile ausgeprägt sind. Dazu stellen sie den Modellen Fragen und sehen sich an, wie sie antworten. Seit Jahrzehnten wissen Wissenschaftler, dass die Art und Weise, wie eine Frage gestellt wird, die Antwort verändert, selbst bei Menschen. Wenn man jemanden bittet, zwischen zwei Optionen zu wählen, wählt er vielleicht die eine; wenn man ihn bittet, seine Zustimmung auf einer Skala zu bewerten, gibt er vielleicht eine andere Antwort. Dies ist eine gut etablierte Tatsache in der Umlagenswissenschaft, aber lange Zeit nahmen Forscher, die künstliche Intelligenz testeten, an, dass das Format der Frage nicht viel ausmachte oder dass die Antwort des Modells unabhängig davon, wie die Frage präsentiert wurde, gleich bleiben würde.
Ein Forschungsteam der Universität Stuttgart beschloss, diese Annahme direkt zu testen. Sie wollten sehen, ob die Art und Weise, wie sie eine Frage zum Thema Geschlecht stellten, die in der Maschine gemessene Voreingenommenheit verändern würde. Sie nahmen drei verschiedene Arten von großen Sprachmodellen und stellten ihnen dieselbe Gruppe von Fragen zu Geschlechterrollen, änderten jedoch jedes Mal das Format der Antworten. In einer Version musste das Modell einen einzelnen Buchstaben aus einer Liste von Auswahlmöglichkeiten wählen, wie bei einem Multiple-Choice-Test. In einer anderen musste das Modell seine Zustimmung zu einer Aussage auf einer Skala von eins bis zehn bewerten, ähnlich wie Menschen in Meinungsumfragen antworten. In der dritten Version wurde es dem Modell erlaubt, eine freie Antwort in eigenen Worten zu formulieren. Die Forscher verwendeten zwei verschiedene Sätze von Fragen: einen Satz, der speziell darauf ausgelegt war, Voreingenommenheit mit klaren Richtig- oder Falsch-Antworten zu testen, und einen weiteren Satz, der aus echten öffentlichen Meinungsumfragen über die Wahrnehmung von Geschlecht in der Gesellschaft stammte.
Die Ergebnisse waren bemerkenswert und zeigten, dass das Format der Frage die Geschichte, die die Forscher erzählt bekamen, komplett veränderte. Wenn die Modelle gezwungen waren, eine einzige Option aus einer Liste zu wählen, zeigten sie starke, konsistente geschlechtsspezifische Vorurteile. Sie wählten häufig die stereotypische Antwort, wie etwa den Mann für eine Führungsposition zu wählen. Als die Forscher jedoch zum offenen Format wechselten, bei dem das Modell seine eigene Antwort schreiben konnte, sank die gemessene Voreingenommenheit drastisch. In vielen Fällen weigerten sich die Modelle einfach, Stellung zu beziehen, oder erklärten, dass die Informationen nicht ausreichten, um zu entscheiden. Dies lag nicht daran, dass die Modelle plötzlich weniger voreingenommen wurden; vielmehr gab das offene Format ihnen einen Weg, der Falle der Multiple-Choice-Frage zu entgehen. Die überraschendste Erkenntnis war, dass sich das Ranking der Modelle je nach Format änderte. Ein Modell, das am stärksten voreingenommen erschien, wenn es gezwungen wurde, einen Buchstaben zu wählen, wurde zum am wenigsten voreingenommenen Modell, als es erlaubt war, frei zu schreiben. Ein anderes Modell zeigte im Multiple-Choice-Test fast keine Voreingenommenheit, offenbarte jedoch signifikante Voreingenommenheit, wenn es gebeten wurde, seine Zustimmung auf einer Skala zu bewerten.
Die Forscher untersuchten auch, wie gut diese Modelle mit den Meinungen echter menschlicher Umfrageteilnehmer übereinstimmten. Sie fanden heraus, dass das Format auch die Übereinstimmung veränderte. In einigen Fällen sahen die Antworten eines Modells bei Verwendung eines Formats den menschlichen Meinungen sehr ähnlich, sahen aber bei Verwendung eines anderen Formats völlig anders aus. Beispielsweise sahen die Antworten der Modelle, wenn sie gebeten wurden, eine Skala zu verwenden, oft so aus, als würden sie sich gegenseitig aufheben und ein Durchschnitt bilden, der neutral aussah, obwohl die Modelle extreme, gegensätzliche Ansichten äußerten. Dies unterscheidet sich vom Verhalten von Menschen; Menschen nutzen die Mitte einer Skala oft, um zu zeigen, dass sie unentschieden sind, aber die Modelle nutzten die Mitte, um extreme Stereotypen auszugleichen. Die Studie legt nahe, dass die Voreingenommenheit, die wir in diesen Maschinen sehen, kein feststehendes, unveränderliches Merkmal wie ein körperliches Merkmal ist. Stattdessen ist es ein Verhalten, das sich je nach den gesetzten Einschränkungen verschiebt.
Diese Arbeit stellt die Idee infrage, dass ein einzelner Test uns alles über ein Modell sagen kann. Die Forscher fanden heraus, dass die Wahl des Antwortformats nicht nur ein nebensächliches Detail des Experiments ist, sondern ein wesentlicher Faktor, der die Ergebnisse formt. Wenn ein Forscher nur Multiple-Choice-Tests betrachtet, könnte er zu dem Schluss kommen, dass ein Modell tief voreingenommen ist. Wenn er nur offene Antworten betrachtet, könnte er zu dem Schluss kommen, dass das Modell vollkommen fair ist. Beide Schlussfolgerungen sind unvollständig. Die Studie beweist weder, dass die Modelle frei von Vorurteilen sind, noch beweist sie, dass die Voreingenommenheit ein reiner Trugschluss ist. Sie zeigt, dass Voreingenommenheit ein komplexes Verhalten ist, das sich unter verschiedenen Bedingungen unterschiedlich manifestiert. Die Forscher argumentieren, dass wir, um diese Systeme wirklich zu verstehen und zu bewerten, aufhören müssen, uns auf eine einzige Art der Fragestellung zu verlassen. Wir müssen beobachten, wie sich die Modelle über verschiedene Formate hinweg verhalten, um ein vollständiges Bild ihres Verhaltens zu erhalten, so wie ein Arzt einen Patienten nicht allein aufgrund eines einzelnen Symptoms diagnostizieren würde, sondern das Gesamtbild seiner Gesundheit betrachten würde.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.