Ideology by Alphabet: Option Order and the Measurement of Machine Political Preferences
Diese Arbeit zeigt auf, dass die scheinbaren politischen Ideologien großer Sprachmodelle weitgehend Artefakte fester Antwortreihen-Biases sind, statt echter Präferenzen, da eine randomisierte Optionen-Reihenfolge die zuvor identifizierten ideologischen Cluster auflöst und offenbart, dass spezifische Slot-Anordnungen Modelle willkürlich mit widersprüchlichen politischen Standpunkten etikettieren können.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Wenn wir einen Computer bitten, eine Entscheidung zu treffen, gehen wir oft davon aus, dass er die Fakten der Situation abwägt. Wenn ein Large Language Model – eine Art künstliche Intelligenz, die lesen und schreiben kann wie ein Mensch – gebeten wird, sich zwischen vier verschiedenen Lösungen für ein Problem zu entscheiden, erwarten wir, dass seine Antwort sein Verständnis der Angelegenheit widerspiegelt. So behandeln wir menschliche Wähler oder Expertengremien: Wir setzen voraus, dass ihre Präferenzen in ihren Werten und ihrem Wissen verwurzelt sind. Doch in der Welt des Umfragedesigns gibt es einen bekannten psychologischen Trick namens „Reihenfolgeeffekt“. Wenn man einer Person eine Reihe von Optionen zur Auswahl präsentiert, ist sie statistisch gesehen eher bereit, die erste Option auf der Liste zu wählen, einfach weil sie die erste ist, die sie sieht. Dies geschieht, weil das Gehirn eine Abkürzung nimmt, wenn es müde ist oder wenn die Entscheidungen schwer voneinander zu unterscheiden sind. Seit Jahrzehnten wissen Sozialwissenschaftler, dass die Reihenfolge der Wörter auf einem Stimmzettel oder in einem Fragebogen das Ergebnis einer Wahl verändern kann. Die Frage, die unbeantwortet blieb, war, ob dieselben Abkürzungen auch für Maschinen gelten und, falls ja, ob sie stark genug sind, um eine politische Persönlichkeit zu erfinden, wo keine existiert.
Ein Forscherteam der Universität Debrecen in Ungarn setzte sich zum Ziel, dies zu testen, indem es künstliche Intelligenzmodelle behandelte, als wären sie politische Wähler. Sie erstellten einen umfangreichen Test bestehend aus 400 verschiedenen Szenarien zu realen Regierungsfragen, wie etwa dem Umgang mit der Sicherheit am Arbeitsplatz, der Regulierung von Märkten oder der Verteilung sozialer Leistungen. Für jedes Szenario präsentierten sie den Modellen vier verschiedene Optionen und baten sie, jede zu bewerten und einen Gewinner zu wählen. Sie führten diesen Test an 15 verschiedenen Open-Source-Modellen durch und generierten dabei über 640.000 einzelne Antworten. In der ersten Phase des Experiments verwendeten sie die Standardmethode, die die meisten Forscher anwenden: Sie hielten die Reihenfolge der Optionen für jede einzelne Frage exakt gleich. Wenn die „Regierungs“-Option immer an erster Stelle stand, blieb sie an erster Stelle. Wenn die „Individual“-Option immer an letzter Stelle stand, blieb sie an letzter Stelle.
Als die Forscher die Ergebnisse aus diesem Festordnungs-Setup analysierten, fanden sie ein Muster, das einem echten politischen Graben ähnelte. Die Modelle sortierten sich in zwei klare Gruppen auf. Eine Gruppe, die die Forscher als „marktrationalisten“ bezeichneten, bevorzugte konsequent Optionen im Zusammenhang mit Nutzen, Metriken und finanziellen Anreizen. Die andere Gruppe, die „Institutionalisten“, bevorzugte Optionen im Zusammenhang mit Regeln, Fairness und gesellschaftlicher Verantwortung. Diese Spaltung wirkte so sauber und logisch, dass sie einer berühmten Theorie der Politikwissenschaft ähnelte, die Volkswirtschaften in liberale und koordinierte Typen unterteilt. Die Ergebnisse waren so konsistent, dass sie alle Standardtests auf Zuverlässigkeit bestanden. Es schien, als hätten die Forscher erfolgreich die politischen Ideologien der künstlichen Intelligenz kartiert.
Die Forscher vermuteten jedoch, dass diese ordentliche politische Landkarte eine durch den Test selbst erzeugte Illusion war. Um dies herauszufinden, führten sie exakt dieselben 400 Fragen erneut durch, aber dieses Mal variierten sie die Reihenfolge der Optionen. Für jede einzelne Frage rotierten sie die vier Auswahlmöglichkeiten so, dass jede Option gleich oft an der ersten, zweiten, dritten und vierten Position erschien. Dies bedeutete, dass der Inhalt der Antwort nicht mehr an ihre Position auf dem Bildschirm gebunden war. Als sie die Daten aus dieser randomisierten Version analysierten, löste sich die spezifische politische Landkarte, die sie in der ersten Runde gefunden hatten, auf. Die klare Trennung zwischen den „Marktrationalisten“ und den „Institutionalisten“ brach zusammen. Die Modelle unterschieden sich zwar immer noch grundlegend voneinander, und die neue Karte dieser Unterschiede war statistisch zuverlässig, aber sie bildete nicht mehr die zwei distinkten Lager oder die saubere Typologie, die der Test mit fester Reihenfolge suggeriert hatte.
Die Studie offenbarte, dass die „Ideologie“, die sie in der ersten Runde gefunden hatten, kein Spiegelbild der Überzeugungen der Modelle war, sondern weitgehend ein Produkt der Reihenfolge, in der die Optionen gedruckt wurden. Die drei Modelle, die als „Marktrationalisten“ bezeichnet worden waren, waren schlichtweg die drei Modelle, die die stärkste Angewohnheit hatten, die allererste Option auf der Liste zu wählen. Da die Forscher die „Markt“-Optionen für jede Frage an die erste Stelle gesetzt hatten, wählten diese drei Modelle sie jedes Mal, wodurch eine kesse politische Signatur entstand. Die Forscher berechneten, dass die scheinbare politische Voreingenommenheit fast perfekt mit einem einfachen Maß dafür korrelierte, wie sehr ein Modell die erste Position bevorzugte. Tatsächlich erwies sich die spezifische Anordnung der Optionen, die sie für ihren ersten Test gewählt hatten, als die mit Abstand irreführendste Anordnung von über 13.000 verschiedenen Möglichkeiten, die Antworten anzuordnen.
Die Implikationen dieser Entdeckung sind bedeutend für jeden, der sich auf diese Maschinen als Ratgeber verlässt. Die Forscher fanden heraus, dass sich das Modell seine Top-Empfehlung um 71 % ändert, wenn man die Frage und die Antworten exakt gleich lässt, aber nur die Reihenfolge der Auswahlmöglichkeiten vertauscht. Dies ist wesentlich höher als die normale Rate zufälliger Fehler, die bei etwa 33 % lag. Noch frappierender war, dass sich das Vertrauen des Modells in seine Antwort kaum veränderte. Wenn ein Modell seine Empfehlung änderte, weil die Optionen verschoben wurden, gab es an, dass es sich seiner neuen Antwort genauso sicher war wie der alten. Dies deutet darauf hin, dass das Modell nicht die Argumente abwägt, sondern einer mechanischen Regel basierend auf der Position folgt.
Die Studie zeigte auch, dass dieses Problem nicht auf eine bestimmte Art von Fragen beschränkt ist. Die Modelle änderten ihre Meinung bei schwierigen, umstrittenen politischen Fragen genauso häufig wie bei leichteren. In der Tat war der Reihenfolgeeffekt dort am stärksten, wo es am wichtigsten war: bei den Fragen, bei denen die Optionen schwer voneinander zu unterscheiden waren. Dies ist ein Verhalten, das als „Satisficing“ bekannt ist – ein Prozess, bei dem ein Entscheidungsträger, der vor einer schwierigen Wahl steht, die am leichtesten verfügbare Abkürzung nutzt, um zu einer Antwort zu gelangen. Für diese Maschinen war die Abkürzung das Wählen des ersten Elements auf der Liste.
Die Forscher kamen zu dem Schluss, dass die Messung der politischen Neigungen künstlicher Intelligenz mittels fester Listen von Optionen grundlegend fehlerhaft ist. Ein Test mit fester Reihenfolge offenbart nicht, was ein Modell denkt; er offenbart, wie das Modell auf das Layout des Bildschirms reagiert. Während ein Restbestand an echter inhaltlicher Präferenz bestehen bleibt, wenn die Reihenfolge randomisiert wird, ist dieser schwächer und bildet nicht die saubere ideologische Typologie ab, die Tests mit fester Reihenfolge suggerieren. Die „Ideologie“, die in früheren Studien gefunden wurde, könnte nichts anderes als ein statistisches Artefakt der Art und Weise gewesen sein, wie die Fragen formuliert wurden. Um ein wahres Bild davon zu erhalten, was diese Modelle bevorzugen, müssen Forscher die Reihenfolge der Antworten jedes Mal randomisieren, wenn sie eine Frage stellen. Ohne diesen Schritt ist jede Behauptung über die politische Haltung einer Maschine lediglich eine Vermutung, die auf einem Losverfahren der Designentscheidungen basiert. Die Studie dient als Warnung: Wenn wir Maschinen bitten, Entscheidungen zu treffen, müssen wir vorsichtig sein, die Reihenfolge der Wörter nicht mit dem Gewicht des Arguments zu verwechseln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.