Measuring Political Stance and Consistency in Large Language Models
Diese Arbeit bewertet die politischen Standpunkte und die Konsistenz von neun großen Sprachmodellen über 24 sensible Themen hinweg unter Verwendung von fünf Prompting-Techniken und zeigt auf, dass sich die Positionen der Modelle zwar oft ändern oder je nach Sprache und Prompting verschieben, bestimmte Kernpositionen jedoch starr bleiben, was die Notwendigkeit einer größeren Nutzerbewusstheit und eines Eingreifens der Entwickler hinsichtlich politischer Voreingenommenheit in der KI verdeutlicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten neun verschiedene „digitale Orakel“ (Large Language Models, oder LLMs), nach denen Menschen beginnen, bei ernsthaften politischen Argumenten um Rat zu fragen, wie etwa bei der Frage, wer in einem Krieg im Recht ist oder welche Politik ein Land verfolgen sollte. Die Autoren dieser Arbeit haben beschlossen, diese Orakel zu testen, um zu sehen, ob sie ihre eigenen verborgenen politischen Meinungen haben und ob diese Meinungen unerschütterlich sind oder ob man sie leicht manipulieren kann.
Hier ist eine einfache Aufschlüsselung dessen, was sie getan haben und was sie herausgefunden haben, unter Verwendung einiger alltäglicher Analogien:
Das Setup: Der „Meinungstest“
Stellen Sie sich die Forscher als eine Gruppe von Detektiven vor. Sie wählten 24 knifflige politische Themen (wie den Krieg in der Ukraine, den Konflikt in Gaza oder Gebietsstreitigkeiten zwischen der Türkei und Griechenland), die bisher wenig untersucht wurden.
Sie fragten 9 verschiedene KI-Modelle (einschließlich großer Namen wie GPT-4, GPT-5 und Grok) nach ihrer Sicht auf diese Themen. Aber sie fragten nicht nur einmal. Sie probierten fünf verschiedene Arten der Fragestellung aus, um zu sehen, ob die KI ihre Meinung ändern würde:
- Die direkte Frage: „Wer hat recht?“
- Der Advocatus Diaboli: „Hier ist ein Argument für die andere Seite. Wer hat jetzt recht?“
- Die ausgewogene Sichtweise: „Hier sind Argumente für beide Seiten. Wer hat recht?“
- Das Hin-und-her-Springen (Flip-Flop): Dieselbe Frage stellen, aber so formulieren, dass die entgegengesetzte Antwort impliziert wird (z. B. „War das schlecht?“ vs. „War das gut?“).
- Der Sprachwechsel: Die Frage in der Landessprache der beteiligten Länder zu stellen (z. B. die Streitigkeit zwischen der Türkei und Griechenland auf Türkisch gegenüber auf Griechisch zu stellen).
Die Ergebnisse: Was die Orakel sagten
1. Die KIs haben „geheime Seiten“
Genau wie ein Mensch heimlich eine bestimmte Sportmannschaft bevorzugen könnte, wählten diese KIs fast immer eine Seite. Sie blieben selten neutral.
- Der Konsens: Bei einigen Themen waren sich alle KIs einig. Zum Beispiel waren sie sich alle weitgehend einig, dass die Blockade von Katar falsch war und dass Palästinenser unterdrückt werden.
- Die Spaltung: Bei anderen Themen waren sie uneins. Beispielsweise sagten einige beim „Arabischen Frühling“, es gehe um Demokratie, während andere sagten, es gehe um wirtschaftliche Wut.
2. Das „Chamäleon“ vs. der „Fels“
Einige KIs waren wie Chamäleons, die ihre Farben (Meinungen) je nach Fragestellung leicht änderten.
- Mistral-7B war am veränderlichsten. Es änderte seine Haltung bei 19 von 24 Themen, wenn die Forscher die Aufforderung (Prompt) leicht anpassten. Es ist wie eine Person, die dem immer zustimmt, was der Letzte gesagt hat.
- Grok-3-mini war am unnachgiebigsten (konsistent). Es änderte seine Meinung nur bei 5 Themen. Es ist wie eine Person mit sehr starken, unerschütterlichen Überzeugungen.
3. Der „Sprachspiegel“
Dies war eine überraschende Entdeckung. Wenn die Forscher Fragen in verschiedenen Sprachen stellten, neigten die KIs oft zu der Seite, die diese Sprache sprach.
- Die Analogie: Stellen Sie sich vor, Sie fragen einen Übersetzer nach einem Streit zwischen einem Franzosen und einem Deutschen. Wenn Sie auf Französisch fragen, verwendet der Übersetzer vielleicht unbewusst (oder unterbewusst) französische Quellen, die den Franzosen besser aussehen lassen. Wenn Sie auf Deutsch fragen, sieht die deutsche Seite besser aus.
- Die Studie fand heraus, dass die Antwort der KI bei Themen mit verschiedenen Sprachen (wie der Türkei-Griechenland-Streit) oft wechselte, je nachdem, ob die Frage auf Türkisch oder Griechisch gestellt wurde. Dies deutet darauf an, dass die „Meinungen“ der KI eigentlich nur Echos der Bücher und Artikel sind, die sie während ihres Trainings gelesen hat.
4. Die „unerschütterlichen“ Themen
Es gab zwei Themen, bei denen keine KI ihre Meinung änderte, egal wie sehr die Forscher versuchten, sie zu manipulieren:
- Die Unterdrückung der Palästinenser.
- Die Blockade von Katar.
Bei diesen spezifischen Themen waren die KIs wie ein Tresor; ihre Haltung war fixiert und konnte durch die in der Studie verwendeten Prompting-Tricks nicht beeinflusst werden.
5. Die „Heimteam-Bias“
Die Studie stellte fest, dass DeepSeek, eine von einer chinesischen Firma entwickelte KI, konsequent die Position der chinesischen Regierung in Fragen wie Tibet und Xinjiang unterstützte. Währenddessen nahmen fast alle anderen KIs (die in den USA oder anderswo entwickelt wurden) die entgegengesetzte Sichtweise ein. Dies deutet darauf hin, dass der Ort, an dem eine KI gebaut wird, und wer sie trainiert, wie eine „Heimteam-Bias“ wirkt und den politischen Kompass beeinflusst.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass man vorsichtig sein muss, wenn man eine KI um politischen Rat bittet.
- Sie sind nicht neutral: Sie haben eingebaute Vorurteile basierend auf ihren Trainingsdaten.
- Sie sind fragil: Man kann ihre Meinung oft ändern, indem man nur die Sprache ändert oder die Art und Weise variiert, wie man die Frage formuliert.
- Sie sind keine Faktenchecker: Da ihre „Meinungen“ wie Sand in der Wüstet sich verschieben können, sollte man sie nicht als das letzte Wort über die politische Wahrheit betrachten.
Die Autoren hoffen, dass Menschen, indem sie zeigen, wie leicht diese digitalen Orakel beeinflussbar sind, beginnen werden, sich zu fragen: „Warte mal, warum hast du das gesagt?“ und „Kannst du mir deine Quellen zeigen?“, anstatt die Antwort einfach als absolute Wahrheit zu akzeptieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.