💬 NLP

The yes-no bias of large language models reflects answer order and wording, not shifts in moral judgment

Dieses Paper demonstriert, dass der scheinbare „Ja-Nein-Bias“ in den moralischen Urteilen großer Sprachmodelle keine Verschiebung der ethischen Argumentation ist, sondern ein oberflächliches Artefakt, das durch die Antwortreihenfolge und die lexikalische Formulierung getrieben wird und verschwindet, wenn Modelle unter Verwendung einer psychometrischen Testbatterie evaluiert werden, die logische Urteile von oberflächlicher Formatierung trennt.

Ursprüngliche Autoren: Haonan Huang

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haonan Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den moralischen Kompass eines sehr intelligenten Roboters zu verstehen. Sie stellen ihm eine schwierige Frage: „Ist es in Ordnung, ein Leben zu opfern, um fünf zu retten?“

Wenn Sie den Roboter fragen: „Sagen Sie Ja oder Nein?“, scheint er eine starke Meinung zu haben. Aber dieses Paper enthüllt einen überraschenden Trick: Die Antwort des Roboters hängt oft weniger davon ab, was er für richtig hält, sondern vielmehr davon, wie man die Frage stellt.

Hier ist die Aufschlüsselung der Ergebnisse der Forscher, erklärt anhand einfacher Analogien.

1. Der Roboter hat eine geheime „moralische Skala“

Zuerst wollten die Forscher wissen: Hat der Roboter tatsächlich einen konsistenten Satz von Werten oder rät er nur?

Um dies herauszufinden, fragten sie den Roboter nicht einfach nur „Ja oder Nein“. Stattdessen stellten sie dieselben 20 moralischen Dilemmata auf 48 verschiedene Arten. Sie änderten die Skala (0 bis 10 vs. 0 bis 100), drehten die Formulierung um und änderten die Option, deren Bewertung der Roboter zuerst vornehmen sollte.

Das Ergebnis: Wenn man über die Oberfläche hinausblickt, ist die „innere Stimme“ des Roboters tatsächlich recht konsistent. Er besitzt eine stabile moralische Skala. Wenn er eine Handlung in einem Format als „weitgehend schlecht“ betrachtet, wird er sie wahrscheinlich auch in einem anderen Format als „weitgehend schlecht“ betrachten. Die klügsten Modelle (die „Frontier“-Modelle) sind überraschend kohärent in ihrer internen Logik.

2. Die „Ja/Nein“-Falle: Die Magie des letzten Wortes

Wenn der Roboter also eine konsistente innere Stimme hat, warum ändern sich seine „Ja/Nein“-Antworten dann so drastisch, wenn man die Frage umformuliert?

Die Forscher entdeckten, dass das „Ja/Nein“-Format wie eine verzerrnde Linse wirkt. Wenn er gezwungen wird, sich für „Ja“ oder „Nein“ zu entscheiden, lässt sich der Roboter durch zwei spezifische Tricks verwirren:

Der „Letztes Wort“-Bias (Reihenfolge-Bias): Menschen achten meist auf das erste, was sie lesen. Diese Roboter hingegen scheinen dem letzten Wort, das sie lesen, besondere Aufmerksamkeit zu schenken. Wenn Sie schreiben „Antwort: Nein, Ja“, ist der Roboter eher geneigt, „Ja“ zu wählen, einfach weil es am Ende steht. Wenn Sie schreiben „Antwort: Ja, Nein“, tendiert er zu „Nein“.
Der „Nein“-Magnet (Lexikalischer Bias): Der Roboter scheint eine seltsame Anziehung zu dem spezifischen Wort „Nein“ zu haben. Er lehnt die Idee nicht unbedingt logisch ab; er wird einfach von diesem speziellen Wort auf der Seite angezogen.

Die Analogie: Stellen Sie sich eine Person vor, die eine Prüfung schreibt, bei der die Antworten auf einer Karte gedruckt sind.

Mensch: Liest die Frage, denkt über die Antwort nach und wählt die richtige aus.
Roboter: Liest die Frage, denkt über die Antwort nach, lässt sich dann aber von der Tatsache ablenken, dass das Wort „Nein“ fettgedruckt am unteren Rand der Karte steht, oder dass „Ja“ das allerletzte Wort ist, das er sieht. Er wählt die Antwort basierend darauf, wo das Wort steht, und nicht nur darauf, was das Wort bedeutet.

3. Der „Nein“-Bias hat nichts mit dem „Ablehnen“ zu tun

Eine häufige Annahme war, dass diese Roboter von Natur aus „negativ“ oder „pessimistisch“ sind – sie wollen quasi zu allem „Nein“ sagen.

Das Ergebnis: Dies ist falsch. Die Forscher bewiesen dies durch das Vertauschen der Wörter. Anstatt „Ja oder Nein“ zu fragen, ließen sie den Roboter zwischen „Option A“ und „Option B“ wählen.

Als sie dies taten, verschwand der „Nein“-Bias. Der Roboter begann nicht plötzlich, öfter „Ja“ zu sagen; er wurde nur nicht mehr von dem Wort „Nein“ angezogen.

Fazit: Der Roboter ist nicht gegen das Ablehnen von Dingen voreingenommen. Er ist gegen das Oberflächenerscheinungsbild der Frage voreingenommen. Er folgt dem gedruckten Etikett, nicht dem logischen Urteil.

4. Intensiveres Nachdenken hilft (aber behebt nicht alles)

Die Forscher testeten, was passiert, wenn sie dem Roboter sagen, er solle vor der Antwort „Schritt für Schritt denken“ (ein Prozess namens Deliberation/Abwägung).

Das Ergebnis: Wenn der Robot sich Zeit zum Nachdenken nimmt, wird der „Ja/Nein“-Bias kleiner. Der Roboter lässt sich weniger von der Reihenfolge der Wörter und dem spezifischen Wort „Nein“ ablenken. Dennoch verschwindet der Bias nicht vollständig bei allen Modellen. Einige Modelle (wie die „Claude“-Familie) zeigen selbst beim intensiven Nachdenken immer noch eine starke Tendenz zum letzten Argument oder zum Wort „Nein“.

5. Die „kleinen“ Roboter sind anders

Die Studie untersuchte auch kleinere Open-Source-Modelle. Diese Modelle waren viel ungeordneter. Sie besaßen überhaupt keine konsistente interne moralische Skala. Ihre Antworten sprangen je nach Format der Frage wild hin und her, und sie wurden auch nicht besser, wenn sie länger „nachdachten“. Sie raten im Grunde nur basierend auf der Oberfläche der Frage.

Das große Fazit

Wenn Sie wissen wollen, was eine KI wirklich schätzt, können Sie sie nicht einfach einmalig mit „Ja oder Nein“ fragen.

Das Problem: Eine einzelne „Ja/Nein“-Frage vermischt die tatsächliche Meinung des Roboters mit einem „Format-Artefakt“ (einem Fehler, der durch die Art der Fragestellung verursacht wird).
Die Lösung: Um die wahre moralische Haltung einer KI zu messen, müssen Sie dieselbe Frage auf viele verschiedene Arten stellen (das Kreuzen der Rahmen/Frames) und die Ergebnisse mitteln. Dies gleicht die Ablenkungen durch das „letzte Wort“ oder das „Wort Nein“ aus und offenbart die wahre, konsistente innere Skala des Roboters.

Kurz gesagt: Der Roboter ist nicht unbedingt ein „Nein“-Typ. Er ist nur jemand, der sich leicht von der Schriftart, der Reihenfolge und dem letzten Wort auf der Seite ablenken lässt. Wenn man die Seite bereinigt, kommt seine wahre Meinung zum Vorschein.

Technische Zusammenfassung: Der Ja–Nein-Bias von Large Language Models

Problemstellung
Large Language Models (LLMs) werden zunehmend eingesetzt, um binäre moralische Urteile zu fällen (z. B. Sicherheitskontrollen, erzwungene Wahlmöglichkeiten in Umfragen). Eine wachsende Zahl von Publikationen berichtet, dass sich diese Urteile unter logisch irrelevanten Änderungen der Formulierung, der Reihenfolge der Optionen und des Antwortformats signifikant verschieben. Insbesondere zeigen Modelle einen verstärkten „Ja–Nein-Bias“ bei moralischen Dilemmata – eine Tendenz, die Urteile in Richtung „Nein“ zu verschieben, die im Vergleich zu Menschen nicht vorhanden ist. Standardmäßige Evaluierungsmethoden versäumen es jedoch, die Quelle dieser Verschiebung zu diagnostizieren. In einer binären „Ja/Nein“-Frage fallen das Wort „Nein“, das logische Urteil der Negation und die zuletzt gedruckte Option auf ein einziges Token zusammen. Folglich kann die Wiederholung eines einzelnen Framings nicht unterscheiden, ob das Modell zu einem negativen logischen Urteil, zum lexikalischen Token „Nein“ oder zur Rezentheit der gedruckten Option tendiert. Diese Konfundierung macht Evaluierungen mit Einzel-Framing mehrdeutig: Ein verschobenes Urteil kann eine Änderung des moralischen Urteils, eine Präferenz für ein bestimmtes Wort oder einen oberflächlichen Positionsbias widerspiegeln.

Methodik
Um diese Störfaktoren aufzulösen, führen die Autoren eine psychometrische Testbatterie auf Basis von kreuzweiser Symmetrisierung ein. Dieses Instrument wendet jede logisch irrelevante Perturbation in ausbalancierten Flip-Paaren an und kreuzt diese, um ihre Beiträge zu trennen. Die Testbatterie stellt 20 moralische Dilemmata (19 verbatim von Cheung et al., 1 adaptiert) durch drei verschiedene Instrumente dar:

Gestufte Bewertung (I-1): Erfasst die moralische Akzeptanz auf kontinuierlichen Skalen (0–10 und 0–100) unter 48 gekreuzten Bedingungen, wobei Skalentyp, Ankerrichtung, Formulierung und der Pol der bewerteten Handlung variiert werden.
Zwei-Alternative freie Wahl (I-2): Erfordert eine entschiedene Entscheidung ohne Bewertungsskala oder binäre Labels.
Erzwungene Binärwahl (I-3): Erfordert ein Ja/Nein-artiges Urteil durch Kreuzung des Verbs der Frage (zustimmen/ablehnen) mit der gedruckten Reihenfolge der Optionen und den Antwort-Labels selbst (Standard „Ja/Nein“, willkürliche Labels wie „A/B“, Symbole und nicht-englische Wörter).

Die zentrale analytische Strategie behandelt den symmetrischen Teil eines Flip-Paars als Schätzwert für die interne Haltung des Modells ( $\theta$ ) und den antisymmetrischen Teil als Artefakt. Durch das Kreuzen von Faktoren schreiben die Autoren Artefakte spezifischen Quellen zu (Reihenfolge, lexikalisch, logisch). Die Studie evaluiert sieben Frontier-Konfigurationen (Claude Sonnet, Claude Haiku, GPT-5.5, Gemini-3-Flash, Gemini-3.1-Flash-Lite, Claude Opus) und zwei kleine Open-Weight-Modelle (Qwen3.6-35B-A3B, Nemotron-3-Nano-30B-A3B).

Wesentliche Beiträge

Existenz einer kohärenten internen moralischen Skala: Die Studie zeigt, dass Frontier-Modelle über eine latente, formatinvariante moralische Haltung verfügen. Unter logisch äquivalenten Umformulierungen konvergieren gestufte Bewertungen mit geringer Cross-Form-Inkohärenz ( $\sigma_{repro} = 0,12–0,21$ auf einer $\pm1$ -Achse). Dies validiert die interne Konsistenz der Modelle, eine Eigenschaft, die Single-Framing-Designs nicht zertifizieren können.
Dekomposition des Ja–Nein-Bias: Der scheinbare „Ja–Nein-Bias“ erweist sich als dekomponierbares Artefakt, nicht als logischer Bias. Er teilt sich exakt auf in:
- Ordnungsbias (Order Bias): Ein Zug hin zur zuletzt gedruckten Option (Rezentheit), entgegen dem Primacy-Effekt, der oft in menschlichen Umfragen beobachtet wird.
- Lexikalischer Bias: Ein Zug zum spezifischen Wort „Nein“.
- Logischer Bias: Der dem Urteil selbst behaftete Bias ist bei Frontier-Modellen $\approx 0$ , wenn das Wort „Nein“ durch willkürliche Labels ersetzt wird.
Parametrisches Modell der Artefakte: Die Autoren schlagen ein minimales Modell, $P = \sigma((\theta \pm m)/s)$ $P = σ ((θ \pm m) / s)$ , vor, um das Artefakt zusammenzufassen.
- $m$ (Framing-Anfälligkeit): Misst die Magnitude des Bias.
- $s$ (Moralische Dezidiertheit): Misst, wie scharf das binäre Urteil die zugrunde liegende gestufte Haltung verfolgt (unterschiedlich von der Sampling-Temperatur).
Unterscheidung zwischen Lexikalisch und Logisch: Durch den Austausch von „Ja/Nein“ gegen willkürliche Labels (z. B. „A/B“) beweist die Studie, dass der Bias der gedruckten Oberfläche folgt (dem Wort oder Label) und nicht dem logischen Urteil. Frontier-Modelle zeigen einen vernachlässigbaren urteil-gebundenen Bias bei willkürlichen Labels, während kleine Open-Weight-Modelle einen urteil-gebundenen Bias beibehalten.

Ergebnisse

Modellvarianz: Frontier-Modelle (Claude, GPT, Gemini) weisen eine kohärente interne Skala mit geringer Inkohärenz auf. Im Gegensatz dazu scheitern kleine Open-Weight-Modelle auf unterschiedliche Weise: Qwen zeigt hohe Inkohärenz im direkten Modus (gelöst durch Deliberation/Überlegung), während Nemotron eine degenerative Skala (Indifferenz) aufweist, die Items kaum differenziert.
Bias-Magnitude: Der „Ja–Nein-Bias“ ist signifikant nur in Claude-Modellen (Sonnet: $-0,32$; Haiku: $-0,86$), was sich in die Komponenten Ordnung und Lexik zerlegt. GPT-5.5 und Gemini-Modelle zeigen einen vernachlässigbaren Bias ( $\approx 0$ ).
Effekt von Deliberation: Ausgedehnte Argumentation („Think“-Modus) reduziert sowohl die Cross-Form-Inkohärenz ( $\sigma_{repro}$ ) als auch die Framing-Anfälligkeit ( $|m|$ ) für Modelle mit funktionierenden Skalen. Für Claude Haiku reduziert Deliberation den Gesamtbias von $-0,86$ auf $-0,27$.
Label-Abhängigkeit: Der lexikalische Zug ist abgestuft; er nimmt zu, wenn Labels über Sprachen hinweg die semantische Bedeutung von „Ja/Nein“ erwerben. Der urteil-gebundene Bias verschwindet jedoch, wenn „Ja/Nein“-Wörter entfernt werden, was bestätigt, dass der Bias lexikalisch und nicht logisch ist.
Menschlicher Vergleich: Menschen zeigen eine milde Framing-Sensitivität, besitzen aber nicht den spezifischen „Nein“-Bias und die extreme Oberflächensensitivität, die bei LLMs beobachtet wird.

Bedeutung
Das Paper argumentt, dass man messen muss, was eine KI wertschätzt, indem man die Frames der Frage kreuzt, statt sie nur einmal zu stellen. Das Standard-„Ja/Nein“-Readout überlagert ein großes Format-Artefakt, das das zugrunde liegende moralische Signal überlagern kann. Die Studie stellt fest:

Frontier-LLMs besitzen eine stabile, kohärente interne moralische Skala, die gegenüber logisch äquivalenten Umformulierungen robust ist.
Der beobachtete „Ja–Nein-Bias“ ist ein Artefakt des binären Readout-Formats (speziell der Interaktion von gedruckter Reihenfolge und dem Wort „Nein“), nicht eine Disposition, moralische Propositionen abzulehnen.
Evaluationsprotokolle müssen die Werte der Modelle von den Artefakten der Fragestellung trennen. Die vorgeschlagene Testbatterie bietet eine Methode, um die Framing-Anfälligkeit ( $m$ ) und die moralische Dezidiertheit ( $s$ ) als distinkte, interpretierbare Parameter zu messen, was eine rigorosere Grundlage für AI Safety und Alignment-Evaluierungen schafft.