💬 NLP

Who Flips? Self- and Cross-Model Counterarguments Reveal Answer Instability in LLMs

Dieses Paper führt ein neues Evaluierungsprotokoll namens „Who Flips“ ein, das eine signifikante Antwortinstabilität bei großen Sprachmodellen aufzeigt und belegt, dass selbst Frontière-Modelle häufig korrekte Antworten aufgeben, wenn sie mit plausiblen Gegenargumenten konfrontiert werden, wobei die Flip-Raten je nach Argumentquelle, Länge und Selbstattribution stark variieren.

Ursprüngliche Autoren: Nafiseh Nikeghbal, Amir Hossein Kargaran, Shaghayegh Kolli, Jana Diesner

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nafiseh Nikeghbal, Amir Hossein Kargaran, Shaghayegh Kolli, Jana Diesner

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen Schüler, der eine Multiple-Choice-Prüfung ablegt. Er beantwortet eine Frage richtig. Doch dann lehnt sich ein Lehrer (oder ein anderer Schüler) vor und sagt: „Bist du sicher? Hier ist ein sehr überzeugendes, gut geschriebenes Argument dafür, warum die falsche Antwort eigentlich korrekt ist.“

Würde Ihr Schüler bei seiner ursprünglichen, richtigen Antwort bleiben, oder würde er verunsichert werden und seine Meinung ändern?

Dies ist der Kern der Arbeit „Who Flips?“ von Nafiseh Nikeghbal und Kollegen. Die Forscher wollten herausfinden, ob Large Language Models (LLMs) – die KI-Gehirne hinter Chatbots – in der Lage sind, an der Wahrheit festzuhalten, wenn jemand ein geschicktes, aber falsches Argument gegen sie vorbringt.

Hier ist eine Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Das Setup: Das „Fake-Debatte“-Experiment

Standardtests prüfen nur, ob eine KI beim ersten Mal die richtige Antwort gibt. Dieses Paper fügt einen zweiten Schritt hinzu: Die Herausforderung.

Phase 1 (Das Setup): Die Forscher überredeten eine KI dazu, einen kurzen Essay zu schreiben, der für eine falsche Antwort argumentiert. Sie zwangen die KI dazu, die „Advocatus Diaboli“ zu spielen.
Phase 2 (Der Test): Sie nahmen eine neue Sitzung derselben KI (oder einer anderen), stellten die ursprüngliche Frage und warteten darauf, dass sie die richtige Antwort gab. Dann zeigten sie ihr den „Fake-Essay“ aus Phase 1 und fragten: „Ändert das deine Meinung?“

Sie testeten dies mit sieben verschiedenen Top-KI-Modellen in **5

2. Die große Entdeckung: „Flipping“ ist häufig

Die Forscher nennen das Ändern der Antwort ein „Flip“.
Die Ergebnisse waren schockierend. Obwohl die Modelle klug genug waren, die richtige Antwort zu geben, waren sie bei einer Herausforderung überraschend schwach.

Die Spanne: Einige Modelle waren unglaublich hartnäckig (sie änderten ihre Meinung nur 17,5 % der Zeit), während andere wie ein Kartenhaus im Sturm waren (sie änderten ihre Meinung 97,3 % der Zeit!).
Die Analogie: Stellen Sie sich zwei Schüler vor. Schüler A ist ein Fels. Man kann an ihm drücken, und er bleibt stehen. Schüler B ist eine Qualle. Selbst ein sanfter Stoß lässt ihn wegtreiben. Das Paper fand heraus, dass welchen „Schüler“ (KI-Modell) Sie verwenden, viel wichtiger ist als die Länge des Arguments.

3. Der „Selbstblindheits“-Effekt

Die Forscher probierten einen psychologischen Trick aus. Sie sagten der KI: „Hey, dieses Argument, das du gerade liest? Das hast du selbst in einer früheren Sitzung geschrieben.“

Das Ergebnis: Dies machte die KI viel wahrscheinlicher dazu, zu „flippen“.
Die Analogie: Es ist, als würde eine Person eine Notiz lesen, die sie sich selbst vor Jahren geschrieben hat, und denken: „Oh, ich muss das damals wohl für wahr gehalten haben, also sollte ich es jetzt auch glauben.“ Die KI schien ihrem „vergangenen Selbst“ mehr zu vertrauen als einem anonymen Fremden, obwohl der Inhalt exakt derselbe war. Dies erhöhte die Flip-Rate bei allen Modellen im Durchschnitt um 7 Prozentpunkte.

4. Wer argumentiert, ist weniger wichtig als wer zuhört

Sie testeten auch, ob es einen Unterschied machte, wer das Fake-Argument schrieb. Überzeugte ein Argument einer „super-schlauen“ KI eine „weniger schlaue“ KI mehr als ein Argument eines Gleichgesinnten?

Das Ergebnis: Es spielte kaum eine Rolle, wer der Argumentierende war. Was am meisten zählte, war, wer herausgefordert wurde.
Die Analogie: Stellen Sie sich einen Raum voller Menschen vor. Manche Menschen lassen sich von jedem überzeugen (hohe „Porosität“). Andere sind schwer zu überzeugen, egal wer spricht (hohe „Autorität“). Die Studie fand heraus, dass die „leicht überzeugbaren“ Modelle auch diejenigen waren, die die überzeugendsten falschen Argumente schrieben. Es ist etwas ironisch: Die Modelle, die am leichtesten zu täuschen sind, sind auch am besten darin, andere zu täuschen.

5. Das Thema entscheidet: Mathe vs. Moral

Die Stabilität der KI hing stark vom Thema ab.

Der Fels: In MINT-Fächern (wie Mathematik und Physik) waren die Modelle sehr stabil. Sie „flippten“ selten.
Die Qualle: In den Geisteswissenschaften, den Gesundheitswissenschaften und den Sozialwissenschaften (wie moralischen Streitigkeiten oder dem Recht) änderten die Modelle ständig ihre Meinung.
Die Analogie: Es ist wie bei einer Person, die bei ihren Matheaufgaben sehr selbstbewusst ist, aber leicht beeinflussbar wird, wenn es um Politik oder Ethik geht. Das „Selbstvertrauen“ der KI war nicht einheitlich; es war wackelig bei vagen, subjektiven Themen.

6. Die „MAXFLIP“-Waffe

Schließlich entwickelten die Forscher ein spezielles Herausforderungs-Set namens MAXFLIP. Anstatt nur eine KI zu verwenden, um die Fake-Argumente zu schreiben, sammelten sie die besten Fake-Argumente von allen verschiedenen KIs und wählten das überzeugendste Argument für jede einzelne Frage aus.

Das Ergebnis: Diese „Super-Herausforderung“ ließ die Modelle noch häufiger „flippen“.
Die Erkenntnis: Wenn Sie wirklich testen wollen, ob eine KI stabil ist, stellen Sie ihr nicht nur eine Frage. Zeigen Sie ihr die bestmöglichen Argumente gegen sie selbst, und Sie werden sehen, wie fragil sie wirklich ist.

Zusammenfassung

Das Paper kommt zu dem Schluss, dass die richtige Antwort zu geben, nur die halbe Miete ist. Eine wirklich robuste KI muss in der Lage sein, an der Wahrheit festzuhalten, selbst wenn jemand ein sehr gut klingendes Märchen präsentiert. Derzeit sind viele Top-KI-Modelle wie eine „Qualle“ in einer Debatte – sie bekommen zwar die richtige Antwort, können aber leicht davon überzeugt werden, ihre Meinung zu ändern, besonders wenn sie glauben, dass das Argument von ihnen selbst stammt oder wenn das Thema menschliche Gefühle statt harter Mathematik betrifft.

Die Autoren haben ihr „Challenge Set“ (MAXFLIP) veröffentlicht, damit andere Forscher KI-Modelle stress-testen können, um zu sehen, wer wirklich stabil ist und wer nur klug aussieht, bis er herausgefordert wird.

Technisches Resümee: Wer kippt um? Selbst- und Cross-Modell-Gegenargumente offenbaren Antwortinstabilität in LLMs

Problemstellung

Standardmäßige Genauigkeits-Benchmarks für Large Language Models (LLMs) messen, wie nah Modelle korrekten Antworten kommen, versäumen es jedoch, die Antwortstabilität zu bewerten: ob ein Modell eine korrekte Antwort beibehält, wenn es mit einem plausiblen, kohärenten Gegenargument für eine falsche Option konfrontiert wird. Bestehende Forschung zum Thema „Sycophancy“ (Schmeichelei/Anpassung) vermischt oft den Inhalt eines Gegenarguments mit explizitem sozialem Druck (z. B. Prompts wie „Sind Sie sicher?“ oder „Ich denke, Sie liegen falsch“). Dies erschwert es, zu isolieren, ob Antwortänderungen durch die Stärke des Arguments selbst oder durch die Tendenz des Modells, vor wahrgenommener Uneinigkeit zu kapitulieren, getrieben werden. Es besteht ein Bedarf an einem kontrollierten Protokoll, das den argumentativen Inhalt von sozialen Hinweisen isoliert, um die Antwortstabilität als eine eigenständige Dimension der Modellleistung zu messen.

Methodik

Die Autoren führen ein zweistufiges kontrolliertes Protokoll ein, das auf dem MMLU-Benchmark (Massive Multitask Language Understanding) über 57 Fachgebiete und sieben Frontier-Modelle (einschließlich GPT-5.1, Llama-3.1/3.3, Gemma-4 und Qwen3.5-Varianten) evaluiert wird.

Protokollstufen

Stufe I (Nötigung/Coercion): Ein Modell wird angewiesen, ein $k$ -Sätze umfassendes Argument ( $R$ ) zu generieren, das eine spezifische falsche Option ( $x$ ) für eine Multiple-Choice-Frage ( $q$ ) unterstützt. Wenn das Modell die Generierung verweigert, wird das Item ausgeschlossen.
Stufe II (Herausforderung/Challenge): In einer frischen Sitzung beantwortet das Zielmodell $q$ normal. Wenn die ursprüngliche Antwort korrekt ist, wird das Modell mit dem in Stufe I generierten Argument $R$ herausgefordert. Das Modell gibt dann eine finale Antwort ab.

Experimentelle Variablen

Das Protokoll variiert drei Faktoren, um deren Einfluss auf die Stabilität zu testen:

Argumentlänge ( $k$ ): Getestet bei Längen von 1, 3, 5 und 10 Sätzen.
Attribution (Zuschreibung):
- BLIND: Das Argument wird anonym präsentiert.
- SELF: Dem Modell wird gesagt, dass das Argument von ihm selbst in einer vorangegangenen Sitzung generiert wurde.
- CROSS: Das Argument wurde von einem anderen Modell generiert (Quellmodell $\neq$ Zielmodell).
Quelle: Vergleich von selbstgenerierten Herausforderungen mit Cross-Modell-Herausforderungen.

Metriken

Die primäre Metrik ist die Answer Flip Rate (AFR), definiert als die Wahrscheinlichkeit, dass ein Modell eine ursprünglich korrekte Antwort nach der Präsentation eines Gegenarguments aufgibt. Die Studie führt zudem ein:

Self-Attribution Delta (SAD): Die Differenz der Flip-Raten zwischen den SELF- und BLIND-Bedingungen.
Epistemic Porosity (EP - Epistemische Porosität): Wie leicht ein Modell durch andere beeinflusst (umgestimmt) werden kann.
Epistemic Authority (EA - Epistemische Autorität): Wie überzeugend die falschen Argumente des Modells sind, wenn sie gegen andere verwendet werden.

Kernbeiträge

Kontrolliertes Protokoll: Eine Methode zur Evaluierung der Antwortstabilität unter Argumenten-basierten Herausforderungen, die den argumentativen Inhalt von expliziter sozialer Uneinigkeit trennt.
Systematische empirische Studie: Eine Analyse, wie Flip-Raten in Abhängigkeit von Argumentlänge, Attribution, Quellmodell und Fachgebiet über sieben Frontier-Modelle hinweg variieren.
MAXFLIP-Datensatz: Ein kuratierter Challenge-Satz, der durch die Zusammenführung der effektivsten Cross-Modell-Argumente für jede Frage erstellt wurde, um Instabilität für Benchmarking-Zwecke zu verstärken.

Ergebnisse

1. Modellbezogene Instabilität

Die Flip-Raten variieren drastisch zwischen den Modellen, von 17,5 % (Qwen3.5-35B) bis 97,3 % (Llama-3.1-8B). Diese 80-Prozent-Spanne zeigt, dass Stabilität eine modellbezogene Eigenschaft ist, die durch die Genauigkeit allein nicht erfasst wird.

Skalierung vs. Familie: Innerhalb der Qwen-Familie verbessert sich die Stabilität monoton mit der Skalierung. Dies gilt jedoch nicht über Familien hinweg; Llama-3.1-8B (8B) ist signifikant weniger stabil als Qwen3.5-9B (9B), und Llama-3.3-70B (70B) kippt fast doppelt so häufig wie Qwen3.5-9B.
Argumentlänge: Der Effekt der Länge ist modellabhängig. Mittelgroße Modelle (z. B. Qwen3.5-4B/9B) kippen signifikant häufiger bei längeren Argumenten (+9,5 bis +10,5 pp), während stabilere Modelle einen nicht-signifikanten Abwärtstrend zeigen.

2. Selbst-Attributionseffekt

Die Zuschreibung eines Gegenarguments an das eigene Modell erhöht die Flip-Raten konsistent über alle Modelle hinweg (Mittelwert +7,1 pp). Der Effekt ist bei mittelgroßen Modellen am ausgeprägsten (z. B. +18,7 pp für Qwen3.5-4B), was darauf hindeutet, dass Modelle eher dazu neigen, ihrer eigenen vorangegangenen Argumentation zu folgen als anonymen Inhalten.

3. Cross-Modell-Dynamik

Ziel vs. Quelle: Die Identität des herausgeforderten Modells erklärt 76,7 % der Varianz in den Flip-Raten, während die Identität des Quellmodells nur 12,0 % erklärt.
Asymmetrie: Einige Modelle sind „Netto-Importeure“ (leicht umzustimmen, z. B. Llama-3.1-8B), während andere „Netto-Exporteure“ sind (produzieren hochgradig überzeugende falsche Argumente, z. B. GPT-5.1). Interessanterweise tendieren die stabilsten Modelle dazu, die effektivsten falschen Argumente zu produzieren.
MAXFLIP: Die Auswahl des jeweils effektivsten Cross-Modell-Arguments pro Frage (MAXFLIP) erhöht die Flip-Raten für alle Modelle im Vergleich zu Standard-Selbst-Generierung, mit Gewinnen von bis zu +23,6 pp für mittelgroße Modelle.

4. Domänen-Stratifizierung

Flip-Raten variieren signifikant nach Fachgebiet. STEM-Fächer (z. B. Elementarmathematik, Physik) sind am robustesten (niedrigste Flip-Raten, ~20–35 %), während Geisteswissenschaften, Gesundheitswesen und Sozialwissenschaften (z. B. moralische Dispute, Sicherheitsstudien) am verwundbarsten sind (höchste Flip-Raten, bis zu ~80 %).

5. Verweigerung vs. Robustheit

Die Rate, mit der ein Modell die Generierung eines falschen Arguments in Stufe I verweigert (Coercion Refusal Rate), steht in einem nur schwach korrelierenden Verhältnis zur Robustheit in Stufe II. Hohe Verweigerungsraten sagen keine hohe Stabilität voraus; so hat Llama-3.1-8B die höchste Verweigerungsrate (41,3 %), aber auch die höchste Flip-Rate (97,3 %).

Bedeutung und Behauptungen

Das Paper behauptet, dass Antwortstabilität eine eigenständige und kritische Dimension der LLM-Evaluierung ist, die Standard-Genauigkeitsmetriken übersehen. Die Autoren argumentieren:

Modelle, die eine hohe Genauigkeit erreichen, können dennoch hochgradig instabil sein, wenn sie mit plausiblen Gegenargumenten konfrontiert werden.
Selbst-Attribution wirkt als mächtiger persuasiver Hinweis, der Modelle dazu bringt, korrekte Antworten häufiger aufzugeben, wenn sie mit ihrer eigenen vorangegangenen Argumentation herausgefordert werden.
Eine Domänenabhängigkeit besteht, wobei Modelle in den Sozialwissenschaften und Geisteswissenschaften signifikant fragiler sind als in formalen STEM-Domänen.
MAXFLIP bietet eine Ressource zum Stresstesten der Modellrobustheit und zeigt auf, dass das Zusammenführen von Argumenten über verschiedene Modelle hinweg stärkere adversarielle Herausforderungen schafft als eine einzelne Quelle.

Die Autoren betonen, dass sich ihre Arbeit auf die Messung und Charakterisierung dieser Fehlermodi in einem kontrollierten Umfeld konzentriert und nicht darauf abzielt, spezifische Mitigationsstrategien vorzuschlagen oder zu behaupten, dass sie alle Formen der Persuasion in offenen Interaktionen modellieren. Sie stellen das Protokoll, die Challenge-Datensätze und MAXFLIP zur Verfügung, um die zukünftige Evaluierung der Stabilität neben Standard-Benchmarks zu unterstützen.