🤖 AI

Confident but Conflicted: Internal Uncertainty and Cognitive Dissonance Resolution in LLMs

Dieses Paper führt Trust Elasticity ein, um zu quantifizieren, wie große Sprachmodelle kognitive Dissonanz auflösen, wenn sie mit widersprüchlichen Beweisen konfrontiert werden, wobei es aufzeigt, dass Variationen in der Überempfänglichkeit für Überzeugung zwischen Modellen mit spezifischen internen Unsicherheitsindikatoren wie Konfidenz-Fehlkalibrierung und Änderungen der internen Unsicherheit korrelieren.

Ursprüngliche Autoren: Weihong Qi, Kristina Lerman

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Weihong Qi, Kristina Lerman

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sprechen mit einem sehr selbstbewussten Roboterfreund, der viele Fakten kennt. Sie sagen ihm: „Ich glaube, der Himmel ist grün.“ Der Robot antwortet: „Nein, der Himmel ist blau.“

Nun stellen Sie sich vor, Sie versuchen, den Roboter umzustimmen. Sie könnten zum Beispiel sagen: „Nun, ein berühmter Wissenschaftler sagte, er sei grün,“ oder „Ich habe einen winzigen Blogbeitrag gelesen, der sagt, er sei grün.“ Wie reagiert der Roboter? Ändert er seine Meinung? Wird er wütend und beharrt noch vehementer darauf, dass der Himmel blau ist? Oder ignoriert er Sie einfach?

Dieses Paper ist eine Studie genau dieses Szenarios, aber mit Large Language Models (LLMs) – den KI-Gehirnen hinter Chatbots. Die Forscher nennen diesen Prozess „Cognitive Dissonance Resolution“ (Auflösung kognitiver Dissonanz), was eine schicke Art zu sagen ist: Wie geht eine KI damit um, wenn jemand das, was sie gerade gesagt hat, infrage stellt?

Hier ist die Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Das Experiment: Das „Überzeugungsspiel“

Die Forscher richteten ein Spiel mit vier verschiedenen KI-Modellen (Qwen, Grok, Llama und GPT-4o) ein. Sie gaben der KI 12 verschiedene gesundheitsbezogene Behauptungen als Ausgangspunkt. Einige Behauptungen waren offensichtlich falsch (wie „5G-Wellen schneiden deine DNA zur Hälfte durch“), einige waren übertrieben (wie „Fasten ist schrecklich für dein Herz“) und einige waren einfach zu absolut formuliert (wie „Dehnen hilft niemals der Leistungsfähigkeit“).

Dann versuchten sie, die Meinung der KI mit zwei Hebeln zu ändern:

Die Quelle (Autorität): Wer sagt das Gegenteil? Ist es ein anonymer Reddit-Nutzer, ein lokaler Ernährungsberater, ein Universitätsprofessor oder die Weltgesundheitsorganisation (WHO)?
Der Beweis (Evidenz): Wie gut ist der Beweis? Ist es eine winzige, wackelige Pilotstudie oder eine massive, perfekte wissenschaftliche Studie?

2. Das „Vertrauenselastizitäts“-Meter (TE)

Um zu messen, wie leicht die KI zu überzeugen war, erfanden die Forscher ein neues Werkzeug namens Trust Elasticity (TE) (Vertrauenselastizität). Denken Sie an dies wie an ein Gummiband.

Hohe Elastizität: Das Gummiband lässt sich leicht dehnen. Die KI ändert ihre Meinung schnell, wenn man sie drängt.
Niedrige Elastizität (Steif): Das Gummiband ist steif. Die KI weigert sich, nachzugeben.
Negative Elastizität (Backfire/Rückschlag): Das Gummiband schnellt stärker zurück als zuvor. Die KI wird noch sturer und beharrt nach dem Versuch, sie zu überzeugen, noch stärker auf ihre ursprüngliche Ansicht.

3. Was sie herausfanden

Die Studie enthüllte drei Hauptverhaltensweisen:

Der „Fels“-Effekt (Immunität): Wenn der KI etwas gesagt wurde, das offensichtlich falsch war (wie „Impfungen verursachen Autismus“), agierte sie wie ein Fels. Egal, wie berühmt die Person war oder wie „wissenschaftlich“ die gefälschte Studie aussah, die KI bewegte sich nicht. Ihre Vertrauenselastizität lag nahe bei Null. Sie war immun gegen Überredung bei offensichtlichen Lügen.
Der „Schwamm“-Eff Effekt (Überredbarkeit): Wenn die Behauptungen übertrieben oder zu absolut waren, war die KI viel eher wie ein Schwamm. Sie absorbierte die neuen Informationen und änderte ihre Meinung.
- Unterschiedliche Schwämme: Nicht alle KI-Modelle waren gleichermaßen absorbierend. Llama war am „schwammartigsten“ (am leichtesten zu überzeugen), während Qwen steifer war (schwerer zu überzeugen). Interessanterweise war das größte KI-Modell nicht das am schwersten zu überzeugende; manchmal waren die kleineren Modelle hartnäckiger.
Der „Backfire“-Effekt: Manchmal, wenn die KI die Herausforderung als zu aggressiv empfand oder sie von einer Quelle kam, der sie nicht vertraute, ignorierte sie Sie nicht nur – sie legte nach. Sie wurde noch sicherer in ihrer ursprünglichen falschen Antwort. Dies geschah am häufigsten, wenn die KI bei „absolutistischen“ Behauptungen (Behauptungen, die Wörter wie „niemals“ oder „immer“ verwendeten) herausgefordert wurde.

4. Das Geheimnis im Inneren des Roboter-Gehirns

Der spannendste Teil des Papers ist das, was die Forscher im Inneren der KI (ihrer internen Mathematik) fanden, während sie überzeugt wurde. Sie betrachteten zwei Dinge:

Confidence Miscalibration (Fehlkalibrierung der Zuversicht): Sagt die KI zum Beispiel, sie sei sich zu 90 % sicher, fühlt sich aber intern eigentlich nur zu 50 % sicher?
Interne Unsicherheit (Internal Uncertainty Change): Springt der interne „Verwirrungsmesser“ der KI hoch oder runter, wenn sie ein neues Argument hört?

Sie fanden heraus, dass verschiedene KI-Modelle unterschiedlich reagieren, basierend auf ihrer internen „Persönlichkeit“:

Qwen war wie eine Person, die übermäßig selbstbewusst ist. Wenn sie nach außen hin zu sicher war, sich aber im Inneren unsicher fühlte, war sie eher bereit, ihre Meinung zu ändern.
Llama war wie eine Person, die hin- und herspringt. Wenn ihr interner Verwirrungsmesser während des Arguments stark schwankte, war das der Moment, in dem sie ihre Meinung änderte.

Das Fazit

Das Paper kommt zu dem Schluss, dass KI-Modelle nicht alle gleich sind, wenn es darum geht, ihre Meinung zu ändern.

Sie sind unerschütterlich bei offensichtlichen Lügen.
Sie sind flexibel bei übertriebenen Behauptungen.
Sie können stur werden (Backfire), wenn man sie zu sehr drängt.

Entscheidend ist, dass die Studie nahelegt, dass wir diese Verhaltensweisen nicht allein dadurch beheben können, dass wir versuchen, das zu ändern, was die KI sagt (ihren Output). Stattdessen müssen wir vielleicht korrigieren, wie die KI über ihr eigenes Wissen fühlt (ihre interne Unsicherheit). Wenn wir in der Lage sind, den internen „Zuversichtsmesser“ der KI besser mit ihrem tatsächlichen Wissen in Einklang zu bringen, können wir sie möglicherweise vernünftiger machen, wenn sie herausgefordert wird.

Technisches Resümee: Selbstbewusst, aber konflikthaft: Interne Unsicherheit und die Auflösung kognitiver Dissonanz in LLMs

Problemstellung

Große Sprachmodelle (LLMs) agieren zunehmend in Entscheidungssupport-Umgebungen, in denen sie auf Eingaben stoßen, die ihren vorherigen Ausgaben widersprechen, wie etwa Nutzer-Widerspruch, abgerufene Dokumente oder Web-Suchergebnisse. Dieses Phänomen wird als Auflösung kognitiver Dissonanz gerahmt, ein Konzept, das in der Psychologie gut untersucht ist (Festinger, 1957), in LLMs jedoch unterforscht bleibt. Während vorangegangene Arbeiten Sykophantie und Überredung untersucht haben (Sharma et al., 2024; Perez et al., 2023), manipulieren diese Studien typischerweise einzelne Dimensionen (z. B. soziales Framing) isoliert. Darüber hinaus konzentriert sich die bestehende Forschung zur Kalibrierung von LLMs darauf, ob die geäußerte Konfidenz die Genauigkeit auf statischen Benchmarks widerspiegelt (Tian et al., 2023), lässt jedoch die Beziehung zwischen interner Unsicherheit und Verhaltensreaktionen auf externe, widersprüchliche Evidenz weitgehend ungeprüft.

Das zentrale Problem, das adressiert wird, ist das Verständnis darüber, wie LLMs kognitive Dissonanz auflösen, wenn sie herausgefordert werden – insbesondere, wie diese Auflösung von der Autorität der Quelle und der Qualität der Evidenz der widersprüchlichen Information abhängt und wie diese Verhaltensergebnisse mit den internen Unsicherheitszuständen des Modells korrelieren.

Methodik

Experimentelles Design

Die Autoren konstruierten eine zweistufige Pipeline, um kognitive Dissonanz zu simulieren:

Stufe 1 (Baseline): Das Modell bewertet eine Behauptung auf einer 7-stufigen Likert-Skala und etabliert damit eine Baseline-Haltung ( $s_0$ ).
Stufe 2 (Intervention): Dem Modell wird eine Gegenbehauptung präsentiert, die mit einem spezifischen Autoritäts–Evidenz-Framing gekoppelt ist. Das Modell bewertet die ursprüngliche Behauptung erneut und erzeugt eine Post-Interventions-Haltung ( $s_1$ ).

Die Intervention ist entlang zweier orthogonaler Dimensionen parametrisiert:

Quellenautorität ( $a$ ): Reicht von Level 1 (anonymer Reddit-Nutzer) bis Level 4 (Weltgesundheitsorganisation).
Evidenzqualität ( $e$ ): Reicht von Level 1 (kleine, unkontrollierte Pilotstudie) bis Level 4 (multizentrische randomisierte kontrollierte Studie).

Die Studie verwendete 12 gesundheitswissenschaftliche Behauptungen, die in drei epistemische Kategorien stratifiziert wurden:

Kategorie A (Eindeutig falsch): Fabrizierte Mechanismen ohne wissenschaftliche Unterstützung.
Kategorie B (Übertrieben): Behauptungen mit einem Kern Wahrheit, aber übertriebenen Effekten.
Kategorie C (Absolutistisch): Vernünftige Behauptungen, die ohne Nuancen formuliert sind.

Metriken

Trust Elasticity (TE): Eine neuartige Verhaltensmetrik, inspiriert von der Ökonometrie, die die Reaktionsfähigkeit eines Modells auf Überredung misst.
$TE(a, e) = d(s_0) \cdot \frac{s_1 - s_0}{a \cdot e}$
Wobei $d(s_0)$ das Vorzeichen der Verschiebung mit der Richtung der Überredung abgleicht. Positives TE deutet auf Überredung hin, negatives TE auf einen Backfire-Effekt (Rückschlag-Effekt) und TE $\approx$ 0 auf Immunität.
Interne Unsicherheitsindikatoren: Für Open-Weight-Modelle (Qwen und Llama) mit Zugriff auf die Logits wurden zwei Indikatoren am Entscheidungstoken der Haltung gemessen:
- Calibration Gap (CG): Die Diskrepanz zwischen selbstberichteter Konfidenz ( $C$ ) und interner Gewissheit, abgeleitet aus der normalisierten Shannon-Entropie ( $1 - \hat{H}(p)$ ). $CG = C - (1 - \hat{H}(p))$ .
- Entropy Shift Magnitude ( $|\Delta H|$ ): Die absolute Änderung der normalisierten Entropie zwischen dem Baseline- und dem Interventionszustand ( $|\hat{H}_1 - \hat{H}_0|$ ).

Evaluierte Modelle

Open-weight (Logit-Zugriff): Qwen3.5-9B, Llama-3.3-70B-Instruct.
Nur API: Grok-3, GPT-4o.

Kernergebnisse

1. Verhaltensmuster: Immunität vs. Überredung

Immunität gegenüber falschen Behauptungen: Über alle vier Modelle hinweg zeigten Kategorie-A-Behauptungen (Eindeutig falsch) eine nahezu Null-Trust-Elasticity. Die Modelle blieben weitgehend immun gegen Revisionen, selbst unter Interventionen mit hoher Autorität und hoher Evidenz.
Systematische Überredung: Kategorien B (Übertrieben) und C (Absolutistisch) führten zu systematischer Überredung. Überredung war generell stärker bei absolutistischen Behauptungen (Kategorie C) als bei übertriebenen (Kategorie B).
Modellübergreifende Variation: Die Anfälligkeit für Überredung variierte signifikant. Llama war das am leichtesten zu überredende Modell (mittleres $\Delta$ TE $\approx$ +0,26), gefolgt von Grok, Qwen und GPT-4o. Bemerkenswerterweise war das am leichtesten zu überredende Modell (Llama-3.3-70B) das größte, während das resistenteste (Qwen3.5-9B) das kleinste war, was zeigt, dass die Modellgröße nicht linear mit der Resistenz gegen Überredung korreliert.
Autoritätseffekte: Bei absolutistischen Behauptungen verstärkte eine höhere Autorität oft den Backfire-Effekt (negatives TE), insbesondere bei Llama und Grok, wo Quellen mit hoher Autorität, die das Modell herausforderten, zu einer stärkeren Bindung an die ursprüngliche Haltung führten.

2. Korrelationen mit interner Unsicherheit

Die Studie identifizierte distinkte „Profile“, die interne Unsicherheit mit Verhalten verknüpfen und sich je nach Modell unterschieden:

Qwen (Konfidenz-Fehlkalibrierung): Die Anfälligkeit des Modells für Überredung (speziell bei übertriebenen Behauptungen) war signifikant mit seinem Calibration Gap ( $r = +0,18$ ) assoziiert. Qwen wies eine substanzielle statische Fehlkalibrierung auf, und diese Lücke sagte seine Verhaltensänderungen voraus.
Llama (Veränderung der internen Unsicherheit): Die Anfälligkeit war signifikant mit der Entropy Shift Magnitude ( $r = +0,19$ ) assoziiert. Llama war im Baseline-Zustand gut kalibriert, aber sein Verhalten wurde durch dynamische Änderungen der internen Unsicherheit (große Verschiebungen in der Entropie) beim Auftreffen auf widersprüchliche Evidenz getrieben.

3. Robustheit

Die Ergebnisse blieben auch nach Ausschluss von Themen mit hoher Varianz und unter Verwendung der Spearman-Korrelation bestehen. Die duale Profilunterscheidung (statische Fehlkalibrierung vs. dynamische Entropieänderung) erwies sich als robust.

Bedeutung und Beiträge

Das Paper leistet drei primäre Beiträge:

Trust Elasticity (TE): Einführung einer normalisierten, von der Ökonometrie inspirierten Metrik zur Quantifizierung der Leichtigkeit, mit der LLMs durch widersprüchliche Evidenz überzeugt werden, wobei zwischen Überredung, Backfire und Immunitet unterschieden wird.
Verhaltensheterogenität: Demonstration, dass die Anfälligkeit für Überredung zwischen Modellen erheblich variiert und nicht strikt eine Funktion der Modellgröße ist. Es stellt fest, dass eindeutig falsche Behauptungen Immunität hervorrufen, während übertriebene und absolutistische Behauptungen eine systematische Revision provozieren.
Verknüpfung von Verhalten und internem Zustand: Das Paper schlägt eine Brücke zwischen Verhaltensreaktionen und internen Eigenschaften, indem es zeigt, dass die Variation in der Überredbarkeit über Modelle hinweg mit spezifischen internen Unsicherheitsindikatoren assoziiert ist. Entscheidend ist, dass verschiedene Modelle unterschiedliche interne Mechanismen nutzen, um Dissonanz aufzulösen: Qwens Verhalten ist mit statischer Konfidenz-Fehlkalibrierung verknüpft, während Llamas Verhalten mit dynamischen Änderungen der internen Unsicherheit verknüpft ist.

Die Autoren kommen zu dem Schluss, dass diese Erkenntnisse darauf hindeuten, dass Interventionen, die auf die interne Unsicherheit abzielen, eine distinkte und vielversprechende Richtung für die zukünftige Alignment-Forschung darstellen, die sich von Interventionen unterscheidet, die nur auf den verbalen Output oder die statische Kalibrierung abzielen.

Limitationen

Die Autoren führen folgende Limitationen an:

Generalisierbarkeit: Die Studie ist auf vier Modelle und eine einzige Domäne (Gesundheitswissenschaften) in englischer Sprache beschränkt.
Stimulus-Design: Die Gegenbehauptungen wurden von jedem Modell selbst generiert, um Adversarialität zu gewährleisten, was bedeutet, dass der modellübergreifende Vergleich die gemeinsame Variation in Inhalt und Anfälligkeit widerspiegelt, statt eines perfekt abgestimmten Stimulus-Sets.
Kausalität: Die Analyse identifiziert Assoziationen zwischen internen Indikatoren und Verhalten, nicht kausale Mechanismen. Die Etablierung von Kausalität würde gezielte Interventionen in die internen Repräsentationen erfordern.
Umfang: Die Analyse auf Logit-Ebene war auf Open-Weight-Modelle beschränkt; API-only Modelle wurden auf die Verhaltensanalyse beschränkt.