🤖 AI

A Cognitively Grounded Bayesian Framework for Misinformation Susceptibility

Dieser Beitrag stellt den Bounded Pragmatic Listener (BPL) vor, ein kognitiv fundiertes bayessches Rahmenwerk, das die Rational Speech Act-Theorie um drei Beschränkungen der begrenzten Rationalität erweitert, um die Anfälligkeit für Fehlinformationen zu modellieren, dabei auf Benchmarks zur Wahrheitsklassifizierung eine wettbewerbsfähige Leistung zeigt und experimentelle Unterstützung für das Depth-Mismatch-Paradoxon liefert.

Ursprüngliche Autoren: Pranava Madhyastha

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pranava Madhyastha

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, ob ein Gerücht, das Sie auf einer Party gehört haben, wahr ist. Normalerweise verhalten sich Computerprogramme, die entwickelt wurden, um Fake News zu erkennen, wie ein superkluger Detektiv, der jede einzelne Tatsache gegen eine riesige Enzyklopädie prüft. Doch diese Arbeit argumentiert, dass dies nicht so ist, wie echte Menschen funktionieren. Menschen sind müde, abgelenkt und haben begrenzte mentale Energie.

Die Autoren, Pranava Madhyastha und Kollegen, entwickelten ein neues Computermodell namens BPL (Bounded Pragmatic Listener). Denken Sie an BPL nicht als an einen Superdetektiv, sondern als an eine Simulation eines normalen menschlichen Gehirns, das versucht zu entscheiden, ob eine Nachrichtenbehauptung wahr oder falsch ist.

So funktioniert das Modell, aufgeschlüsselt in drei einfache „mentale Grenzen", die uns anfällig für Fehlinformationen machen:

1. Die „Mental Stack"-Grenze (Rekursionstiefe)

Stellen Sie sich Ihr Gehirn als einen Stapel Teller vor. Wenn Sie eine Behauptung hören, können Sie nur wenige Teller hochstapeln, bevor sie umfallen.

Stufe 0: Sie hören einfach nur die Tatsache. „Die Arbeitslosenquote liegt bei 2 %." Sie akzeptieren sie oder lehnen sie basierend auf der Zahl ab.
Stufe 1: Sie denken: „Wer hat das gesagt?" Sie erkennen, dass ein Senator es gesagt hat.
Stufe 2: Sie denken: „Warum hat der Senator das gesagt? Versucht er, uns zu täuschen? Weiß er, dass alle anderen wissen, dass dies eine Lüge ist?"

Die Arbeit legt nahe, dass die meisten Menschen nur etwa zwei Teller hoch stapeln können, bevor ihr Gehirn müde wird. Wenn eine Fehlinformation ein komplexer „Stufe-2"-Trick ist (wie: „Alle wissen, dass die Regierung lügt, aber sie werden es nicht sagen"), könnte eine Person mit einem „Stufe-1"-Gehirn verwirrt werden und es glauben. Sie sehen die Zuordnung („Der Senator sagte..."), verpassen aber die tiefere Falle.

Die große Überraschung: Die Arbeit fand ein seltsames Paradoxon. Menschen, die teilweise schlau sind (sie bemerken, wer es gesagt hat, graben aber nicht tief genug, um zu fragen, warum sie es gesagt haben), lassen sich tatsächlich leichter täuschen als Menschen, die den Sprecher völlig ignorieren. Es ist wie bei einer Person, die ein „Warn"-Schild sieht, aber die Kleingedruckten nicht liest und denkt, das Schild selbst mache die Gefahr real, obwohl das Schild dort platziert wurde, um sie zu täuschen.

2. Die „Spickzettel"-Grenze (Prior Compression)

Stellen Sie sich vor, Sie haben eine riesige Bibliothek mit Fakten über die Welt. Wenn Sie müde oder gestresst sind, haben Sie keine Zeit, das ganze Buch zu lesen. Stattdessen greifen Sie zu einem winzigen, zerknitterten „Spickzettel" mit nur wenigen breiten Kategorien: „Vertrauenswürdige Quellen" versus „Zweifelhafte Quellen".

Das BPL-Modell zeigt, dass wir unter Druck unsere komplexen Überzeugungen in diese einfachen Kategorien komprimieren. Wenn eine Behauptung von einer „zweifelhaften Quelle" kommt, komprimieren wir unsere Überzeugung sofort zu „Das ist wahrscheinlich falsch". Wenn sie von einer „vertrauenswürdigen Quelle" kommt, komprimieren wir sie zu „Das ist wahrscheinlich wahr". Das Modell beweist, dass dieser „Spickzettel"-Ansatz tatsächlich der wichtigste Faktor dafür ist, ob wir etwas glauben oder nicht.

3. Die „Speichersuche"-Grenze (Availability Sampling)

Stellen Sie sich vor, Sie versuchen zu entscheiden, ob eine Behauptung wahr ist, und fragen Ihr Gehirn: „Habe ich das schon einmal gesehen?"

Ein perfektes Gehirn würde sein gesamtes Gedächtnis nach jedem ähnlichen Beispiel durchsuchen.
Ein müdes Gehirn (das BPL-Modell) greift nur die ersten paar Beispiele, die ihm einfallen.

Das Problem ist, dass die Beispiele, die zuerst einfallen, normalerweise diejenigen sind, die laut, emotional oder oft wiederholt sind. Wenn Sie heute fünfmal eine gefälschte Schlagzeile gesehen haben, greift Ihr Gehirn diese fünf Beispiele und sagt: „Ich habe das oft gesehen, also muss es wahr sein!" Dies wird als „Illusory Truth Effect" (Effekt der illusorischen Wahrheit) bezeichnet. Das Modell simuliert dies, indem es nur eine kleine, verzerrte Stichprobe von Erinnerungen betrachtet, anstatt die ganze Wahrheit.

Wie sie es getestet haben

Die Forscher testeten dieses „Begrenzte menschliche Gehirn"-Modell an zwei realen Datensätzen von Nachrichtenbehauptungen (genannt Liar und MultiFC).

Sie verglichen ihr Modell mit Standard-Computerprogrammen, die nur nach Schlüsselwörtern und Metadaten suchen.
Sie fügten auch ein „Large Language Model" (wie die KI, mit der Sie gerade sprechen) hinzu, um als intelligentere Version der menschlichen Speichersuche zu fungieren.

Die Ergebnisse:

Der „Spickzettel" gewinnt: Der wichtigste Teil des Modells war die „Prior Compression" (der Spickzettel). Einfach zu wissen, ob eine Quelle im Allgemeinen vertrauenswürdig oder zweifelhaft ist, war der größte Prädiktor dafür, ob eine Behauptung gefälscht war.
Die „Teilwissen"-Falle: Die Daten bestätigten das Paradoxon: Menschen, die bemerken, dass eine Behauptung einer Person zugeschrieben wird (Stufe 1), aber die Absicht nicht analysieren (Stufe 2), lassen sich eher täuschen als diejenigen, die die Zuordnung völlig ignorieren.
KI-Hilfe: Als sie eine KI verwendeten, um die „Speichersuche" und das „Quellenvertrauen" zu simulieren, wurde das Modell viel besser darin, Lügen aufzudecken, weil die KI die Bedeutung der Wörter verstehen konnte, nicht nur die Oberflächeneigenschaften.

Das Fazit

Diese Arbeit sagt nicht nur „Fake News ist schlecht". Sie erstellt eine mathematische Karte, warum unsere Gehirne versagen, sie zu erkennen. Sie legt nahe, dass Fehlinformationen funktionieren, indem sie unsere mentalen Abkürzungen ausnutzen:

Sie täuschen uns mit Geschichten, die für unsere müden Gehirne zu komplex sind, um sie vollständig zu entschlüsseln.
Sie verlassen sich darauf, dass wir „Spickzettel" für Vertrauen verwenden, anstatt tiefgehende Recherchen anzustellen.
Sie setzen darauf, dass wir die lauten, wiederholten Lügen eher erinnern als die leisen, wahren Fakten.

Die Autoren schließen daraus, dass wir, um Fehlinformationen zu bekämpfen, vielleicht aufhören müssen, Menschen beizubringen, nur zu „bemerken", wer etwas gesagt hat, und stattdessen sie lehren müssen, zu hinterfragen, warum diese Person es gesagt hat, denn das Bemerkens der Zuordnung ohne Verständnis der Motivation könnte uns tatsächlich verwundbarer machen.

Technische Zusammenfassung: Ein kognitiv fundiertes bayessches Rahmenwerk für die Anfälligkeit gegenüber Fehlinformationen

Problemstellung

Derzeitige Ansätze der Verarbeitung natürlicher Sprache (NLP) zur Erkennung von Fehlinformationen behandeln das Problem überwiegend als Aufgabe der Verifikationsklassifikation: Gegeben eine Behauptung, wird vorhergesagt, ob sie wahr oder falsch ist. Obwohl dieser Paradigmenwechsel für die Identifizierung falscher Inhalte effektiv ist, ist er reduktionistisch, da er die kognitiven Prozesse des Lesers ignoriert. Bestehende Modelle fehlt eine Repräsentation des menschlichen Akteurs; sie versagen darin vorherzusagen, wer anfällig für bestimmte Arten von Informationsstörungen ist, warum sie diese glauben, oder wie unterschiedliche kognitive Profile zu divergierenden Interpretationen derselben Behauptung führen. Darüber hinaus verwerfen Standardpraktiken häufig die Uneinigkeit von Annotatoren (z. B. durch Mehrheitsentscheid) und verlieren dabei wertvolle Signale bezüglich der inhärenten Ambiguität oder epistemischen Unsicherheit einer Behauptung.

Die Arbeit argumentiert, dass die Anfälligkeit für Fehlinformationen nicht lediglich ein Versagen der Faktenprüfung ist, sondern eine Folge begrenzter Rationalität. Menschen verarbeiten Sprache nicht als ideale bayessche Denker; sie operieren unter Einschränkungen wie begrenztem Arbeitsgedächtnis, der Abhängigkeit von mentalen Abkürzungen (Heuristiken) und dem Einfluss auffälliger oder häufig wiederholter Informationen.

Methodik: Der begrenzte pragmatische Hörer (BPL)

Die Autoren stellen den begrenzten pragmatischen Hörer (BPL) vor, ein formales bayessches Rahmenwerk, das die Theorie der Rationalen Sprachakte (RSA) erweitert. Der BPL modelliert einen Akteur, der Überzeugungen über einen Weltzustand $w$ (Behauptung wahr/falsch) aktualisiert, gegeben eine Äußerung $u$ (Nachrichtenbehauptung), unterliegt dabei drei kognitiv motivierten Ressourcenbeschränkungen:

Begrenzung der Rekursionstiefe ( $k$ ):
- Konzept: Begrenzt die Tiefe des „Theory of Mind" (ToM)-Schlussfolgerns. Es modelliert, wie viele Schichten von Sprecherabsichten ein Akteur verfolgen kann (z. B. $k=0$ : Annahme des wörtlichen Inhalts; $k=1$ : Erkennen, dass ein Sprecher eine Behauptung aufgestellt hat; $k=2$ : Schlussfolgern über die Absicht des Sprechers, den sozialen Konsens zu manipulieren).
- Kognitive Basis: Fundiert in den Grenzen des Arbeitsgedächtnisses (Cowan, 2001) und empirischen Befunden, dass Akteure in strategischen Spielen selten über eine Tiefe von 2 hinaus rekursieren (Camerer et al., 2004).
- Mechanismus: Die effektive Tiefe ist $k^* = \min(k, d+1)$ , wobei $d$ die epistemische Tiefe der Behauptung ist (Verschachtelung von Attributionsoperatoren für Überzeugungen).
Parameter zur Prior-Kompression ( $\beta$ ):
- Konzept: Modelliert, wie ein Akteur differenzierte Glaubwürdigkeitsüberzeugungen bewahrt versus sie unter kognitiver Belastung in grobe Heuristiken (z. B. „zweifelhafte Quelle") kollabiert.
- Kognitive Basis: Abgeleitet aus der Information Bottleneck-Theorie (Tishby et al., 1999) und der Dual-Prozess-Theorie (System 1 vs. System 2).
- Mechanismus: Der Akteur unterhält eine komprimierte Repräsentation $\tilde{P}_\beta(w)$ über eine Bottleneck-Variable $Z$ (Glaubwürdigkeitsschemata). Wenn $\beta \to 0$ , verwirft der Akteur Priors (heuristische Verarbeitung); wenn $\beta \to \infty$ , bewahrt der Akteur vollständige Priors (systematische Verarbeitung). Die Glaubwürdigkeit der Quelle $\gamma$ moduliert diese Kompression.
Verfügbarkeits-Stichprobengröße ( $N$ ):
- Konzept: Modelliert die Anzahl ähnlicher Beispiele, die ein Akteur mental abruft, um eine Behauptung zu bewerten, und operationalisiert Importance Sampling mit Salienzgewichten.
- Kognitive Basis: Basierend auf der Verfügbarkeitsheuristik (Tversky und Kahneman, 1973) und dem „illusory truth effect" (Hasher et al., 1977).
- Mechanismus: Anstatt exakte Likelihoods zu berechnen, schätzt der Akteur die Likelihood durch Sampling aus einer Vorschlagsverteilung $Q(u)$ , gewichtet mit psychologischen Salienz-Faktoren: emotionale Valenz ( $\nu$ ), Wiederholungszahl ( $r$ ) und Aktualität ( $\rho$ ). Kleine $N$ führen zu einer systematischen Überbewertung lebhafter oder wiederholter Beispiele.

Abbildung von Informationsstörungen

Das Rahmenwerk bildet die Taxonomie von Informationsstörungen nach Wardle und Derakhshan (2017) explizit auf BPL-Parameter ab:

Misinformation: Nutzt komprimierte Priors aus ( $k=0$ ).
Desinformation: Nutzt oberflächliches ToM-Schließen aus ( $k \ge 1$ ).
Malinformation: Nutzt tiefe Rekursion und meta-epistemisches Framing aus ( $k \ge 2$ ).

Diese Abbildung führt zum Depth-Mismatch-Paradoxon: Akteure mit teilweiser pragmatischer Bewusstheit ( $k=1$ ) können anfälliger für Desinformation sein als solche ohne Bewusstheit ( $k=0$ ), da sie die Zuschreibung erkennen, aber die hinter ihr stehende täuschende Absicht nicht bewerten können.

Implementierung und Evaluation

Die Autoren implementierten den BPL unter Verwendung zweier Datensätze: LIAR (PolitiFact-Behauptungen) und MultiFC (multidomänige Faktenprüfungsbehauptungen).

Agenten-Population: Eine Population von neun kanonischen Agententypen, die den $(k, \beta, N)$ -Parameterraum abdecken, wurde simuliert.
LLM-Grundierung: Eine hybride Version wurde entwickelt, bei der Large Language Models (LLMs, spezifisch Gemini 2.5 Pro) verwendet wurden, um semantisch reiche Charakterisierungen von Behauptungen abzuleiten, einschließlich:
- Verbalen Schemata für die Prior-Kompression (Ersatz von handgefertigten Tabellen).
- Salienzgewichten ( $\phi$ ) basierend auf emotionaler Intensität, Neuheit, Einprägsamkeit und Teilbarkeit.
- Simuliertem Gedächtnisabruf für die Verfügbarkeitsstichprobe.
Metriken: Verifikationsklassifikation (AUC, F1), Vorhersagefehler und Komponentenebene-Kalibrierung (Korrelation zwischen simuliertem Recall und Ground Truth).

Hauptergebnisse

1. Verifikationsklassifikation

LIAR-Datensatz: Die „Surface Baseline" (unter Verwendung von Metadaten zur Sprecherhistorie) erreichte eine perfekte AUC (1,000), was jedoch auf Datenlecks zurückgeführt wurde, bei denen die Sprecherhistorie das Label direkt codierte. Das BPL Full-Modell (unter Verwendung der Sprecherhistorie nur als komprimierten Prior, nicht als direktes Merkmal) erreichte eine AUC von 0,930 und einen F1-Score von 0,885, wodurch eine starke leak-free-Baseline etabliert wurde. Ein einzelner BPL-Skalar (Anfälligkeitsscore) erreichte eine AUC von 0,811 unter Verwendung nur des Behauptungstexts und der Sprecheridentität.
MultiFC-Datensatz: BPL Full erreichte eine AUC von 0,840 im Vergleich zu einer Surface Baseline von 0,879. Obwohl BPL die Diskriminierung (AUC) nicht verbesserte, führte die Kombination von BPL-Merkmalen mit Surface-Merkmalen zu einer Verbesserung des F1-Scores von 0,439 auf 0,517, was auf bessere Precision-Recall-Trade-offs hindeutet, die für die faktenprüfende Arbeit mit hohem Recall entscheidend sind.

2. Ablationsstudien

Prior-Kompression ist entscheidend: Die Entfernung der Prior-Kompressionsgrenze ( $\beta$ ) verursachte den größten Leistungsabfall ( $\Delta r = -0,064$ ), was darauf hindeutet, dass die Modellierung, wie Menschen die Quellenglaubwürdigkeit komprimieren, der bedeutendste Faktor für den Erfolg des Rahmenwerks ist.
Effekte der Tiefengrenze: Auf dem vollständigen LIAR-Datensatz (92 % Behauptungen der Tiefe 0) hatte die Lockerung der Tiefengrenze vernachlässigbare Auswirkungen. Wenn jedoch auf Behauptungen der Tiefe 1 konditioniert wurde, wurde die Tiefengrenze zum primären Treiber der Leistung.

3. Das Depth-Mismatch-Paradoxon

Empirische Validierung: Akteure mit $k=1$ (teilweise Bewusstheit) schnitten bei Behauptungen der Tiefe 1 (Fehler 0,510) signifikant schlechter ab als Akteure mit $k=0$ (Fehler 0,450).
Interpretation: $k=1$ -Akteure erkennen die Zuschreibung, können aber die täuschende Absicht des Sprechers nicht bewerten, was dazu führt, dass sie die Behauptung als schwaches positives Beweismittel behandeln. $k=0$ -Akteure ignorieren die Zuschreibung und bewerten den wörtlichen Inhalt (der oft linguistisch unplausibel ist), was zu einer geringeren Überzeugung führt. $k=2$ -Akteur leiten Täuschung korrekt ab und erzielen den niedrigsten Fehler (0,340).

4. LLM-Grundierung und Kalibrierung

Leistungssteigerung: Der hybride LLM-BPL erreichte auf einer kleinen Stichprobe eine AUC von 0,868 im Vergleich zu 0,695 für eine vergleichbare merkmalsbasierte Baseline.
Epistemischer Kanal: Die LLM- und merkmalsbasierten Modelle zeigten eine nahezu Unabhängigkeit ( $r=0,184$ ), was darauf hindeutet, dass das LLM einen distincten epistemischen Kanal (semantische Framing-Kohärenz) zugänglich macht, anstatt sich auf lexikalische Metadaten zu verlassen.
Verfügbarkeits-Kalibrierung: Der vom LLM simulierte Recall falscher Behauptungen korrelierte stark ( $r=0,562$ ) mit der tatsächlichen Falschheit von Behauptungen ohne Überwachung, was den Verfügbarkeitsmechanismus validiert. Das Modell rief natürlicherweise mehr falsche Beispiele für falsche Behauptungen ab und unterdrückte dadurch effektiv den Glauben an diese.

Bedeutung und Behauptungen

Die Arbeit positioniert den BPL als Arbeit im Gange, die eine kognitiv fundierte Alternative zur Standard-Fehlinformationserkennung bietet. Ihre Hauptbeiträge sind:

Theoretisch: Eine formale Abbildung von Typen der Informationsstörung auf kognitive Einschränkungen, die das „Depth-Mismatch-Paradoxon" vorhersagt, bei dem teilweise Schulung die Anfälligkeit erhöhen kann.
Methodisch: Ein probabilistisches Rahmenwerk, das auf Standard-RSA reduziert wird, wenn Einschränkungen gelockert werden, was die Modellierung heterogener kognitiver Profile und die Vorhersage von Annotator-Unstimmigkeiten als Posterior-Varianz ermöglicht.
Empirisch: Belege dafür, dass Prior-Kompression (Modellierung, wie Menschen Quellenglaubwürdigkeit vereinfachen) der dominierende Faktor bei der Verifikationsklassifikation ist und dass LLM-Grundierung die Leistung durch Simulation menschähnlichen Gedächtnisabrufs und semantischen Framings signifikant verbessert.

Die Autoren schließen, dass der BPL zwar ein starker Klassifikator ist, sein wahrer Wert jedoch in seiner Fähigkeit liegt zu erklären, warum bestimmte Akteure anfällig sind. Sie warnen davor, dass die aktuelle Architektur von binärer Wahrheit ausgeht und auf vereinfachten Heuristiken für die Tiefenextraktion beruht, und weisen darauf hin, dass zukünftige Arbeiten gestufte Verifikation und komplexere Abhängigkeitsparsing adressieren sollten. Das Rahmenwerk legt nahe, dass Interventionen, die sich ausschließlich darauf konzentrieren, Menschen beizubringen, Zuschreibungen zu bemerken (ohne die Bewertung der Absicht zu lehren), die Anfälligkeit für Desinformation unbeabsichtigt erhöhen könnten.