Belief-Sim: Towards Belief-Driven Simulation of Demographic Misinformation Susceptibility

Die Studie stellt BeliefSim vor, ein Framework, das mithilfe von psychologisch fundierten Glaubensprofilen und Large Language Models die Anfälligkeit verschiedener demografischer Gruppen für Fehlinformationen mit bis zu 92 % Genauigkeit simuliert, indem es Überzeugungen als primären Treiber betrachtet.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen vorherzusagen, ob jemand eine falsche Nachricht (Fake News) glaubt oder nicht. Früher dachten Forscher: „Ah, das hängt davon ab, ob die Person jung oder alt ist, ob sie in der Stadt oder auf dem Land lebt, oder wie viel Schulbildung sie hat."

Die neue Studie „Belief-Sim" sagt jedoch: „Das ist wie zu versuchen, das Wetter nur anhand der Uhrzeit vorherzusagen. Es hilft ein bisschen, aber es ist nicht der eigentliche Grund." Der wahre Grund liegt in den Überzeugungen (den „Beliefs") der Menschen.

Hier ist die Erklärung der Studie in einfachen Worten, mit ein paar anschaulichen Vergleichen:

1. Das Problem: Warum wir nur die Hülle betrachten

Stellen Sie sich vor, Sie haben eine große Gruppe von Menschen. Wenn Sie nur auf ihre Hülle schauen (Alter, Geschlecht, Wohnort), sind das wie leere Schachteln. Sie wissen nicht, was drin ist.

• Beispiel: Zwei 60-jährige Männer wohnen beide in einer Kleinstadt. Der eine glaubt vielleicht an alles, was im Fernsehen steht, weil er Wissenschaft misstraut. Der andere ist ein Wissenschaftler und durchschaut jeden Fake-News-Trick sofort.
• Wenn man nur das Alter kennt, kann man sie nicht unterscheiden. Man braucht einen Blick in die Schachtel.

2. Die Lösung: Der „Belief-Sim"-Kompass

Die Forscher haben ein neues Werkzeug namens Belief-Sim entwickelt. Statt nur zu sagen: „Ich simuliere einen 60-jährigen Mann", sagen sie: „Ich simuliere einen 60-jährigen Mann, der Science-Fiction-Literatur liebt, Wissenschaft vertraut und eher skeptisch gegenüber Autoritäten ist."

Sie haben dafür eine Art Katalog der menschlichen Überzeugungen erstellt. Dieser Katalog hat sieben Hauptkategorien, wie:

• Vertrauen: Vertraue ich der Wissenschaft oder eher Verschwörungstheorien?
• Emotionen: Bin ich eher ängstlich oder wütend?
• Werte: Was ist mir wichtiger: Freiheit oder Sicherheit?
• Denkweise: Überlege ich genau nach oder vertraue ich meinem Bauchgefühl?

3. Wie funktioniert das? (Der Koch-Vergleich)

Stellen Sie sich einen KI-Koch (ein großes Sprachmodell) vor, der Gerichte (Antworten auf Nachrichten) zubereitet.

• Der alte Weg (Nur Demografie): Der Koch bekommt den Befehl: „Mach ein Gericht für einen jungen Mann aus der Stadt." Der Koch weiß nicht, was der Mann mag. Er probiert einfach etwas aus. Das Ergebnis ist oft ungenau oder stereotyp (z. B. „Junge Männer mögen Pizza").
• Der neue Weg (Belief-Sim): Der Koch bekommt den Befehl: „Mach ein Gericht für einen jungen Mann, der gesundheitsbewusst ist, aber Angst vor neuen Technologien hat." Jetzt kann der Koch ein Gericht kochen, das wirklich zu dieser Person passt.

Die Studie hat zwei Methoden getestet:

1. Der Prompt (Der Zettel): Man schreibt dem KI-Koch einfach einen Zettel mit den Überzeugungen auf.
2. Das Training (Der Kochlehrling): Man trainiert den KI-Koch extra, damit er diese Überzeugungen „im Kopf" behält, ohne dass man sie jedes Mal neu aufschreiben muss.

4. Die Ergebnisse: Was haben sie herausgefunden?

• Überzeugungen sind mächtiger als Herkunft: Wenn man der KI sagt, was eine Person glaubt, kann sie viel besser vorhersagen, ob die Person Fake News glaubt, als wenn man ihr nur sagt, wo die Person herkommt. Die Genauigkeit stieg auf bis zu 92 %.
• Vorsicht mit Klischees: Wenn man der KI nur sagt „Alter Mann", neigt sie dazu, Klischees zu bedienen (z. B. „Alte Leute glauben alles"). Das ist wie ein schlechter Schauspieler, der nur Klischees spielt. Aber wenn man ihr die echten Überzeugungen gibt, wird sie zu einem echten Charakter.
• Der beste Trick: Die Forscher haben eine spezielle Methode entwickelt (genannt BAFT). Das ist wie ein Brille, die man dem KI-Koch aufsetzt. Die Brille zeigt ihm die Welt durch die Augen der Überzeugungen der Person, nicht durch die Brille der Stereotype. So lernt die KI, dass nicht alle alten Leute gleich ticken.

5. Warum ist das wichtig?

Stellen Sie sich vor, Sie wollen jemanden vor Betrug schützen.

• Wenn Sie nur wissen, dass er jung ist, sagen Sie ihm vielleicht: „Sei vorsichtig, junge Leute werden oft getäuscht." Das hilft ihm vielleicht gar nicht, weil er sich nicht angesprochen fühlt.
• Wenn Sie wissen, dass er eher intuitiv denkt und Vertrauen in soziale Medien hat, können Sie ihm genau erklären: „Hey, dein Bauchgefühl täuscht dich hier, schau dir die Quelle genauer an."

Fazit:
Die Studie zeigt uns, dass wir aufhören müssen, Menschen nur in Schubladen wie „jung/alt" oder „männlich/weiblich" zu stecken. Um zu verstehen, warum Menschen Fake News glauben, müssen wir in ihre Gedankenwelt schauen. Die KI kann uns dabei helfen, diese Gedankenwelt zu simulieren, aber nur, wenn wir ihr die richtigen „Überzeugungen" geben und nicht nur die „Hülle".

Es ist der Unterschied zwischen einem Klischee (ein schlechter Schauspieler) und einem echten Menschen (ein guter Schauspieler mit Tiefe). Belief-Sim hilft der KI, besser zu schauspielern.

Technische Zusammenfassung

1. Problemstellung

Die Verbreitung von Fehlinformationen (Misinformation) stellt eine wachsende gesellschaftliche Bedrohung dar. Die Anfälligkeit (Susceptibility) für Fehlinformationen variiert jedoch stark zwischen verschiedenen demografischen Gruppen. Bisherige Ansätze zur Simulation menschlichen Verhaltens mittels Large Language Models (LLMs) konzentrierten sich oft entweder auf grobe demografische Personas (z. B. nur Alter oder Geschlecht) oder auf allgemeine politische Ideologien.

Das zentrale Problem besteht darin, dass demografische Merkmale allein oft unzureichend sind, um die Anfälligkeit für Fehlinformationen vorherzusagen. Stattdessen spielen zugrunde liegende Überzeugungen (Beliefs) eine entscheidende Rolle („belief consistency"). Wenn Fehlinformationen mit den bestehenden Überzeugungen einer Person übereinstimmen, ist die Wahrscheinlichkeit höher, dass sie geglaubt werden. Bisher fehlte es an einem Framework, das diese komplexen Überzeugungsstrukturen systematisch nutzt, um demografiespezifische Anfälligkeiten in LLMs zu simulieren, ohne dabei in stereotype Verzerrungen (Shortcuts) zu verfallen.

2. Methodik: Der Belief-Sim Ansatz

Die Autoren stellen Belief-Sim vor, ein Framework, das demografische Anfälligkeit für Fehlinformationen durch die Modellierung psychologischer Überzeugungen steuert.

A. Überzeugungstaxonomie (Belief Taxonomy)

Basierend auf psychologischer und kognitiver Wissenschaft wurde eine Taxonomie mit sieben Kern-Dimensionen entwickelt, die in LLMs modelliert werden:

1. Weltbild & Identität: Soziale und politische Identitäten.
2. Epistemisches Vertrauen: Vertrauen in Quellen (Wissenschaft, Medien, Institutionen).
3. Kognitiver Stil: Analytisches vs. intuitives Denken.
4. Verschwörungsmentalität: Tendenz zu versteckten Plotten.
5. Moral & Werte: Kernmoralvorstellungen.
6. Emotionsbezogene Überzeugungen: Angst, Risikowahrnehmung.
7. Heuristiken: Nutzung mentaler Abkürzungen (z. B. Bekanntheit = Wahrheit).

B. Datengrundlage

• Demografische Daten: Alter, Geschlecht, Wohnort (ländlich/städtisch), Bildung.
• Beobachtete Überzeugungen (Observed): Individuelle Antworten von Teilnehmern in den Datensätzen PANDORA und MIST.
• Imputierte Überzeugungen (Imputed): Gruppenbasierte Wahrscheinlichkeitsverteilungen, abgeleitet aus dem World Values Survey (WVS), die als Priors für demografische Gruppen dienen.

C. Zwei Hauptansätze zur Simulation

1. Prompt-basiertes Conditioning (In-Context Learning):

   • Demografische Daten und Überzeugungssignale (entweder beobachtet, imputiert oder beides) werden als Prompt in das LLM eingespeist.
   • Das Modell wird angewiesen, als eine Persona zu agieren, die durch diese Attribute und Priors definiert ist.
   • Es werden verschiedene Konfigurationen getestet (Zero-Shot, nur Demografie, nur Überzeugungen, Kombinationen).

2. Post-Training Adaptation (BAFT - Belief-Adapter Fine-Tuning):

   • Um Probleme bei der Prompting-Methode (z. B. Inkonsistenzen zwischen individuellen und gruppenbasierten Daten) zu lösen, wurde BAFT entwickelt.
   • Phase 1 (Belief Modeling): Ein leichter Adapter (linearer Kopf) wird trainiert, um die Antwortverteilungen von WVS-Fragen basierend auf demografischen Kontexten vorherzusagen. Das Basis-LLM bleibt dabei eingefroren. Dies lernt die Bevölkerungsstruktur der Überzeugungen ohne direkte Fehlinformations-Labels.
   • Phase 2 (Susceptibility Fine-Tuning): Ein weiterer leichter Kopf wird trainiert, um die Anfälligkeit vorherzusagen. Er kombiniert die semantische Darstellung des Claims mit der latenten Überzeugungsrepräsentation des Adapters. Nur dieser Kopf wird trainiert, um „Shortcut-Learning" (das Ausnutzen demografischer Labels als einfache Abkürzungen) zu vermeiden.

D. Evaluation

• Susceptibility Accuracy: Wie genau sagt das Modell vorher, ob ein Mensch eine Behauptung für wahr oder falsch hält?
• Counterfactual Evaluation: Ein Stress-Test, bei dem demografische Attribute getauscht werden, um zu prüfen, ob das Modell auf echte Korrelationen reagiert oder auf stereotype Vorurteile (Shortcuts) zurückgreift.
• Themenanalyse: Untersuchung, ob die Anfälligkeit je nach Nachrichtenthema (z. B. Gesundheit vs. Politik) variiert.

3. Wichtige Ergebnisse

A. Überzeugungen sind der stärkste Prädiktor

• Die Integration von Überzeugungsinformationen (insbesondere den imputierten WVS-Daten) verbessert die Vorhersagegenauigkeit signifikant im Vergleich zu Zero-Shot- oder rein demografischen Baselines.
• Genauigkeit: Mit den besten Einstellungen (Imputierte Überzeugungen + Demografie) wurde eine Genauigkeit von bis zu 92,6 % erreicht.
• Erkenntnis: „Was Menschen glauben" ist oft ein besserer Prädiktor für ihre Anfälligkeit als „wer sie sind" (Demografie).

B. Modellvergleiche

• Qwen-2.5-14B zeigte konsistent die beste Leistung, gefolgt von Mistral und Llama.
• Der PANDORA-Datensatz erzielte allgemein höhere Genauigkeiten als der MIST-Datensatz, wobei der Zuwachs durch Überzeugungen in PANDORA stärker war (+8,8 % Punkte) als in MIST.

C. Counterfactual Evaluation & Shortcuts

• Demografie allein ist riskant: Modelle, die nur auf Demografie trainiert wurden, neigten zu höheren „Flip-Rates" (Änderung der Vorhersage bei Tausch der Demografie), was auf stereotype Abhängigkeiten hindeutet.
• Stabilität durch BAFT: Das BAFT-Verfahren reduzierte die Flip-Rates drastisch (bei einigen Modellen auf 0 %), was zeigt, dass die Entkopplung von Überzeugungsmodellierung und Vorhersage die Robustheit erhöht und stereotype Shortcuts minimiert.
• Komplementarität: Demografische Daten bieten nur einen schwachen Zusatznutzen, wenn Überzeugungsdaten bereits vorhanden sind.

D. Themenabhängigkeit

• Die demografische Anfälligkeit ist kontextabhängig. Bei offensichtlichen oder meinungsbasierten Themen sind die Unterschiede gering. Bei komplexen Themen (Wissenschaft/Gesundheit, Regierung) zeigen ältere und besser gebildete Gruppen eine höhere Genauigkeit. Geschlechtsunterschiede waren hingegen minimal.

4. Hauptbeiträge

1. Belief-Sim Framework: Ein neues Framework zur Simulation demografischer Anfälligkeit, das psychologisch fundierte Überzeugungstaxonomien nutzt.
2. Datenaggregation: Erstellung eines umfassenden Datensatzes durch Kombination von Umfragedaten (WVS) und Fehlinformations-Datensätzen (PANDORA, MIST).
3. BAFT (Belief-Adapter Fine-Tuning): Eine innovative Zwei-Phasen-Fine-Tuning-Methode, die Überzeugungsrepräsentationen von der eigentlichen Vorhersageaufgabe entkoppelt, um Generalisierung zu verbessern und Bias zu reduzieren.
4. Rigorose Evaluation: Einführung von Counterfactual-Tests, um zu quantifizieren, ob Modelle echte demografische Muster lernen oder nur stereotype Shortcuts nutzen.

5. Bedeutung und Implikationen

Die Studie zeigt, dass LLMs effektiv genutzt werden können, um menschliche Anfälligkeit für Fehlinformationen zu simulieren, wenn sie nicht nur durch Demografie, sondern durch tiefere psychologische Überzeugungsprofile gesteuert werden.

• Für Interventionen: Um Fehlinformationen effektiv zu bekämpfen, müssen Interventionen auf die spezifischen Überzeugungen der Zielgruppe zugeschnitten sein, nicht nur auf deren demografische Merkmale.
• Für KI-Entwicklung: Die Arbeit warnt davor, sich bei Simulationen nur auf demografische Labels zu verlassen, da dies zu stereotypen Verzerrungen führt. Stattdessen sollten Überzeugungsdaten als robuste Priors integriert werden.
• Methodischer Fortschritt: Die vorgeschlagene BAFT-Methode bietet einen Weg, um LLMs effizient und robust an spezifische menschliche Verhaltensmuster anzupassen, ohne das gesamte Modell neu trainieren zu müssen oder in Label-Leakage zu verfallen.

Zusammenfassend demonstriert das Paper, dass der Schlüssel zur realistischen Simulation von Fehlinformationsanfälligkeit in der Modellierung der Überzeugungslandschaft liegt, die demografische Gruppen prägt, und nicht in den demografischen Kategorien selbst.