Arguments that Alter Minds: LLM Rationales Sway Human (and LLM) Notions of Plausibility

Technische Zusammenfassung: Argumente, die den Verstand beeinflussen: LLM-Rationalen beeinflussen menschliche (und LLM-) Vorstellungen von Plausibilität

Problemstellung
Benchmarks für das gesunden Menschenverstand-Schlussfolgern (z. B. Social IQA, CommonsenseQA) bewerten Modelle typischerweise dadurch, dass sie fragen, welche Antwort aus mehreren Auswahlmöglichkeiten die plausibelste ist. Im Gegensatz zu logischen oder mathematischen Problemen existieren diese Antworten auf einem Kontinuum der Plausibilität und sind nicht eindeutig wahr oder falsch. Während menschliche Annotatoren in diesem Bereich traditionell als „Experten“ gelten, untersucht die Arbeit, ob Large Language Models (LLMs) Argumente (Rationalen) generieren können, die menschliche und LLM-Urteile über die Plausibilität dieser Antwortmöglichkeiten systematisch verändern. Konkret untersuchen die Autoren, ob von LLMs generierte „PRO“- (stützende) und „CON“- (widerlegende) Rationalen menschliche Plausibilitätsbewertungen beeinflussen können, selbst in Bereichen, in denen Menschen über starkes intuitives Wissen verfügen.

Methodik
Die Studie baut auf einem vorangegangenen Framework zur Plausibilitätsbewertung (Palta et al., 2024) unter Verwendung von zwei Datensätzen auf: Social IQA (SIQA) und CommonsenseQA (CQA).

1. Datenerstellung: Die Autoren entnahmen 100 Fragen (50 aus jedem Datensatz). Für jede Frage wählten sie das Gold-Label (korrekte Antwort) und einen zufällig ausgewählten Distraktor (falsche Antwort).
2. Generierung von Rationalen: Unter Verwendung von GPT-4o (ausgewählt über eine Präferenzstudie aufgrund seiner Fähigkeit, überzeugende Argumente zu generieren) erstellten die Autoren drei Arten von Rationalen für jedes (Frage, Antwort)-Paar:
   • PRO: Ein Argument, das die Plausibilität der Antwort stützt.
   • CON: Ein Argument, das die Unplausibilität der Antwort stützt.
   • PRO+CON: Beide Argumente werden zusammen präsentiert.
3. Menschliche Evaluation: Die Autoren erhoben 3.000 neue menschliche Plausibilitätsurteile (unter Verwendung einer 1–5 Likert-Skala: Unmöglich bis Sehr Wahrscheinlich) unter vier Bedingungen: Kein Rationale, PRO, CON und PRO+CON.
4. LLM-Evaluation: Parallel dazu wurden 17 verschiedene LLMs (unterteilt in OpenAI- und Non-OpenAI-Familien) angewiesen, die Plausibilität derselben Items unter denselben vier Bedingungen zu bewerten, wobei 13.600 Urteile generiert wurden.
5. Analyse: Die Studie verglich die mittleren Plausibilitätsbewertungen über die Bedingungen hinweg und führte eine gewöhnliche Kleinstquadrate-Regression (OLS) durch, um die Faktoren (z. B. ursprüngliche Bewertung, Art des Rationalen) zu identifizieren, die die Änderungen der Scores antreiben.

Kernergebnisse

• Beeinflussungseffekt (Swaying Effect): Sowohl menschliche als auch LLM-basierte Plaisibilitätsurteile werden signifikant durch die Anwesenheit von Rationalen beeinflusst. PRO-Rationale erhöhen im Allgemeinen die mittleren Bewertungen, während CON-Rationale diese senken.
• Bimodale menschliche Reaktion auf PRO-Rationale: Eine entscheidende Erkenntnis ist die divergente Reaktion auf PRO-Rationale basierend auf dem Antworttyp. Bei Distraktoren (falschen) Antworten konnten PRO-Rationale die menschlichen mittleren Bewertungen erfolgreich steigern. Bei Gold-Labels (korrekten) Antworten hingegen senkten PRO-Rationale die menschlichen mittleren Bewertungen überraschenderweise. Die Autoren vermuten, dass dies auf Grice’s Maxime der Quantität zurückzuführen sein könnte, bei der Menschen die Notwendigkeit eines Arguments als Signal interpretieren, dass die Tatsache nicht offensichtlich ist, wodurch die Offensichtlichkeit der korrekten Antwort „untergraben“ wird.
• LLM-Sensitivität: Auch LLMs zeigten signifikante Verschiebungen in den Bewertungen. Im Gegensatz zu Menschen erhöhten LLMs ihre Bewertungen für Gold-Labels tendenziell, wenn sie mit PRO-Rationalen konfrontiert wurden. OpenAI-Modelle schienen sensibler auf die (von GPT-4o generierten) Rationalen zu reagieren als Non-OpenAI-Modelle, was potenziell auf einen Selbstpräferenz-Bias hindeutet.
• Ankereffekt (Anchoring Effect): Die Regressionsanalyse zeigte einen starken Ankereffekt: Je höher die ursprüngliche Plausibilitätsbewertung einer Antwort war, desto geringer war die anschließende Änderung nach Einführung eines Rationalen. Dieser Effekt war bei Distraktoren ausgeprägter als bei Gold-Labels, was darauf hindeutet, dass die ursprünglichen Urteile über falsche Antworten starrer sind.
• Dominanz von CON: CON-Rationale übten einen stärkeren negativen Einfluss auf die Bewertungen aus, als PRO-Rationale einen positiven Einfluss ausübten. Wenn PRO und CON zusammen präsentiert wurden, neigte die gegensätzliche Komponente dazu, zu dominieren, was oft zu einer Nettoverringerung der Plausibilitätsbewertungen führte.
• Länge des Rationalen: Die Länge des Rationalen (Wortanzahl) zeigte keinen signifikanten linearen Zusammenhang mit der Größenordnung der Bewertungsänderungen.

Bedeutung und Behauptungen
Das Paper behauptet, eine neuartige Nutzung von LLMs zur Untersuchung von Aspekten der menschlichen Kognition zu demonstrieren, speziell wie externe Argumente die Glaubnisbildung im Bereich des gesunden Menschenverstandes beeinflussen. Die Autoren heben folgende Implikationen hervor:

• Verwundbarkeit menschlicher Urteilskraft: Selbst in Bereichen, in denen Menschen als „Experten“ gelten (alltägliches gesunder Menschenverstand), können von LLMs generierte Argumente menschliche Überzeugungen signifikant beeinflussen. Dies wirft Bedenken hinsichtlich des Potenzials für manipulative Überzeugung auf, da Nutzer die Plausibilität eines LLM-Arguments gegenüber ihrem eigenen Wissen priorisieren könnten.
• Herausforderungen der Ausrichtung (Alignment): Die Studie unterstreicht die Schwierigkeit, KI-generierte Urteile mit der menschlichen Intuition in Einklang zu bringen, insbesondere bei subjektiven Denkaufgaben, bei denen Menschen und LLMs unterschiedlich auf dieselben Stimuli reagieren (z. B. der bimodale Effekt auf Gold-Labels).
• Sicherheit und Kollaboration: Die Ergebnisse legen nahe, dass LLMs das menschliche Urteil effektiv in Richtung unplausibler Schlussfolgerungen lenken können. Dies verdeutlicht eine kritische Schwachstelle in der Mensch-KI-Kollaboration, die Schutzmaßnahmen wie Transparenz und Bias-Mitigierung erfordert, um schädliche manipulative Anwendungen zu verhindern.
• Methodischer Beitrag: Die Arbeit liefert empirische Belege dafür, dass LLM-Rationale die wahrgenommene Plausibilität von Szenarien des gesunden Menschenverstandes verändern können, was die Annahme infrage stellt, dass die menschliche Intuition in diesen Bereichen immun gegen algorithmischen Einfluss ist.

Die Autoren bleiben hinsichtlich des Umfangs bescheiden und merken an, dass ihre Ergebnisse spezifisch für englischsprachige Datensätze des gesunden Menschenverstandes gelten und dass die Überzeugungskraft je nach Modell, Sprache und restriktiveren Domänen (z. B. rechtliche oder wissenschaftliche Argumentation) variieren kann.