Benchmarking Political Persuasion Risks Across Frontier Large Language Models

Die Studie zeigt, dass moderne Large Language Models in zwei großen Umfragen (N=19.145) politisch persuasiver wirken als klassische Wahlkampfwerbung, wobei Claude am effektivsten und Grok am wenigsten effektiv ist, während die Wirkung von informationsbasierten Prompts modellabhängig variiert.

Das Wesentliche

Hier ist eine einfache, bildhafte Zusammenfassung der Studie auf Deutsch:

🤖 Der große Wahlkampf-Roboter-Test: Wer überzeugt am besten?

Stellen Sie sich vor, wir befinden uns in einer Welt, in der nicht mehr nur menschliche Politiker oder Werbespots versuchen, Ihre Meinung zu ändern. Stattdessen treten hochintelligente Computer-Köpfe (künstliche Intelligenz oder KI) in den Ring. Die Forscher wollten herausfinden: Wie stark können diese neuen KI-Modelle uns wirklich überzeugen? Und sind sie gefährlicher als ein klassischer Wahlplakat-Werbetexter?

Hier ist das Ergebnis, übersetzt in eine Geschichte:

1. Der Wettkampf: Die "Frontier"-Modelle

Die Forscher haben sieben der aktuell stärksten KI-Modelle (die sogenannten "Frontier"-Modelle) gegeneinander antreten lassen. Man kann sich diese wie verschiedene Sportler vorstellen:

• Claude (von Anthropic): Der starke, strategische Läufer.
• GPT (von OpenAI) & Gemini (von Google): Die schnellen, technischen Sprinter.
• Grok (von xAI): Der etwas ungestüme, aber weniger effektive Athlet.

Sie haben diese KIs gebeten, in einem Chat mit echten Menschen über zwei heikle Themen zu diskutieren:

1. Soll das Mindestlohn erhöht werden? (Ein klassisches Wirtschaftsthema).
2. Sollten illegale Einwanderer einheimische Studiengebühren zahlen dürfen? (Ein emotionales Gesellschaftsthema).

2. Das überraschende Ergebnis: Die KI schlägt den Menschen

Früher dachten viele, KI sei wie ein starrer Roboter, der nicht wirklich überzeugen kann. Diese Studie zeigt jedoch das Gegenteil:

• Die KI-Modelle waren durchweg besser als normale Wahlkampf-Werbefilme.
• Stellen Sie sich vor, ein klassischer TV-Werbespot ist wie ein lauter Lautsprecher, der nur einmal schreit. Die KI hingegen ist wie ein persönlicher Gesprächspartner, der genau auf Ihre Sorgen eingeht, Ihre Fragen beantwortet und Sie Schritt für Schritt umstimmt.
• In diesem "Gesprächswettbewerb" gewann die KI fast immer gegen die menschlichen Werbespots.

3. Die Rangliste: Wer ist der "König" der Überzeugung?

Nicht alle KIs sind gleich gut. Die Forscher haben eine klare Hierarchie entdeckt:

• 🥇 Der Gewinner: Claude. Diese KI war der überzeugendste Redner. Sie konnte Menschen am effektivsten von ihrer Meinung abbringen.
• 🥈 Die Mittelfeld-Läufer: GPT und Gemini. Sie waren gut, aber nicht ganz so stark wie Claude.
• 🥉 Der Schlusslicht: Grok. Diese KI war am wenigsten erfolgreich. Sie konnte die Menschen kaum bewegen.

Wichtig: Diese Reihenfolge galt für fast alle Themen und für beide Seiten (ob man für oder gegen eine Sache argumentierte).

4. Der "Informations-Trick" funktioniert nicht immer

Frühere Studien sagten: "Wenn man der KI sagt: 'Nur Fakten und Zahlen verwenden!', dann wird sie noch besser überzeugen."
Die neue Studie sagt: Nicht unbedingt!

• Bei Claude und Grok halfen Fakten tatsächlich.
• Bei GPT war es sogar schädlich! Wenn GPT versucht, nur trockene Fakten zu liefern, verliert sie ihre Magie und wird weniger überzeugend.
• Die Lehre: Es gibt keinen "Einheits-Trick". Was bei einem KI-Modell funktioniert, kann bei einem anderen das Gegenteil bewirken.

5. Wie machen sie das? (Die geheime Waffe)

Die Forscher haben sich die Gespräche genau angesehen und herausgefunden, welche "Tricks" die KIs benutzen:

• Die beste Waffe: "Call-to-Action" (Handlungsaufforderung). Die erfolgreichste KI sagte nicht nur "Denken Sie mal drüber nach", sondern: "Rufen Sie Ihren Abgeordneten an! Unterschreiben Sie diese Petition!" Das war der stärkste Hebel.
• Die schlechte Waffe: "Argumentative Konfrontation". Wenn die KI zu aggressiv wurde und den Nutzer direkt angreift ("Das ist falsch!"), verlor sie sofort an Überzeugungskraft.
• Überraschung: Reine Fakten und Zahlen (die die KI oft liefert) waren gar nicht so wichtig für den Erfolg. Emotionale Ansprache und konkrete Handlungsaufforderungen waren viel mächtiger.

6. Warum ist das gefährlich?

Stellen Sie sich vor, ein böswilliger Akteur (z. B. ein ausländischer Staat oder ein Manipulator) hat Zugriff auf diese super-intelligenten KIs.

• Früher brauchte man Tausende von Menschen, um eine Kampagne zu starten.
• Heute kann ein einziger Computer Millionen von Menschen gleichzeitig, personalisiert und extrem überzeugend ansprechen.
• Da Claude so gut darin ist, Menschen zu manipulieren, besteht die Gefahr, dass diese Technologie genutzt wird, um Wahlen zu beeinflussen, die Demokratie zu untergraben oder ganze Bevölkerungsgruppen in eine bestimmte Richtung zu drängen.

Fazit in einem Satz

Die neuen KI-Modelle sind nicht nur "kluge Chatbots", sondern mächtige Überzeugungstäter, die oft besser sind als menschliche Werbetexter – und zwar besonders dann, wenn sie emotional und handlungsorientiert kommunizieren, statt nur trockene Fakten zu liefern. Das ist eine große Herausforderung für unsere Demokratie.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung der Studie „Benchmarking Political Persuasion Risks Across Frontier Large Language Models" auf Deutsch:

1. Problemstellung und Motivation

Die Studie adressiert die wachsende Sorge, dass Large Language Models (LLMs) die politische Meinungsbildung in demokratischen Systemen erheblich beeinflussen und potenziell gefährden können. Während frühere Forschungen zeigten, dass ältere LLM-Generationen (z. B. GPT-3, GPT-4) nicht signifikant persuasiver waren als herkömmliche politische Kampagnenwerbung, hat die Einführung von „Frontier-Modellen" Ende 2025 (wie Claude Sonnet 4.5, GPT-5, Gemini 3, Grok 4) die Fähigkeiten in den Bereichen logisches Denken und Agency drastisch verbessert.

Es bestand eine kritische Wissenslücke: Es war unklar, ob diese neuen, leistungsfähigeren Modelle nicht nur menschliche Fähigkeiten übertreffen, sondern auch die persuasiven Grenzen bestehender politischer Kampagnen durchbrechen. Zudem fehlten vergleichende Analysen zwischen verschiedenen Modellfamilien und die Untersuchung, wie spezifische Prompt-Strategien (z. B. informationsbasierte vs. einfache Prompts) die Wirksamkeit beeinflussen.

2. Methodik

Die Autoren führten zwei randomisierte kontrollierte Experimente (RCTs) durch, an denen insgesamt 19.145 Teilnehmer (rekrutiert über Prolific) teilnahmen.

Studiendesign:

• Studie 1 (August 2025, N=12.988): Vergleich von KI-Chatbots mit menschlicher Überzeugungskraft (Video-Ads) und Placebo.
  • Modelle: Claude Sonnet 4, Gemini 2.5 Flash, GPT-4.1, Grok 4.
  • Themen: Mindestlohn (Anti-Position) und Einwanderung (Pro-Position).
  • Bedingungen: Placebo, menschliches Video, KI-Chatbot (interaktiv).
  • Prompt-Variation: „Plain Prompt" (einfache Aufforderung zur Überzeugung) vs. „Information Prompt" (Anweisung, faktenbasierte Argumente zu nutzen).
• Studie 2 (November 2025, N=6.157): Fokus auf die neuesten Frontier-Modelle ohne direkten menschlichen Vergleich (da Studie 1 bereits gezeigt hatte, dass KI menschliche Ads übertrifft).
  • Modelle: Claude Sonnet 4.5, Gemini 3, GPT-5, Grok 4.
  • Design: Teilnehmer wurden basierend auf ihren Vorurteilen (Baseline-Stance) zufällig einer KI zugewiesen, die entweder für oder gegen ihre ursprüngliche Position argumentierte (Polarisierungstest).

Analyse der Überzeugungsstrategien:
Um zu verstehen, warum bestimmte Modelle effektiver sind, entwickelten die Autoren einen datengetriebenen, strategieneutralen Ansatz zur KI-gestützten Konversationsanalyse:

1. Entdeckungsphase (Phase 1): GPT-5 mini analysierte Stichproben von Konversationen zwischen erfolgreichen und weniger erfolgreichen Modellen/Prompts, um emergente persuasive Mechanismen zu hypothesieren.
2. Quantitative Phase (Phase 2): GPT-5.2 bewertete alle 4.790 Konversationen anhand von 10 identifizierten Dimensionen (z. B. „Call-to-Action", „Argumentative Framing", „Appeals to Morals") auf einer 1-5-Skala.
3. Statistik: Regressionsanalysen untersuchten den Zusammenhang zwischen dem Vorkommen dieser Strategien und der Änderung der politischen Einstellung (Post-Pre-Differenz).

3. Wichtige Ergebnisse

A. Überlegenheit von Frontier-LLMs gegenüber menschlicher Werbung

• Frontier-LLMs waren in beiden Studien signifikant persuasiver als herkömmliche menschliche politische Werbespots (TV/Digital).
• Der durchschnittliche Behandlungseffekt der LLMs lag bei ca. 0,203 Skalenpunkten (binäres Ergebnis) gegenüber 0,135 für menschliche Werbung (Studie 1).

B. Heterogenität der Modelle (Ranking)
Es zeigte sich ein konsistentes Ranking der persuasiven Kraft über verschiedene Themen und Haltungen hinweg:

1. Claude-Modelle (Anthropic): Zeigten die höchste Überzeugungskraft (stärkste Effekte in beiden Studien).
2. GPT-5 / Gemini 3: Bildeten eine mittlere Kategorie mit ähnlichen, moderaten Effekten.
3. Grok 4 (xAI): Zeigte konsistent die geringste Überzeugungskraft, blieb aber dennoch effektiver als menschliche Werbung.

C. Der „Prompt-Effekt" ist modellabhängig
Im Gegensatz zu früheren Studien (Hackenburg et al., Lin et al.), die einen generellen Vorteil von informationsbasierten Prompts fanden, zeigte sich hier eine starke Interaktion zwischen Modell und Prompt:

• Claude & Grok: Profiten von informationsbasierten Prompts (steigende Effektivität).
• GPT-5: Zeigte eine substanzielle Verschlechterung der Überzeugungskraft bei informationsbasierten Prompts im Vergleich zu einfachen Prompts.
• Gemini: Zeigte gemischte oder neutrale Ergebnisse.

D. Asymmetrie der Überzeugung
Die Modelle waren deutlich effektiver darin, Teilnehmer zu einer demokratischen/liberalen Position zu bewegen (z. B. Unterstützung des Mindestlohns oder der Einwanderung), als sie zu einer konservativen Position zu bewegen. Dies könnte auf die Stichprobenzusammensetzung (Prolific-Nutzer) oder inhärente Modellneigungen zurückzuführen sein.

E. Analyse der persuasive Strategien
Die datengetriebene Analyse ergab folgende Korrelationen mit der Überzeugungskraft:

• Positiv korreliert: „Call-to-Action Messaging" (konkrete Handlungsaufforderungen wie „Rufen Sie Ihren Abgeordneten an") war der stärkste Prädiktor für erfolgreiche Überzeugung. Auch „Rapport & Affirmation" und „Personalization" zeigten positive Effekte.
• Negativ/Nicht signifikant: „Explicit Sources, Evidence & Numbers" (explizite Quellen und Zahlen) – die Hauptkomponente des Informations-Prompts – zeigte keinen signifikanten positiven Effekt auf die Überzeugungskraft. Tatsächlich korrelierte „Argumentative Framing" (direkte Widerlegung) negativ mit dem Erfolg.
• Erklärung: Modelle, die Fakten und Zahlen nutzen (wie bei Informations-Prompts), scheinen weniger effektiv zu sein als Modelle, die emotionale Appelle, moralische Werte und konkrete Handlungsaufforderungen nutzen.

4. Hauptbeiträge

1. Benchmarking-Framework: Die Studie liefert den ersten umfassenden Vergleich der persuasiven Risiken von Frontier-LLMs (2025er Generation) untereinander und gegenüber menschlicher Werbung.
2. Neue Erkenntnisse zur Prompt-Optimierung: Widerlegung der Annahme, dass reine Informationsvermittlung immer besser ist. Die Wirksamkeit von Prompts ist stark modellabhängig.
3. Methodologischer Fortschritt: Einführung eines datengetriebenen, KI-gestützten Analyseverfahrens, das persuasive Strategien aus den Daten ableitet, anstatt vordefinierte Kategorien zu erzwingen.
4. Identifikation kritischer Strategien: Nachweis, dass „Call-to-Action"-Nachrichten ein besonders hohes Risiko für massenhafte Manipulation darstellen, während reine Faktenvermittlung weniger wirksam ist.

5. Bedeutung und Implikationen

Die Ergebnisse deuten darauf hin, dass die rasante Verbesserung der allgemeinen Intelligenz von LLMs direkt in eine gesteigerte politische Überzeugungskraft übersetzt wird. Dies stellt ein erhebliches Risiko für demokratische Gesellschaften dar:

• Massenmanipulation: Akteure könnten diese Modelle nutzen, um gezielte, hochwirksame Überzeugungskampagnen in großem Maßstab zu automatisieren.
• Demokratiegefährdung: Die Fähigkeit, Wählermeinungen schneller und effektiver zu verschieben als traditionelle Medien, könnte die öffentliche Debatte verzerren und Wahlergebnisse manipulieren.
• Regulatorische Notwendigkeit: Die Studie fordert die Entwicklung von Sicherheitsstandards und Monitoring-Mechanismen für den Einsatz von Frontier-LLMs im politischen Kontext, insbesondere zur Erkennung und Minderung von Manipulationsrisiken.

Zusammenfassend zeigt die Arbeit, dass Frontier-LLMs nicht nur „bessere Chatbots" sind, sondern potenziell mächtige Instrumente der politischen Einflussnahme, deren Risiken durch spezifische Modellarchitekturen und Strategien (wie Call-to-Action) verstärkt werden können.