Reasoning Boosts Opinion Alignment in LLMs

Die Studie zeigt, dass strukturiertes Reasoning die Ausrichtung von Large Language Models auf politische Meinungen verbessert und mit starken Baselines konkurrieren kann, jedoch allein nicht ausreicht, um Verzerrungen vollständig zu eliminieren, weshalb zusätzliche Mechanismen für verlässliche politische digitale Zwillinge erforderlich sind.

Das Wesentliche

Das große Ziel: Digitale Zwillinge für unsere Meinung

Stell dir vor, du könntest einen digitalen Zwilling von dir erschaffen. Dieser Zwilling kennt deine politische Meinung zu jedem Thema: Steuern, Umweltschutz, Migration. Wenn eine neue Wahl anstünde, würde dieser Zwilling nicht nur für dich abstimmen, sondern auch genau erklären, warum er so entscheidet. Das wäre wie eine perfekte Demokratie, in der jeder eine Stimme hat, die wirklich verstanden wird.

Das Problem ist: Künstliche Intelligenz (KI) ist wie ein sehr gut lesender, aber etwas naiver Schüler. Wenn man ihn einfach fragt: „Was denkst du über Steuern?", antwortet er oft mit dem, was er im Internet gelesen hat – also dem Durchschnitt aller Menschen. Er verliert dabei deine ganz persönliche, vielleicht etwas verrückte oder sehr spezifische Meinung. Er wird zum „Durchschnittsbürger", nicht zu dir.

Die Lösung: „Nachdenken" statt „Raten"

Die Forscher von der ETH Zürich haben eine Idee gehabt: Lass die KI erst nachdenken, bevor sie antwortet.

Stell dir vor, du musst eine schwierige Matheaufgabe lösen. Wenn du sofort das Ergebnis hinschreibst, machst du oft Fehler. Wenn du aber erst schreibst: „Okay, ich muss erst X addieren, dann Y teilen...", kommst du viel eher zum richtigen Ergebnis.

Die Forscher haben genau das mit der KI gemacht. Sie haben die KI nicht nur gezwungen, eine Antwort zu geben, sondern sie hat einen Gedankengang (ein „Reasoning") schreiben müssen, bevor sie ihre Meinung äußert.

Die Analogie:

• Ohne Nachdenken: Die KI ist wie ein Schüler, der die Antwort auswendig gelernt hat, aber nicht versteht, warum sie stimmt. Wenn die Frage leicht variiert, ist er verloren.
• Mit Nachdenken: Die KI ist wie ein Schüler, der die Logik hinter der Antwort versteht. Sie baut ihre Meinung Schritt für Schritt auf, genau wie ein echter Mensch, der sich eine politische Position überlegt.

Wie haben sie das gemacht? (Der Trainings-Coach)

Um die KI so zu trainieren, haben die Forscher eine Methode namens GRPO (eine Art Belohnungssystem) benutzt.

1. Die Daten: Sie haben echte Umfragen genommen (aus der Schweiz, Deutschland und den USA), bei denen echte Menschen ihre Meinungen zu vielen Themen geäußert haben.
2. Der Coach: Die KI bekam die Fragen der Umfragen gestellt. Wenn sie eine Antwort gab, die mit der echten Meinung des Menschen übereinstimmte, bekam sie einen „Goldstern" (Belohnung).
3. Der Trick: Die KI musste nicht nur die richtige Antwort geben, sondern auch den Weg dorthin erklären. Wenn ihre Erklärung logisch war und zur Antwort passte, gab es noch mehr Sterne.

So lernte die KI: „Aha, wenn ich so argumentiere, dann komme ich auf die Meinung von Person X."

Was haben sie herausgefunden?

Die Ergebnisse waren gemischt, aber vielversprechend:

1. Es funktioniert besser: Die KI, die erst nachdenkt, trifft die Meinungen der Menschen viel genauer als KI, die einfach nur ratet. Sie ist wie ein besserer Übersetzer zwischen deiner Meinung und der digitalen Welt.
2. Es gibt immer noch Vorurteile: Die KI ist nicht perfekt. Sie neigt immer noch dazu, bestimmte politische Lager (oft eher links-liberal) besser zu verstehen als andere (eher konservativ).
   • Vergleich: Stell dir vor, du hast einen Sporttrainer, der alle Sportarten liebt, außer Fußball. Er wird dich beim Fußball nicht so gut trainieren können wie beim Tennis. Die KI hat noch „Lieblingsmeinungen", die sie schwer ändern kann.
3. „Vielleicht"-Antworten sind schwer: Wenn Menschen in Umfragen „Ich weiß nicht" oder „Neutral" sagen, hat die KI damit große Schwierigkeiten. Das ist wie ein Lehrer, der versucht, eine Antwort zu geben, wenn der Schüler gar keine Meinung hat. Das verwirrt die KI.

Warum ist das wichtig?

Diese Forschung ist ein wichtiger Schritt, um faire digitale Zwillinge zu bauen. Wenn wir KI nutzen wollen, um politische Entscheidungen zu simulieren oder zu verstehen, wie die Bevölkerung denkt, müssen wir sicherstellen, dass die KI nicht nur den „Durchschnitt" wiedergibt, sondern wirklich die Vielfalt der Menschen abbildet.

Fazit in einem Satz:
Die Forscher haben gezeigt, dass man KI dazu bringen kann, wie ein Mensch zu denken und nicht nur zu raten, was sie viel besser darin macht, unsere echten politischen Meinungen zu verstehen – auch wenn sie noch ein bisschen Übung braucht, um wirklich alle Seiten fair zu behandeln.

Technische Zusammenfassung

Titel: Reasoning Boosts Opinion Alignment in LLMs

Autoren: Frédéric Berdoz, Yann Billeter, Yann Vonlanthen, Roger Wattenhofer (ETH Zürich)

---

1. Problemstellung

Das Ziel der Meinungsmodellierung ist es, individuelle oder gruppenbasierte politische Präferenzen zu erfassen, um Anwendungen wie digitale Demokratien zu ermöglichen, in denen Modelle fairere und populärere Politiken unterstützen könnten.

• Herausforderung: Große Sprachmodelle (LLMs) neigen aufgrund ihrer statistischen Natur und ihres begrenzten kausalen Verständnisses dazu, bei naiver Abfrage verzerrte Meinungen zu produzieren.
• Limitationen bestehender Ansätze:
  • Demografische Prompting-Methoden: Diese nutzen demografische Merkmale (Alter, Beruf, etc.) als Proxys für Meinungen. Sie versagen jedoch oft darin, die wahre Vielfalt menschlicher Ansichten abzubilden, zeigen inkonsistente Antworten und leiden unter mangelnder Steuerbarkeit.
  • Interview-basierte Methoden: Zwar präzise, aber aufgrund der prohibitiven Kosten der Datenerhebung nicht skalierbar.
  • Fehlende individuelle Ausrichtung: Bisherige Methoden nutzen selten strukturierte Umfragedaten, um individuelle politische Profile direkt zu lernen, da diese oft als zu „flach" im Vergleich zu narrativen Interviews angesehen werden.

2. Methodik

Die Autoren schlagen einen Ansatz vor, der Reinforcement Learning (RL) nutzt, um LLMs zu trainieren, Meinungen durch explizites Reasoning (Schlussfolgern) zu generieren, anstatt nur auf demografischen Proxys zu basieren.

• Datenbasis: Die Modelle werden auf Umfragedaten trainiert (z. B. ANES für die USA, Wahl-O-Mat für Deutschland, smartvote für die Schweiz). Die Daten bestehen aus Fragen und den tatsächlichen Antworten (Stances) von Personen oder Parteien, jedoch ohne die dazugehörigen Begründungen.
• Trainingsziel: Das Modell soll lernen, eine kurze Begründung (rationale) und eine finale Antwort zu generieren, die mit der Ground-Truth-Antwort der befragten Person übereinstimmt.
• Architektur & Algorithmus:
  • GRPO (Group Relative Policy Optimization): Anstatt eines klassischen Reward-Modells wird GRPO verwendet. Dies ist eine Variante von PPO, die Belohnungen innerhalb einer Gruppe von Outputs normalisiert (Subtraktion des Gruppenmittels, Division durch die Standardabweichung). Dies eliminiert die Notwendigkeit eines separaten Value-Modells.
  • Reward-Funktion: Die Belohnung setzt sich aus drei Komponenten zusammen:
    1. Format-Reward: Belohnung für korrekte XML-Tags (<reasoning>...</reasoning>, <answer>...</answer>).
    2. Längen-Reward: Strafe für Abweichungen von einer gewünschten Token-Länge der Begründung.
    3. Korrektheits-Reward: Die Hauptkomponente; Belohnung nur, wenn die generierte Antwort mit der tatsächlichen Umfrage-Antwort übereinstimmt.
  • SFT + GRPO Pipeline:
    1. Supervised Fine-Tuning (SFT): Optionaler Warm-Start, bei dem das Modell mit synthetischen Begründungen (generiert durch ein großes Modell wie Llama 3.1 70B) und den korrekten Antworten trainiert wird, um das Format und die Grundlogik zu erlernen.
    2. GRPO-Training: Das Modell wird weiter trainiert, um die Antworten zu optimieren und die Begründungen konsistenter zu gestalten.

3. Wichtige Beiträge

1. RL-basierte Meinungsanpassung: Einführung einer Methode, die explizites Reasoning durch Reinforcement Learning (GRPO) fördert, um die Ausrichtung auf Umfrage-Antworten zu verbessern.
2. Benchmark mit realen Daten: Evaluation auf drei verschiedenen Datensätzen (US-Wähler, deutsche Parteien, Schweizer Kandidaten) und Veröffentlichung dieser als Benchmark für zukünftige Forschung.
3. Analyse ideologischer Effekte: Untersuchung, wie politische Ideologien die Leistung beeinflussen, einschließlich der Analyse durch Invertierung von Umfrageantworten (Counterfactuals).

4. Ergebnisse

Die Evaluation erfolgte auf drei Modellen (Llama 3.1 8B, Qwen3 8B, Magistral 24B) gegen Baselines wie In-Context Learning (ICL), ORPO und reine SFT.

• Leistungssteigerung: Die Kombination aus SFT + GRPO übertrifft konsistent alle Baselines und reine SFT-Modelle auf den meisten Datensätzen.
  • Beispiel (Magistral 24B): Auf dem Schweizer smartvote-Datensatz erreichte SFT+GRPO eine Macro-F1 von 70,73 %, verglichen mit 67,63 % bei reinem SFT.
• Rolle des Reasoning: Reasoning verbessert die Meinungsmodellierung signifikant, entfernt aber nicht vollständig alle Verzerrungen.
• Herausforderung „Neutral": Die Vorhersage neutraler Antworten („Neutral") stellt eine besondere Schwierigkeit dar. Modelle haben hier die schlechteste Recall-Rate. Die Entfernung neutraler Instanzen aus dem Testset verbessert die Gesamtleistung drastisch, schließt aber die Lücke zwischen linken und rechten Gruppen nicht vollständig.
• Ideologische Verzerrungen:
  • Es besteht eine systematische Diskrepanz: Modelle performen tendenziell besser bei linken und links-zentristischen Profilen als bei rechten.
  • Rechtsextreme Profile sind am schwierigsten zu lernen. Selbst nach Invertierung der Antworten (Rechts zu Links) erreichen die ehemals rechten Kandidaten nicht das ursprüngliche Leistungsniveau der linken Kandidaten. Dies deutet darauf hin, dass rechte Präferenzprofile intrinsisch schwerer aus Umfragedaten zu lernen sind oder dass die Basis-Modelle eine starke linke Voreingenommenheit haben.
  • Bias in SFT-Daten: Die Verwendung von progressiv oder konservativ voreingenommenen synthetischen Trainingsdaten verschlechtert die Leistung der unterrepräsentierten Gruppe (z. B. verschlechtert progressive Bias die Leistung rechter Kandidaten stark), ohne die der überrepräsentierten Gruppe systematisch zu helfen.

5. Bedeutung und Fazit

• Fortschritt: Die Arbeit zeigt, dass die Umformulierung der Meinungsmodellierung als strukturierte Reasoning-Aufgabe, kombiniert mit RL, ein vielversprechender Weg ist, um digitale Zwillinge von Wählern zu erstellen, die deren Meinungen treuer widerspiegeln als reine Prompting-Methoden.
• Warnung: Trotz der Verbesserungen bleiben signifikante Verzerrungen bestehen, insbesondere gegenüber rechten und neutralen Positionen. Der Einsatz solcher Systeme in realen demokratischen Prozessen ist derzeit riskant, da sie bestimmte politische Ansichten systematisch unterrepräsentieren könnten.
• Zukunft: Es werden weitere Mechanismen benötigt, um Bias zu mitigieren, und zukünftige Arbeiten sollten sich auf effizientere Modelle konzentrieren, die nicht pro Profil ein separates Modell trainieren müssen, sondern kompakte Persona-Repräsentationen nutzen.

Zusammenfassend demonstriert das Paper, dass Reasoning die Qualität der Meinungsanpassung in LLMs steigert, aber dass fundamentale Herausforderungen bezüglich politischer Bias und der Modellierung neutraler Haltungen weiterhin bestehen bleiben.