🤖 AI

How Does Thinking Mode Change LLM Moral Judgments? A Controlled Instant-vs-Thinking Comparison Across Five Frontier Models

Diese Studie stellt fest, dass das Aktivieren von Schlussfolgerungsmodi bei fortschrittlichen LLMs ihre aggregierten binären moralischen Urteile nicht signifikant verändert, jedoch die Diskrepanzen zwischen verschiedenen Modellen und demografische Inkonsistenzen in spezifischen umstrittenen Szenarien deutlich verringert und gleichzeitig die selbst bezeichneten ethischen Rahmenwerke der Modelle häufiger verschiebt.

Ursprüngliche Autoren: Sai Sourabh Madur

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sai Sourabh Madur

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben fünf verschiedene superintelligente Roboter (KI-Modelle) von fünf verschiedenen Technologieunternehmen. Sie stellen ihnen eine Reihe von 100 kniffligen moralischen Fragen, wie etwa „Ist es in Ordnung, eine Person von einer Brücke zu stoßen, um fünf andere zu retten?" oder „Sollte ein Arzt einen Patienten basierend auf seinem Beruf oder seinem Alter priorisieren?"

Die Forscher wollten herausfinden, was passiert, wenn sie diesen Robotern sagen, sie sollen „vor dem Sprechen nachdenken".

Normalerweise antworten die Roboter sofort (wie ein Reflex). Im „Denkmodus" pausieren die Roboter, generieren einen langen internen Denkprozess und geben dann ihre Antwort. Die Studie fragt: Ändert das zusätzliche Nachdenken tatsächlich ihren moralischen Kompass, oder sagen sie einfach dasselbe, nur mit einer längeren Erklärung?

Hier ist die Aufschlüsselung dessen, was sie fanden, unter Verwendung einfacher Analogien:

1. Das große Ganze: Die Menge stimmt immer noch zu

Wenn man die Antworten der Roboter als gesamte Gruppe betrachtet, änderte das Nachdenken das Endergebnis nicht wirklich.

Die Analogie: Stellen Sie sich eine Jury aus fünf Personen vor. Ob sie ihre Antwort sofort herausrufen oder sich erst eine Minute lang zuflüstern, sie stimmen in etwa 78 % der Fälle immer noch über das Urteil überein. Der „Denkmodus" ließ sie als Gruppe nicht plötzlich häufiger zustimmen oder ablehnen.

2. Die „schwierigen" Fälle: Nachdenken hilft ein wenig

Die Geschichte ändert sich jedoch, wenn man sich die wirklich schwierigen, kontroversen Fragen ansieht (wie komplexe Trolley-Probleme oder moderne ethische Dilemmata).

Die Analogie: Im „Sofort-Modus" raten die fünf Roboter bei diesen schwierigen Fragen im Grunde, und sie stimmen nur so oft miteinander überein, als würden sie Münzen werfen.
Das Ergebnis: Als sie in den „Denkmodus" wechselten, stimmten sie ein wenig häufiger miteinander überein. Es war keine magische Lösung, aber es war, als würden sie aufhören, zufällige Ratschläge herauszuschreien, und begannen, etwas mehr Gemeinsamkeiten zu finden.
Der Haken: Die Forscher warnen, dass diese Verbesserung „richtungweisend" ist (sie ging in die richtige Richtung), aber noch nicht statistisch wasserdicht ist. Es ist ein Hinweis, keine Garantie.

3. Die „Begründung" versus das „Urteil"

Hier kommt die interessanteste Wendung: Die Roboter änderten ihre Begründungen viel häufiger als ihre Antworten.

Die Analogie: Stellen Sie sich zwei Personen vor, die beide sagen: „Nein, du darfst diesen Keks nicht haben."
- Person A (Sofort) sagt: „Weil ich es sage."
- Person B (Nachdenkend) sagt: „Nein, weil Kekse schlecht für deine Zähne sind und du versprochen hast, zuerst Gemüse zu essen."
- Beide sagten „Nein", aber ihre innere Logik verschob sich.
Die Erkenntnis: Die Roboter änderten häufig das ethische Rahmenwerk, das sie behaupteten zu verwenden (z. B. Wechsel von „Utilitaristisch" zu „Deontologisch"), selbst wenn ihre endgültige Ja/Nein-Antwort gleich blieb. Es ist wie ein Anwalt, der mitten im Prozess sein juristisches Argument ändert, aber immer noch dasselbe Urteil fordert.

4. Der „Demografische" Test: Nachdenken macht sie fairer

Die Forscher testeten, ob die Roboter Menschen basierend auf ihrer Rasse, ihrem Geschlecht oder ihrer Nationalität unterschiedlich beurteilen.

Die Analogie: Stellen Sie sich vor, ein Roboter beurteilt ein Verbrechen. Im „Sofort-Modus" könnte er eine härtere Strafe verhängen, wenn der Täter als „Immigrant" beschrieben wird, im Vergleich zu einem „Staatsbürger".
Das Ergebnis: Als drei der fünf Roboter in den „Denkmodus" wechselten, wurden sie viel konsistenter. Sie ließen den Hintergrund der Person ihren Urteilsspruch weniger stark beeinflussen. Es ist, als würde der „Nachdenk"-Prozess als Filter wirken, der das Rauschen der Voreingenommenheit entfernt.

5. Das „Äpfel versus Birnen"-Problem (Eine große Einschränkung)

Die Studie hat eine riesige Warnhinweis-Etikette: Wir haben nicht tatsächlich die gleiche Menge an „Nachdenken" verglichen.

Die Analogie: Stellen Sie sich vor, Sie bitten fünf Schüler, eine Matheaufgabe zu lösen.
- Schüler A (Claude) denkt 1 Minute lang nach.
- Schüler B (Qwen) denkt 80 Minuten lang nach.
- Schüler C (GPT) denkt 2 Minuten lang nach.
Die Realität: Die Forscher konnten sie nicht alle exakt so lange „nachdenken" lassen, da die Unternehmen die Knöpfe unterschiedlich steuern. Ein Roboter mag einen schnellen mentalen Check durchführen, während ein anderer einen ganzen Aufsatz in seinem Kopf schreibt. Wenn wir also vom „Denkmodus" sprechen, vergleichen wir je nach verwendetem Roboter eine leichte Dehnung mit einem schweren Workout.

Zusammenfassung der 5 Hypothesen

Die Forscher hatten fünf Vermutungen, bevor sie begannen. Hier ist, was passiert ist:

Haben verschiedene Roboter unterschiedliche moralische Standardwerte? Ja. (Einige lehnen sich mehr an das „größte Wohl", andere an „Regeln" an).
Ändert die Formulierung einer Frage die Antwort? Nein. (Die Roboter waren überraschend gut darin, knifflige Formulierungen zu ignorieren).
Ändert sich die Antwort des Roboters basierend auf dem Hintergrund der Person? Manchmal. (Der Sofort-Modus war inkonsistent; der Denkmodus korrigierte dies bei einigen Robotern).
Stimmen Roboter bei einfachen Fragen überein, aber bei schwierigen streiten sie? Ja. (Sie stimmten bei einfachen Dingen überein, waren aber bei den schwierigen Dingen verwirrt, bis sie nachdachten).
Ändert der „Denkmodus" das moralische Urteil? So ziemlich. (Es änderte selten die endgültige Ja/Nein-Antwort, aber es änderte oft, warum sie es sagten, und half ihnen, bei den schwierigsten Fragen etwas mehr übereinzustimmen).

Das Fazit

Das Einschalten des „Denkmodus" verwandelt die Roboter nicht in völlig neue moralische Wesen. Sie geben im Allgemeinen dieselben „Ja"- oder „Nein"-Antworten. Das Nachdenken scheint ihnen jedoch zu helfen:

Etwas konsistenter miteinander bei den schwierigsten Fragen zu sein.
Weniger voreingenommen gegenüber bestimmten Personengruppen zu sein.
Ihre innere Logik zu ändern, auch wenn die endgültige Antwort gleich bleibt.

Die Forscher haben alle ihre Daten (die Fragen, die Antworten und die „Denkprozesse" der Roboter) veröffentlicht, damit andere Wissenschaftler diese Arbeit überprüfen können.

Technisches Fazit: Wie verändert der Denkmodus moralische Urteile von LLMs?

Problemstellung
Da reasoning-optimierte Large Language Models (LLMs) zunehmend in hochriskanten moralischen Domänen eingesetzt werden (z. B. Triage, Zusammenfassung von Richtlinien, Inhaltsmoderation), haben Anbieter „Denkmodi" eingeführt, die zusätzliche Inferenzzeit-Rechenleistung für das Reasoning bereitstellen. Während frühere Forschung gezeigt hat, dass verschiedene Modelle unterschiedliche ethische Präferenzen kodieren, besteht eine kritische Lücke: Verändert die Aktivierung expliziten Reasonings die moralischen Präferenzen innerhalb eines einzelnen Modell-Checkpoints? Ferner ist zu klären, ob der „Denkmodus" ein vergleichbares Konstrukt über verschiedene Anbieter hinweg darstellt, angesichts ihrer unterschiedlichen API-Implementierungen und Rechenbudgets.

Methodik
Die Autoren führten einen kontrollierten Vergleich auf Ebene einzelner Checkpoints über fünf führende Modellfamilien durch: Claude Sonnet 4.6, GPT-5.5, Gemini 3 Flash, DeepSeek-V3.1 und Qwen3.5-397B.

Experimentelles Design: Bei jeder Modellfamilie wurden die Modellgewichte konstant gehalten. Die einzige Variable war der kanonische Reasoning-Modus-Parameter des Anbieters (z. B. Umschalten von reasoning.enabled von False auf True oder Anpassung von reasoning.effort). Dies isoliert den Effekt des Reasoning-Mechanismus von Änderungen in der Modellarchitektur oder den Trainingsdaten.
Benchmark: Ein moralisches Reasoning-Benchmark mit 100 Szenarien wurde erstellt, das fünf Kategorien abdeckt:
1. Trolley-Probleme (15 Szenarien).
2. Moral Foundations Theory (25 Szenarien über fünf Fundamente).
3. Paraphrase-Konsistenz (20 Szenarien zur Prüfung der Robustheit gegenüber Oberflächenformen).
4. Demografische Sensitivität (30 Szenarien mit Variationen von Demografien wie Ethnie, Geschlecht und Nationalität).
5. Zeitgenössische Dilemmata (10 Szenarien zu KI-Sicherheit, Bioethik usw.).
Elicitation: Die Modelle wurden aufgefordert, ein binäres Urteil, eine Konfidenzbewertung, ein selbstgekennzeichnetes ethisches Rahmenwerk (aus einem festen Set von sechs) und einen Reasoning-Trace bereitzustellen. Pro Konfiguration pro Szenario wurden drei Antworten gesampelt ( $N=3$ ).
Metriken: Die Studie maß die Übereinstimmung zwischen Modellen (Krippendorffs $\alpha$ ), die Paraphrase-Konsistenz, die Inkonsistenz bei demografischen Urteilen sowie die Rate der Urteilswechsel im Vergleich zu Rahmenwerk-Shifts zwischen Instant- und Denkmodus.

Hauptbeiträge

Kontrollierter Instant-vs-Denk-Vergleich: Die Studie liefert die erste systematische Evaluation von Reasoning-Effekten innerhalb einzelner Checkpoints über fünf diverse Modellfamilien hinweg und entfernt damit Fähigkeits-Confounds, die mit dem Vergleich verschiedener Modellversionen verbunden sind.
Benchmark und Pipeline: Die Autoren veröffentlichten eine reproduzierbare Open-Source-Pipeline, das 100-Szenarien-Benchmark und 2.963 Rohantworten (einschließlich vom Anbieter offengelegter Reasoning-Artefakte) für zukünftige Analysen.
Empirische Befunde zu Reasoning-Effekten: Das Papier quantifiziert, wie sich Reasoning auf moralische Urteile auswirkt, insbesondere hinsichtlich Urteilsstabilität, Selbstkennzeichnung des Rahmenwerks und demografischer Konsistenz.

Ergebnisse

Aggregierte Übereinstimmung: Die Aktivierung des Denkmodus änderte die aggregierte Übereinstimmung zwischen Modellen bei binären moralischen Urteilen nicht signifikant. Krippendorffs $\alpha$ blieb zwischen Instant ($0,781$) und Denkmodus ($0,789$) statistisch nicht unterscheidbar.
Schwierige vs. einfache Fälle (Stratifizierung):
- Einfache Fälle: Bei 79 Szenarien, bei denen die Modelle im Instant-Modus zunächst übereinstimmten, blieb die Übereinstimmung hoch, obwohl Reasoning in vier Fällen zu geringfügigen Meinungsverschiedenheiten führte (Reduktion von $\alpha$ von $1,00$ auf $0,95$).
- Schwierige Fälle: Bei 21 „von Modellen bestrittenen" Szenarien (bei denen die Übereinstimmung im Instant-Modus nahe dem Zufall lag, $\alpha \approx 0,08$ ) verringerte Reasoning die zwischenmodulare Diskrepanz in Richtung einer Annäherung. Die mittlere paarweise Übereinstimmung stieg von $5,4/10$ auf $6,7/10$ . Die Autoren weisen jedoch darauf hin, dass diese Verbesserung nur indikativ ist; das gepaarte Bootstrap-95%-Konfidenzintervall für die Änderung von $\alpha$ ( $[-0,05, 0,36]$ ) enthält Null, und das Ergebnis übersteht keine Korrektur für Mehrfachvergleiche.
Urteile vs. Rahmenwerke: Reasoning änderte das selbstgekennzeichnete ethische Rahmenwerk häufiger als das binäre Urteil. Über alle Modelle hinweg überstieg die Rate der Rahmenwerk-Shifts (9–19 %) die Rate der Urteilswechsel (1–9 %). Beispielsweise zeigte DeepSeek-V3.1 eine Urteilswechselrate von 8 %, aber eine Rahmenwerk-Shift-Rate von 19 %.
Demografische Konsistenz: Reasoning reduzierte die Inkonsistenz bei demografischen Urteilen (Varianz der Urteile basierend auf demografischen Hinweisen) bei drei von fünf Modellen (DeepSeek, GPT-5.5, Qwen). Es erhöhte die Inkonsistenz bei keinem Modell.
Robustheit gegenüber Paraphrasen: Alle Modelle zeigten eine hohe Robustheit gegenüber Paraphrasen (Konsistenzraten von 0,90–1,00), was die Hypothese widerlegt, dass Variationen der Oberflächenform bei reasoning-optimierten Modellen zu nicht-trivialen Urteilswechseln führen würden.
Einschränkung zur Konstruktvalidität: Die Studie hebt eine signifikante Limitation hervor: „Leichtgewichtiges Denken" ist rechnerisch nicht über Anbieter hinweg vergleichbar. Die durchschnittliche Ausgabe von Reasoning-Tokens pro Aufruf reichte von 33 Tokens (Claude) bis 2.639 Tokens (Qwen3.5), was einer 80-fachen Streuung entspricht. Folglich vermischen zwischenfamiliale Vergleiche „Reasoning aktiviert" mit „Menge des aufgewendeten Reasonings".

Bedeutung und Behauptungen
Das Papier beansprucht bescheiden, dass die Aktivierung des Reasoning-Modus aggregierte moralische Urteile nicht materiell verändert, aber die Übereinstimmung bei schwierigen, umstrittenen Szenarien, bei denen sich Instant-Modus-Modelle unterscheiden, in Richtung einer Annäherung verbessert. Ferner wird festgestellt, dass Reasoning als Korrektiv für demografische Inkonsistenzen bei mehreren Modellen wirkt, ohne die Verzerrung zu erhöhen.

Die Autoren betonen, dass Reasoning zwar häufig dazu führt, dass Modelle ihre ethische Begründung neu kennzeichnen (Shifts des Rahmenwerks), es jedoch selten die endgültige binäre Entscheidung umkehrt. Die Studie kommt zu dem Schluss, dass der „Denkmodus" ein anbieterspezifisches Konstrukt mit variierenden Rechen-Tiefen ist und zwar Vorteile für die Konsistenz in schwierigen Fällen und die demografische Sensitivität bietet, aber keine monolithische Lösung für die moralische Ausrichtung darstellt. Die Ergebnisse deuten darauf hin, dass für fairheits-sensitive Anwendungen die Aktivierung von Reasoning eine vertretbare Standardeinstellung ist, selbstgekennzeichnete Rahmenwerke jedoch nicht als zuverlässige Signale der zugrundeliegenden ethischen Logik eines Modells behandelt werden sollten, ohne eine unabhängige Validierung anhand von Reasoning-Traces.