🤖 AI

In LLM Reasoning, there is Irrationality on top of Value Misalignment

Dieses Paper führt „rationales Wertrisiko“ (rational value risk) ein und formalisiert es als die Nutzenlücke zwischen der eingesetzten Denkstrategie eines LLMs und seinem optimalen rationalen Gegenstück, wobei durch umfangreiche Experimente über mehrere Modelle und Benchmarks hinweg nachgewiesen wird, dass selbst gut ausgerichtete Modelle aufgrund von Einschränkungen beim inferentiellen Denken, endlichen Datenbeschränkungen und unvollkommener Verifizierung häufig daran scheitern, den erwarteten Nutzen zu maximieren.

Ursprüngliche Autoren: Kejiang Qian, Fengxiang He

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kejiang Qian, Fengxiang He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Die Karte haben, aber sich trotzdem verlaufen

Stellen Sie sich vor, Sie besitzen ein sehr intelligentes, gut trainiertes GPS (die KI). Noch bevor Sie die Fahrt beginnen, wurde das GPS perfekt auf Ihr Ziel abgestimmt. Es weiß genau, wohin Sie wollen, es versteht Ihre Vorlieben und es wurde so programmiut, dass es gefährliche Straßen vermeidet. Das ist das, was Forscher als „Value Alignment“ (Werteanpassung) bezeichnen.

Diese Arbeit argumentet jedoch, dass man sich selbst mit einem perfekten GPS verlaufen kann. Warum? Weil das GPS zwar eine Liste möglicher Routen erstellen und die perfekte Route sehen kann, dann aber versehentlich einen schrecklichen, kurvenreichen Pfad auswählt.

Die Autoren nennen diese Lücke „Rational Value Risk“ (Rationales Werte-Risiko). Es ist der Unterschied zwischen der bestmöglichen Antwort, die die KI hätte finden können (wenn sie perfekt gedacht hätte), und der tatsächlichen Antwort, die sie Ihnen gegeben hat.

Das Kernproblem: Der „irrationale“ Fahrer

Das Papier unterscheidet entscheidend zwischen zwei Arten von Fehlern:

Value Misalignment (Werte-Fehlausrichtung): Das GPS ist so programmiert, dass es Sie an den falschen Ort bringt (z. B. denkt es, Sie wollten zum Strand, obwohl Sie zum Flughafen wollten).
Irrational Reasoning (Irrationales Denken): Das GPS weiß, dass Sie zum Flughafen wollen, und es sieht die schnellste Route auf seinem Bildschirm, aber es sagt Ihnen trotzdem, dass Sie die malerische, dreistündige Umleitung nehmen sollen.

Die Autoren fanden heraus, dass selbst wenn das erste Problem behoben ist (die KI ist gut ausgerichtet), das zweite Problem bestehen bleibt. Die KI ist „irrational“ in der Art und Weise, wie sie ihre endgültige Antwort auswählt, selbst wenn sie weiß, was eine gute Antwort wäre.

Wie sie es gemessen haben: Die „Geschmackstest“-Analogie

Um dies zu beweisen, bauten die Forscher ein riesiges Experiment auf. Stellen Sie sich einen Koch (die KI) vor, der versucht, ein Gericht zuzubereiten.

Der Aufbau: Sie baten den Koch, 64 verschiedene Versionen desselben Gerichts zu kochen (das Sampling von 64 verschiedenen „Denkwegen“).
Der Geschmackstest: Ein Lebensmittelkritiker (der „Verifier“) kostete alle 64 Gerichte.
Das Ergebnis:
- REU (Rational Expected Utility): Der Kritiker fand, dass mindestens eines dieser 64 Gerichte ein Michelin-Stern-Meisterwerk war. Die KI hätte es also schaffen können.
- AEU (Actual Expected Utility): Das Gericht, das der Koch dem Kunden jedoch tatsächlich servierte, war nur „okay“ oder sogar angebrannt.
- RVR (Rational Value Risk): Die Lücke zwischen dem Michelin-Stern-Gericht, das die KI hätte machen können, und dem „okayen“ Gericht, das sie tatsächlich servierte.

Sie fanden diese Lücke überall. Ob die KI nun Code schrieb, Matheaufgaben löste oder chattete – sie versagte konsistent darin, die beste Option aus den von ihr generierten Optionen auszuwählen.

Wichtige Erkenntnisse (Der Abschnitt „Was wir gelernt haben“)

1. Das Problem ist überall (H1)
Es spielt keine Rolle, ob die KI klein oder riesig ist oder ob sie mit Ihnen chattet oder Matheaufgaben löst. Die KI generiert oft eine „Goldticket“-Antwort, versäumt es aber, sie Ihnen zu überreichen. Es ist wie ein Lottospieler, der ein Ticket kauft, das den Jackpot knackt, es dann aber versehentlich in den Müll wirft.

2. Training hilft, behebt es aber nicht (H2)
Die Forscher testeten KI-Modelle, die darauf „trainiert“ wurden, besser zu werden (unter Verwendung von Methoden wie RLHF, was so ist, als würde man der KI eine Belohnung für gutes Verhalten geben).

Ergebnis: Das Training machte die KI besser darin, gute Antworten zu generieren (der Koch wurde besser im Kochen).
Aber: Die KI hatte immer noch Schwierigkeiten damit, die beste Antwort aus den von ihr gekochten auszuwählen. Das Training verringerte das Problem, eliminierte es jedoch nicht. Die „Irrationalität“ ist ein separates Problem vom Training.

3. Die Art der Fragestellung ist entscheidend (H3)
Die Art und Weise, wie man die KI zum Nachdenken anregt, verändert das Ergebnis.

Temperatur (Zufälligkeit): Wenn man der KI sagt, sie solle zufälliger sein (höhere „Temperatur“), generiert sie kreativere und vielfältigere Antworten. Sie findet bessere potenzielle Antworten, wird aber auch schlechter darin, die richtige auszuwählen. Die Lücke (das Risiko) wird größer.
Self-Consistency (Abstimmen): Wenn man die KI anweist, viele Antworten zu generieren und dann über die am häufigsten vorkommende abzustimmen, wird sie besser darin, die richtige Antwort zu wählen. Dies verringert die Lücke.

4. Längeres Nachdenken hat Grenzen (H4)
Man könnte denken: „Wenn die KI länger nachdenkt, wird sie klüger.“

Ergebnis: Manchmal ja. Der KI mehr Zeit zu geben (mehr „Tokens“ oder Schritte), hilft ihr, bessere Antworten zu finden.
Der Haken: Ab einem gewissen Punkt hilft längeres Nachdenken nicht mehr viel. Es ist wie beim Lernen für eine Prüfung: Ein Lehrbuch eine Stunde lang zu lesen hilft, aber es eine Stunde lang zehn Stunden lang zu lesen, macht einen nicht doppelt so klug; man wird einfach müde und macht vielleicht dumme Fehler. Die Arbeit fand „abnehmende Erträge“ (diminishing returns) – irgendwann hilft längeres Denken nicht mehr weiter.

Die drei Gründe für den Fehler

Die Autoren brachen darauf, war Warum diese Lücke existiert, in drei Teile auf:

Das Kandidaten-Problem: Die KI hat die gute Antwort in ihren ersten Versuchen gar nicht erst generiert (sie hat das Michelin-Gericht gar nicht erst gekocht).
Das Prompt-Problem: Die KI wurde an zu wenigen Fragen getestet, um einen perfekten Durchschnitt zu erhalten.
Das Verifier-Problem: Der „Lebensmittelkritiker“ (das Werkzeug, das die Antwort prüft) könnte etwas verrauscht oder unsicher sein.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass wir aufhören müssen, KI-Alignment als eine „Einmal-und-fertig“-Lösung zu betrachten. Selbst wenn wir einer KI beibringen, „gut“ zu sein (aligned), müssen wir sie immer noch lehren, „klug“ (rational) zu sein, wenn es darum geht, ihre endgültige Antwort auszuwählen.

Kurz gesagt: Wir haben Autos mit perfekten Navigationssystemen gebaut (Alignment), aber die Fahrer (die Denkstrategien) neigen immer noch dazu, falsche Abzweigungen zu nehmen. Wir müssen den Fahrer reparieren, nicht nur die Karte.

Technisches Resümee: Irrationalität zusätzlich zur Wertfehlausrichtung in der LLM-Argumentation

Problemstellung

Trotz signifikanter Fortschritte bei der Ausrichtung von Large Language Models (LLMs) auf Zielwertfunktionen durch Methoden wie Supervised Fine-Tuning (SFT), Reinforcement Learning from Human Feedback (RLHF) und Direct Preference Optimization (DPO) bleibt eine kritische Lücke bestehen. Selbst wenn ein LLM während des Trainings gut ausgerichtet ist, kann es versagen, den ausgerichteten Wert während der Inferenz zu maximieren. Dieses Paper argumentiert, dass Wertfehlausrichtung (wo die gelernte Wertfunktion selbst fehlerhaft ist) nicht die alleinige Ursache für das Versagen ist; vielmehr persistiert irrationales Denken. Diese Irrationalität wird als die Unfähigkeit des Modells definiert, die beste verfügbare Antwort aus seinen Stichproben-Kandidaten auszuwählen, selbst wenn diese hochgradig nützlichen Kandidaten innerhalb der Output-Verteilung des Modells existieren.

Methodik

Formalisierung des rationalen Wertrisikos

Die Autoren formalisieren dieses Phänomen mathematisch als Rational Value Risk (RVR).

Rationales Denken: Definiert als die Strategie, die den erwarteten Nutzen in der steilsten Richtung unter einer gegebenen Wertfunktion maximiert.
Rational Value Risk ( $R$ ): Die Nutzen-Diskrepanz zwischen der eingesetzten Denkstrategie eines Modells ( $d_\theta$ ) und seinem rationalen Gegenstück ( $d^\circ_\theta$ ).
$R(d_\theta) = \mathbb{E}_{x \sim \rho, o \sim P(\cdot|x,y^\circ)}[U(o)] - \mathbb{E}_{x \sim \rho, y \sim d_\theta, o \sim P(\cdot|x,y)}[U(o)]$
Wobei $y^\circ$ die rationale Antwort und $y$ die Antwort ist, die durch die eingesetzte Strategie generiert wurde.

Rechenbeschränkte Schätzung

Da perfekt rationales Denken aufgrund endlicher Ressourcen rechnerisch nicht durchführbar ist, führt das Paper ein Framework für rechenbeschränktes rationales Denken ein.

Kandidatenmenge: Für einen gegebenen Prompt werden $K$ unabhängige Stichproben aus dem Modell gezogen.
Empirischer Nutzen: Der Nutzen jedes Kandidaten wird über $L$ Verifizierer-Aufrufe (oder deterministische Prüfungen) geschätzt.
Schätzer: Der Empirical Rational Value Risk ( $\hat{R}_{M,K,L}$ ) wird als Differenz zwischen dem maximalen empirischen Nutzen in $K$ Kandidaten (repräsentativ für die beste mögliche Bereitstellung) und dem durchschnittlichen empirischen Nutzen der eingesetzten Strategie berechnet.

Fehlerdekomposition

Der Schätzfehler von RVR wird in drei distinkte Komponenten zerlegt:

Kandidaten-Approximationsfehler: Das Risiko, dass die endliche Menge von $K$ Stichproben keine hochgradig nützliche Antwort enthält.
Prompt-Sampling-Fehler: Statistischer Fehler, der durch die Evaluierung auf einer endlichen Anzahl von Prompts ( $M$ ) entsteht.
Verifizierungsfehler: Fehler, die durch stochastische oder imperfekte Verifizierer ( $L$ ) eingeführt werden.

Das Paper liefert theoretische Schranken (Theorem 1), die zeigen, dass der Gesamtfehler durch den Kandidaten-Approximationsfehler plus einen Term begrenzt ist, der von der Anzahl der Prompts und der Konfidenz des Verifizierers abhängt.

Experimentelles Setup

Die Studie evaluiert eine breite Palette von Modellen (7B bis 72B Parameter und proprietäre APIs) über diverse Benchmarks hinweg:

Konversationelle Aufgaben: UltraFeedback, AlpacaEval (unter Verwendung stochastischer Verifizierer).
Verifizierbares Denken: GSM8K, MATH, HumanEval und MathArena (unter Verwendung deterministischer oder nahezu deterministischer Verifizierer).
Modelle: Llama-3.1, Qwen-2.5, Tülu-3 Familien sowie proprietäre Modelle (GPT-5.2, GPT-5.5, DeepSeek-V4).
Variablen: Die Experimente variieren die Sampling-Temperatur, das Self-Consistency-Voting-Budget und die Denk-Längen (Token-Budgets).

Kernergebnisse

Die Experimente validieren vier primäre Hypothesen:

H1: Rational Value Risk ist weit verbreitet.
Über alle Modelle und Benchmarks hinweg ist RVR konsistent positiv. Modelle generieren häufig hochgradig nützliche Kandidaten (hohe Rational Expected Utility, REU), versäumen es jedoch, diese konsistent einzusetzen (niedrigere Actual Expected Utility, AEU). Beispielsweise weist selbst ein starkes Modell wie GPT-5.2 auf dem MathArena-Benchmark einen RVR von 0,360 auf, was 70,6 % der gesamten Nutzen-Diskrepanz ausmacht.
H2: Wertausrichtung reduziert, aber eliminiert RVR nicht.
Post-Training-Alignment-Stufen (SFT $\to$ DPO $\to$ RLVR) verbessern im Allgemeinen die AEU und reduzieren den RVR. Dennoch bleibt ein signifikantes Risiko auch nach RLVR bestehen. In einigen Fällen (z. B. Tülu-3-70B auf MathArena) verbessert das Alignment die Fähigkeit des Modells, hochgradig nützliche Antworten zu sampeln (Erhöhung der REU), aber der RVR steigt tatsächlich als Anteil am Gesamtfehler an, was darauf hindeutet, dass die eingesetzte Strategie immer noch daran scheitert, die besten Kandidaten auszuwählen.
H3: RVR reagiert hochsensibel auf die Inferenz-Zeit-Strategie.
- Temperatur: Eine Erhöhung der Sampling-Temperatur verbessert oft die REU (durch das Finden besserer Kandidaten), erhöht aber den RVR, da das Modell es nicht schafft, den besten Kandidaten konsistent auszuwählen.
- Self-Consistency: Eine Erhöhung des Voting-Budgets (Self-Consistency) reduziert den RVR signifikant, indem sie die AEU verbessert, während die REU stabil bleibt.
H4: Längeres Denken verbessert die Rationalität mit abnehmendem Grenznutzen.
Die Verlängerung der Denk-Länge (Token-Budget) kann den RVR reduzieren, aber die Vorteile sind nicht-monoton und nehmen nach einem gewissen Schwellenwert (z. B. $T \ge 256$ oder $1024$) ab. Auf schwierigen Deployment-Benchmarks wie MathArena verbessert längeres Denken die REU leicht, verbessert aber nicht die AEU, wodurch der RVR hoch bleibt.

Signifikanz und Ansprüche

Das Paper beansprucht, das erste zu sein, das das Rational Value Risk in der LLM-Argumentation formal definiert und empirisch misst, indem es die Inferenz-Zeit-Irrationalität explizit von der Wertfehlausrichtung trennt.

Distinkte Evaluationsdimension: Die Autoren postulieren, dass Rationalität eine eigenständige Dimension ist, die der Wertausrichtung komplementär gegenübersteht. Ein Modell kann perfekt ausgerichtet sein (weiß, was wertvoll ist), aber irrational sein (es versäumt, dieses Wissen während der Inferenz anzuwenden).
Diagnostisches Werkzeug: Das Framework dient als diagnostisches Werkzeug, um zu identifizieren, ob Performance-Lücken auf die Unfähigkeit zurückzuführen sind, hochwertige Antworten zu generieren (Sampling-Fehler) oder auf die Unfähigkeit, diese auszuwählen (Deployment-Fehler).
Limitierungen: Die Arbeit konzentriert sich auf den Nutzen, der über finale Antworten definiert ist, nicht über Denkpfade (Reasoning Trajectories). Sie schlägt keine neuen Algorithmen zur Behebung von RVR vor, bietet aber die theoretische und empirische Grundlage für zukünftige Inferenz-Zeit-Algorithmen (z. B. Verifier-guided Search), um den ungenutzten Nutzen zu minimieren.

Zusammenfassend demonstriert das Paper, dass „Irrationalität zusätzlich zur Wertfehlausrichtung“ ein durchgängiges Problem aktueller LLMs ist, was darauf hindeutet, dass zukünftige Verbesserungen der Denk-Leistung nicht nur das adressieren müssen, was das Modell lernt, sondern auch, wie es während der Inferenz argumentiert und Antworten auswählt.