💬 NLP

Reasoning Error from Known Fact: Step-Level Self-Consistency Group Relative Policy Optimization for LLM

Dieses Paper stellt die Step-level Self-Consistency Group Relative Policy Optimization (SSC-GRPO) vor, eine neuartige Methode, die kontextsensitive faktische Halluzinationen in großen Sprachmodellen mildert, indem sie schrittweise Belohnungen basierend auf Selbstkonsistenz-Scores über mehrere Reasoning-Rollouts hinweg zuweist und dadurch eine Spitzenleistung bei mathematischen Argumentations- und Halluzinations-Benchmarks erzielt.

Ursprüngliche Autoren: Xiaomeng Hu, Jiaqi Hu, Hao Chen, Qi Zhang, Zhanming Shen, Wentao Ye, Junbo Zhao

Veröffentlicht 2026-07-22

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiaomeng Hu, Jiaqi Hu, Hao Chen, Qi Zhang, Zhanming Shen, Wentao Ye, Junbo Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen brillanten, hyperkreativen Roboter darin, ein Rätsel zu lösen. Dieser Roboter hat fast jedes Buch in der Bibliothek gelesen und kann wie ein Mensch sprechen, aber er hat eine skurrile Angewohnheit: Manchmal, wenn er tief in eine lange Geschichte eintaucht, beginnt er, Fakten zu erfinden. Er könnte selbstbewusst sagen: „Der Butler war es mit einem Kerzenständer“, selbst wenn die Hinweise eindeutig auf den Gärtner deuten. In der Welt der künstlichen Intelligenz nennt man das eine „Halluzination“. Es ist nicht so, dass der Roboter absichtlich lügt; es ist nur so, dass sein Gehirn so sehr in seiner eigenen langen Gedankenkette verheddert ist, dass er vergisst, was er eigentlich weiß.

Lange Zeit dachten Wissenschaftler, dass diese Fehler passierten, weil der Roboter die Antwort einfach nicht kannte. Aber was wäre, wenn der Roboter die Antwort doch kennt, aber durch die Geschichte, die er sich selbst erzählt, verwirrt wird? Das ist das Rätsel, das diese Arbeit behandelt. Die Forscher untersuchen, wie diese KI-Modelle Schritt für Schritt denken, wie ein Detektiv, der Hinweise auf einem Notizblock notiert. Sie entdeckten, dass der Roboter oft über seine eigenen Füße stolpert – nicht weil ihm Wissen fehlt, sondern weil der Kontext der Geschichte, die er schreibt, ihn die Wahrheit vergessen lässt. Um dies zu beheben, haben sie eine neue Trainingsmethode erfunden, die wie ein „Selbstkontrollsystem“ wirkt und den Roboter lehrt, innezuhalten und zu fragen: „Warte mal, ergibt dieser Satz Sinn im Zusammenhang mit allem, was ich gerade geschrieben habe?“

Das Problem: Der „Nebel im Gehirn“ des Roboters

Treffen Sie das Large Language Model (LLM). Betrachten Sie es als einen superintelligenten Papagei, der das gesamte Internet auswendig gelernt hat. Wenn Sie ihm ein schwieriges Matheproblem stellen, spuckt er nicht einfach nur eine Antwort aus; er versucht, das Problem Schritt für Verschritt durchzudenken, indem er eine lange Argumentationskette aufschreibt. Das ist großartig, um komplexe Rätsel zu lösen, aber es hat einen Makel. Je länger die Gedankenkette wird, desto mehr wird der Roboter „kontextsensitiv“.

Stellen Sie sich vor, Sie lösen ein Matheproblem in Ihrem Kopf. Sie wissen, dass $3 \times 100 = 300$ ist. Aber dann beginnen Sie, eine Geschichte über einen Zauberer zu schreiben, der einen Zauberspruch wirkt, der Zahlen in Früchte verwandelt. Plötzlich wird Ihr Gehirn verwirrt, und Sie schreiben vielleicht: „Also ist $3 \times 100$ definitiv eine Banane.“ Sie wissen, dass es 300 ist, aber die alberne Geschichte, die Sie sich selbst erzählen, hat Sie vergessen lassen.

Die Forscher fanden heraus, dass genau das bei der KI passiert. Sie nennen es eine kontextsensitive faktische Halluzination. Der Roboter hat die korrekten Fakten tatsächlich in seinem Gehirn gespeichert, aber das „Rauschen“ des langen Denkprozesses trickst ihn aus, einen Fehler zu machen. Es ist wie bei einem Musiker, der weiß, wie man ein Lied perfekt spielt, aber so sehr von dem Lärm des Publikums abgelenkt wird, dass er den falschen Ton trifft.

Die Entdeckung: Es ist keine Wissenslücke

Um dies herauszufinden, agierten die Teams wie Detektive. Sie nahmen einen Roboter, der in einer langen Argumentationskette einen Fehler gemacht hatte, und stellten ihm eine einfache Frage: „Wenn ich nur diesen einen falschen Satz nehme und dich isoliert danach frage, kannst du es richtig beantworten?“

Die Antwort war fast immer ja.

Als sie den Fehler isolierten, sagte der Roboter: „Oh, natürlich! $3 \times 100$ ist 300, nicht eine Banane!“ Dies bewies, dass dem Roboter nicht das Wissen fehlte; er wurde lediglich durch den Kontext verwirrt. Tatsächlich zeigte ihre Analyse, dass fast 70 % der Fehler, die diese Denkmodelle machen, genau diese Art von „Nebel im Gehirn“ sind, bei dem das Modell die Wahrheit kennt, aber durch seine eigene Geschichte aus der Bahn geworfen wird.

Die Lösung: Der „Selbstkonsistenz“-Coach

Wie also bringt man einem Roboter bei, sich nicht von seiner eigenen Geschichte verwirren zu lassen? Die Autoren entwickelten eine neue Trainingsmethode namens SSC-GRPO (Step-Level Self-Consistency Group Relative Policy Optimization). Das ist ein Zungenbrecher, also brechen wir es mit einer Spielanalogie herunter.

Stellen Sie sich vor, Sie trainieren ein Team von 8 Robotern, die gleichzeitig dasselbe Rätsel lösen sollen.

Der Rollout: Jeder Roboter schreibt seine eigene Schritt-für-Schritt-Lösung auf.
Der Selbstcheck: Anstatt nur zu prüfen, ob das Endergebnis richtig ist, fragt das System die Roboter, ihre Schritte zu vergleichen. „Roboter A, passt dein zweiter Schritt zu dem, was Roboter B und Roboter C geschrieben haben?“
Die Belohnung: Wenn ein Schritt eines Roboters mit dem übereinstimmt, was die anderen schreiben (hohe Konsistenz), erhält er eine hohe Punktzahl. Wenn er vom Weg abkommt und etwas Seltsames sagt, dem niemand sonst zustimmt (niedrige Konsistenz), erhält er eine niedrige Punktzahl.

Das Magische hierbei ist, dass der Roboter sein eigener Richter ist. Er braucht keinen menschlichen Lehrer oder eine Datenbank mit Fakten, um ihm zu sagen, dass er falsch liegt. Er muss nur auf seine „Kollegen“ (die anderen Versionen seiner selbst) schauen und erkennen: „Hey, ich bin der Einzige, der sagt, dass die Antwort eine Banane ist. Das ist wahrscheinlich falsch.“

Das System nutzt diese Bewertungen dann, um „Belohnungen“ für die spezifischen Schritte zu vergeben, die konsistent waren, und „Bestrafungen“ für die Schritte, die Halluzinationen waren. Mit der Zeit lernt der Roboter, den Schritten zu vertrauen, die innerhalb der Gruppe Sinn ergeben, und hört auf, Fakten zu erfinden, nur um in die Geschichte zu passen.

Die Ergebnisse: Schlauere, ehrlichere Roboter

Das Team testete diese neue Methode an einigen der schwierigsten Mathe- und Denkaufgaben, die verfügbar sind. Sie verwendeten Modelle wie Qwen3 und Llama3. Die Ergebnisse waren beeindruckend.

Bessere Mathematik: Bei Standard-Mathetests half die neue Methode den Robotern, besser abzuschneiden als zuvor. Beispielsweise verbesserte die neue Methode die Punktzahl in einem Test um etwa 1,8 % im Vergleich zu den Standard-Trainingsmethoden.
Weniger Halluzinationen: Am wichtigsten ist, dass die Roboter weitaus weniger dieser „kontextsensitiven“ Fehler machten. Die Anzahl der Male, in denen sie durch ihre eigenen Geschichten verwirrt wurden, sank signifikant.
Keine externe Hilfe nötig: Im Gegensatz zu anderen Methoden, die erfordern, dass der Roboter in einer riesigen Enzyklopädie nach Fakten sucht (was langsam und teuer ist), nutzt diese Methode einfach das eigene Gehirn des Roboters zur Selbstkontrolle.

Die Forscher bemerkten während des Trainings auch etwas Interessantes: Während die Roboter lernten, stieg ihre „Konsistenz“. Sie begannen häufiger mit sich selbst übereinzustimmen, und die Anzahl der verwirrenden, erfundenen Schritte ging zurück. Es war, als würde man beobachten, wie ein Schüler von einem abgelenkten und verwirrten Zustand zu einem fokussierten und selbstbewussten Zustand übergeht.

Warum das wichtig ist

Diese Arbeit schlägt einen neuen Weg vor, um eines der größten Probleme der KI zu beheben: die Tendenz, selbstbewusst zu klingen, während man eigentlich falsch liegt. Indem sie erkannten, dass der Roboter die Antwort oft kennt und sich nur in der Geschichte verliert, fanden die Autoren einen Weg, ihn auf Kurs zu halten.

Sie haben nicht nur geraten; sie haben gemessen. Sie zeigten, dass das Wissen vorhanden ist, wenn man den Fehler isoliert. Sie bewiesen, dass ihre neue Methode diese spezifischen Arten von Fehlern reduziert. Obwohl die Arbeit anmerkt, dass dies etwas mehr Rechenleistung erfordert (da die Roboter sich selbst mehrmals kontrollieren müssen), scheint der Austausch lohnenswert zu sein, um KI zuverlässiger zu machen.

Kurz gesagt: Die Autoren haben der KI ein neues Werkzeug gegeben: einen Spiegel. Anstatt nur auf den nächsten Schritt der Geschichte zu schauen, lernt der Roboter nun, zurückzublicken und zu fragen: „Passt das zu allem, was ich bisher gesagt habe?“ Und dadurch hört er auf, Fakten zu erfinden, und beginnt, die Wahrheit zu sagen.

Technisches Resümee: Step-Level Self-Consistency Group Relative Policy Optimization für LLMs

1. Problemdefinition: Kontextsensitive faktische Halluzinationen

Obwohl Large Language Models (LLMs) starke Fähigkeiten in der langfristigen Kettenargumentation (long-chain reasoning) demonstriert haben, neigen sie weiterhin dazu, selbstbewusste, aber falsche Aussagen zu generieren, die als Halluzinationen bekannt sind. Die Autoren identifizieren einen spezifischen und weit verbreiteten Fehlermodus, der als kontextsensitive faktische Halluzination bezeichnet wird.

Im Gegensatz zu „Wissenslücken“-Halluzinationen, bei denen dem Modell die notwendigen Informationen fehlen, treten kontextsensitive Halluzinationen auf, wenn das Modell über das korrekte faktische Wissen verfügt, aber aufgrund von Interferenzen durch den umgebenden Argumentationskontext einen faktischen Fehler produziert. Die Arbeit zeigt, dass, wenn ein halluzinierter Argumentationsschritt extrahiert und als unabhängige Frage neu formuliert wird, das Modell diese korrekt beantworten kann. Innerhalb der komplexen, mehrstufigen Argumentationsbahn wird das Modell jedoch durch den Kontext in die Irre geführt, was zu einer Kaskade von Fehlern und einer falschen Endantwort führt. Die empirische Analyse zeigt, dass diese Art von Halluzination nahezu 70 % der Fehler in Reasoning-Modellen ausmacht – ein Anteil, der bestehen bleibt, selbst wenn sich die Fähigkeiten der Modelle verbessern und Wissenslücken-Fehler abnehmen.

2. Methodik: SSC-GRPO

Um diese Halluzinationen zu mildern, ohne auf externe Wissensdatenbanken zurückzugreifen, schlagen die Autoren Step-Level Self-Consistency Group Relative Policy Optimization (SSC-GRPO) vor. Diese Methode integriert die Selbstkonsistenz-Detektion direkt in den Reinforcement Learning (RL) Trainingszyklus von Group Relative Policy Optimization (GRPO).

Kernmechanismus

Der Ansatz nutzt die Beobachtung, dass GRPO naturgemäß mehrere Argumentationspfade (Rollouts) für einen einzelnen Prompt sampelt, was mit der Selbstkonsistenz-basierten Halluzinationserkennung übereinstimmt. Die Methode verläuft wie folgt:

Group Rollouts: Für eine gegebene Abfrage generiert das Policy-Modell eine Gruppe von $G$ Argumentationspfaden (Rollouts).
Step-Level Self-Consistency Scoring: Anstatt nur am Ende eines Pfades eine Belohnung zuzuweisen, bewertet SSC-GRPO jeden einzelnen Argumentationsschritt $o_{i,k}$ $o_{i, k}$ innerhalb eines Rollouts $i$ $i$ gegenüber den entsprechenden Schritten in anderen Rollouts $j$ $j$ innerhalb derselben Gruppe.
- Das Modell fungt als sein eigener Richter und verwendet einen Natural Language Inference (NLI) Prompt, um zu bestimmen, ob ein Schritt in Rollout $i$ den entsprechenden Schritt in Rollout $j$ impliziert (entails), widerspricht (contradicts) oder neutral (neutral) zu ihm steht.
- Ein Konsistenz-Score wird berechnet, indem diese NLI-Urteile aggregiert werden, gewichtet durch die Ergebnisbelohnung des Referenz-Rollouts $j$ (wobei Schritten in Rollouts, die zu korrekten Endantworten führen, eine höhere Gewichtung gegeben wird).
Step Advantage Rescaling: Der Standard-GRPO-Advantage (abgeleitet von der finalen Ergebnisbelohnung) wird über die Schritte des Pfades umverteilt.
- Schritte mit hohen Selbstkonsistenz-Scores erhalten einen größeren Anteil des Vorteils (Advantage), wenn der Pfad korrekt ist, oder eine geringere Strafe, wenn der Pfad inkorrekt ist.
- Dies wird über einen Rescaling-Koeffizienten $w_{i,k}$ erreicht, der den Vorteil für jeden Schritt anpasst und dabei den gesamten Pfad-Vorteil bewahrt.
Policy Optimization: Das Modell wird unter Verwendung eines PPO-ähnlichen Objekts aktualisiert, das die gewichtete Summe dieser schrittweisen Vorteile maximiert, wodurch das Modell effektiv dazu angeregt wird, Schritte zu generieren, die konsistent mit der Mehrheit der korrekten Argumentationspfade sind.

3. Zentrale Beiträge

Die Arbeit skizziert drei primäre Beiträge:

Identifizierung eines dominanten Halluzinationstyps: Die Autoren liefern eine detaillierte Analyse, die zeigt, dass kontextsensitive faktische Halluzinationen der dominante Fehlermodus in aktuellen Reasoning-Modellen sind. Sie zeigen auf, dass diese Fehler aus kontextueller Interferenz resultieren und nicht aus einem Mangel an Wissen – ein Phänomen, das traditionelle Detektionsmethoden oft übersehen.
SSC-GRPO Algorithmus: Sie schlagen eine neuartige RL-basierte Methode vor, die Selbstkonsistenz-Signale über mehrere Rollouts hinweg nutzt, um schrittweise Belohnungen (step-level rewards) zu generieren. Dies ermöglicht es dem Modell, zu lernen, kontextinduzierte faktische Fehler zu vermeiden, ohne externe Wissensquellen oder Fact-Checking-Tools zu benötigen.
Empirische Validierung: Umfangreiche Experimente auf mathematischen Reasoning- und Halluzinations-Benchmarks validieren, dass SSC-GRPO den Anteil kontextsensitiver faktischer Halluzinationen effektiv reduziert und die allgemeine Reasoning-Leistung verbessert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SSC-GRPO auf Qwen3-4B-Base, Qwen3-4B-Instruct und Llama3-8B-Instruct im Vergleich zu Baselines wie Vanilla-Modellen, Standard-GRPO, FSPO (Factuality-aware Step-wise Policy Optimization) und SEED-GRPO.

Mathematisches Reasoning: SSC-GRPO erreichte State-of-the-Art-Leistungen über Benchmarks wie GSM8K, MATH-500, AIME-24 und AIME-25 hinweg. Auf Qwen3-4B-Base übertraf es die Baseline um durchschnittlich 1,80 %.
Milderung von Halluzinationen: Auf Halluzinations-Benchmarks (HaluEval, TruthfulQA, HotpotQA) zeigte die Methode eine überlegene Leistung gegenüber den Baselines, wobei insbesondere hervorgehoben wurde, dass sie diese Ergebnisse allein durch das interne Wissen des Modells erzielt, im Gegensatz zu Methoden wie FSPO, die auf externer Retrieval-Technik basieren.
Halluzinationsanalyse: Eine Post-Training-Analyse zeigte eine signifikante Reduktion des Anteils kontextsensitiver faktischer Halluzinationen (Abfall von ~22,76 % auf ~16,90 % in einer Konfiguration) und einen entsprechenden Anstieg korrekter Argumentationsschritte.
Trainingsdynamik: Die Verfolgung der Konsistenz-Ratios während des Trainings zeigte einen stetigen Anstieg konsistenter Schritte und eine Abnahme inkonsistenter Schritte, was bestätigt, dass der RL-Prozess die Argumentationskonsistenz erfolgreich verbessert.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, eine neue Perspektive für die Erkennung und Milderung von Halluzinationen im Reasoning-Prozess von LLMs zu bieten. Durch die Verlagerung des Fokus von der Verifizierung der Endantwort auf die schrittweise Selbstkonsistenz (step-level self-consistency) argumentieren die Autoren, dass es möglich ist, Modelle darauf zu trainieren, ihre eigenen kontextinduzierten Fehler zu erkennen und zu korrigieren.

Die Bedeutung liegt in der Erkenntnis, dass Modelle die Fakten oft „kennen“, aber scheitern, sie unter komplexen Argumentationskontexten korrekt anzuwenden. SSC-GRPO begegnet dem, indem es die Konsistenz der intermediären Argumentationsschritte verstärkt und so die spezifische Art von Halluzination mildert, die das Long-Chain-Reasoning belastet. Die Autoren bleiben bescheiden und räumen ein, dass ihre Methode zwar effektiv ist, aber einen zusätzlichen Rechenaufwand durch die Selbstkonsistenz-Prüfungen verursacht und derzeit auf spezifische Modellfamilien (Qwen und Llama) im Bereich von 4B und 8B Parametern evaluiert wird.