🤖 AI

Credit Assignment with Resets in Language Model Reasoning

Dieser Artikel schlägt Random-Reset und Self-Reset Policy Optimization (RRPO und SRPO) vor, um das Schlussfolgern von Sprachmodellen zu verbessern, indem eine präzise Kreditvergabe durch Zurücksetzen auf Zwischenzustände und Resampling von Fortsetzungen ermöglicht wird, wobei SRPO durch autonome Lokalisierung und Korrektur fehlerhafter Schritte ohne externe Überwachung eine überlegene Leistung erzielt.

Ursprüngliche Autoren: Ankur Samanta, Akshayaa Magesh, Ayush Jain, Youliang Yu, Daniel Jiang, Kavosh Asadi, Daniel Jiang, Kaveh Hassani, Paul Sajda, Jalaj Bhandari, Yonathan Efroni

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ankur Samanta, Akshayaa Magesh, Ayush Jain, Youliang Yu, Daniel Jiang, Kavosh Asadi, Daniel Jiang, Kaveh Hassani, Paul Sajda, Jalaj Bhandari, Yonathan Efroni

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Schüler darin, ein komplexes mathematisches Problem zu lösen oder einen Codeabschnitt zu schreiben. Bei traditionellen Methoden sagt der Lehrer, wenn der Schüler die endgültige Antwort falsch hat, möglicherweise: „Sie haben versagt", und lässt den Schüler die gesamte Lösung von vorne beginnen neu schreiben, in der Hoffnung, dass er es beim nächsten Mal richtig macht. Das Problem bei diesem Ansatz ist, dass der Schüler nicht weiß, welcher spezifische Schritt zum Versagen führte. Haben sie einen Fehler im allerersten Satz gemacht? Oder sind sie drei Absätze später auf dem falschen Weg geraten?

Dieser Artikel stellt einen intelligenteren Weg vor, um KI-Modelle (insbesondere Large Language Models) beim Schlussfolgern zu unterrichten. Er heißt Zuweisung von Verantwortung mit Zurücksetzen (Credit Assignment with Resets).

Hier ist die Aufschlüsselung ihrer Ideen unter Verwendung einfacher Analogien:

1. Das Problem: Die „uniforme Bestrafung"

Derzeit behandeln Standard-Trainingsmethoden, wenn eine KI eine mehrstufige Schlussfolgerungsaufgabe nicht löst, jedes einzelne von der KI generierte Wort als gleichermaßen verantwortlich für das Versagen.

Die Analogie: Stellen Sie sich ein Staffellauf vor, bei dem das Team verliert, weil der Läufer der dritten Etappe das Staffelholz fallen lässt. Aber der Trainer schreit das gesamte Team an und lässt den ersten, den zweiten und den vierten Läufer alle zusätzliche Runden laufen. Der erste Läufer hat nichts falsch gemacht, wird aber trotzdem bestraft. Dies ist ineffizient und verwirrend.

2. Die Lösung: Der „Reset-Knopf"

Die Autoren schlagen einen Mechanismus namens Reset (Zurücksetzen) vor. Anstatt ganz von vorne zu beginnen, wird die KI zu einem bestimmten Punkt in der Mitte des gescheiterten Versuchs zurückgeschickt. Von diesem Punkt aus versucht sie, ein neues Ende (eine „kontrafaktische" Fortsetzung) zu generieren, um zu sehen, ob eine andere Wahl zum Erfolg führt.

Die Analogie: Stellen Sie sich vor, Sie fahren Auto und nehmen eine falsche Abzweigung, wodurch Sie sich verirren. Anstatt bis zu Ihrem Haus zurückzufahren, um ganz von vorne zu beginnen, halten Sie genau an der Kreuzung, an der Sie den Fehler gemacht haben. Sie sagen: „Okay, ich hätte hier nicht links abbiegen sollen; versuchen wir es stattdessen mit rechts." Sie fahren nur den Teil der Strecke neu ab, der relevant ist.

3. Zwei Wege, den Fehler zu finden

Der Artikel schlägt zwei Methoden vor, um zu entscheiden, wo der Reset-Knopf gedrückt werden soll:

RRPO (Random-Reset): Dies ist wie Raten. Die KI wählt einen zufälligen Schritt in der gescheiterten Kette aus und versucht es von dort aus erneut.
- Die Analogie: Ein Lehrer wählt zufällig eine Seite in einem gescheiterten Aufsatz eines Schülers aus und sagt: „Lassen Sie uns ab hier neu schreiben." Es könnte funktionieren, aber es ist größtenteils Glückssache.
SRPO (Self-Reset): Dies ist der Star der Show. Die KI betrachtet ihren eigenen gescheiterten Versuch und fragt: „Wo genau bin ich falsch abgebogen?" Sie identifiziert den spezifischen Gedanken oder Schritt, an dem die Logik zusammengebrochen ist, und setzt genau dort zurück.
- Die Analogie: Der Schüler liest seinen eigenen Aufsatz, erkennt den genauen Satz, an dem die Logik unklar wurde, und sagt: „Ah, ich sehe das Problem. Ich werde ab diesem Satz neu schreiben." Dies erfordert keine externe Hilfe; die KI erledigt dies selbst.

4. Warum dies besser funktioniert (Die „Zuweisung von Verantwortung")

Indem die KI zum spezifischen Fehlerpunkt zurückgesetzt wird und mehrere neue Enden versucht, kann sie klar erkennen: „Wenn ich zu diesem spezifischen Moment Pfad A statt Pfad B gewählt hätte, wäre ich erfolgreich gewesen."

Das Ergebnis: Die KI lernt, die spezifische schlechte Angewohnheit zu beheben, anstatt nur die gesamte Lösung auswendig zu lernen. Es ist wie ein Chirurg, der einen Tumor entfernt, anstatt das ganze Glied zu amputieren.

5. Die Ergebnisse: Schneller und intelligenter

Die Forscher testeten dies an mathematischen Problemen, naturwissenschaftlichen Fragen und Codierungsaufgaben.

Die Erkenntnisse: Die SRPO-Methode (bei der die KI ihren eigenen Fehler findet) schlug konsistent die Standardmethoden und die Methode des „zufälligen Raten".
Geschwindigkeit: Bei Codierungsaufgaben lernte SRPO 2- bis 3-mal schneller als die Standardmethoden. Es erreichte eine höhere Erfolgsquote, weil es keine Zeit damit verschwendete, Schritte neu zu lernen, von denen es bereits wusste, dass sie korrekt waren.
Selbstkorrektur: Der Artikel ergab, dass die KI das Problem fast zweimal so oft beheben konnte, wenn sie den Fehler korrekt identifiziert hatte (ein „sauberer" Präfix), als wenn sie den falschen Ort erraten hatte. Dies beweist, dass zu wissen, wo man zurücksetzen muss, der Schlüssel zum Erfolg ist.

Zusammenfassung

Betrachten Sie diesen Artikel als das Unterrichten einer KI, ihr eigener bester Kritiker zu sein. Anstatt ganze Aufgaben blindlings zu wiederholen, lernt die KI, den genauen Moment zu identifizieren, an dem sie vom Kurs abgekommen ist, den „Reset"-Knopf zu drücken und ab diesem spezifischen Moment einen anderen Pfad zu versuchen. Dies macht das Lernen viel effizienter, präziser und effektiver, insbesondere bei komplexen Aufgaben wie Mathematik und Codierung.

Technische Zusammenfassung: Kreditvergabe mit Resets beim Reasoning von Sprachmodellen

Problemstellung

Moderne Methoden des Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) für das Nachtrainieren von Sprachmodellen bei mehrstufigen Reasoning-Aufgaben propagieren typischerweise eine einzelne Ergebnisbelohnung gleichmäßig über alle Tokens einer Trajektorie. Dieser Ansatz der „uniformen Kreditvergabe" verschleiert, welche spezifischen Reasoning-Schritte zum Erfolg oder Misserfolg beigetragen haben. Folglich werden Policy-Updates undifferenziert auf die gesamte Trajektorie angewendet, selbst wenn nur eine Teilmenge der Schritte fehlerhaft ist. Diese Ineffizienz ist besonders problematisch für Reasoning-Aufgaben mit langer Horizontlänge, bei denen das Signal-zu-Rausch-Verhältnis für das Lernen gering ist.

Die Arbeit geht davon aus, dass eine Verbesserung der Kreditvergabe Mechanismen erfordert, die spezifische fehlerhafte Reasoning-Schritte isolieren und verfeinern, anstatt ganze Trajektorien zu aktualisieren. Inspiriert von biologischen Systemen, die hochimpactige Entscheidungspunkte wiederherstellen, um aus kontrafaktischen „Was-wäre-wenn"-Ergebnissen zu lernen, schlagen die Autoren die Verwendung von Resets als Primitive für die Kreditvergabe vor. Ein Reset führt in einen zuvor besuchten Zustand zurück und sampelt eine Fortsetzung neu, sodass Ergebnisunterschiede spezifisch den von diesem Zustand aus getroffenen Entscheidungen zugeschrieben werden können.

Methodik

Die Arbeit stellt zwei auf Resets basierende RLVR-Nachtrainierungsmethoden vor, die beide auf Thought-Ebene operieren (wobei jede Aktion ein semantisch kohärenter Reasoning-Schritt ist) und nicht auf Token-Ebene. Beide Methoden konstruieren einen Trainingspuffer, der eine Basisgruppe standardmäßiger Rollouts und eine „Shared-Prefix-Gruppe" von Rollouts enthält, die von einem spezifischen Reset-Zustand $x^*$ , abgeleitet aus einer gescheiterten Trajektorie, neu gesampelt wurden.

1. Random-Reset Policy Optimization (RRPO)

RRPO entspricht einer praktischen Umsetzung der Conservative Policy Iteration (CPI) mit zufälligen Resets (CPI-RR).

Mechanismus: Beim Auftreten einer gescheiterten Trajektorie (dem „Seed") wird der Reset-Zustand $x^*$ gleichmäßig zufällig aus den Reasoning-Schritten dieses Seeds gewählt.
Prozess: Es werden mehrere Suffix-Fortsetzungen von $x^*$ gesampelt. Der Policy-Gradient wird nur auf die Suffix-Tokens angewendet, während das gemeinsame Prefix maskiert wird.
Ziel: Die theoretische CPI-RR-Baseline zu approximieren, bei der Reset-Zustände gleichmäßig aus der On-Policy-Verteilung gezogen werden.

2. Self-Reset Policy Optimization (SRPO)

SRPO entspricht einer praktischen Umsetzung der CPI mit einem Credit-Assignment-Reset-Oracle (CPI-CARO).

Mechanismus: Anstelle einer zufälligen Auswahl lokalisiert das Modell selbst den ersten fehlerhaften Thought in der gescheiterten Seed-Trajektorie. Diese Selbstlokalisierung dient als Proxy für das theoretische Credit-Assignment-Oracle, das Zustände identifiziert, die eine strikt bessere Aktion zulassen (verbesserbare Zustände).
Prozess: Das Modell analysiert seinen eigenen Reasoning-Verlauf, um den Index des ersten Fehlers zu identifizieren. Der Reset-Zustand $x^*$ wird auf das Prefix unmittelbar vor diesem Fehler gesetzt. Anschließend werden mehrere Suffix-Fortsetzungen von diesem verifiziert-korrekten Prefix gesampelt.
Hauptmerkmal: SRPO erfordert keine externe Schritt-für-Schritt-Überwachung (z. B. Process Reward Models oder menschliche Annotationen); es nutzt die eigene Fähigkeit des Modells, seinen ersten Fehler zu erkennen, eine Fähigkeit, die durch vorherige Arbeiten (Samanta et al., 2026) gestützt wird.

Theoretischer Rahmen

Die Autoren analysieren diese Methoden im Rahmen der Conservative Policy Iteration (CPI). Sie führen eine theoretische Variante ein, CPI-CARO, die ein Credit-Assignment-Oracle verwendet, um Reset-Zustände nur von „verbesserbaren Zuständen" zu sampeln (Zustände, in denen eine Aktion mit einem Vorteil größer als einem Schwellenwert $\tau$ existiert).

Theoretisches Ergebnis: Die Arbeit beweist, dass CPI-CARO im Vergleich zur Standard-CPI-RR (zufällige Resets) eine Verbesserung der Sample-Komplexität um den Faktor $1/p_\pi^2$ und eine Verbesserung des Gewinns pro Iteration um den Faktor $1/p_\pi$ erreicht, wobei $p_\pi$ die On-Policy-Wahrscheinlichkeit ist, einen verbesserbaren Zustand zu erreichen.
Implikation: Durch die Konzentration von Resets auf Zustände mit Verbesserungspotenzial vermeidet der Algorithmus eine Verdünnung des Lernsignals durch nicht-verbesserbare Zustände.

Hauptbeiträge

Konzeptionell: Die Arbeit fasst Resets als fundamentales Primitive für die Kreditvergabe beim Nachtrainieren. Sie argumentiert, dass Ergebnisunterschiede über Suffixe, die von einem verbesserbaren Zustand neu gesampelt wurden, den Kredit spezifisch an die von diesem Zustand aus getroffenen Entscheidungen binden.
Theoretisch: Sie erweitert das CPI-Framework um ein Credit-Assignment-Oracle und liefert nachweisbare Garantien, dass die Konzentration von Resets auf verbesserbare Zustände eine überlegene Sample-Komplexität und einen höheren Gewinn pro Iteration gegenüber zufälligen Resets bietet.
Algorithmisch & Empirisch: Sie schlägt SRPO vor, eine trainingsfreie Methode, die Selbstlokalisierung nutzt, um Resets zu steuern. SRPO zeigt, dass Sprachmodelle Fehler effektiv selbst lokalisieren können, um eine Selbstkorrektur ohne externe Überwachung zu treiben.

Experimentelle Ergebnisse

Die Autoren evaluierten SRPO und RRPO an zwei Basismodellen (Qwen2.5-14B-Instruct und OLMo-3-7B-Instruct), die auf NuminaMath-Olympiads trainiert und über eine Suite von 10 Benchmarks getestet wurden, die Mathematik, Naturwissenschaften, strategisches und gesunden Menschenverstand-basiertes Reasoning sowie einen Coding-Benchmark (LiveCodeBench) abdecken.

Allgemeines Reasoning: SRPO übertraf konsistent das Standard-GRPO und RRPO. Beim Qwen2.5-14B-Modell erzielte SRPO die besten Ergebnisse bei 7 von 10 Aufgaben; beim OLMo-3-7B war es bei 6 von 10 am besten. Bemerkenswerterweise traten diese Gewinne bei Benchmarks außerhalb der Verteilung (Naturwissenschaften, Strategie, gesunder Menschenverstand) auf, obwohl nur mit Mathematikdaten trainiert wurde.
Coding-Aufgaben: In LiveCodeBench konvergierte SRPO zu einer höheren Pass-Rate und lernte 2–3× schneller als GRPO und RRPO.
Sampling-Strategie: Eine Ablationsstudie zum Verhältnis von Basis-Rollouts zu Shared-Prefix-Rollouts (z. B. 1×4 vs. 2×4 vs. 1×8) ergab, dass eine 1×4-Aufteilung (4 Basis-Rollouts, 4 Suffixe von einem selbst-lokalisierten Prefix) die beste Balance zwischen der Abdeckung der Basis-Policy und der Tiefe des Shared-Prefix bot.
Qualität der Selbstlokalisierung: Die Analyse des Selbstlokalisierungsmechanismus ergab, dass er ein unvollkommener, aber effektiver Proxy für das Oracle ist. Wenn das Modell den Fehler korrekt lokalisierte (ein „sauberes" Prefix erzeugte), war die Korrekturrate nahezu 2× höher (28,7 % vs. 16,3 %) im Vergleich zu Fällen, in denen die Lokalisierung in den fehlerhaften Bereich überzielte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass selbst-lokalisierte Resets einen bedeutenden Fortschritt im RL-Nachtraining für Reasoning darstellen. Durch die Abkehr von der uniformen Kreditvergabe ermöglicht SRPO effizienteres Lernen, indem es die spezifischen Schritte ins Visier nimmt, die für das Scheitern verantwortlich sind.

Effizienz: Die Methode erzielt mit weniger Samples eine höhere Leistung als das Standard-GRPO, insbesondere bei Coding-Aufgaben, bei denen die Konvergenz beschleunigt wird.
Selbstgenügsamkeit: SRPO operiert ohne externe Schritt-für-Schritt-Überwachung und verlässt sich ausschließlich auf die interne Fähigkeit des Modells, seinen ersten Fehler zu identifizieren. Dies macht den Ansatz skalierbar und auf Domänen anwendbar, in denen menschliche Annotationen oder Process Reward Models nicht verfügbar sind.
Theoretische Übereinstimmung: Der empirische Erfolg von SRPO validiert die theoretische Prämisse, dass die Konzentration von Policy-Updates auf „verbesserbare Zustände" (via ein Credit-Assignment-Oracle) nachweisbare Gewinne gegenüber zufälligen Explorationsstrategien liefert.

Die Autoren schließen, dass die Selbstlokalisierung zwar nicht perfekt ist, aber ausreicht, um sinnvolle Verbesserungen zu treiben. Als zukünftige Arbeiten wird vorgeschlagen, sich auf die Verbesserung der Qualität der Selbstlokalisierung (z. B. durch dedizierte Lokalisierer) zu konzentrieren und diese auf Resets basierenden Kreditvergabemechanismen auf langfristige agentische Aufgaben und mehrstufige Dialoge auszudehnen.