🤖 machine learning

STRIDE: Learnable Stepwise Language Feedback for LLM Reasoning

STRIDE ist ein neuartiges Trainingsframework, das das logische Schlussfolgern von Large Language Models verbessert, indem ein Generator und ein generativer Verifizierer ausschließlich mittels ergebnisbasierter Belohnungen gemeinsam trainiert werden, um skalare Bewertungen durch lernbare, schrittweise Sprachrückmeldungen zu ersetzen, die Fehler explizit lokalisieren und Denkpfade neu ausrichten.

Ursprüngliche Autoren: Junjie Zhang, Guozheng Ma, Shunyu Liu, Zetian Hu, Yongcheng Jing, Ting-En Lin, Yongbin Li, Dacheng Tao

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Junjie Zhang, Guozheng Ma, Shunyu Liu, Zetian Hu, Yongcheng Jing, Ting-En Lin, Yongbin Li, Dacheng Tao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen brillanten, aber leicht verwirrten Schüler darin, ein komplexes Labyrinth zu lösen. In der Vergangenheit war die Art und Weise, wie wir diese KI-„Schüler" (Large Language Models) trainierten, vergleichbar damit, ihnen einen Test zu geben und ihnen nur die Endpunktzahl mitzuteilen: „Sie haben es falsch gemacht."

Dies ist das Problem, das die Arbeit STRIDE zu lösen versucht. Hier ist eine einfache Aufschlüsselung der Funktionsweise, unter Verwendung alltäglicher Analogien.

Das Problem: Die „stumme" Punktzahl

Derzeit basiert die meisten KI-Trainings auf einer Methode namens Reinforcement Learning (Bestärkendes Lernen). Stellen Sie sich dies wie ein Videospiel vor, in dem die KI ein Level spielt und am ganz Ende die Meldung „Game Over" oder „Sie haben gewonnen" erhält.

Das Problem: Wenn die KI bei einem 10-Schritte-Mathematikproblem in Schritt 3 einen Fehler macht, sagt der Lehrer (der Computer) nicht: „Hey, Sie haben die Zahlen in Schritt 3 falsch addiert." Es heißt nur: „Falsche Antwort."
Das Ergebnis: Die KI muss raten, wo sie einen Fehler gemacht hat. Es ist, als würde man versuchen, einen defekten Motor zu reparieren, indem man nur weiß, dass das Auto nicht startet, ohne dass ein Mechaniker sagt, welcher Teil locker ist. Dies wird als Informationsengpass bezeichnet – der Lehrer gibt zu wenig Informationen, um den spezifischen Fehler zu beheben.

Einige frühere Methoden versuchten, schrittweise Punktzahlen zu vergeben (wie „Schritt 1: Gut, Schritt 2: Schlecht"), doch diese Punktzahlen sind nur Zahlen (0 oder 1). Sie erklären immer noch nicht, warum der Schritt schlecht war.

Die Lösung: STRIDE (Der „redselige" Trainer)

Die Autoren schlagen STRIDE vor, was für Stepwise Trajectory Redirection with In-context Deep Evaluation (Schrittweise Umleitung der Trajektorie mit kontextueller Tiefenbewertung) steht.

Anstelle einer stummen Punktzahl führt STRIDE einen generativen Verifizierer ein. Stellen Sie sich dies als Trainer-Assistenten vor, der neben dem Schüler sitzt und das Problem in Echtzeit durchgeht.

So funktioniert STRIDE in drei Phasen, wie ein Trainingslager:

Phase 1: Das Aufwärmen (Basis-Policy)

Der KI-Schüler versucht, Probleme allein zu lösen. Am ganz Ende erhält er eine einfache „Richtig/Falsch"-Punktzahl. Dies baut ein grundlegendes Fundament auf, genau wie das Erlernen der Spielregeln.

Phase 2: Den Trainer schulen (Der Verifizierer)

Nun trainiert das System eine zweite KI (den Verifizierer), um als Trainer zu fungieren.

Die Magie: Der Trainer wird nicht von einem Menschen unterrichtet, der ihm eine Liste mit richtigen/falschen Antworten für jeden Schritt gibt (was zu teuer und langsam wäre). Stattdessen lernt der Trainer, indem er den Schüler beim Lösen von Problemen beobachtet und prüft, ob die endgültige Antwort richtig war.
Die Fähigkeit: Im Laufe der Zeit lernt der Trainer, die unordentliche Arbeit des Schülers zu betrachten und zu sagen: „Moment, in Schritt 3 haben Sie vergessen, die 1 zu übertragen" oder „Sie haben hier einen logischen Schritt übersprungen." Er lernt, eine einfache „Falsch"-Punktzahl in ein detailliertes, schriftliches Feedback umzuwandeln.

Phase 3: Das „Nochmal" mit Anleitung (Trajektorien-Umleitung)

Dies ist die Kerninnovation. Wenn der Schüler ein Problem nicht löst:

Den ersten Fehler finden: Der Trainer (Verifizierer) durchsucht die Arbeit des Schülers und findet den ersten Fehlerpunkt (First Point of Failure, FPF). Er identifiziert genau, wo die Logik zusammengebrochen ist.
Die „Umleitung": Anstatt den Schüler zu zwingen, das gesamte Problem von vorne zu beginnen (was verschwenderisch wäre), sagt das System: „Okay, bis Schritt 2 lief es großartig. Lassen Sie uns dort aufhören. Hier ist meine schriftliche Notiz, die erklärt, warum Schritt 3 gescheitert ist. Versuchen Sie nun, den Rest des Problems erneut zu lösen, beginnend bei Schritt 2, unter Verwendung meines Ratschlags."
Multi-Punkt-Strategie: Manchmal wurde der Fehler in Schritt 3 tatsächlich durch eine „schlechte Wahl" in Schritt 1 verursacht, die zu diesem Zeitpunkt noch in Ordnung erschien. STRIDE ist intelligent genug zu sagen: „Lassen Sie es uns versuchen, neu zu starten bei Schritt 1 und Schritt 2", wodurch dem Schüler mehrere Chancen gegeben werden, einen besseren Weg zu finden.

Warum dies eine große Sache ist

Die Arbeit behauptet, dass dieser Ansatz zwei Hauptprobleme löst:

Das „Schweigen" brechen: Durch die Verwendung von Sprachfeedback (Wörtern) anstelle von nur skalaren Belohnungen (Zahlen) erhält die KI eine viel reichhaltigere Erklärung. Es ist der Unterschied zwischen einem Lehrer, der ein „F" sagt, und einem Lehrer, der sagt: „Sie haben vergessen, das negative Vorzeichen zu verteilen."
Das „Unlösbare" lösen: Die Autoren fanden heraus, dass bei sehr schwierigen Problemen, bei denen die KI normalerweise 0 % richtig liegt, Standardmethoden aufgeben, weil sie kein nützliches Signal erhalten. STRIDE kann jedoch immer noch lernen. Selbst wenn die KI scheitert, kann der Trainer den Fehler aufzeigen, und die KI kann ab diesem spezifischen Punkt einen anderen Weg versuchen, um schließlich den Code zu knacken.

Zusammenfassung der Analogie

Alter Weg: Sie machen einen Test. Sie erhalten eine „0/100". Sie haben keine Ahnung, was Sie lernen sollen.
Vorherige „Schritt"-Methode: Sie erhalten einen Test mit „Schritt 1: 10/10, Schritt 2: 0/10". Sie wissen, wo Sie gescheitert sind, aber nicht warum.
STRIDE: Sie machen einen Test. Sie erhalten eine „0/100", aber Ihr Lehrer gibt Ihnen auch eine schriftliche Notiz, die besagt: „Sie sind bei Schritt 2 stecken geblieben, weil Sie die falsche Formel verwendet haben. Gehen wir zurück zu Schritt 1, schauen wir uns diese Notiz an und versuchen einen anderen Ansatz."

Die Ergebnisse

Die Arbeit testete dies an schwierigen Mathematik- und Logikrätseln.

STRIDE schlug alle anderen aktuellen Methoden (einschließlich der vorherigen State-of-the-Art).
Es funktionierte bei Mathematikaufgaben, Programmierherausforderungen und Logikrätseln.
Am wichtigsten ist, dass es gelang, Probleme zu lösen, die zuvor als „unmöglich" für diese Modelle galten, und eine 0-%-Erfolgsrate in eine Lernmöglichkeit verwandelte.

Kurz gesagt, lehrt STRIDE die KI, aus ihren Fehlern zu lernen, indem sie mit sich selbst spricht, anstatt nur blind zu raten.

Technische Zusammenfassung: STRIDE – Lernbares schrittweises Sprachfeedback für das Schlussfolgern von LLMs

1. Problemstellung

Jüngste Fortschritte beim Schlussfolgern von Large Language Models (LLMs) wurden durch Reinforcement Learning aus verifizierbaren Belohnungen (RLVR) vorangetrieben. Allerdings stoßen bestehende Ansätze auf zwei kritische Einschränkungen:

Informationsengpass skalärer Belohnungen: Prozess-Belohnungsmodelle (PRMs) versuchen, eine Überwachung auf Ebene der einzelnen Schritte bereitzustellen, verlassen sich jedoch auf skalare Scores. Das Komprimieren hochdimensionaler Schlussfolgerungspfade in einzelne numerische Werte erzeugt einen Informationsengpass, bei dem semantisch unterschiedliche Fehlermodi (z. B. Rechenfehler versus logische Sprünge) in identische Scores kollabieren und somit unzureichende semantische Bandbreite zur Anleitung von Korrekturen bieten.
Einschränkungen bestehenden Sprachfeedbacks: Obwohl kritikbasierte Methoden reichhaltigeres textuelles Feedback bieten, verlassen sie sich oft auf eingefrorene oder externe Kritiker, was Skalierbarkeit und Anpassungsfähigkeit einschränkt. Darüber hinaus wandeln neuere Co-Training-Frameworks (z. B. TANGO), die generative Verifizierer nutzen, Sprachausgaben häufig zurück in skalare Belohnungen um und führen damit denselben Informationsengpass wieder ein.
Kreditvergabe: Outcome-basiertes RL liefert kein Feedback zu einzelnen Schlussfolgerungsschritten, sodass das Problem der „Kreditvergabe" (Identifizierung, welche spezifischen Schritte zum Erfolg oder Misserfolg führten) beim mehrstufigen Schlussfolgern weitgehend ungelöst bleibt.

2. Methodik: Das STRIDE-Framework

STRIDE (Learnable Stepwise Language Feedback) schlägt einen Paradigmenwechsel von skalärer Prozessüberwachung hin zu lernbarem, schrittweisem Sprachfeedback vor. Es verwendet einen interleaveden Dreiphasen-Trainingsplan, der einen Generator ( $G_\theta$ ) und einen generativen Verifizierer ( $V_\phi$ ) umfasst, die gemeinsam unter Verwendung ausschließlich outcome-basierter Belohnungen (ohne Annotationen auf Schrittebene) trainiert werden.

Kernkomponenten

Co-Training von Generator und Verifizierer: Beide Modelle werden mittels Group Relative Policy Optimization (GRPO) unter Verwendung ausschließlich der Korrektheit des Endergebnisses ( $c^*$ ) optimiert. Der Verifizierer lernt, die terminale Belohnung in sprachliche Kritiken auf Schrittebene ( $v_t$ ) zu zerlegen, ohne explizite Labels auf Schrittebene.
Phase I: Optimierung der Basisrichtlinie: Der Generator wird auf Outcome-Belohnungen trainiert, um grundlegende Schlussfolgerungsfähigkeiten aufzubauen. Diese Phase nimmt den Großteil des Trainingsplans ein (9/13).
Phase II: Optimierung des generativen Verifizierers: Der Verifizierer wird trainiert, hochwertige sprachliche Kritiken ( $v = (v_1, ..., v_T)$ ) für jeden Schlussfolgerungsschritt zu generieren. Er lernt, Fehler zu lokalisieren und sprachlich zu erklären, und fungiert effektiv als „Kontextueller Navigator".
Phase III: Gesteuerte Umleitung von Trajektorien: Dies ist die Kerninnovation. Wenn der Generator scheitert, identifiziert der Verifizierer den ersten Fehlerpunkt (First Point of Failure, FPF), bezeichnet als $t^*$ $t^{*}$ . Anstatt von vorne zu beginnen, setzt STRIDE eine Multi-Point-Redirection-Strategie ein:
- Anker: Es werden Umleitungsproben aus allen Präfix-Schritten $t \in [1, t^*]$ konstruiert, nicht nur aus dem FPF.
- Anweisungen:
  - Korrektur-Prompt ( $t=t^*$ ): Der Generator wird angewiesen, den spezifischen logischen Fehlschluss zu korrigieren, der vom Verifizierer identifiziert wurde.
  - Explorations-Prompt ( $t<t^*$ ): Der Generator wird angewiesen, die Schlussfolgerung von einem verifizierten Präfix fortzusetzen, was die Entdeckung alternativer, robusterer Pfade fördert (Adressierung von „latenter Drift", bei der frühe suboptimale Entscheidungen zu späteren Fehlern führen).
- Trainingsstabilität: Entscheidend wird die Vorteilsfunktion in Phase III strikt auf Basis der Korrektheit des Endergebnisses der umgelenkten Trajektorie berechnet. Dies stellt sicher, dass selbst wenn das sprachliche Feedback des Verifizierers verrauscht oder halluziniert ist, die Richtlinienaktualisierung im verifizierbaren Ergebnis verankert bleibt und schädliches Gradientenrauschen verhindert wird.

3. Hauptbeiträge

Paradigmenwechsel hin zu Feedback mit hoher Bandbreite: Der Artikel schlägt einen Wechsel der Prozessüberwachung von eindimensionalen skalaren Belohnungen hin zu lernbarem, im Kontext befindlichem Sprachfeedback vor. Dies erschließt reichhaltigere Trainingssignale, die qualitativ unterschiedliche Fehlermodi unterscheiden können.
Das STRIDE-Framework: Ein interleaveder Dreiphasen-Co-Trainingsplan, der eine Multi-Point-Redirection-Strategie integriert. Es nutzt verifizierte semantische Anker, um den Raum der Schlussfolgerungsexploration effizient einzuschränken und ermöglicht dem Modell, aus zuvor unlösbaren Problemen zu lernen.
Robustheit gegenüber Verifizierer-Rauschen: Durch die strikte Verankerung der Lernsignale an der Korrektheit des Ergebnisses gewährleistet STRIDE eine „harmlose Verbesserung der Richtlinie". Selbst bei unvollkommener Fehlerlokalisierung durch den Verifizierer garantiert das Framework eine nicht-negative Verbesserung, da nur erfolgreiche Umleitungen zu Richtlinienaktualisierungen beitragen.

4. Experimentelle Ergebnisse

Experimente wurden an diversen Benchmarks durchgeführt, darunter mathematisches Schlussfolgern (MATH-500, AIME 2024/2025, AMC 2023, OlympiadBench) und schlussfolgerndes Denken außerhalb des Domänenbereichs (BoardgameQA, CRUXEval, StrategyQA, TableBench).

Leistung: STRIDE übertrifft State-of-the-Art-Baselines, einschließlich des reinen outcome-basierten RL (GRPO) und des skalaren Belohnungs-Co-Training-Frameworks TANGO, signifikant.
- Auf Qwen2.5-7B erreichte STRIDE 84,6 auf MATH-500 im Vergleich zu TANGO mit 81,4 und GRPO mit 74,6.
- Auf Llama-3.1-8B erreichte STRIDE 70,4 auf MATH-500 und übertraf TANGO (69,2) sowie GRPO (66,8).
- Die Verbesserungen waren bei logischen, Code-, Common-Sense- und tabellarischen Schlussfolgerungsaufgaben konsistent, was eine Generalisierung über die Mathematik hinaus belegt.
Probleme mit Null-Pass-Rate: In Ablationsstudien erreichte STRIDE eine Korrekturerfolgsrate (Correction Success Rate, CSR) von 6,8 % bei Problemen, bei denen alle skalaren Belohnungsbaselines ein Gradientensignal von null lieferten (d. h. Probleme, die das Modell zunächst nicht lösen konnte). Dies demonstriert die Fähigkeit des Frameworks, unlösbare Instanzen in produktive Lernsignale umzuwandeln.
Trainingsdynamik:
- Qualität des Verifizierers: Die Genauigkeit der Fehlerlokalisierung auf Schrittebene und die Nützlichkeit der Kritiken des Verifizierers verbesserten sich während des Trainings stetig, was bestätigt, dass eine Überwachung auf Ergebnisebene ausreicht, um zuverlässige Fähigkeiten auf Prozessebene zu entwickeln.
- Exploration: STRIDE behielt eine konsistent höhere Richtlinientropie bei als skalare Belohnungsbaselines, was eine vorzeitige Konvergenz und einen Zusammenbruch der Repräsentation verhinderte.
- Schlussfolgerungstiefe: Die Umleitungsphasen förderten das Entstehen tieferer, strukturell komplexerer Schlussfolgerungsketten, die durch unabhängiges Sampling nicht erzeugt werden konnten.

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass STRIDE den fundamentalen repräsentativen Zusammenbruch adressiert, der skalaren Belohnungssystemen innewohnt. Durch die Nutzung von lernbarem schrittweisem Sprachfeedback bietet das Framework die semantische Richtung, die notwendig ist, um spezifische Schlussfolgerungsfehler zu lokalisieren und zu korrigieren.

Die Autoren betonen, dass die Wirksamkeit von STRIDE aus dem Paradigmenwechsel in der Überwachung resultiert und nicht aus einem erhöhten Rechenbudget. Rechen-mitgenommene Baselines (Erhöhung der Trainingsschritte oder der Batch-Größe) zeigten im Vergleich zum Leistungssprung von STRIDE vernachlässigbare Gewinne. Darüber hinaus zeigt das Framework, dass sprachliche Führung mit hoher Bandbreite auch bei unvollkommenen Verifizierern Vorteile bringen kann, was Bedenken hinsichtlich der Zuverlässigkeit erlernter Kritiker nimmt. Die Arbeit legt nahe, dass der Wechsel von skalärer zu sprachbasierter Prozessüberwachung ein gangbarer Weg ist, um Schlussfolgerungsplateaus bei LLMs zu überwinden und eine geführte Selbstkorrektur anstelle einer exhaustiven Stichprobenziehung zu ermöglichen.