💬 NLP

StepPO: Step-Aligned Policy Optimization for Agentic Reinforcement Learning

Die Arbeit stellt StepPO vor, ein neues Paradigma für das Reinforcement Learning von Agenten, das die Optimierung von der Token- auf die Schrittebene verlagert, um durch schrittweise Kreditvergabe und eine schrittweise MDP-Formulierung die Entscheidungsfindung und Werkzeugnutzung von LLM-Agenten in mehrstufigen Interaktionen effektiver zu verbessern.

Ursprüngliche Autoren: Daoyu Wang, Qingchuan Li, Mingyue Cheng, Jie Ouyang, Shuo Yu, Qi Liu, Enhong Chen

Veröffentlicht 2026-04-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Daoyu Wang, Qingchuan Li, Mingyue Cheng, Jie Ouyang, Shuo Yu, Qi Liu, Enhong Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du unterrichtest einen sehr klugen, aber manchmal etwas verwirrten Roboter, wie man komplexe Aufgaben erledigt – zum Beispiel, wie man eine Reise plant, ein Haus baut oder ein Programm schreibt.

Bisher haben wir diesen Roboter auf eine sehr spezifische Weise trainiert: Wir haben ihm gesagt: „Jedes einzelne Wort, das du schreibst, ist wichtig. Wenn das Wort 'Hilfe' gut war, bekommst du einen Punkt. Wenn das Wort 'Fehler' war, verlierst du einen Punkt."

Das funktioniert gut, wenn der Roboter nur einen kurzen Satz schreiben muss. Aber wenn er eine ganze Reise planen muss, bei dem er viele Schritte unternimmt (Flug buchen, Hotel finden, Mietwagen reservieren), wird diese Methode zum Albtraum. Der Roboter weiß am Ende nicht mehr, welche Entscheidung ihn zum Erfolg geführt hat, weil er nur auf die einzelnen Buchstaben und Wörter geachtet hat.

Hier kommt StepPO ins Spiel. Das ist ein neuer, cleverer Ansatz, um solche KI-Agenten zu trainieren. Hier ist die Erklärung in einfachen Worten:

1. Das Problem: Der falsche Maßstab

Stell dir vor, du trainierst einen Schachspieler.

Der alte Weg (Token-Level): Du sagst dem Spieler nach jedem einzelnen Zug: „Gut gemacht!" oder „Schlecht!". Aber im Schach ist ein einzelner Zug oft nur ein kleiner Teil einer Strategie. Manchmal ist ein Zug gut, führt aber zu einer schlechten Position, weil der ganze Plan falsch war. Oder umgekehrt: Ein Zug sieht dumm aus, war aber der entscheidende Schritt für den späteren Sieg.
Das Problem: Wenn du nur auf die einzelnen Wörter (Tokens) achtest, wie bei einem Textgenerator, verlierst du den Überblick über den ganzen Gedanken. Der Roboter lernt, Wörter zu produzieren, aber nicht, wie man Probleme löst.

2. Die Lösung: StepPO (Schritt-für-Schritt-Optimierung)

StepPO sagt: „Halt! Wir müssen die Einheit ändern."

Statt jeden einzelnen Buchstaben zu bewerten, bewerten wir den ganzen Schritt.

Die Analogie: Stell dir vor, du leitest ein Team.
- Alt: Du sagst jedem Mitarbeiter nach jedem Satz, den er in einem Bericht schreibt, ob er gut war.
- Neu (StepPO): Du sagst dem Mitarbeiter nach jedem Abschnitt oder jeder Erledigung: „Du hast das Hotel gebucht. Das war ein guter Schritt für unsere Reise!" oder „Du hast das falsche Flugticket gekauft. Das war ein schlechter Schritt."

In StepPO ist ein „Schritt" nicht ein Wort, sondern eine komplette Handlung: „Ich habe nach einem Restaurant gesucht, habe die Ergebnisse gelesen und habe einen Tisch reserviert." Das ist eine Einheit.

3. Warum ist das besser? (Die Belohnung)

Wenn der Roboter eine lange Reise plant, kommt die Belohnung (der Erfolg) oft erst am Ende.

Beim alten Weg: Der Roboter weiß nicht, ob er für den Erfolg des Hotels oder für den Erfolg des Flugtickets verantwortlich war. Er bekommt nur eine vage Belohnung für den ganzen Text.
Beim neuen Weg (StepPO): Wir können genau sagen: „Der Schritt 'Flug buchen' war gut, weil er uns Zeit gespart hat." Wir geben die Belohnung genau dem Moment, in dem die Entscheidung getroffen wurde. Das nennt man Schritt-Alignment.

4. Die technische Seite (Ohne Kopfschmerzen)

Damit das funktioniert, muss das ganze System umgebaut werden:

Die Akte (Daten): Früher wurde alles als ein langer Textblock gespeichert. Jetzt speichern wir es wie eine Liste von Aufgaben: „Schritt 1: Frage stellen -> Antwort erhalten. Schritt 2: Werkzeug nutzen -> Ergebnis erhalten."
Die Werkstatt (System): Da diese Schritte manchmal lange dauern (der Roboter muss warten, bis ein Werkzeug antwortet), muss das Trainingssystem flexibel sein. Es darf nicht warten, bis alles fertig ist, sondern kann parallel arbeiten, wie ein gut organisierter Küchenchef, der mehrere Töpfe gleichzeitig bedient.

5. Das Ergebnis

In Tests (zum Beispiel bei der Beantwortung von schwierigen Fragen, bei denen man viele Quellen lesen muss) hat sich gezeigt:
Der Roboter, der mit StepPO trainiert wurde, wird viel besser darin, komplexe Aufgaben zu lösen. Er versteht den Zusammenhang zwischen seinen Handlungen und dem Endergebnis viel besser als der Roboter, der nur auf einzelne Wörter geachtet hat.

Zusammenfassung in einem Satz

StepPO ist wie ein neuer Trainer für KI-Agenten, der ihnen nicht mehr sagt, ob jedes einzelne Wort gut war, sondern ihnen beibringt, welche ganzen Handlungsschritte sie zum Erfolg führen – genau wie ein guter Coach, der einem Sportler sagt: „Das war ein guter Taktikwechsel", statt nur: „Das war ein guter Ballpass".

Das Ziel ist es, KIs von bloßen Textschreibern zu echten Problemlösern zu machen, die komplexe Aufgaben selbstständig und klug bewältigen können.

1. Problemstellung

Das Paper adressiert die wachsende Lücke zwischen der aktuellen Architektur von Reinforcement Learning (RL) für Large Language Models (LLMs) und den Anforderungen moderner, autonomer Agenten (Agentic RL).

Granularitäts-Mismatch: Herkömmliche RL-Methoden für LLMs (wie RLHF, PPO, GRPO) basieren auf einer token-level (Token-Ebene) Formulierung des Markov-Entscheidungsprozesses (MDP). Dabei wird jedes generierte Token als eine separate Aktion betrachtet.
Herausforderungen bei Agenten: Autonome Agenten operieren jedoch in Multi-Turn-Interaktionen mit Werkzeugen und Umgebungen. Die sinnvollen Entscheidungseinheiten sind hier keine einzelnen Token, sondern komplette Interaktionsschritte (z. B. ein Werkzeugaufruf, eine Planung oder eine Antwort auf eine Beobachtung).
Folgen des bestehenden Ansatzes:
- Verzögerte und sparse Rewards: Belohnungen kommen oft erst nach mehreren Schritten zurück. Eine Token-level-Zuordnung führt zu verrauschten oder verwässerten Lernsignalen.
- Retokenization Drift: Wenn Interaktionsverläufe als Text gespeichert und später erneut tokenisiert werden, entstehen Inkonsistenzen zwischen dem Rollout (Generierung) und dem Training, da Token-zu-Text-Mappings oft nicht reversibel sind.
- Systemische Ineffizienz: Lange Kontexte und asynchrone Abläufe werden durch starre Token-Streams ineffizient verwaltet.

2. Methodik: StepPO (Step-Aligned Policy Optimization)

StepPO schlägt einen Paradigmenwechsel vor, bei dem die gesamte Optimierungskette – von der Modellierung bis zum Systemdesign – auf der Ebene des Interaktionsschritts (Step) statt auf der Ebene des Tokens basiert.

A. Vom Token-Level zum Step-Level MDP

Statt den MDP als Sequenz von Token-Transitions $(s_i, a_i, r_i)$ zu definieren, wird er als Sequenz von Interaktionsschritten neu formuliert:

Zustand ( $s_t$ ): Die vollständige Beobachtung/Kontext, die dem Agenten zu Schritt $t$ vorliegt.
Aktion ( $a_t$ ): Der komplette Interaktionsschritt (z. B. ein ganzer Tool-Call oder eine Antwortsequenz), nicht nur ein Token.
Übergang: Die Umgebung verarbeitet $a_t$ und liefert eine neue Beobachtung $s_{t+1}$ sowie eine Belohnung $r_t$ .
Vorteil: Dies bildet die kausale Struktur des Agentenverhaltens (Beobachtung $\to$ Entscheidung $\to$ Umgebungsreaktion) korrekt ab.

B. Step-Level Credit Assignment (Gutschriftszuweisung)

Die Optimierung muss mit der Granularität des MDP übereinstimmen.

Problem bei Token-Level: Belohnungen werden auf einzelne Token verteilt, was bei verzögerten Rewards zu falschen Attributionen führt.
Problem bei Trajectory-Level: Die gesamte Trajektorie erhält ein einziges Signal, was zu grob ist, um den Beitrag einzelner Entscheidungen zu isolieren.
Lösung (StepPO): Die Verwendung einer Step-Level Generalized Advantage Estimation (GAE).
- Der Vorteil $A_t$ wird basierend auf dem TD-Residuum $\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$ berechnet.
- Die Policy-Ratio wird über den gesamten Schritt $a_t$ (als Produkt der Token-Wahrscheinlichkeiten) berechnet, aber der Lernsignal ( $A_t$ ) wird dem gesamten Schritt zugeordnet.
- Dies ermöglicht es, frühe, entscheidende Schritte (z. B. das richtige Werkzeug wählen) auch dann zu belohnen, wenn die finale Belohnung erst später eintrifft.

C. Trajektorien-Repräsentation und Systemdesign

Um Retokenization Drift zu vermeiden und Effizienz zu steigern, wird eine strukturierte Step-Level-Repräsentation gefordert:

Daten werden nicht als flache Text- oder Token-Streams gespeichert, sondern als strukturierte Einheiten $(s_t, a_t, r_t, \text{Metadaten})$ .
Dies ermöglicht präzises Context-Management (z. B. Zusammenfassen von Zwischenschritten) ohne die Token-Konsistenz zu brechen.
Systemarchitektur: Das Paper fordert asynchrone Trainingspipelines mit Gateway- und DataPool-Architekturen (wie in Claw-R1 umgesetzt), um heterogene Agenten zu unterstützen und Shared-Prefix-Reuse für lange Kontexte zu ermöglichen.

3. Wichtige Beiträge

Theoretische Neuformulierung: Der Nachweis, dass das MDP für Agentic RL von Token- auf Step-Ebene verschoben werden muss, um die kausale Struktur von Agentenentscheidungen abzubilden.
Optimierungsalgorithmus: Die Einführung von StepPO, einem PPO-Varianten, der die Gutschriftszuweisung (Credit Assignment) strikt an Interaktionsschritte koppelt, anstatt an Token oder gesamte Trajektorien.
Systemische Perspektive: Die Identifizierung der notwendigen Systemänderungen (Datenrepräsentation, asynchrone Verarbeitung, Gateway-Design), um Step-Level-RL in der Praxis skalierbar zu machen.
Empirische Validierung: Experimente auf dem HotpotQA-Datensatz, die zeigen, dass Step-Level-Optimierung Token-Level-PPO in Multi-Step-Szenarien signifikant übertrifft.

4. Ergebnisse

In den Experimenten wurde StepPO gegen ein Standard-Token-Level-PPO auf der Basis von Qwen2.5-3B-Instruct für die Aufgabe HotpotQA (Multi-Step-Reasoning) verglichen:

Leistung: StepPO erzielte durchgehend höhere Scores als das Token-Level-Baseline.
Lernkurve: Die StepPO-Kurve lag während des gesamten Trainings über der Baseline, erreichte einen höheren Peak und zeigte eine stabilere Plateau-Phase in den mittleren und späteren Trainingsstadien.
Interpretation: Dies bestätigt, dass die Ausrichtung der Optimierung auf die Interaktionseinheit (Step) ein effektiveres Lernsignal für langfristige Agentenverhaltensweisen liefert als die Verteilung von Credits auf einzelne Token.

5. Bedeutung und Ausblick

StepPO bietet einen entscheidenden „Linsenwechsel" für die Community des Agentic Reinforcement Learning:

Paradigmenwechsel: Es markiert den Übergang von einer reinen Token-Generierungsperspektive hin zu einer Interaktions-Perspektive.
Praktische Relevanz: Da reale Agenten-Systeme (wie OpenClaw oder Claude Code) zunehmend komplexe, mehrstufige Aufgaben lösen, ist die Token-Level-Optimierung zunehmend unzureichend. StepPO liefert den theoretischen und systemischen Rahmen, um LLMs zu leistungsfähigeren General-Agenten weiterzuentwickeln.
Zukunft: Das Paper unterstreicht, dass algorithmische Fortschritte (Step-Level MDP) nur in Kombination mit geeigneter Dateninfrastruktur (asynchrone Systeme, strukturierte Datenspeicherung) erfolgreich skaliert werden können.

Zusammenfassend argumentiert das Paper, dass für den Erfolg von Agentic RL eine koordinierte Verschiebung von Token- zu Step-Ebene in der MDP-Formulierung, der Kreditvergabe und der Systemarchitektur notwendig ist.