🤖 AI

SAPO: Single-Rollout Autoregressive Policy Optimization for Agentic Reinforcement Learning

Dieses Paper stellt SAPO vor, ein speichereffizientes und rechenoptimiertes Framework für agentisches Reinforcement Learning, das ein gemeinsames autoregressives Backbone für Policy- und Value-Funktionen nutzt, um eine überlegene Leistung und Stabilität gegenüber bestehenden Methoden wie PPO und GRPO zu erreichen, während gleichzeitig die Notwendigkeit eines separaten Critic-Modells eliminiert wird.

Ursprüngliche Autoren: Dayang Liang, Lang Feng, Bo An, Yunlong Liu

Veröffentlicht 2026-08-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dayang Liang, Lang Feng, Bo An, Yunlong Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der sich schnell entwickelnden Welt der künstlichen Intelligenz ist eine neue Grenze entstanden, an der Computerprogramme nicht mehr nur passive Textgeneratoren sind, sondern aktive Agenten, die in der Lage sind zu schlussfolgern, im Internet zu suchen und komplexe Probleme über viele Schritte hinweg zu lösen. Dieses Feld, bekannt als agentisches Reinforcement Learning, lehrt diese digitalen Assistenten, indem es sie erlaubt, Handlungen in einer simulierten Umgebung auszuprobieren und aus den Ergebnissen zu lernen. Stellen Sie sich einen Schüler vor, der eine Prüfung ablegt: Wenn er die richtige Antwort gibt, fühlt er sich gut; wenn er scheitert, versucht er herauszufinden, was schiefgelaufen ist. Für eine KI basiert dieser Lernprozess auf einem System, das in der Lage ist, auf eine lange Kette von Entscheidungen zurückzublicken und zu bestimmen, welcher spezifische Schritt zum Erfolg oder Misserfolg geführt hat. Traditionell erforderte dies ein schwerfälliges, zweiteiliges System: einen Teil, um zu entscheiden, was als Nächstes zu tun ist, und einen separaten, massiven „Kritiker“-Teil, um zu bewerten, wie gut die aktuelle Situation ist. Diese Trennung funktioniert gut, erfordert aber enorme Rechenleistung und Speicher, was den Lernprozess oft verlangsamt oder es zu teuer macht, auf Standard-Hardware ausgeführt zu werden.

Forscher haben kürzlich entdeckt, dass viele dieser KI-Agenten Schwierigkeiten haben, wenn das Feedback, das sie erhalten, spärlich oder verzögert ist, wie etwa das Warten bis ganz am Ende einer langen Aufgabe, um zu erfahren, ob sie erfolgreich waren. Bestehende Methoden, die versuchen, diesen Prozess zu vereinfachen, indem sie den separaten Kritiker entfernen, enden oft mit instabilem Lernen oder schlechter Leistung, da ihnen ein klarer Weg fehlt, die Verantwortung für einzelne Schritte in einer langen Sequenz zuzuweisen. Um dies zu lösen, hat ein Wissenschaftlerteam der Xiamen University und der Nanyang Technological University ein neues Framework namens SAPO entwickelt, was für Single-Rollout Autoregressive Policy Optimization steht. Anstatt zwei separate Modelle zu verwenden oder zu verlangen, dass die KI Dutzende verschiedener Versuche generiert, um aus einer einzigen Aufgabe zu lernen, lehrt SAPO ein einziges Sprachmodell, alles gleichzeitig zu tun. Es nutzt den natürlichen Fluss der Sprachgenerierung, um gleichzeitig eine Handlung zu entscheiden, den Zustand vor der Handlung zu bewerten und den Wert der Handlung selbst zu beurteilen – und das alles innerhalb eines kontinuierlichen Gedankenstroms.

Die Kerninnovation von SAPO liegt darin, wie es Informationen im „Gehirn“ der KI organisiert. In einer Standardkonversation oder Aufgabe liest die KI einen Prompt, denkt nach und schreibt dann eine Antwort. Die Forscher erkannten, dass der Moment unmittelbar vor dem Beginn des Schreibens einer Antwort der perfekte Zeitpunkt ist, um zu fragen: „Wie gut ist diese Situation?“, und der Moment unmittelbar nach Abschluss der Antwort der perfekte Zeitpunkt ist, um zu fragen: „Wie gut war diese spezifische Handlung?“ Durch das Platzieren dieser beiden Fragen an spezifischen, festen Punkten im Textgenerierungsprozess kann das Modell lernen, beides zu beantworten, ohne einen separaten Evaluator zu benötigen. Dieses Design ermöglicht es der KI, aus nur einem Versuch einer Aufgabe zu lernen, anstatt eine große Gruppe von Variationen generieren zu müssen, um diese miteinander zu vergleichen. Das System lernt effektiv, sein Verständnis von Wert über verschiedene Situationen hinweg zu generalisieren, wodurch sichergestellt wird, dass es nicht nur einen spezifischen Pfad zum Erfolg auswendig lernt, sondern die zugrunde liegende Logik versteht, warum ein Zug gut oder schlecht war.

Um diesen Ansatz zu testen, trainierte das Team die KI in zwei herausfordernden Umgebungen: einem simulierten Haushalt, in dem der Agent physische Aufgaben wie Reinigen oder Erhitzen von Gegenständen erledigen muss, und einem komplexen Web-Shopping-Szenario, in dem der Agent durch Websites navigieren muss, um spezifische Produkte zu finden. Sie verwendeten zwei verschiedene Größen von Sprachmodellen, eines mit 1,5 Milliarden Parametern und eines mit 7 Milliarden, um zu sehen, ob die Methode auf unterschiedlichen Skalen Bestand hat. Die Ergebnisse waren beeindruckend. Bei den Haushaltsaufgaben verbesserte die neue Methode die Erfolgsquote um mehr als 15 Prozentpunkte im Vergleich zur Standardmethode, die einen separaten Kritiker verwendet, und um über 12 Prozentpunkte im Vergleich zur führenden Methode, die versucht, die Verwendung eines Kritikers vollständig zu vermeiden. In den Web-Shopping-Aufgaben waren die Verbesserungen ähnlich signifikant, wobei die KI höhere Punktzahlen erreichte und mehr Aufgaben erfolgreich abschloss. Vielleicht am wichtigsten ist, dass die neue Methode dies bei deutlich geringerem Speicherverbrauch und einer etwa 33 Prozent schnelleren Ausführung pro Trainingsschritt als der traditionelle Ansatz erreichte, da sie die Notwendigkeit eliminierte, ein zweites, separates Modell zur Leistungsbewertung laufen zu lassen.

Der Erfolg dieses Frameworks deutet darauf hin, dass die Art und Weise, wie große Sprachmodelle Informationen verarbeiten, genutzt werden kann, um einige der schwierigsten Probleme beim Training von KI-Agenten zu lösen. Indem sie den Lernprozess mit der natürlichen Struktur der Sprachgenerierung in Einklang bringen, haben die Forscher gezeigt, dass es möglich ist, eine hohe Leistungsfähigkeit zu erreichen, ohne die schweren Rechenkosten für die Aufrechterhaltung separater Systeme für Entscheidungsfindung und Evaluierung zu tragen. Dieser Ansatz macht das Training nicht nur effizienter, sondern auch stabiler, wodurch Agenten in der Lage sind, selbst dann effektiv zu lernen, wenn die Belohnungen für ihre Handlungen verzögert oder selten eintreten. Während sich das Feld der künstlichen Intelligenz in Richtung der Schaffung autonomerer und fähigerer Agenten bewegt, bieten Methoden wie diese einen praktischen Weg nach vorn und beweisen, dass Effizienz und Hochleistung Hand in Hand gehen können, ohne die Fähigkeit zu opfern, aus komplexen, langfristigen Interaktionen zu lernen.

Technisches Resümee: SAPO (Single-Rollout Autoregressive Policy Optimization)

1. Problemstellung

Agentic Reinforcement Learning (RL) hat sich als eine kritische Post-Training-Phase für Large Language Models (LLMs) etabliert, die es ihnen ermöglicht, langfristige interaktive Aufgaben wie Schlussfolgerungen (Reasoning), Werkzeugnutzung und Web-Navigation durchzuführen. Während bestehende Methoden bereits Erfolge erzielt haben, stehen sie vor drei primären Einschränkungen:

Mangel an expliziter Wert-Generalisierung: Kritikerfreie, gruppenseitige Methoden (z. B. GRPO) schätzen Advantages durch die Normalisierung von Belohnungen über mehrere gesampelte Trajektorien hinweg. Dieser Ansatz versagt dabei, eine generalisierte Value-Funktion zu erlernen, die in der Lage ist, Credit unabhängig von der Gruppe spezifischen Zuständen oder Prompts zuzuweisen, was zu einer schwachen zeitlichen Credit-Assignment führt.
Advantage-Kollaps: In Aufgaben mit langem Zeithorizont und spärlichem Feedback (sparse feedback) ist es üblich, dass alle Rollouts innerhalb einer Gruppe identische oder nahezu identische Belohnungen erhalten. Dies führt dazu, dass die normalisierten Advantages verschwinden, was zu Regionen mit Null-Gradienten oder „Advantage-Kollaps“ führt, wodurch das Lernen zum Erliegen kommt.
Ineffiziente Abwägung: Gruppenseitige Methoden erfordern einen kostspieligen Kompromiss zwischen dem Sampling-Budget und der Performance. Kleine Gruppen liefern verrauschte Baselines, während große Gruppen die Stabilität auf Kosten massiver Rechenkosten und Synchronisationsbarrieren verbessern. Umgekehrt bietet das traditionelle Proximal Policy Optimization (PPO) mit einem gelernten Critic zwar eine explizite Value-Lernfähigkeit, verursacht jedoch einen erheblichen Speicher- und Rechenaufwand, da ein separates Critic-Modell in der Größenordnung der Policy benötigt wird.

Derzeitige Versuche, diese Probleme zu mildern (z. B. DAPO, ReMax, VinePPO), hängen entweder weiterhin von multiplen Rollouts ab, behalten eine grobe Credit-Assignment bei oder erfordern separate Value-Netzwerke, die die Parameter duplizieren. Es besteht ein Bedarf an einem Framework, das effizientes Single-Rollout-Lernen mit expliziter temporaler Value-Schätzung unterstützt, ohne ein separates Critic-Modell zu unterhalten.

2. Methodik: SAPO

Die Autoren schlagen Single-Rollout Autoregressive Policy Optimization (SAPO) vor, ein speichereffizienteses und recheneffizientes Framework, das Policy- und Value-Learning innerhalb eines einzigen autoregressiven Backbones vereinigt.

Kernarchitektur: Autoregressiver Actor-Critic

SAPO nutzt die kausale Struktur von LLMs, um die Policy, den Zustanswert ( $V$ ) und den Aktionswert ( $Q$ ) innerhalb eines einzigen Modellstroms darzustellen.

Kausale Grenzen: Die Methode identifiziert zwei distinkte kausale Grenzen innerhalb eines Agenten-Turns:
1. Pre-action boundary: Der Zustands-Kontext ( $c^s_t$ $c_{t}^{s}$ ) vor der Generierung der Aktion.
  1. Post-action boundary: Der Zustands-Kontext, der mit der generierten Aktion konkateniert ist ( $c^{s,a}_t$ ).
Shared Backbone: Dasselbe Transformer-Modell generiert die Aktions-Token zwischen diesen Grenzen.
Two-Token Value Basis: Anstatt eines separaten Value-Heads reserviert SAPO zwei spezifische Vokabular-Token ( $w^+$ $w^{+}$ und $w^-$ $w^{-}$ ) exklusiv als Value-Basis. Das Modell liest die Logits dieser beiden Token an den jeweiligen kausalen Grenzen aus, um normalisierte skalare Werte zu berechnen:
- $V_\theta(s_t)$ wird an der Pre-action boundary gelesen.
- $Q_\theta(s_t, a_t)$ wird an der Post-action boundary gelesen.
- Der Wert wird aus der Differenz der Logits abgeleitet, in den normalisierten Bereich $[-1, 1]$ geclippt und mit dem maximal möglichen Return ( $R_{max}$ ) skaliert.
Policy-Trennung: Die reservierten Value-Token werden während der Policy-Generierung und der Wahrscheinlichkeits-Normalisierung aus dem Aktions-Vokabular ausgeschlossen, um sicherzustellen, dass sie die Aktionsverteilung nicht beeinflussen.

Single-Rollout Advantage-Schätzung

Im Gegensatz zu gruppenseitigen Methoden sampelt SAPO nur eine einzige Trajektorie pro Aufgabe.

Trajectory-Level GAE: Die Methode verwendet einen Generalized Advantage Estimator (GAE), der verzögerte terminale Belohnungen mittels der gelernten Zustanswerte ( $V$ ) rückwärts durch die Trajektorie propagiert.
Targets:
- Der Zustanswert (State Value) wird auf den $\lambda$ -Return trainiert (Propagierung langfristiger Ergebnisinformationen).
- Der Aktionswert (Action Value) wird auf einen On-Policy-SARSA-Target trainiert (Verankerung der Post-action boundary in unmittelbaren Konsequenzen).
Batch-Normalisierung: Um das Training ohne Gruppenstatistiken zu stabilisieren, werden Turn-level Advantages unter Verwendung von Batch-Statistiken ( $\mu_B, \sigma_B$ ) über den aktuellen Trainings-Batch hinweg normalisiert, bevor sie auf alle Tokens der Aktion übertragen werden.

Gemeinsame Optimierung

SAPO optimiert eine vereinheitlichte Zielfunktion in einem einzigen Backward-Pass:

Token-Level Policy Loss: Ein geklappter PPO-ähnlicher Loss unter Verwendung der batch-normalisierten Advantages.
Value Losses: Geklappte Regressionsverluste für sowohl $V$ - als auch $Q$ -Objectives, die über Turns statt über Tokens gemittelt werden, um eine gleichmäßige Gewichtung jeder Entscheidung unabhängig von der Antwortlänge zu gewährleisten.
Regularisierung: Beinhaltet die KL-Divergenz gegenüber einer Referenz-Policy sowie Entropie-Regularisierung.

3. Zentrale Beiträge

Vereinheitlichte Architektur: Einführung einer Single-Rollout Autoregressive Actor-Critic-Architektur, die Policy, State Value und Action Value gemeinsam durch kausale Boundary-Readouts repräsentiert und trainiert, wodurch die Notwendigkeit eines separaten Critic-Netzwerks entfällt.
Neuartiger Estimator: Entwicklung eines Trajektorien-basierten Advantage-Estimators, der $\lambda$ -Returns mit Batch-Normalisierung kombiniert und so eine explizite Turn-level Credit-Assignment ermöglicht, ohne auf gruppenseitiges Sampling angewiesen zu sein.
Effizienz und Stabilität: Nachweis, dass dieses vereinheitlichte Framework ein günstiges Gleichgewicht zwischen Performance, Trainingsstabilität, Speichereffizienz und Laufzeiteffizienz bei langfristigen agentischen Aufgaben erreicht.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SAPO auf den Benchmarks ALFWorld (embodied reasoning) und WebShop (web navigation) unter Verwendung von Qwen2.5-1.5B und Qwen2.5-7B Backbone-Modellen.

Performance: SAPO übertraf Standard-PPO und GRPO konsistent.
- Auf ALFWorld mit Qwen2.5-1.5B erreichte SAPO eine aggregierte Erfolgsrate von 90,1 %, was eine Verbesserung gegenüber PPO und GRPO um jeweils +35,7 bzw. +17,3 Prozentpunkte bedeutet.
- Auf WebShop erzielte SAPO eine Score-Verbesserung von +8,4 Punkten und eine Steigerung der Erfolgsrate um +12,2 Punkte gegenüber PPO.
- Über alle Experimente hinweg (zusammengefasst im Abstract) trainiert SAPO stabil und übertrifft PPO und GRPO im Mittel um +15,1 bzw. +12,1 Prozentpunkte.
- Mit dem 7B-Modell erreichte SAPO 94,0 % Erfolg in ALFWorld und einen WebShop-Score von 88,6 mit 82,4 % Erfolgsrate, womit es sowohl PPO als auch GRPO sowie jüngste Varianten über alle drei aggregierten Metriken hinweg übertraf.
Effizienz:
- Speicher: SAPO eliminiert den Speicherbedarf eines separaten Critic-Modells (welches typischerweise die Größe der Policy hat).
- Laufzeit: SAPO reduzierte die Laufzeit pro Iteration um 33,2 % im Vergleich zu PPO. Die Haupteinsparungen resultierten aus dem Wegfall der separaten Value-Inferenz und der Critic-Optimierungsphase, was die Gesamtdauer pro Iteration auf ALFWorld von 451,2s auf 301,4s senkte.
Stabilität: Die Methode trainierte stabil mit nur einem Rollout pro Prompt und vermied die Probleme des Advantage-Kollapses, die bei gruppenseitigen Methoden unter spärlichem Feedback auftreten.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass SAPO das Spannungsfeld zwischen der expliziten Value-Generalisierung von Actor-Critic-Algorithmen und der Speicher-/Recheneffizienz von kritikfreien, gruppenseitigen Optimierungen auflöst.

Architektonische Ausrichtung: Die Autoren argumentieren, dass der für das Actor-Critic-Lernen erforderliche Informationsfluss natürlich mit der kausalen Ordnung der Sprachgenerierung korreliert. Durch die Nutzung dieser Ausrichtung ermöglicht SAPO ein effizientes Value-basiertes Optimieren innerhalb eines einzigen kausalen Modells.
Skalierbarkeit: Das Framework zeigt, dass explizites Value-Learning keine duplizierten Modelle oder kostspieliges Sampling erfordert und somit einen gangbaren Weg zu effizientem, langfristigem agentischem RL bietet.
Generalisierung: Die Ergebnisse legen nahe, dass die architektonische Ausrichtung zwischen autoregressiver Modellierung und Actor-Critic-Lernen die Abhängigkeit von aufgabenspezifischem, dichtem Reward-Engineering reduzieren kann, da die Methode gut mit spärlichen Outcome-Belohnungen funktioniert.

Das Paper schließt mit der Feststellung, dass SAPO einen bedeutenden Schritt darstellt, um agentisches RL für komplexe, Multi-Turn-Interaktionen skalierbarer und praktischer zu machen.