💬 NLP

Claw-R1: A Step-Level Data Middleware System for Agentic Reinforcement Learning

Claw-R1 ist ein Schritt-Ebene-Daten-Middleware-System für agentisches Reinforcement Learning, das den vollständigen Lebenszyklus von Agent-Umwelt-Interaktionen verwaltet, indem es Interaktionsspuren erfasst, organisiert und zu trainingsbereiten Datenbeständen kuratiert.

Ursprüngliche Autoren: Daoyu Wang, Mingyue Cheng, Qingchuan Li, Shuo Yu, Jie Ouyang, Qi Liu

Veröffentlicht 2026-06-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Daoyu Wang, Mingyue Cheng, Qingchuan Li, Shuo Yu, Jie Ouyang, Qi Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen sehr intelligenten Roboter-Assistenten (einen KI-Agenten), um komplexe Aufgaben zu erledigen, wie etwa das Schreiben von Code oder das Surfen im Web. Um diesen Roboter intelligenter zu machen, verwenden Sie eine Methode namens Reinforcement Learning (RL). Denken Sie dabei an das Training eines Hundes: Wenn der Hund etwas richtig macht, geben Sie ihm ein Leckerli (eine „Belohnung“); wenn er etwas falsch macht, ignorieren Sie ihn. Mit der Zeit lernt der Hund, welche Handlungen zu Leckerlis führen.

Das Training dieser KI-Agenten ist jedoch unordentlich. Der Roboter interagiert in langen, komplizierten Gesprächen mit der Welt. Er schreibt vielleicht eine Zeile Code, prüft, ob sie funktioniert, behebt einen Fehler und schreibt dann die nächste Zeile. Dies erzeugt einen riesigen, chaotischen Datenstrom – wie ein unordentlicher Haufen aus Quittungen, Notizen und Kritzeleien, die nach jeder Aufgabe in den Müll geworfen werden.

Das Problem:
Derzeit sind die meisten KI-Trainingssysteme schlecht darin, dieses Chaos zu bewältigen. Sie behandeln diese Interaktionsdaten wie temporäre Protokolle (Logs). Wenn Sie das Verhalten des Roboters ändern oder zu einer anderen Trainingsmethode wechseln wollen, müssen Sie das gesamte System von Grund auf neu aufbauen, weil die Daten untrennbar mit der spezifischen Arbeitsweise des Roboters verknüpft sind. Es ist, als würde man versuchen, ein neues Rezept zu kochen, aber die Zutaten stecken noch in den alten Kochtöpfen fest.

Die Lösung: Claw-R1
Die Autoren dieses Papers haben ein System namens Claw-R1 entwickelt. Betrachten Sie Claw-R1 nicht als den Roboter selbst, noch als den Lehrer, sondern als einen hochorganisierten Bibliothekar und ein Datenlager, das zwischen dem Roboter und dem Lehrer sitzt.

So funktioniert es, unter Verwendung einiger Analogien:

1. Der Gateway-Server: Der „Universelle Übersetzer“

Stellen Sie sich vor, der Roboter spricht einen sehr spezifischen, chaotischen Dialekt. Der Gateway-Server fungiert als universeller Übersetther. Unabhängig davon, wie der Roboter mit der Welt interagiert (ob es sich um einen Black-Box-Dienst handelt, in den Sie nicht hineinschauen können, oder um einen White-Box-Agenten, den Sie selbst gebaut haben), fängt der Gateway jeden einzelnen Schritt des Gesprächs ab. Er übersetzt die chaotischen, rohen Interaktionen in ein sauberes, standardisiertes Format. Es ist so, als würde man ein chaotisches, handgeschriebenes Tagebuch nehmen und es in eine ordentliche, standardisierte Tabellenkalkulation übertragen.

2. Der Data Pool: Der „Intelligente Aktenschrank“

Sob einer der Daten in den Data Pool übertragen wird, landet er dort. Dies ist nicht nur eine Festplatte; es ist ein intelligenter Aktenschrank, der Informationen nach „Schritten“ organisiert.

Schritt-Ebene-Datensätze: Anstatt das gesamte Gespräch als einen riesigen Klumpen zu speichern, bricht er es in einzelne Schritte auf: Was war der Prompt? Was war die Antwort? Wurde eine Belohnung vergeben?
Metadaten: Er versieht jeden Schritt mit nützlichen Informationen, wie zum Beispiel: „Dieser Schritt war qualitativ hochwertig“ oder „Dieser Schritt ist bereit für das Training“.

3. Prefix-Tree-Merging: Der „Intelligente Kompressor“

Hier wird ein kluger Trick angewandt. Oft beginnt der Roboter viele verschiedene Aufgaben mit derselben langen Einleitung (z. B. „Ich bin ein Coding-Assistent, hier ist die Datei...“). Diese lange Einleitung immer wieder zu speichern, ist verschwenderisch.
Claw-R1 nutzt eine Technik namens Prefix-Tree-Merging. Stellen Sie sich vor, Sie haben 100 Briefe, die alle mit demselben langen Absatz beginnen. Anstatt diesen Absatz 100 Mal auszudrucken, drucken Sie ihn einmal auf einem Masterblatt aus und hängen dann die jeweils einzigartigen Enden der einzelnen Briefe daran an. Dies spart eine enorme Menge an Rechenleistung und Speicherplatz und macht den Trainingsprozess viel schneller und kostengünstiger.

4. Das Interaktive Dashboard: Der „Kontrollraum“

Das Paper enthält eine Demo, in der Nutzer dieses System in Aktion sehen können. Es ist wie ein Kontrollraum für eine Weltraummission.

Live-Überwachung: Sie können beobachten, wie die Interaktionen des Roboters in Echtzeit ablaufen.
Kuratierung von Daten: Sie können durch den „Aktenschrank“ blättern und gezielt nur die besten Beispiele für das Training auswählen. Sie können schlechte Schritte oder unvollständige Gespräche herausfiltern.
Vorbereitung des Trainings: Sie können diese sauberen, kuratierten Schritte in „Batches“ (Pakete) zusammenfassen, die dann bereit für den KI-Lehrer sind.

Warum das wichtig ist

Vor Claw-R1 wurden die Daten von KI-Agenten wie temporäre Protokolle behandelt – nützlich zur Fehlersuche, aber nicht für langfristiges Lernen. Claw-R1 behandelt diese Daten als verwaltete Vermögenswerte (Assets – wertvoll, organisiert und wiederverwendbar.

Durch die Trennung der Datenerfassung vom Training des Modells ermöglicht Claw-R1 den Entwicklern:

Zwischen verschiedenen KI-Robotern zu wechseln, ohne ihre Trainingssysteme zu beschädigen.
Genau zu sehen, was die KI Schritt für Schritt lernt.
Geld und Zeit zu sparen, indem redundante Daten komprimiert werden.

Kurz gesagt: Claw-R1 verwandelt das chaotische Rauschen der KI-Interaktionen in eine saubere, organisierte Bibliothek von Lektionen, die problemlos genutzt werden kann, um KI-Agenten intelligenter zu machen.

Technisches Resümee: Claw-R1

Problemstellung

Agentic Reinforcement Learning (RL) hat sich als ein kritisches Post-Training-Paradigma herauskristallisiert, um Large Language Models (LLMs) von statischen Chatbots in interaktive Agenten zu transformieren, die in der Lage sind, Werkzeuge zu nutzen und Multi-Turn-Ausführungen durchzuführen. Während signifikante Fortschritte bei RL-Algorithmen (z. B. PPO, GRPO) und Trainings-Frameworks (z. B. veRL, slime) erzielt wurden, besteht eine kritische Lücke im Datenlebenszyklus-Management von Agent-Umgebungs-Interaktionen.

Aktuelle Systeme koppeln Agenten-Laufzeiten oft eng an RL-Training-Backends. Da Agenten immer heterogener werden – sie verwalten lange Kontexte, führen Bash-Befehle aus, bearbeiten Dateien und integrieren menschliche Korrekturen –, erzeugt diese Kopplung Skalierbarkeitsengpässe. Jeder neue Agententyp erfordert eine maßgeschneiderte Schnittstelle, und Interaktionsspuren werden häufig als transiente Laufzeitprotokolle statt als verwaltete Datenressourcen behandelt. Es mangelt an einem einheitlichen System, um diese Spuren zu sammeln, zu repräsentieren, zu kuratieren und in strukturierte, für verschiedene Downstream-RL-Algorithmen konsumierbare Assets zu optimieren.

Methodik: Claw-R1 System

Um diese Herausforderungen anzugehen, schlagen die Autoren Claw-R1 vor, ein Step-Level-Daten-Middleware-System, das heterogene Agenten-Laufzeiten von RL-Training-Backends entkoppelt. Das System betrachtet Agentic RL als einen Prozess der Transformation von rohen Interaktionsdaten in strukturierte Trainings-Assets.

Kernarchitektur

Claw-R1 besteht aus zwei primären Komponenten:

Gateway Server: Fungiert als Ingestions-Einstiegspunkt. Er bietet eine einheitliche Schnittstelle zur Sammlung von Interaktionsdaten aus diversen Quellen:
- Black-box Agents: Erfasst LLM-Aufrufe über einen OpenAI-kompatiblen API-Einstiegspunkt und konvertiert Anfragen und Antworten in Step-Datensätze.
- White-box Agents: Akzeptiert explizite Step-Einreichungen, die Prompt-IDs, Response-IDs, Belohnungen (Rewards) und Metadaten enthalten.
- Black-box Services: Empfängt Live-Interaktionsevents und menschliches Feedback über HTTP-Schnittstellen.
Data Pool: Dient als Kern der Datenverwaltung. Er speichert persistente Datensätze einschließlich Completions, Token-Level-Realisationen, Rewards, Trajektorien-Relationen, Prompt-Gruppen, Policy-Versionen und Quell-Metadaten. Er baut Indizes über Prompt-IDs, Response-IDs, Trajektorien sowie Reward-/Status-Flags auf.

Zentrale Designprinzipien

Step-Level Data Abstraction: Das System modelliert Agentic RL als einen Step-Level Markov Decision Process (MDP). Jeder Schritt $t$ zeichnet einen Zustand $s_t$ , eine Aktion $a_t$ und eine Belohnung $r_t$ auf. Diese Abstraktion entfernt die laufzeitspezifische Logik (Tools, Templates) und bewahrt lediglich Input, Output und Reward-Informationen, wodurch eine konsistente Datenschnittstelle über heterogene Agenten hinweg gewährleistet wird.
Low-Intrusion Ingestion: Integriert sich in bestehende Agenten-Systeme, ohne ein einheitliches Ausführungsframework oder intrusive Code-Modifikationen zu erfordern.
Asynchrone Entkopplung: Trennt die Datensammlung von der Modell-Trainingsphase, um skalierbare, kontinuierlich laufende Agenten-Workloads mit unterschiedlichen Ausführungs-Latenzen zu unterstützen.
Datenoptimierung (Prefix-Tree Merging): In Anerkennung der Tatsache, dass viele Trajektorien lange Kontext-Präfixe teilen, bevor sie divergieren, organisiert Claw-R1 Steps mit gemeinsamen Token-Präfixen in einem gemergten Step-Tree. Dies reduziert redundante Long-Context-Berechnungen während der Trainingsvorbereitung, ohne die Step-Level-Semantik oder die Reward-Strukturen zu verändern.

Benutzer-Workflow

Das System stellt den vollständigen Datenlebenszyklus über ein interaktives Dashboard zur Verfügung:

Collection (Sammlung): Überwachung von Live-Trajektorien, die aus verschiedenen Quellen eingehen.
Representation (Repräsentation): Inspektion normalisierter Step-Level-Datensätze (Prompts, Responses, Rewards).
Curation (Kuratierung): Filtern von Daten nach Qualität, Einsatzbereitschaft, Reward-Status und Policy-Frische, um spezifische Trainingssets zu erstellen.
Optimization (Optimierung): Visualisierung von Prefix-Tree-Merges und Token-Einsparungen, um Daten für eine effiziente Long-Context-Berechnung vorzubereiten.
Consumption (Konsum):ung: Konfiguration von trainingsbereiten Batches für Downstream-RL-Algorithmen über Pull-basierte Schnittstellen, was es dem Training-Backend ermöglicht, Daten abzurufen, ohne die Agenten-Laufzeit verstehen zu müssen.

Zentrale Beiträge

Das Paper skizziert drei primäre Beiträge:

Identifizierung einer kritischen Lücke: Die Autoren identifizieren das Datenlebenszyklus-Management – von der Produktion der Interaktion bis zum Konsum des Trainings – als eine zentrale, unzureichend behandelte Herausforderung im Agentic RL.
Systemvorschlag (Claw-R1): Sie präsentieren eine Step-Level-Daten-Middleware, die Agenten-Laufzeiten mittels eines Gateway Servers und eines Data Pools von RL-Backends entkoppelt, wodurch das Backend strukturierte Daten unabhängig von agentenspezifischer Logik konsumieren kann.
Interaktive Demonstration: Das Paper liefert eine Demonstration des Agentic RL Datenlebenszyklus und zeigt Trajektorien-Monitoring, Datenkuratierung, Speicheroptimierung (via Prefix-Tree Merging) und die Vorbereitung des Trainings auf.

Ergebnisse und Behauptungen

Das Paper präsentiert keine quantitativen experimentellen Ergebnisse bezüglich der RL-Leistungssteigerung (z. B. höhere Scores auf Benchmarks) oder Vergleiche der Trainingseffizienz gegenüber Nicht-Middleware-Baselines. Stattdessen werden die „Ergebnisse“ als eine funktionale Demonstration der Fähigkeiten des Systems präsentiert.

Die Autoren behaupten, dass Claw-R1 erfolgreich:

Rohe Agenten-Runtime-Interaktionen in strukturierte, kuratierte und vollständig konsumierbare Trainingsdaten transformiert.
Es dem RL-Backend ermöglicht, zu operieren, ohne die interne Logik der Agenten-Runtime verstehen zu müssen.
Den Rechenaufwand durch Prefix-Tree Merging reduziert und so die Neu-Berechnung duplizierter langer Präfixe vermeidet.
Den Prozess der Datensammlung und -kuratierung als beobachtbaren, expliziten Teil des RL-Workflows etabliert, anstatt als impliziten Logging-Prozess.

Bedeutung

Das Paper plädiert für einen Paradigmenwechsel in der Agentic RL-Infrastruktur. Es postuliert, dass Interaktionsspuren als verwaltete Datenressourcen und nicht als temporäre Laufzeitprotokolle behandelt werden sollten. Durch die Annahme einer datenzentrierten Perspektive zielt Claw-R1 darauf ab, eine skalierbarere Agentenentwicklung zu unterstützen und ein Fundament für zukünftige Systeme zu schaffen, die Agenten-Ausführung, Datenqualität und RL-Trainingseffizienz gemeinsam verbessern. Die Arbeit ermutigt die Community, die Bedeutung robuster Datenmanagement-Middleware in der Evolution von Agentic RL anzuerkennen.