🤖 machine learning

GROW: Aligning GRPO with State-Action Modeling for Open-World VLM Agents

Das Papier stellt GROW vor, ein Reinforcement-Learning-Framework, das Group Relative Policy Optimization (GRPO) für Open-World-Vision-Language-Model-Agenten anpasst, indem es vollständige Trajektorien in Zustands-Aktions-Paare zerlegt, um Kontextlängenbeschränkungen zu überwinden, und dabei State-of-the-Art-Leistung bei über 800 Minecraft-Aufgaben erzielt.

Ursprüngliche Autoren: Xiongbin Wu, Zhihao Luo, Shanzhe Lei, Lechao Zhang, Xuhong Wang, Jie Yang, Zhonglong Zheng, Yuanjie Zheng, Xin Tan, Wei Liu

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiongbin Wu, Zhihao Luo, Shanzhe Lei, Lechao Zhang, Xuhong Wang, Jie Yang, Zhonglong Zheng, Yuanjie Zheng, Xin Tan, Wei Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, ein komplexes Videospiel wie Minecraft zu spielen. Der Roboter verfügt über eine Kamera (seine Augen) und kann eine Tastatur bedienen sowie eine Maus bewegen (seine Hände). Sein Ziel ist es, Aufgaben wie „ein Haus bauen", „Gold abbauen" oder „ein Monster besiegen" zu erfüllen.

Lange Zeit war der beste Weg, diese Roboter zu unterrichten, das Supervised Fine-Tuning (SFT). Stellen Sie sich das vor wie das Zeigen eines Videos eines menschlichen Experten, der das Spiel perfekt spielt, mit dem Befehl: „Kopiere genau, was sie getan haben." Das Problem? Stundenlanges perfektes menschliches Gameplay zu finden, ist teuer, und wenn der Roboter das Video nur auswendig lernt, gerät er in Verwirrung, sobald sich das Spiel leicht verändert.

Dann versuchten Forscher Reinforcement Learning (RL), speziell einen Algorithmus namens GRPO. Dies ist wie das Erlauben, dass der Roboter das Spiel spielt, scheitert, Erfolg hat und aus den Ergebnissen lernt. Allerdings hatte das Standard-GRPO einen gravierenden Mangel bei der Anwendung auf Open-World-Spiele: Es behandelte die gesamte Spielsession als eine einzige Lektion.

Das Problem: Die „zu lange" Lektion

Stellen Sie sich vor, Sie versuchen zu lernen, wie man einen Kuchen backt.

Standard-GRPO ist wie das Übergeben eines 500-seitigen Buches, das die Geschichte Ihrer Kindheit, den Wetterbericht von vor drei Tagen, das Rezept und die Geschichte des Hundes Ihres Nachbarn enthält, alles durcheinandergemischt. Es sagt Ihnen: „Sie haben am Ende einen guten Kuchen gebacken, also war alles in diesem 500-seitigen Buch gut."
In der Arbeit wird dies als „full trajectory" (vollständige Trajektorie) bezeichnet. Während der Roboter Minecraft spielt, wird die Historie dessen, was er gesehen und getan hat, immer länger. Schließlich wird das „Buch" so riesig und voller irrelevanter Störgeräusche (wie das Umherlaufen für 10 Minuten, bevor ein Block gefunden wird), dass der Roboter überfordert ist und nicht herausfinden kann, welcher spezifische Zug tatsächlich zum Erfolg geführt hat.

Die Lösung: GROW (Der „Rezeptkarten"-Ansatz)

Die Autoren schlagen ein neues Framework namens GROW (Aligning GRPO with State-Action Modeling) vor.

Anstatt dem Roboter das ganze 500-seitige Buch zu geben, schneidet GROW die Spielsession in winzige, mundgerechte Rezeptkarten.

State-Action Decomposition (Zerlegung in Zustand und Aktion): GROW zerlegt die lange Spielsession in einzelne Momente: „Auf den Block schauen" + „Mausklick" + „Spitzhacke trifft".
Intelligentes Feedback: Wenn der Roboter am Ende erfolgreich ist, sagt GROW nicht: „Alles im ganzen Spiel war großartig." Stattdessen betrachtet es die spezifischen Karten, die zum Sieg führten. Es sagt: „Der Zug, den Sie 5 Sekunden vor dem Finden des Goldes gemacht haben, war sehr gut. Der Zug, den Sie vor 20 Minuten gemacht haben, als Sie nur herumgelaufen sind? Das war nur in Ordnung."

Wie es funktioniert (Die Analogie)

Stellen Sie sich einen Trainer vor, der einen Fußballspieler trainiert.

Alter Weg (Standard-GRPO): Der Trainer beobachtet das gesamte 90-minütige Spiel, sieht, wie der Spieler ein Tor erzielt, und schreit dann: „Großartige Arbeit! Du hast von der ersten bis zur letzten Minute alles richtig gemacht!" Der Spieler ist verwirrt, weil er tatsächlich in der 10. Minute einen schrecklichen Pass gemacht hat, der das Spiel fast verloren hätte.
GROW-Weg: Der Trainer zerlegt das Spiel. „Dieser Pass in der 10. Minute war schlampig. Aber der Lauf, den Sie in der 80. Minute gemacht haben? Perfekt. Und der Tritt in der 89. Minute? Brillant." Der Spieler lernt genau, welche spezifischen Aktionen er wiederholen muss.

Die „magische" Mathematik

Die Arbeit enthält einen mathematischen Beweis (Surrogate Analysis), um uns zu versichern, dass dieser Ansatz des „Zerschneidens der Lektion" dennoch gültig ist.

Die Sorge: Die Standardmathematik für diese Art des Lernens erfordert normalerweise den Vergleich verschiedener Versuche am exakt gleichen Startpunkt. GROW vergleicht verschiedene Momente in der Zeit, die alle unterschiedlich sind.
Das Ergebnis: Die Autoren bewiesen, dass selbst wenn die Startpunkte unterschiedlich sind, die „Bewertung", die der Roboter erhält, immer noch genau widerspiegelt, wie gut seine Strategie ist. Es ist wie das Benoten eines Schülers in einem Mathtest: Selbst wenn die Fragen unterschiedlich sind, sagt die Endpunktzahl immer noch aus, ob er besser in Mathe wird.

Die Ergebnisse: Das Spiel besiegen

Das Team testete GROW an über 800 verschiedenen Minecraft-Aufgaben, die von der Navigation durch Höhlen über das Herstellen von Gegenständen bis hin zum Kämpfen gegen Monster reichten.

Erfolgsrate: GROW übertraf frühere Methoden deutlich. Zum Beispiel stieg bei „GUI-Aufgaben" (Verwendung der Menüs des Spiels zum Herstellen von Gegenständen) die Erfolgsrate von etwa 39 % auf 68 %.
Effizienz: Der Roboter gewann nicht nur öfter; er gewann schneller. Er benötigte weniger Schritte, um Aufgaben zu erledigen, da er lernte, das „Rauschen" zu ignorieren und sich auf die Züge zu konzentrieren, die tatsächlich wichtig waren.
Generalisierung: Der Roboter lernte nicht nur die spezifischen Spiele auswendig, an denen er geübt hatte. Er lernte allgemeine Fähigkeiten (wie das Suchen nach einem Ziel oder die Verwendung eines Menüs), die es ihm ermöglichten, neue, unbekannte Aufgaben zu meistern, die er noch nie gesehen hatte.

Zusammenfassung

GROW ist eine intelligentere Methode, um KI-Agenten das Spielen von Open-World-Spielen beizubringen. Anstatt sie mit langen, chaotischen Historien ihrer gesamten Spielsessions zu überfordern, zerlegt es das Spiel in kleine, klare Schritte. Dies hilft der KI zu verstehen, welche Aktionen genau zum Erfolg führen, wodurch sie schneller lernt, besser spielt und neue Herausforderungen bewältigt, ohne in Verwirrung zu geraten.

Technische Zusammenfassung: GROW – Ausrichtung von GRPO auf State-Action-Modellierung für Open-World-VLM-Agenten

1. Problemstellung

Vision-Language-Modelle (VLM) haben Potenzial für Open-World-Aufgaben (z. B. Minecraft) gezeigt, die visuelle Wahrnehmung und Aktionsausführung über mehrere Interaktionsschritte erfordern. Obwohl das Supervised Fine-Tuning (SFT) auf Experten-Demonstrationen das vorherrschende Trainingsparadigma ist, leidet es unter hohen Kosten für die Datensammlung und begrenzter Skalierbarkeit. Darüber hinaus bleibt SFT in der Leistung häufig hinter Reinforcement-Learning (RL)-Methoden zurück.

Obwohl Group Relative Policy Optimization (GRPO) als effektiver RL-Algorithmus für Foundation-Modelle etabliert wurde – indem die Notwendigkeit eines separaten Wertmodells durch die Berechnung von Advantages über Gruppen von Stichproben-Ausgaben eliminiert wird –, stellt die direkte Anwendung von Standard-GRPO auf Open-World-Aufgaben erhebliche Herausforderungen dar:

Kontextlänge: Standard-GRPO behandelt eine vollständige Interaktionstrajektorie als einzelne Trainingsstichprobe. In Open-World-Umgebungen akkumulieren diese Trajektorien übermäßige Kontextlängen, die häufig die Token-Grenzen überschreiten.
Rauschen: Vollständige Trajektorien enthalten erhebliche irrelevante Informationen und Rauschen, was die Qualität der Policy-Gradient-Schätzung verschlechtert.
Theoretische Inkongruenz: Standard-GRPO geht davon aus, dass gruppierte Stichproben unterschiedliche Antworten auf denselben Prompt sind. Bei Open-World-Aufgaben bedeutet die Zerlegung von Trajektorien, dass gruppierte Stichproben auf unterschiedliche lokale Zustände konditioniert sind, was diese Annahme verletzt.

2. Methodik: Das GROW-Framework

Die Autoren schlagen GROW (GRPO für Open-World-VLM-Agenten) vor, ein Framework, das GRPO an Open-World-Szenarien anpasst, indem es Trajektorien in feinabgestufte State-Action-Stichproben zerlegt.

2.1 Zerlegung von Trajektorien

Anstatt vollständige Trajektorien zu optimieren, zerlegt GROW gesammelte Rollout-Trajektorien $\tau = \{(s_1, a_1), \dots, (s_H, a_H)\}$ in einzelne State-Action-Paare.

Reward-Propagation: Da die Belohnungen in diesen Umgebungen spärlich sind und nur beim Abschluss der Aufgabe verifiziert werden können ( $R(\tau)=1$ bei Erfolg, sonst $0$), wird die Belohnung unter Verwendung eines Diskontierungsfaktors $\gamma$ rückwärts entlang der Trajektorie propagiert:
$r_{i,t} = \gamma^{H_i - t} R(\tau_i)$
Dies stellt sicher, dass State-Action-Stichproben, die näher am erfolgreichen Ergebnis liegen, stärkere Lernsignale erhalten.

2.2 Berechnung von State-Action-Advantages

Innerhalb einer Rollout-Gruppe von $G$ parallelen Umgebungen berechnet GROW relative Advantages über die zerlegten State-Action-Stichproben anstelle vollständiger Trajektorien.

Der Advantage $A_{i,t}$ wird berechnet, indem die diskontierten Belohnungen $r_{i,t}$ über die Gruppe normalisiert werden:
$A_{i,t} = \frac{r_{i,t} - \mu}{\sigma}$
wobei $\mu$ und $\sigma$ der Mittelwert und die Standardabweichung der Belohnungsmenge innerhalb der Gruppe sind.
Das Trainingsziel folgt dem standardmäßigen PPO-artigen geklammerten Ziel, operiert jedoch auf diesen State-Action-Einheiten:
$J = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{H_i} \sum_{t=1}^{H_i} \min(\rho_{i,t}(\theta) A_{i,t}, \text{clip}(\rho_{i,t}(\theta), 1-\epsilon, 1+\epsilon) A_{i,t}) \right]$

2.3 Surrogat-Analyse

Die Autoren adressieren die theoretische Sorge, dass gruppierte Stichproben in GROW auf unterschiedliche lokale Zustände ( $s_{i,t}$ ) statt auf einen identischen Prompt konditioniert sind. Unter vereinfachenden Annahmen (einheitliche Trajektorienlänge $H$ und konsistente Interaktionsschritte) leiten sie eine Surrogat-Analyse her, die zeigt, dass sich das Ziel in zwei Terme zerlegt:

$J_{traj}$ : Erhält die relative Präferenz auf Trajektorienebene, indem Trajektorien-Belohnungen $R(\tau_i)$ mit dem Gruppenmittelwert $S$ verglichen werden.
$J_{step}$ : Erfasst Effekte der zeitlichen Diskontierung und verfeinert die Kreditvergabe innerhalb erfolgreicher Trajektorien, um Entscheidungen zu betonen, die direkt mit dem endgültigen Erfolg zusammenhängen.
Die Analyse kommt zu dem Schluss, dass das Ziel trotz der Abweichung von der Annahme identischer Prompts ein gültiges und effektives Signal zur relativen Policy-Optimierung beibehält.

3. Hauptbeiträge

Framework-Vorschlag: Einführung von GROW, einem RL-Framework, das Cold-Start-Training auf State-Action-Stichproben mit GRPO-basierter Policy-Verfeinerung durch Trajektorienzerlegung kombiniert.
Theoretische Begründung: Bereitstellung einer Surrogat-Analyse, die zeigt, dass relative Policy-Optimierung auch dann effektiv bleibt, wenn gruppierte Stichproben auf unterschiedliche lokale Zustände konditioniert sind, sofern vernünftige Approximierbarkeitserfordernisse erfüllt sind.
Empirische Validierung: Umfassende Tests an über 800 Minecraft-Aufgaben, die zeigen, dass das Framework State-of-the-Art (SOTA)-Leistungen sowohl bei der Erfolgsrate als auch bei der Ausführungseffizienz erzielt.

4. Experimentelle Ergebnisse

Die Experimente wurden in Minecraft (Java Edition) unter Verwendung des MCU-Benchmarks durchgeführt, der drei Kategorien abdeckt: Embodied-Aufgaben (Navigation/Minen), GUI-Aufgaben (Herstellen/Schmelzen) und Kampfaufgaben. Das Basismodell war Qwen2-VL-7B-Instruct.

Leistungssteigerungen: GROW erzielte SOTA-Ergebnisse in allen Kategorien:
- Embodied: ASR verbesserte sich von 50,4 % (bisheriger Bestwert) auf 59,6 %.
- GUI: ASR verbesserte sich von 39,1 % auf 68,4 %.
- Combat: ASR verbesserte sich von 39,2 % auf 49,0 %.
Effizienz: Die durchschnittliche Anzahl der Schritte, die zum Abschluss von Aufgaben erforderlich war, wurde signifikant reduziert (z. B. von 263 auf 128 Schritte bei Embodied-Aufgaben).
Generalisierung: GROW zeigte eine starke Generalisierung auf nicht gesehene Aufgaben (RL-unseen) und verbesserte die Erfolgsraten signifikant gegenüber der initialisierten Policy, ohne sich an den Trainingsdatensatz anzupassen.
Ablationsstudien:
- vs. PPO: GROW übertraf PPO sowohl bei den Erfolgsraten als auch bei der Konvergenzgeschwindigkeit.
- Diskontierungsfaktor ( $\gamma$ ): Ein Wert von $\gamma=0,995$ ergab die beste Balance zwischen Kreditvergabe über lange Horizonte und lokaler Effizienz.
Verhaltensanalyse: Diagnostische Aufgaben zeigten, dass GROW spezifische Fähigkeiten verbesserte, wie stabile Ziel fixierung, aktive Zielwiedergewinnung (Suche nach verlorenen Zielen) und distraktor-robuste GUI-Bedienung.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass GROW einen neuen SOTA für Open-World-VLM-Agenten etabliert, indem es die Lücke zwischen fortschrittlichen RL-Algorithmen (GRPO) und den spezifischen Einschränkungen von Open-World-Umgebungen (lange, verrauschte Trajektorien) effektiv überbrückt.

Kernleistung: Das Framework mildert erfolgreich die Probleme übermäßiger Kontextakkumulation und von Rauschen, die inhärent in RL mit vollständigen Trajektorien sind, während das Kernsignal der relativen Optimierung von GRPO erhalten bleibt.
Fähigkeitserwerb: Die Ergebnisse deuten darauf hin, dass GROW wiederverwendbare Interaktionsstrategien (z. B. aktives Suchen, robuste GUI-Behandlung) fördert, anstatt lediglich Trajektorien auswendig zu lernen.
Skalierbarkeit: Durch die Zerlegung von Trajektorien bietet die Methode einen skalierbaren Weg zum Training von VLM-Agenten in komplexen, mehrstufigen Umgebungen, in denen die Werteschätzung kostspielig und instabil ist.

Die Autoren weisen auf Einschränkungen hin, darunter das derzeitige Fehlen eines Speichermoduls für sehr langfristige Aufgaben und die Abhängigkeit von spezifischen Simulatoren (Minecraft), und schlagen vor, dass zukünftige Arbeiten die Zusammenfassung von Historien und die Erweiterung auf diverse Open-World-Umgebungen untersuchen könnten.