💻 computer science

Training One Model to Master Cross-Level Agentic Actions via Reinforcement Learning

Das Paper stellt CrossHA vor, ein vereinheitlichtes agentisches Modell, das mittels einer neuartigen Pipeline trainiert wurde, welche Supervised Fine-Tuning und Multi-Turn Group Relative Policy Optimization kombiniert, um autonom zwischen heterogenen Aktionsräumen zu wählen und zwischen ihnen zu wechseln, wodurch es eine staatlich führende Leistung und Adaptivität bei dynamischen, langfristigen Aufgaben innerhalb der Minecraft-Umgebung erreicht.

Ursprüngliche Autoren: Kaichen He, Zihao Wang, Muyao Li, Anji Liu, Yitao Liang

Veröffentlicht 2026-06-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kaichen He, Zihao Wang, Muyao Li, Anji Liu, Yitao Liang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, das Videospiel Minecraft zu spielen. In der Vergangenheit mussten Forscher separate „Gehirne“ für verschiedene Teile des Spiels bauen. Ein Gehirn war gut darin, herumzulaufen (unter Verwendung einfacher, schrittweiser Befehle), ein anderes war gut darin, Menüs anzuklicken (mit präzisen Mausbewegungen), und ein drittes war gut darin, High-Level-Abkürzungen zu nutzen (wie „gehe zum nächsten Baum“).

Das Problem war, dass diese Roboter starr waren. Wenn eine Aufgabe erforderte, sowohl zu laufen als auch ein Menü anzuklicken, wurde der Roboter verwirrt oder blieb stecken, weil er darauf trainiert war, immer nur eine Art von „Sprache“ gleichzeitig zu verwenden.

Die große Idee: Der „Schweizer Taschenmesser“-Agent
Dieses Paper stellt CrossHA vor, eine neue Art von KI-Agent, die wie ein meisterhafter Koch mit einer vollen Küche agiert. Anstatt gezwungen zu sein, nur einen Löffel oder nur ein Messer zu benutzen, lernt CrossHA, die Zutat (die Aufgabe) zu betrachten und sofort zu entscheiden: „Brauche ich einen groben Hack (eine einfache Bewegung) oder einen feinen Schnitt (einen präzisen Klick) genau jetzt?“

Es ist das erste Modell, das nahtlos zwischen verschiedenen „Aktionssprachen“ hin- und herwechseln kann, ohne dass ein Mensch ihm bei jedem Schritt sagen muss, was zu tun ist.

Wie sie es gelehrt haben (Das Trainingsrezept)

Die Forscher haben dem Modell nicht einfach nur Daten vorgeworfen; sie nutzten eine dreistufige Trainingspipeline, die ähnlich wie das Erlernen einer komplexen Fähigkeit durch einen Menschen funktioniert:

Die „Geschmacksphase“ (Supervised Fine-Tuning):
Zuerst zeigten sie dem Modell tausende Beispiele von Menschen, die das Spiel mit verschiedenen Methoden spielten (einige liefen, einige klickten, einige nutzten Abkürzungen). Das Ziel hier war lediglich, dem Modell das „Vokabular“ all dieser verschiedenen Methoden beizubringen, damit es sie alle verstehen konnte. Es war, als würde man einem Schüler beibringen, Englisch, Spanisch und Französisch zu lesen, aber ihn noch nicht bitten, eine Geschichte zu schreiben.
Die „Sprint-Phase“ (Single-Turn RL):
Als Nächstes gaben sie dem Modell kurze, einstufige Herausforderungen. Wenn das Modell versuchte, ein Problem mit der falschen „Sprache“ zu lösen (z. B. versuchte, durch eine verschlossene Tür zu laufen, anstatt den Griff anzuklicken), erhielt es eine niedrige Punktzahl. Wenn es das richtige Werkzeug für den Job wählte, erhielt es eine Belohnung. Dies lehrte das Modell, schnelle, kluge Entscheidungen darüber zu treffen, welches Werkzeug es für einen einzelnen Moment wählen muss.
Die „Marathon-Phase“ (Multi-Turn RL):
Schließlich ließen sie das Modell ganze, lange Spiele spielen. Das Ziel war nicht nur, einen einzelnen Schritt richtig zu machen, sondern die gesamte Quest effizient zu beenden. Das Modell lernte, dass es manchmal besser ist, eine „schnelle, aber grobe“ Methode anzuwenden, um über ein Feld zu laufen, während der Wechsel zu einer „langsamen, aber präzisen“ Methode notwendig ist, um einen empfindlichen Gegenstand herzustellen. Es lernte, Geschwindigkeit und Genauigkeit über eine lange Reise hinweg abzuwägen.

Die Ergebnisse: Warum es wichtig ist

Die Forscher testeten dieses Modell bei über 800 verschiedenen Aufgaben in Minecraft, die vom Fällen von Bäumen bis hin zum Herstellen komplexer Gegenstände und dem Kämpfen gegen Monster reichten.

Der alte Weg: Roboter, die nur auf eine Methode trainiert waren (wie etwa nur das Laufen), waren großartig im Laufen, aber schrecklich im Handwerk. Sie waren wie eine Person, die nur rennen kann, aber nicht weiß, wie man eine Tür öffnet.
Der CrossHA-Weg: Das neue Modell war in allem am besten. Es war nicht einfach nur ein Durchschnitt aus allen Werten; es glänzte, weil es genau wusste, wann es den Gang wechseln musste.

Die Analogie des „intelligenten Fahrers“:
Stellen Sie sich vor, Sie fahren ein Auto.

Ein robotergesteuerter Agent mit fester Aktion ist wie ein Fahrer, der nur auf einer Autobahn fahren kann. Wenn er auf eine unbefestigte Straße stößt, kracht er; wenn er in einen Parkplatz fährt, verirrt er sich.
CrossHA ist wie ein erfahrener Fahrer, der weiß, wann er für die Autobahn hochschalten muss (Effizienz) und wann er in den niedrigen Gang schalten und vorsichtig lenken muss, um sicher in eine enge Parklücke zu kommen (Präzision). Er braucht keinen Co-Piloten, der ihm sagt, wann er schalten soll; er spürt einfach die Straße und passt sich an.

Das Fazit

Das Paper behauptet, dass durch das Training eines einzigen Modells, das alle diese verschiedenen „Aktionsräume“ beherrscht und durch Reinforcement Learning (Versuch und Irrtum mit Belohnungen) lernt, ein Agent geschaffen wurde, der signifikant intelligenter, flexibler und effizienter ist als bisherige Modelle, die auf nur eine Art von Aktion beschränkt waren.

Sie haben dies bewiesen, indem sie zeigten, dass das Modell über 800 verschiedene Herausforderungen in einem komplexen Open-World-Spiel bewältigen konnte und dabei alle anderen existierenden Methoden übertraf. Der Code und die Modelle sind nun für andere zur Nutzung offen.

Technisches Resümee: CrossHA – Training eines Modells zur Beherrschung von Cross-Level-Agentenaktionen mittels Reinforcement Learning

1. Problemstellung

Das Paradigma der agentischen KI verschiebt sich von technisch entwickelten Workflows rund um vortrainierte Large Language Models (LLMs) und Vision-Language Models (VLMs) hin zu nativen agentischen Modellen, die durch Post-Training entwickelt werden. Bestehende Agenten sind jedoch typischerweise auf statische, vordefinierte Aktionsräume beschränkt (z. B. exklusive Nutzung von APIs, GUI-Events oder Roboterbefehlen). Diese Starrheit führt zu zwei grundlegenden Einschränkungen:

Sprödigkeit (Brittleness): Spezifische Aktions-Policies oder Translationsebenen versagen oft in dynamischen Umgebungen (z. B. blockierte API-Funktionen durch CAPTCHAs oder Roboter-Policies, denen es an Präzision fehlt).
Inflexibilität: Die manuelle Zuweisung von Aktionsräumen zu Aufgaben schränkt die Anpassungsfähigkeit ein. Entscheidend ist, dass der optimale Aktionsraum nicht nur über verschiedene Aufgaben hinweg variiert, sondern innerhalb einer einzigen Aufgabe auf Schrittebene. Beispielsweise könnte ein „Deep Research“-Agent effizient Such-APIs zur Informationsbeschaffung nutzen, aber eine präzise GUI-Manipulation benötigen, um ein CAPTCHA zu umgehen.

Aktuelle Ansätze verlassen sich oft auf komplefte, spröde Pipelines, um Übergänge zwischen disjointen Aktionsräumen zu orchestrieren oder heterogene Trajektorien zu mergen, ohne den Selektionsmechanismus explizit zu optimieren. Es mangelt an vereinheitlichten Modellen, die in der Lage sind, das effektivste Interface (von High-Level-APIs bis hin zu Low-Level-Primitiven) für jeden Schritt einer Trajektorie basierend auf dem Kontext autonom auszuwählen.

2. Methodik: Das CrossHA-Framework

Um diese Einschränkungen zu adressieren, schlagen die Autoren CrossHA vor, ein vereinheitlichtes agentisches Modell, das darauf trainiert ist, multiple heterogene Aktionsräume zu beherrschen und das angemessene Interface für jeden Schritt autonom auszuwählen. Das Modell wird über eine umfassende dreistufige Pipeline trainiert, die Cold-Start Supervised Fine-Tuning (SFT) mit einem Multi-Turn Group Relative Policy Optimization (GRPO) Algorithmus integriert.

2.1. Problemformulierung

Die Aufgabe wird als Markov-Entscheidungsprozess (MDP) mit einem zusammengesetzten Aktionsraum $\mathcal{A} = \bigcup_{x=1}^{N} \mathcal{A}_x$ modelliert, wobei jeder Subraum $\mathcal{A}_x$ einer distinkten Klasse von Aktionen entspricht (z. B. Low-Level-Motorsteuerung vs. High-Level-Bewegungsprimitive). Das Ziel ist es, die erwartete Belohnung zu maximieren und gleichzeitig die mit unterschiedlichen Aktionsgranularitäten verbundenen Rechen- oder Betriebskosten zu minimieren:
$J = \mathbb{E}\left[\sum_{t} (r_t - \lambda_x \text{cost}(a_t))\right]$

2.2. Trainings-Pipeline

Der Trainingsprozess besteht aus drei progressiven Stufen:

Stufe 1: Mixed-Space Supervised Fine-Tuning (SFT)
Das Modell wird auf einem ausgewogenen Datensatz initialisiert, der Trajektorien aus mehreren Aktionssubräumen umfasst. Ziel ist es, ein robustes Basismodell ( $M_{mix}$ ) zu konstruen, das in der Lage ist, diverse Modalitäten über verschiedene Räume hinweg zu dekodieren und zu generieren, ohne dass es zu modalen Interferenzen kommt. In dieser Phase lernt das Modell Syntax und Semantik, wählt jedoch noch nicht autonom den optimalen Aktionsraum aus.
Stufe 2: Single-Turn Reinforcement Learning (STRL)
Diese Stufe befähigt das Modell, den passenden Aktionsraum für unmittelbare Aufgabenkontexte autonom zu wählen.
- Warm-up: Eine Diversität verstärkende SFT-Phase generiert Kandidatenaktionen über alle Räume hinweg und filtert erfolgreiche Ausführungen heraus, um Ground-Truth-Annotationen zu erstellen.
- Optimierung: Das Modell wird mittels Group Relative Policy Optimization (GRPO) feinjustiert. Im Gegensatz zu PPO schätzt GRPO den Vorteil (Advantage) basierend auf der relativen Leistung einer Gruppe von Stichproben-Outputs statt einer gelernten Value-Function. Die Belohnung ist aktionsraum-agnostisch: Credit wird gewährt, wenn die parste Rohaktion mit der Ground Truth übereinstimmt, unabhängig von der verwendeten Oberflächenform. Dies ermutigt das Modell, den zuverlässigsten Aktionsraum für eine gegebene Eingabe zu wählen.
Stufe 3: Multi-Turn Reinforcement Learning (MTRL)
Um die langfristige Planung (Long-Horizon Reasoning) und die Effizienz der Trajektorie zu optimieren, durchläuft das Modell MTRL.
- Initialisierung: Ein Self-Training-Schritt relabelt den Datensatz basierend auf den Präferenzen des STRL-Modells und schafft so einen starken Prior für die angemessene Aktionsraum-Selektion ( $M_{cs2}$ ).
- Trajektorien-Optimierung: Das Modell wird auf einem kuratierten Aufgaben-Set unter Verwendung einer binären episodischen Belohnung (Erfolg/Misserfolg) kombiniert mit einer Strafe für die Token-Länge feinjustiert. Dies motiviert den Agenten, den Erfolg der Aufgabe mit der Ausführungseffizienz in Einklang zu bringen, indem er nach Möglichkeit prägnante High-Level-Aktionen bevorzugt und bei Bedarf zu feingranularen atomaren Aktionen wechselt.

3. Kernbeiträge

CrossHA Modell: Ein vereinheitlichtes agentisches Modell, das in der Lage ist, heterogene Aktionsräume zu beherrschen und das kontextgerechte Interface autonom zu wählen, ohne auf menschendefinierte Heuristiken angewiesen zu sein.
Umfassende RL-Pipeline: Die Einführung eines Trainingsframeworks unter Verwendung von Multi-Turn GRPO, welches es dem Agenten ermöglicht, adaptive Wechsel der Aktionsräume innerhalb einer einzigen Trajektorie zu lernen, um sowohl den Aufgabenerfolg als auch die Effizienz der Ausführung zu maximieren.
State-of-the-Art Performance: Demonstration einer überlegenen Generalisierung und Robustheit in Long-Horizon-Reasoning-Aufgaben im Vergleich zu statischen Baselines.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CrossHA in der Open-World-Umgebung Minecraft (Version 1.16.5) unter Verwendung der OpenHA Benchmark-Suite, die über 800 manuell entworfene Aufgaben enthält, kategorisiert in:

Mine Blocks: Navigation und physische Interaktion.
Craft Items: Komplexe GUI-Interaktionen.
Kill Entities: Überleben und Kampf.

Wichtigste Erkenntnisse:

Performance: CrossHA erreichte eine State-of-the-Art-Performance in allen Kategorien. Bemerkenswert ist, dass es eine Rate von 94,7 % bei den abgeschlossenen Aufgaben (Finished Tasks, FT) in „Mine Blocks“ und 83,3 % in „Craft Items“ erreichte, womit es die Fixed-Action-Baselines deutlich übertraf.
Generalisierung: Trotz des Trainings auf nur 30 Aufgaben (10 aus jeder Kategorie) generalisierte CrossHA erfolgreich auf über 800 Evaluationsaufgaben.
Ablationsstudien:
- Mixed Action Spaces: CrossHA konvergierte schneller und erreichte eine höhere asymptotische Performance als Single-Space-Baselines (z. B. GroundingHA, MotionHA) während des MTRL, was eine verbesserte Dateneffizienz demonstriert.
- Notwendigkeit von STRL: Die Einbeziehung der STRL-Stufe verbesserte die Trainingseffizienz und die Endleistung signifikant, insbesondere bei Out-of-Distribution (OOD) Aufgaben.
- Robustheit: Während Single-Space-Agenten eine hohe Performance bei In-Distribution (ID) Aufgaben zeigten, aber bei OOD-Aufgaben stark abfielen, konnte CrossHA eine geringere Generalisierungslücke beibehalten, was darauf hindeutet, dass die dynamische Aktionsraum-Selektion Overfitting mindert.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass CrossHA einen bedeutenden Schritt in Richtung wahrhaft generalistischer Agenten darstellt. Indem das Modell die Auswahl des Aktionsraums als lernbare Komponente behandelt, die mittels Reinforcement Learning optimiert wird, überwindet es die Starrheit statischer Designs. Die Ergebnisse zeigen, dass eine adaptive Aktionsraum-Selektion eine überlegene Generalisierung und Robustheit im Vergleich zu statischen Baselines liefert.

Die Autoren betonen, dass das Modell lernt, Trade-offs dynamisch auszubalancieren: Es priorisiert High-Level-Aktionen für die Effizienz, wenn dies anwendbar ist, während es für präzise Kontrolle feingranulare atomare Aktionen einsetzt. Diese Fähigkeit erlaubt es dem Agenten, komplexe Szenarien, die multi-modale Interaktionen erfordern, ohne manuelles Eingreifen zu bewältigen.

Zukünftige Arbeiten, wie von den Autoren angemerkt, umfassen die Verbesserung der Effizienz von Multi-Turn RL und die Erweiterung des Frameworks auf reale Robotik-Settings, in denen Herausforderungen wie Sicherheit und Latenz auftreten.