💻 computer science

ExToken: Structured Exploration for Efficient Vision-Language-Action Reinforcement Fine-tuning

Dieses Paper führt ExToken ein, ein Reinforcement-Learning-Framework, das die Stichprobeneffizienz und Konvergenz von Vision-Language-Action-Modellen verbessert, indem es Policies auf diskreten Verhaltens-Priors für strukturierte Exploration bedingt und einen zustandsbedingten Token-Selector nutzt, um die Trainingsdiversität mit deterministischer Bereitstellung zu überbrücken.

Ursprüngliche Autoren: Yilun Kong, Yunpeng Qing, Guozheng Ma, Haoyu Wang, Li Shen, Zhi Hou, Dacheng Tao

Veröffentlicht 2026-07-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yilun Kong, Yunpeng Qing, Guozheng Ma, Haoyu Wang, Li Shen, Zhi Hou, Dacheng Tao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Hemd zu falten oder einen Tisch abzuwischen. Sie möchten, dass der Roboter durch Ausprobieren lernt, Dinge versucht und sieht, was funktioniert. Das nennt man Reinforcement Learning (RL). Aber hier ist der Haken: Roboter sind teuer, und die reale Welt ist chaotisch. Wenn man einen Roboter einfach alles „ausprobieren“ lässt, könnte er Stunden damit verbringen, exakt denselben dummen Fehler immer und immer wieder zu wiederholen. Er bleibt in einer Schleife stecken, wie ein Hamster auf einem Laufrad, der nirgendwohin läuft.

Die Autoren dieser Arbeit, ExToken, haben bemerkt, dass dieses „Steckenbleiben“-Verhalten ein riesiges Problem ist. Sie fanden heraus, dass die Aktionen eines Roboters in der aktuellen Roboter-Trainingsphase sehr schnell langweilig ähnlich werden. Sie nennen das „Action Mode Collapse“. Es ist wie ein Schüler, der, nachdem er einmal eine Mathearbeit verhauene hat, beschließt, einfach bei jeder zukünftigen Prüfung dieselbe falsche Antwort zu kopieren, weil sich das sicher anfühlt. Der Roboter hört auf, neue Wege zu finden, um das Problem zu lösen.

Die große Entdeckung: Vielfalt schlägt Quantität

Die Forscher stellten eine einfache Frage: Ist es besser, eine Million Versuche zu haben, die alle gleich sind, oder ein paar hundert Versuche, die alle unterschiedlich sind?

Um das herauszufinden, ließen sie eine Simulation laufen. Sie verglichen drei Gruppen von Robotern:

Eine Gruppe, die 1.024 Mal unter Verwendung von standardmäßiger, zufälliger Exploration versuchte.
Eine Gruppe, die nur 512 Mal versuchte (die Hälfte so viele).
Eine Gruppe, die 1.024 Mal versuchte, aber die langweiligen, repetitiven Versuche wegwarf und nur die 512 am meisten unterschiedlichen und einzigartigen Versuche behielt.

Das Ergebnis war überraschend. Die Gruppe, die nur die 512 einzigartigen, vielfältigen Versuche behielt, schnitt genauso gut ab wie die Gruppe, die 1.024 Mal versuchte. Tatsächlich schnitt sie viel besser ab als die Gruppe, die 512 Mal mit der standardmäßigen, langweiligen Methode versuchte. Das Paper legt nahe, dass die Diversität der Versuche weitaus wichtiger ist als die bloße Anzahl der Versuche. Wenn man immer wieder dasselbe versucht, lernt man nicht; man übt nur, steckenzubleiben.

Die Lösung: ExToken (Das „Verhaltensmenü“)

Wie verhindert man also, dass ein Roboter in einer Schleife stecken bleibt? Die Autoren führten einen cleveren Trick namens ExToken ein.

Stellen Sie sich vor, Sie geben einem Roboter ein Menü mit verschiedenen „Persönlichkeiten“ oder „Stilen“ zum Ausprobieren. Anstatt nur zu sagen: „Geh und versuche, das Hemd zu falten“, bekommt der Roboter ein spezielles Token (ein kleines digitales Etikett), das sagt: „Heute versuche, es wie ein professioneller Koch zu falten“, oder „Heute versuche, es wie ein gehetzter Teenager zu falten“, oder „Heute versuche, es vorsichtig zu falten“.

So haben sie dieses Menü aufgebaut:

Die Bibliothek: Sie betrachteten eine Menge Videos von Menschen, die Aufgaben ausführten (wie das Falten von Kleidung).
Die Sortierung: Sie nutzten ein Computergehirn, um diese Videos basierend darauf, wie die Menschen sich bewegten, in Cluster einzuteilen. Vielleicht war eine Gruppe „langsam und vorsichtig“ und eine andere „schnell und direkt“.
Die Tokens: Jede Gruppe erhielt ein Token. Diese Tokens repräsentieren verschiedene Arten, die Aufgabe zu erledigen.
Das Training: Wenn der Roboter übt, wählt der Computer zufällig ein Token aus dem Menü aus und sagt dem Roboter: „Nutze diesen Stil heute!“ Dies zwingt den Roboter, verschiedene Bewegungsabläufe zu erforschen, um sicherzustellen, dass er nicht in einer langweiligen Schleife stecken bleibt.

Der magische Schalter: Der Token-Selektor

Es gibt ein Problem mit diesem Menü-Ansatz: Während des eigentlichen Jobs (wie in einer echten Küche) kann man nicht einfach einen zufälligen Stil wählen. Man muss genau wissen, welcher Stil für dieses spezifische Hemd auf diesem spezifischen Tisch am besten funktioniert.

Um dies zu lösen, fügt ExToken einen „Token Selector“ hinzu. Denken Sie an einen smarten Manager, der die Szene betrachtet (das Hemd, den Tisch, die Beleuchtung) und sofort das perfekte Token aus dem Menü auswählt.

Während des Trainings: Probiert der Manager verschiedene Tokens aus, um zu sehen, was funktioniert.
Während des eigentlichen Jobs: Betrachtet der Manager die Situation und entscheidet selbstbewusst: „Okay, für dieses spezifische Durcheinander nutzen wir das Token ‚Vorsichtiger Koch‘.“

Dies ermöglicht es dem Roboter, während des Lernens wild und kreativ zu explorieren, aber bei der eigentlichen Arbeit mit perfekter, deterministischer Präzision zu agieren.

Was die Zahlen sagen

Das Paper testete diese Idee auf zwei Arten: in Computersimulationen und an echten Robotern.

In Simulationen: Sie verwendeten einen Benchmark namens LIBERO mit vier verschiedenen Aufgabentypen (Spatial, Object, Goal und Long).
- Der Standardroboter (RLinf-GRPO) erreichte eine durchschnittliche Erfolgsquote von 96,8 %.
- Der ExToken-Roboter erreichte 98,2 %.
- Bei der schwierigsten Aufgabe (LIBERO-Long) erreichte der Standardroboter 95,2 %, während ExToken auf 97,8 % sprang.
- Entscheidend war, dass sie dies unter einem strengen Limit taten: Der Roboter durfte nur 512 Versuche pro Schritt sammeln. Selbst mit diesem engen Budget gewann ExToken.
In der realen Welt: Sie testeten dies bei vier realen Aufgaben: Kleidung falten, einen Tisch abwischen, Wasser eingießen und einen Stift in einen Halter legen.
- Bei der Aufgabe „Kleidung falten“ erreichte die Standardmethode eine Erfolgsquote von 90 %. ExToken erreichte 95 %.
- Wenn sie die Umgebung änderten (wie ein anderes Hemd oder einen anderen Tischhintergrund), sank die Leistung der Standardmethoden um 10 % bis 20 %. ExToken sank nur um 5 % bis 10 %, was zeigt, dass es viel robuster ist.

Was sie (noch) nicht wissen

Das Paper merkt vorsichtig an, dass dies kein Allheilmittel für alles ist.

Granularität: Sie testeten die Verwendung von 3, 6 oder 10 verschiedenen Tokens. Die Ergebnisse waren zwischen 3 und 6 recht stabil, aber die Leistung sank bei 10 leicht ab. Sie vermuten, dass es schwierig für den Roboter sein könnte, zu lernen, wenn es zu viele winzige Kategorien gibt.
Extreme Limits: Wenn sie das Budget auf nur 128 Versuche senkten, wurde das System instabil. Die Autoren vermuten, dass dies daran liegt, dass es einfach nicht genug Ausgangspunkte gibt, um eine so große Vielfalt an Tokens zu unterstützen.
Menschliche Interpretierbarkeit: Sie fanden heraus, dass einige der „Stile“, die der Roboter lernte, keinen klaren menschlichen Namen hatten (wie „der seltsame, verdrehte Falz“). Aber das spielte keine Rolle! Solange die Tokens unterschiedliche physische Bewegungen erzeugten, halfen sie dem Roboter beim Lernen.

Das Fazit

Das Paper legt nahe, dass man, wenn man Roboter effizient trainieren will, aufhören sollte, ihnen einfach nur mehr Daten vorzuwerfen. Konzentrieren Sie sich statattdessen darauf, sicherzustellen, dass die Daten divers sind. Indem Sie ExToken verwenden, um den Roboter während der Übung zu zwingen, verschiedene „Persönlichkeiten“ auszuprobieren, können Sie ihn schneller trainieren, mit weniger Versuchen und ihn besser darin machen, mit Überraschungen in der realen Welt umzugehen. Es geht nicht darum, wie oft man es versucht; es geht darum, wie viele verschiedene Arten man ausprobiert.

Technisches Resümee: ExToken: Strukturierte Exploration für effizientes Vision-Language-Action Reinforcement Fine-tuning

1. Problemstellung

Vision-Language-Action (VLA)-Modelle haben vielversprechende Ergebnisse in der Robotermanipulation gezeigt, und Reinforcement Learning (RL) bietet ein Paradigma für das Post-Training dieser Modelle durch Interaktion mit der Umgebung. Die praktische Skalierbarkeit von VLA-RL wird jedoch durch die Stichprobenineffizienz (Sample Inefficiency) stark eingeschränkt. Groß angelegte VLA-Architekturen verursachen prohibitive Kosten und Sicherheitsrisiken, wenn sie umfangreichen Trial-and-Error-Prozessen in physischen oder simulierten Umgebungen unterzogen werden.

Die Autoren identifizieren einen spezifischen Engpass in aktuellen VLA-RL-Frameworks: Explorationsstagnation, die zu einem Action Mode Collapse führt. Standardmäßige stochastische Sampling-Mechanismen führen im Verlauf des Trainings dazu, dass die Policies zunehmend homogene Trajektorien generieren. Der Agent nutzt wiederholt ähnliche Aktionsmuster aus, was zu einer redundanten Datenerfassung führt, die die Abdeckung von Zustands-Aktions-Räumen nicht verbessert. Das Papier postuliert, dass das grundlegende Problem nicht bloß ein Mangel an Datenvolumen ist, sondern ein Mangel an Trajektoriendiversität.

2. Methodik: ExToken

Um die Explorationsstagnation zu adressieren, schlagen die Autoren ExToken (RL Exploration Token) vor, ein Framework, das VLA-Policies auf diskreten Verhaltens-Priors basiert, die aus Offline-Demonstrationen abgeleitet wurden, um eine strukturierte Exploration zu ermöglichen. Das Framework besteht aus zwei primären Komponenten:

A. Token-Formulierung und Konditionierung

Anstatt sich auf unstrukturiertes stochastisches Rauschen zu verlassen, nutzt ExToken die inhärente Verhaltensdiversität in Offline-Experten-Datensätzen.

Token-Generierung: Ein vortrainierter Video-Encoder extrahiert latente räumlich-zeitliche Merkmale aus einem Demonstrationsdatensatz $\mathcal{D}$ . Mittels $K$ -Means-Clustering wird im diesen latenten Raum durchgeführt, um $K$ Cluster-Zentren $\{c_1, \dots, c_K\}$ zu identifizieren. Jedes Zentrum definiert ein diskretes Explorations-Token, das einem distinkten Verhaltensmodus entspricht.
Token-konditioniertes Warm-up: Vor dem RL-Prozess richtet eine Supervised Fine-Tuning (SFT)-Phase die Policy auf diese Token aus. Jede Demonstrations-Trajektorie wird mit ihrem entsprechenden Cluster-Token gepaart, wodurch die Policy die Assoziation zwischen spezifischen Token und Verhaltensmodi erlernt.
Strukturierte Exploration während des RL: Während der RL-Interaktionsphase wird die Policy auf ein gleichmäßig verteiltes Explorations-Token $k \sim \mathcal{U}(1, K)$ konditioniert, das der Eingabesequenz vorangestellt wird. Dies steuert den Agenten explizit in Richtung unterschiedlicher Verhaltensmodi, verhindert den Action Mode Collapse und verbessert die Rollout-Diversität.

B. Zustands-konditionierter Token-Selektor

Um die Lücke zwischen stochastischer Exploration während des Trainings und deterministischer Inferenz bei der Anwendung zu schließen, integriert ExToken einen Token-Selektor $\phi$ .

Architektur: Gegeben sei eine initiale Beobachtung $s_0$ (Bild und Sprache), ein vortrainierter SigLIP-Encoder gefolgt von einem MLP-Head sagt eine kategoriale Verteilung über den Token-Raum voraus.
Training: Der Selektor wird gemeinsam mit der VLA-Policy optimiert. Während die Policy über Standard-RL-Objektive aktualisiert wird, wird der Selektor auf Episoden-Ebene mittels REINFORCE optimiert. Das Ziel ist die Maximierung der erwarteten Trajektorien-Belohnung $R(\tau)$ für das ausgewählte Token, was den Selektor dazu ermutigt, den effektivsten Verhaltensmodus für einen gegebenen Initialzustand vorherzusagen.
Inferenz: Während der Anwendung gibt der Selektor deterministisch das wahrscheinlichste Token ( $\arg\max$ ) aus, was ein stabiles, kontextbewusstes Verhalten ohne Zufallssampling gewährleistet.

3. Zentrale Beiträge

Das Paper skizziert drei wesentliche Beiträge:

Empirische Erkenntnis: Die Autoren zeigen auf, dass Trajektoriendiversität für die Stichproben-Effizienz fundamental entscheidender ist als die reine Menge der gesammelten Rollouts. Sie zeigen, dass das Weglassen homogener Trajektorien und das Training auf einer diversen Teilmenge eine Leistung erzielt, die mit dem Training auf dem doppelten Volumen an Standard-Rollouts vergleichbar ist.
ExToken-Framework: Sie führen ein einfaches, allgemeines Framework ein, das VLA-Policies durch diskrete Token-Konditionierung dazu leitet, strukturierte Verhaltensmodi zu explorieren. Es kombiniert einzigartig die Token-konditionierte Exploration mit einem zustands-konditionierten Token-Selektor für die deterministische Inferenz.
Robuste Performance: Umfangreiche Experimente zeigen, dass ExToken die Konvergenz der Policy konsistent beschleunigt, die Erfolgsraten bei Aufgaben verbessert und unter hochgradig eingeschränkten Interaktionsbudgets (z. B. begrenzte Rollout-Zahlen) sowie Umgebungsvariationen robust bleibt.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ExToken sowohl in simulierten als auch in realen Robotermanipulationsaufgaben.

Simulation (LIBERO Benchmark)

Setup: ExToken wurde auf vier LIBERO-Task-Suites (Spatial, Object, Goal, Long) unter Verwendung von OpenVLA-OFT als Basis-Policy und GRPO zur Optimierung getestet. Das Interaktionsbudget war strikt auf 512 Trajektorien pro Schritt begrenzt.
Performance: ExToken erreichte eine durchschnittliche Erfolgsrate von 98,2 % und übertraf damit die starke Baseline RLinf-GRPO (96,8 %) unter exakt demselben Budget.
Effizienz: Die Lernkurven zeigten, dass ExToken schneller konvergiert als Baselines. Bemerkenswerterweise verbesserte ExToken auf der anspruchsvollen LIBERO-Long-Suite die Erfolgsrate von 95,2 % auf 97,8 %.
Ablation: Das Training mit 512 diversifizierten Rollouts (via ExToken) entsprach der Leistung von 1024 Standard-Rollouts, was die Hypothese validiert, dass Diversität schwerer wiegt als Volumen.

Reale Experimente

Aufgaben: Vier Aufgaben wurden evaluiert: Kleidung falten, Tisch abwischen, Wasser eingießen und Stift einsetzen.
Budget: Die Experimente wurden unter strengen Beschränkungen (20 Rollouts pro Iteration) durchgeführt.
Ergebnisse: ExToken übertraf die Evo-RL-Baseline in den Originaleinstellungen um durchschnittlich 6,25 %.
Generalisierung: Entscheidend ist, dass ExToken eine überlegene Robustheit gegenüber Umgebungsvariationen (unbekannte Objekte, Hintergrundänderungen, Lichtverhältnisse) zeigte. Während Baselines Leistungsabfälle von 10–25 % erlitten, war die Degradation bei ExToken auf 5–15 % begrenzt, was auf die Exposition der Policy gegenüber variierten Interaktionsmustern während des Trainings zurückzuführen ist.

Analyse

Token-Clustering: Visualisierungen bestätigten, dass die Token distinkte Verhaltensmodi erfassten (z. B. korrigierendes Begradigen vs. Glätten beim Falten von Stoffen).
Explorationsraum: Eine 3D-Endeffektor-Positionsanalyse zeigte, dass die Token-konditionierte Exploration einen signifikant größeren räumlichen Bereich abdeckte als die standardmäßige stochastische Exploration.
Beschränkungen: ExToken blieb robust, selbst als das Rollout-Budget von 512 auf 256 reduziert wurde, und übertraf dabei Baselines, die doppelt so viele Daten benötigten, um ähnliche Ergebnisse zu erzielen.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass ExToken einen fundamentalen Engpass in VLA-RL adressiert: den Trade-off zwischen Explorationskosten und Stichproben-Effizienz. Durch die Verlagerung des Fokus von "mehr Daten sammeln" hin zu "diversere Daten sammeln" durch strukturierte Token-Konditionierung ermöglicht ExToken eine effiziente Policy-Optimierung unter engen Interaktionsbudgets.

Die Autoren positionieren ExToken als ein leichtgewichtiges und breit kompatibles Framework, das in verschiedene VLA-Architekturen und RL-Paradigmen (online und iterativ offline) integriert werden kann. Sie betonen, dass die Methode keine komplexen architektonischen Änderungen erfordert, sondern vielmehr die Input-Konditionierung nutzt, um die Exploration zu steuern.

Limitierungen und zukünftige Arbeiten:
Die Autoren merken bescheiden an, dass das aktuelle Design eine vereinfachte Validierung der Kernhypothese darstellt. Zukünftige Richtungen umfassen:

Die gemeinsame Optimierung der Token-Repräsentationen mit der Policy.
Die Einführung von probabilistischem Token-Dropout für implizites Ensembling.
Der Übergüang von einzelnen Initialzustands-Tokens zu temporär-konditionierten Tokens, um komplexe, langfristige Aufgaben zu bewältigen, bei denen die Explorationsstrategien dynamisch wechseln müssen.