💻 computer science

dVLA-RL: Reinforcement Learning over Denoising Trajectories for Discrete Diffusion Vision-Language-Action Models

Dieses Paper führt dVLA-RL ein, ein Reinforcement-Learning-Framework für diskrete Diffusions-Vision-Language-Action-Modelle, das die Unberechenbarkeit marginaler Aktionswahrscheinlichkeiten durch die Optimierung der gemeinsamen Wahrscheinlichkeit von Denoising-Trajektorien überwindet und dadurch durch einen vereinheitlichten, variablen Schritt-Scheduling-Ansatz eine Spitzenleistung bei Benchmarks zur Robotermanipulation erzielt.

Ursprüngliche Autoren: Yuhao Wu, Yitian Liu, Weijie Shen, Mishuo Han, Wenjie Xu, Haotian Liang, Zhongshan Liu, Yinan Mao, Lei Xu, Xinping Guan, Ru Ying, Ran Zheng, Wei Sui, Xiaokang Yang, Wenbo Ding, Yao Mu

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuhao Wu, Yitian Liu, Weijie Shen, Mishuo Han, Wenjie Xu, Haotian Liang, Zhongshan Liu, Yinan Mao, Lei Xu, Xinping Guan, Ru Ying, Ran Zheng, Wei Sui, Xiaokang Yang, Wenbo Ding, Yao Mu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Kochen eines komplexen Gerichts bei, wie zum Beispiel eines Soufflés.

Der alte Weg (Das „Nachahmer“-Problem):
Früher lernten Roboter, indem sie einem menschlichen Koch einmal dabei zusahmen und versuchten, seine Bewegungen exakt zu kopieren. Das nennt man „Supervised Fine-Tuning“ (Überwachtes Feintuning). Das funktioniert ganz gut für einfache Aufgaben, aber wenn die Küche unordentlich wird oder die Zutaten etwas anders sind, gerät der Roboter in Panik und scheitert. Es ist wie ein Schüler, der die Antworten auf einer Übungsprüfung auswendig gelernt hat, aber keine neuen Probleme lösen kann.

Das neue Werkzeug (Der „Denoising“-Roboter):
Vor kurzem entwickelten Wissenschaftler ein neues Gehirn für Roboter namens dVLA (Discrete Diffusion Vision-Language-Action Model). Anstatt den nächsten Schritt sofort zu entscheiden, denkt dieser Roboter auf eine „verrauschte“ Weise. Stellen Sie sich vor, der Roboter beginnt mit einem leeren Blatt Papier voller Kritzeleien (Rauschen). Dann löscht er die Kritzeleien Schritt für Schritt weg und enthüllt so das perfekte Rezept.

Schritt 1: Er rät ein paar Wörter.
Schritt 2: Er verfeinert diese Wörter basierend auf dem, was er sieht.
Schritt 3: Er finalisiert das Rezept.

Dieser Prozess der „langsamen Enthüllung“ ist großartig, weil er dem Roboter ermöglicht, seinen Plan iterativ zu verfeinern, so wie ein Künstler eine Zeichnung skizziert, bevor er sie einzeichnet.

Das fehlende Puzzleteil (Die „Reinforcement Learning“-Lücke):
Obwohl dieser „langsam enthüllende“ Roboter klug war, war er immer noch nur ein Nachahmer. Er hatte nicht aus seinen Fehlern gelernt. Wissenschaftler wollten Reinforcement Learning (RL) – eine Methode, bei der der Roboter Dinge ausprobiert, ein „Daumen hoch“ (Belohnung) für Erfolg und ein „Daumen runter“ für Misserfolg erhält und so im Laufe der Zeit lernt, besser zu werden.

Das große Problem:
Es gab eine mathematische Hürde. In Standard-Robotergehirnen kann man leicht die Wahrscheinlichkeit berechnen, die richtige Antwort zu erhalten. Aber in diesem „langsam enthüllenden“ Roboter ist die endgültige Antwort das Ergebnis eines langen, gewundenen Pfades aus Vermutungen. Zu versuchen, die exakte Wahrscheinlichkeit des endgültigen Ergebnisses zu berechnen, indem man jeden möglichen Pfad betrachtet, den der Roboter hätte nehmen können, ist so, als würde man versuchen, jedes einzelne Sandkorn am Strand zu zählen, um die Gezeiten vorherzusagen. Das ist mathematisch unmöglich (intraktabel).

Die Lösung: dVLA-RL (Der „Reise“-Ansatz)
Die Autoren dieser Arbeit haben dies gelöst, indem sie die Frage änderten. Anstatt zu fragen: „Wie hoch ist die Chance auf die endgültige perfekte Antwort?“, fragten sie: „Wie hoch ist die Chance, genau den spezifischen Pfad genommen zu haben, den wir gerade gegangen sind?“

Denken Sie an ein Videospiel:

Alte Mathematik: Zu versuchen, die Chancen auf den Gewinn des gesamten Turniers zu berechnen, noch bevor das Spiel überhaupt beginnt.
Neue Mathematik (dVLA-RL): Die Chancen zu berechnen, genau die Schritte unternommen zu haben, die man gerade gemacht hat, um das nächste Level zu erreichen.

Indem sie den „langsam enthüllenden“ Prozess des Roboters als eine schrittweise Reise (eine Trajektorie) behandelten, konnten sie den Roboter mit Standard-Reinforcement-Learning lehren. Sie belohnen den Roboter für den gesamten Pfad, den er genommen hat, um das Problem zu lösen, und nicht nur für das Endergebnis.

Die „Hybrid“-Strategie (Der „schlaue Planer“)
Die Autoren führten auch einen cleveren Trick namens Hybrid dVLA-RL ein.

Einfache Aufgaben: Wenn der Roboter eine einfache Aufgabe gut beherrscht (wie das Aufheben eines Bechers), muss er nicht 10 Schritte denken. Er kann nur 1 oder 2 Schritte machen. Das spart Zeit und Energie.
Schwere Aufgaben: Wenn die Aufgabe komplex ist (wie das Stapeln eines Turms aus Blöcken), darf der Roboter mehr Schritte machen, um zu „denken“ und seinen Plan zu verfeinern.

Das ist so, als würde ein Lehrer einem Schüler für leichte Fragen einen kurzen Quiz erstellen, aber für eine schwierige Forschungsarbeit ein Essay-Format erlauben. Dies macht den Roboter schneller bei einfachen Jobs und klüger bei schwierigen.

Die Ergebnisse
Das Team testete die Methode auf zwei großen Trainingsplätzen für Roboter:

LIBBO: Eine Simulation für Einarm-Roboter. Die neue Methode erreichte eine Erfolgsquote von 99,7 %, was praktisch bedeutet, dass die Aufgaben perfektioniert wurden.
RoboTwin 2.0: Eine schwierigere Simulation für Zweiarm-Roboter (ähnlich wie ein Mensch). Die neue Methode verbesserte die Erfolgsquote im Vergleich zur alten „Nachahmer“-Version um 30,6 % und übertraf damit andere erstklassige Robotergehirne.

Zusammenfassend
Die Arbeit präsentiert einen Weg, um „langsam denkende“ Roboter aus ihren eigenen Erfahrungen lernen zu lassen. Anstatt steckenzubleiben, indem sie versuchen, unmögliche Mathematik über das Endergebnis zu berechnen, lehren sie den Roboter, aus der spezifischen Reise zu lernen, die er dorthin unternommen hat. Dies macht die Roboter signifikant besser darin, Anweisungen zu befolgen und komplexe physische Aufgaben zu bewältigen.

Technisches Resümee: dVLA-RL

Problemstellung

Vision-Language-Action (VLA)-Modelle haben ein leistungsstarkes Paradigma für die robotische Manipulation etabliert, indem sie die Steuerung in der semantischen Argumentation von Large Vision-Language Models (VLMs) verankern. Während Discrete Diffusion VLAs (dVLAs) als vielversprechende Alternative hervorgetreten sind, die Vision, Sprache und Aktion in einem einzigen diskreten Token-Raum mittels maskierter generativer Modellierung vereinigen, war deren Training bisher auf Supervised Fine-Tuning (SFT) beschränkt.

Die Anwendung von Reinforcement Learning (RL) auf native dVLAs steht vor einem grundlegenden Engpass: der Unberechenbarkeit der marginalen Aktionswahrscheinlichkeit. Standardmäßige Policy-Gradient-Algorithmen (z. B. PPO) erfordern die exakte Wahrscheinlichkeit der schließlich ausgeführten Aktion, $\pi_\theta(a_t | s_t)$ . Bei diskreten Diffusionsmodellen ist die finale Aktion jedoch das Ergebnis eines $K$ -stufigen stochastischen Denoising-Prozesses. Die Berechnung der exakten marginalen Wahrscheinlichkeit erfordert die Summation über den kombinatorischen Raum aller möglichen intermediären Denoising-Trajektorien, was rechnerisch nicht machbar ist. Darüber hinaus führt die Approximation der Policy allein durch den Output des letzten Schritts dazu, dass die zwischengeschalteten Zustände, die den Rollout bestimmen, ignoriert werden, was zu Gradienten-Fehlpaarungen und instabilem Training führt.

Methodik: dVLA-RL

Um dies zu adressieren, schlagen die Autoren dVLA-RL vor, ein Framework, das das Lernziel von der unberechenbaren marginalen Aktionswahrscheinlichkeit auf die gemeinsame Wahrscheinlichkeit der gesampelten Denoising-Trajektorie verschiebt.

1. Wahrscheinlichkeitsmodellierung auf Trajektorienebene

Die Autoren modellieren den Denoising-Prozess als Markov-Entscheidungsprozess (MDP). Anstatt die finale Aktionswahrscheinlichkeit zu optimieren, entfalten sie den Denoising-Prozess und formulieren die Wahrscheinlichkeit des spezifisch gesampelten Generierungspfads, $\tau = (x_K, \dots, x_0)$ , als Produkt schrittweiser Übergänge:
$\log \pi_\theta(\tau | s_t) = \sum_{k=1}^K \left[ \log P_{\text{unmask}}(U_k | p_\theta, k) + \sum_{i \in U_k} \log p_\theta(x_{k-1}^i | x_k, s_t) \right]$
wobei $U_k$ die Teilmenge der Tokens ist, die zum Zeitpunkt $k$ für das Unmasking ausgewählt wurden.

2. Implizite Optimierung des Unmasking-Prozesses

Eine kritische Herausforderung besteht darin, dass der Token-Unmasking-Zeitplan (bestimmt durch einen Gumbel-TopK-Mechanismus) diskret und nicht differenzierbar ist. Die direkte Rückwärtsprogrammierung durch die Unmasking-Selektionswahrscheinlichkeiten führt zu hochvarianten Gradienten.

Lösung: Die Autoren behandeln den Unmasking-Prozess als eine intrinsische, nicht differenzierbare Systemdynamik. Sie lassen den Unmasking-Term aus dem Gradienten-Update weg und konzentrieren das Ziel ausschließlich auf die Token-Generierungswahrscheinlichkeiten für Tokens, die vom Zustand [MASK] zu einer spezifischen Token-ID übergehen.
Impliziter Effekt: Durch die Optimierung der Kern-Token-Vorhersagegenauigkeit verbessert sich die Konfidenzverteilung des Netzwerks, was den Gumbel-TopK-Scheduler implizit und adaptiv optimiert, um auf unsichere Regionen zu zielen, ohne dass explizite Gradientenschätzer für den Scheduler selbst erforderlich sind.

3. Hybride Denoising-Schritt-Strategie

Durch die Nutzung der Flexibilität der Trajektorien-basierten Formulierung führen die Autoren einen Hybrid dVLA-RL-Ansatz ein. Da das Framework nativ variable Denoising-Horizonte unterstützt, können verschiedene Aufgaben basierend auf ihrer Komplexität und der initialen SFT-Performance unterschiedliche Zahlen von Denoising-Schritten zugewiesen werden:

Einfache Aufgaben: Weniger Denoising-Schritte reduzieren Rollout- und Inferenzkosten bei gleichbleibend hoher Erfolgsrate.
Komplexe Aufgaben: Größere Denoising-Horizonte liefern bessere initiale Aktionen und ermöglichen eine informativere Online-Exploration zur iterativen Verfeinerung.

Zentrale Beiträge

Formulierung von RL für diskrete Diffusion: Das Paper formuliert Reinforcement Learning für native diskrete Diffusions-VLAs, indem es die Wahrscheinlichkeit gesampelter Denoising-Trajektorien optimiert, anstatt die unberechenbare marginale Likelihood finaler Aktionen. Dies bietet einen praktikablen Weg, um Standard-Policy-Gradient-RL (PPO) mit mehrstufigen diskreten Denoising-Policies zu integrieren.
Vereinheitlichte Trainingsstrategie: Die Autoren führen einen vereinheitlichten Step-Scheduling-Ansatz (Hybrid dVLA-RL) ein, der die Denoising-Schritte auf die spezifische Aufgabenkomplexität abstimmt. Dies balanciert Aktionsqualität, Sample-Effizienz und Rechenkosten innerhalb eines einzigen Frameworks.
Empirische Validierung: Das Framework zeigt, dass RL die diskreten Diffusions-VLA-Policies über ihre SFT-Initialisierung hinaus erheblich verbessern kann und State-of-the-Art-Ergebnisse auf Standard-Benchmarks erzielt.

Experimentelle Ergebnisse

Die Autoren evaluierten dVLA-RL auf zwei robotischen Manipulations-Benchmarks: LIBERO (Einarm-Manipulation) und RoboTwin 2.0 (Bimanuelle Manipulation).

LIBERO: dVLA-RL erreichte eine durchschnittliche Erfolgsrate von 99,7 % über alle vier Suiten (Spatial, Object, Goal, Long) hinweg und übertraf damit sowohl die SFT-only Baselines als auch bestehende VLA/World-Action Model (WAM) Baselines.
RoboTwin 2.0: Die Methode lieferte eine absolute Verbesserung von 30,6 % gegenüber der SFT-only MM-ACT Baseline (Anstieg von 61,4 % auf 92,0 % durchschnittliche Erfolgsrate). Sie erzielte die beste Performance unter den VLA-basierten Methoden auf diesem anspruchsvollen bimanualen Benchmark und blieb wettbewerbsfähig gegenüber starken WAM-Baselines.
Ablationsstudien:
- Trajektorie vs. Letzter-Schritt: Vergleiche zeigten, dass die Modellierung auf Trajektorienebene notwendig ist; eine "Last-Step-Only"-Proxy führte zu instabilem Training und niedrigeren Erfolgsraten, insbesondere wenn die Anzahl der Denoising-Schritte zunahm.
- Hybrid-Strategie: Der hybride Ansatz verbesserte die Sample-Effizienz erfolgreich und erreichte höhere Erfolgsraten mit weniger Interaktionen mit der Umgebung im Vergleich zu Fixed-Step-Strategien.

Bedeutung und Behauptungen

Das Paper behauptet, dass dVLA-RL den grundlegenden Mismatch zwischen mehrstufigen diskreten Diffusionsprozessen und Standard-RL-Zielen löst. Durch die Umformulierung des Optimierungsziels auf die gemeinsame Wahrscheinlichkeit der Denoising-Trajektorie ermöglichen die Autoren die erste erfolgreiche Anwendung von Online-RL auf native diskrete Diffusions-VLA-Policies.

Die Ergebnisse legen nahe, dass diskrete Diffusion ein vielversprechendes Paradigma zur Aktionsgenerierung für RL-optimierte VLA-Policies ist, das in der Lage ist, State-of-the-Art-Leistung sowohl in der Einarm- als auch in der komplexen bimanualen Manipulation zu erreichen. Die Arbeit hebt hervor, dass die "Unberechenbarkeit" marginaler Wahrscheinlichkeiten in Diffusionsmodellen umgangen werden kann, indem man das RL-Ziel mit dem tatsächlichen Ausführungspfad des Denoising-Prozesses in Einklang bringt, wodurch das Potenzial zur Policy-Verfeinerung über Behavior Cloning hinaus erschlossen wird.