💻 computer science

Denoising Tells When to Replan: Denoising-Variance Adaptive Chunking for Flow-Based Robot Policies

Dieses Paper schlägt DVAC vor, eine Methode zur Laufzeit, die durch die Überwachung der Denoising-Varianz in Flow-basierten Policies die Ausführungsgeschwindigkeiten von Action Chunks adaptiv bestimmt und dadurch die Aufgabenerfolgsrate erhöht sowie unnötiges Replanning über verschiedene Manipulations-Benchmarks hinweg reduziert.

Ursprüngliche Autoren: Xiangdong Feng, Yuxuan Cheng, Chen Shi, Boyao Han, Yuxuan Yan, Yitong Hong, Zhuotao Tian, Li Jiang

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xiangdong Feng, Yuxuan Cheng, Chen Shi, Boyao Han, Yuxuan Yan, Yitong Hong, Zhuotao Tian, Li Jiang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter eine komplexe Aufgabe bei, wie etwa das Stapeln von Blöcken oder das Eingießen eines Getränks. Um den Roboter flüssig zu bewegen, sagt der Computer ihm nicht einfach nur „Bewege die Hand nach vorne“. Stattdessen sagt er ihm einen ganzen Block zukünftiger Bewegungen auf einmal voraus – sagen wir die nächsten 20 Schritte – und führt diese dann alle aus, bevor er den Computer nach neuen Anweisungen fragt.

Das ist effizient, hat aber einen Haken: Wie lange sollte der Roboter dieser Liste von 20 Schritten vertrauen?

Wenn der Roboter gerade durch einen leeren Raum läuft (eine „vorhersehbare“ Phase), kann er der gesamten Liste von 20 Schritten sicher vertrauen.
Aber wenn der Roboter kurz davor ist, einen rutschigen Becher zu greifen oder einen Schlüssel in ein Schloss einzuführen (eine „Präzisions“-Phase), ist es gefährlich, einer Liste zu vertrauen, die vor 20 Schritten erstellt wurde. Er muss sofort anhalten, neu schauen und nach einem frischen Plan fragen.

Derzeit verwenden die meisten Roboter eine feste Regel: „Führe immer 10 Schritte aus, halte dann an und frage nach einem neuen Plan.“ Das ist so, als würde man ein Auto fahren und entscheiden, genau alle 10 Sekunden in den Rückspiegel zu schauen, ungeachtet dessen, ob man auf einer geraden Autobahn oder durch einen belebten, verwinkelten Markt navigiert.

Die große Idee: „Höre auf das Gehirn des Roboters“

Die Autoren dieser Arbeit haben etwas Faszinierendes über die Funktionsweise moderner „Flow-basierter“ Robotergehirne entdeckt. Diese Roboter geben nicht einfach nur eine Antwort aus; sie durchlaufen einen Denoising-Prozess (Entrauschungsprozess). Denken Sie dabei an einen Bildhauer, der mit einem groben Steinblock (Rauschen) beginnt und langsam den Stein wegmeißelt, um die fertige Statue freizulegen (Aktion).

Während der Roboter seinen Plan „formt“, macht er Zwischenschritte. Die Autoren fanden heraus:

Wenn es einfach ist (Bewegung durch leeren Raum), werden die Vermutungen des Roboters sehr stabil und konsistent, während er den Plan verfeinert.
Wenn es schwierig ist (Berühren von Objekten, die Präzision erfordert), schwanken die Vermutungen des Roboters stark und unruhig, während er versucht, die beste Bewegung zu finden.

Die Erkenntnis: Das Ausmaß des „Wackels“ (Varianz) im Denkprozess des Roboters ist ein eingebautes Signal, das uns sagt, wann wir anhalten und neu planen müssen.

Die Lösung: DVAC (Denoising-Variance Adaptive Chunking)

Das Team entwickelte eine Methode namens DVAC. Anstatt einen festen Timer oder eine feste Schrittanzahl zu verwenden, fungiert DVAC wie ein intelligenter Aufseher, der das Gehirn des Roboters in Echtzeit beobachtet.

Die Metapher: Stellen Sie sich vor, Sie lesen einem Kind eine Geschichte vor.
- Wenn die Geschichte langweilig und vorhersehbar ist („Die Katze saß auf der Matte“), können Sie einen ganzen Absatz lesen, bevor Sie fragen: „Möchest du weiterhören?“
- Wenn die Geschichte spannend und verwirrend wird („Plötzlich erschien ein Drache!“), halten Sie sofort inne, schauen das Kind an und fragen: „Was sollen wir als Nächstes tun?“
Wie DVAC funktioniert:
1. Es beobachtet das „Wackeln“ (Varianz) des Roboters, während er seinen Aktionsplan finalisiert.
2. Wenn das Wackeln gering ist (der Plan ist stabil), lässt es den Roboter einen langen Block an Aktionen ausführen.
3. Wenn das Wackeln plötzlich ansteigt (der Plan ist unsicher), sagt es: „Stopp! Dieser Teil des Plans ist zu unsicher.“ Es führt nur den sicheren, stabilen Teil der Liste aus und bittet den Roboter sofort, einen frischen Plan für den schwierigen Teil zu erstellen.
4. Es passt auch seine Sensibilität automatisch an. Wenn sich der Roboter in einer generell „wackeligen“ Umgebung befindet, wird DVAC nachgiebiger; wenn es eine „stabile“ Umgebung ist, wird es strenger.

Was sie herausgefunden haben

Das Team testete dies in mehreren Roboter-Simulations-Benchmarks (wie LIBERO, RoboTwin und CALVIN) und sogar an echten physischen Robotern.

Besserer Erfolg: Die Roboter wurden besser darin, ihre Aufgaben abzuschließen. Zum Beispiel stieg die Erfolgsquote in einem Benchmark von 94,75 % auf 98,00 %.
Weniger Unterbrechungen: Die Roboter mussten nicht so oft anhalten und um Hilfe bitten. Sie reduzierten die Anzahl der Male, in denen sie „neu planen“ mussten, um etwa 43 %.
Echter Beweis: Bei Aufgaben an echten Robotern, wie dem Stapeln von Würfeln oder dem Bewegen von Reagenzgläsern, machte DVAC die Roboter schneller und erfolgreicher als Roboter, die feste Regeln verwendeten.

Zusammenfassung

Kurz gesagt: Die Arbeit besagt: Rate nicht, wann du aufhören sollst; lass den eigenen Denkprozess des Roboters dir das sagen. Indem wir darauf hören, wie „selbstbewusst“ oder „wackelig“ die Vorhersagen des Roboters sind, können wir Roboter erschaffen, die sowohl effizienter (mehr erledigen, ohne anzuhalten) als auch vorsichtiger (genau dann anhalten, wenn es knifflig wird) sind.

Technische Zusammenfassung: Denoising-Variance Adaptive Chunking (DVAC)

1. Problemstellung

Flow-basierte Roboter-Policies, wie sie bei der Nutzung von Diffusion oder Flow Matching zum Einsatz kommen, haben sich als Standard für die Generierung kontinuierlicher Aktionssequenzen etabliert. Eine gängige Deployment-Strategie ist das Action Chunking, bei dem die Policy eine Sequenz zukünftiger Aktionen vorhersagt und ein Präfix dieser Sequenz ausgeführt wird, bevor die Policy neu plant (Replanning). Während Chunking die zeitliche Kohärenz verbessert und die Inferenzkosten amortisiert, verlassen sich aktuelle Implementierungen auf einen festen Ausführungshorizont (z. B. immer die Ausführung der ersten 10 von 50 vorhergesagten Aktionen).

Dieser statische Ansatz erzeugt einen inhärenten Zielkonflikt:

Vorhersehbare Phasen (z. B. freie Armbewegungen im Raum) erfordern oft selteneres Replanning, um die Effizienz aufrechtzuerhalten.
Präzisionskritische Phasen (z. B. kontaktreiche Interaktionen, Objektmanipulation) erfordern häufigeres Replanning, um Fehler zu korrigieren.
Ein statischer Horizont kann sich nicht an diese variierenden Dynamiken anpassen, was entweder zu ineffizientem Über-Replanning oder zu riskantem Unter-Replanning während kritischer Aufgaben führt. Bestehende adaptive Methoden erfordern oft zusätzliche Kandidaten-Chunks, zusätzliche Heuristiken zur Auswahl oder taskspezifisches Training, was den Einsatz verkompliziert.

2. Methodik: DVAC

Die Autoren schlagen Denoising-Variance Adaptive Chunking (DVAC) vor, ein trainingsfreies Framework zur Laufzeit (Test-Time), das den Ausführungshorizont basierend auf der internen Dynamik des Inferenzprozesses der Flow-basierten Policy dynamisch bestimmt.

Kernidee:
Während der Flow-Matching-Inferenz verfeinert die Policy eine verrauschte Aktions-Chunk iterativ zu einer sauberen Aktionsschätzung durch eine Denoising-Trajektorie. Die Autoren beobachten, dass die Varianz dieser intermediären sauberen Aktionsschätzungen ( $\hat{x}_0$ ) über die letzten Schritte des Denoising-Prozesses als intrinsisches Signal für die Stabilität der Aufgabenphase dient:

Niedrige Varianz: Tritt während vorhersehbarer Bewegungsphasen auf, was auf stabile Vorhersagen hindeutet.
Hohe Varianz: Tritt während kontaktreicher oder präzisionssensitiver Operationen auf, was auf Unsicherheit und die Notwendigkeit eines Replannings hindeutet.

Algorithmus-Übersicht:

Varianzschätzung: Für eine vorhergesagte Aktions-Chunk mit Horizont $H$ überwacht DVAC die letzten $L$ Schritte des Denoising-Prozesses. Es berechnet die Varianz ( $V_s(k)$ ) der sauberen Aktionsschätzungen für jeden zukünftigen Aktionsindex $k$ .
Schwellenwertbildung: Anstatt einen festen numerischen Schwellenwert zu verwenden (der je nach Aufgabe und Rollout variiert), verwendet DVAC einen skalenadaptiven Schwellenwert ( $\tau_s$ ). Es führt einen rollierenden Puffer aktueller Varianzstatistiken, um einen lokalen Mittelwert ( $\mu_s$ ) und eine Standardabweichung ( $\sigma_s$ ) zu berechnen. Der Schwellenwert wird als $\tau_s = \mu_s + \alpha\sigma_s$ gesetzt, wobei $\alpha$ ein Hyperparameter ist, der die Toleranz gegenüber Unsicherheit definiert.
Adaptive Ausführung: Die Policy führt das längste Präfix von Aktionen aus, bei denen die Varianz unter dem Schwellenwert bleibt. Sobald die Varianz den Schwellenwert $\tau_s$ überschreitet (was eine bevorstehende instabile Phase anzeigt), stoppt die Ausführung und die Policy löst ein Replanning aus.
Beschränkungen: Die Ausführungsdauer ist durch minimale ( $N_{min}$ ) und maximale ( $N_{max}$ ) Limits begrenzt, um Stabilität zu gewährleisten und übermäßiges Replanning zu verhindern.

3. Wichtigste Beiträge

Identifizierung eines intrinsischen Signals: Die Arbeit etabliert, dass die Konvergenzstabilität des Denoising ein intrinsisches, trainingsfreies Signal für die adaptive Ausführung in Flow-basierten Policies ist, das direkt mit kontaktreichen und präzisionssensiblen Aufgabenphasen korreliert.
DVAC-Framework: Der Vorschlag eines Plug-and-Play-, trainingsfreien Inferenz-Methoden-Ansatzes, der Ausführungshorizonte mittels Denoising-Varianz und einem Online-skalenadaptiven Schwellenwert anpasst.
Empirische Validierung: Umfassende Evaluierung über mehrere Benchmarks (LIBERO, RoboTwin, CALVIN), diverse Flow-basierte Backbones (einschließlich $\pi_0.5$ , Qwen2.5-VL und GR00T) sowie reale Manipulationsaufgaben.

4. Experimentelle Ergebnisse

Die Autoren evaluierten DVAC auf Simulations-Benchmarks und realer Hardware im Vergleich zu Fixed-Horizon-Baselines und anderen adaptiven Methoden.

LIBERO Benchmark: Unter Verwendung einer $\pi_0.5$ -basierten Policy verbesserte DVAC die durchschnittliche Erfolgsrate von 94,75 % auf 98,00 % und reduzierte gleichzeitig die Häufigkeit des Replannings um 43,0 % (von 32,6 auf 18,6 Replannings pro Episode). Es übertraf andere adaptive Baselines wie AAC und AutoHorizon.
RoboTwin & CALVIN: DVAC verbesserte die durchschnittliche Erfolgsrate auf RoboTwin von 0,359 auf 0,416 und erhöhte die Anzahl der durchschnittlich abgeschlossenen Subtasks auf CALVIN-5 von 3,905 auf 4,040. Bemerkenswerterweise schnitten Fixed-Threshold-Varianten auf CALVIN schlechter ab, was die Notwendigkeit des skalenadaptiven Designs von DVAC unterstreicht.
Backbone-Transferierbarkeit: Die Methode demonstrierte ihre "Plug-and-Play"-Fähigkeiten, indem sie die Leistung über verschiedene Modellarchitekturen hinweg (z. B. Qwen2.5-VL und Qwen3-VL-GR00T) ohne erneutes Training verbesserte.
Reale Manipulation: In Aufgaben, die das Platzieren von Würfeln, Stapeln und Bewegen von Reagenzgläsern beinhalteten, erreichte DVAC konsistent höhere Erfolgsraten als Fixed-Horizon-Baselines (z. B. 0,867 gegenüber 0,800 beim Platzieren von Würfeln) bei gleichzeitiger signifikanter Reduzierung der Aufgabenzeit und der Anzahl der Replannings.
Phasenkorrelation: Die Analyse bestätigte, dass DVAC die Ausführungshorizonte während operationssensitiver Phasen erfolgreich verkürzt und während Bewegungsphasen verlängert, was mit der theoretischen Motivation übereinstimmt.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass DVAC einen einfachen, aber effektiven Mechanismus für den konfidenzbasierten Einsatz von Chunked-Robot-Policies bietet. Durch die Nutzung der bereits während der Inferenz berechneten Denoising-Trajektorie eliminiert DVAC die Notwendigkeit für:

Zusätzliches Training.
Die Generierung zusätzlicher Kandidaten-Aktionen.
Taskspezifische Abstimmung numerischer Schwellenwerte.

Die Autoren argumentieren, dass die Denoising-Stabilität ein leicht verfügbares, intrinsisches Signal ist, das es Policies ermöglicht, zwischen dynamischer Reaktionsfähigkeit (Replanning, wenn nötig) und Inferenz-Effizienz (Ausführung längerer Chunks, wenn stabil) abzuwägen. Dieser Ansatz verbessert den Aufgabenerfolg und reduziert gleichzeitig den Rechenaufwand durch häufiges Replanning, was einen kritischen Engpass beim Einsatz großskaliger visuomotorischer Policies adressiert.

Eingeständnis von Limitationen:
Die Autoren merken an, dass DVAC die Denoising-Varianz als empirischen Proxy verwendet und nicht als kalibrierte Unsicherheitsschätzung. Es ist derzeit auf Flow-basierte oder Diffusion-ähnliche Policies beschränkt, die die internen Trajektorien offenlegen, und setzt den Zugriff auf diese internen Zustände voraus. Die reale Evaluierung war in Bezug auf Aufgabenvielfalt und Embodiment-Skalierung begrenzt.