💻 computer science

Flash-WAM: Modality-Aware Distillation for World Action Models

Flash-WAM ist ein modalitätsbewusstes Step-Distillation-Framework, das durch den Einsatz distinkter Konsistenz-Parametrisierungen, die auf die unterschiedlichen Rauschregime von Video- und Aktionsströmen zugeschnitten sind, eine Echtzeit-Inferenz in einem einzelnen Schritt für World Action Models ermöglicht und dadurch eine 23-fache Beschleunigung bei gleichbleibend hohen Aufgaben-Erfolgsraten erzielt.

Ursprüngliche Autoren: Arman Akbari, Ci Zhang, Arash Akbari, Lin Zhao, Yixiao Chen, Weiwei Chen, Xuan Zhang, Geng Yuan, Yanzhi Wang

Veröffentlicht 2026-06-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Arman Akbari, Ci Zhang, Arash Akbari, Lin Zhao, Yixiao Chen, Weiwei Chen, Xuan Zhang, Geng Yuan, Yanzhi Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter eine komplexe Aufgabe beizubringen, wie zum Beispiel eine Flasche aufzuheben und sie in einen Becher zu stellen. Um dies zu tun, verwendet der Roboter ein „World-Action Model“ (WAM). Betrachten Sie dieses Modell als einen hochqualifizierten Regisseur, der zwei Dinge gleichzeitig tun muss:

Die Zukunft eines Films vorhersagen: Er stellt sich vor, wie das Video der Szene in den nächsten Sekunden aussehen wird.
Das Skript schreiben: Er entscheidet genau, welche physischen Bewegungen (Aktionen) die Arme des Roboters ausführen müssen, um dieses Video zu erzeugen.

Das Problem: Der Roboter ist zu langsam

Derzeit ist dieser „Regisseur“ unglaublich gründlich, aber quälend langsam. Um nur eine einzige Sekunde Bruchteils eines Videos und eine Bewegung zu generieren, muss das Modell einen komplexen mathematischen Prozess namens „Denoising“ (Entrauschen) etwa 75 Mal durchlaufen (25 Mal für das Video, 50 Mal für die Aktion).

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein perfektes Bild zu zeichnen, indem Sie mit einer unordentlichen Skizze beginnen und die Fehler langsam wegradieren. Dies 75 Mal für jeden einzelnen Frame zu tun, bedeutet, dass es 8,1 Sekunden dauert, um gerade einmal einen winzigen Moment zu planen.
Die Konsequenz: Eine Echtzeitsteuerung muss in etwa 0,5 Sekunden erfolgen. Bei 8,1 Sekunden ist der Roboter im Grunde eingefroren und unfähig, auf die Welt zu reagieren, während sie sich bewegt.

Die gescheiterte Abkürzung: „Einheitslösung“

Wissenschaftler versuchten, dies mithilfe einer Technik namens „Distillation“ (Destillation) zu beschleunigen. Das ist so, als würde man einen Schüler trainieren, die endgültige Antwort des Lehrers in nur einem Schritt anstatt in 75 Schritten nachzuahmen.

Als sie jedoch versuchten, diese standardmäßige „Einheitslösung“ gleichzeitig auf das Video und die Aktion anzuwenden, scheiterte dies völlig.

Warum? Das Video und die Aktionen sind grundlegend unterschiedlich.
- Das Video ist wie ein verschwommenes, hochauflösendes Gemälde. Es hat viele Details, ist aber verzeihend; man kann kleine Fehler machen und das Bild erkennt man trotzdem noch.
- Die Aktionen sind wie die Handbewegung eines Chirurgen. Sie sind winzig, präzise und entscheidend. Wenn man um einen Millimeter danebenliegt, scheitert die Aufgabe.
Der Fehler: Die Standard-Abkürzung behandelte die Hand des Chirurgen genauso wie das verschwommene Gemälde. Sie verwendete eine mathematische Formel, die hervorragend für das „Gemälde“ (Video) funktionierte, aber die „Chirurgenhand“ (Aktion) völlig ignorierte. Das Ergebnis war, dass der Roboter lernte, wunderschöne Videos von Abläufen zu erstellen, aber vergaß, wie er seine Arme tatsächlich bewegen muss. Die Erfolgsrate sank von 91 % auf 24 %.

Die Lösung: Flash-WAM (Der spezialisierte Coach)

Die Autoren entwickelten Flash-WAM, eine neue Trainingsmethode, die wie ein spezialisierter Coach fungiert, der weiß, dass das Video und die Aktion unterschiedliche Trainingsstile benötigen.

Anstatt eine Regel für beide zu verwenden, nutzt Flash-WAM zwei verschiedene Regeln:

Für das Video (Das Gemälde): Es verwendet eine Methode, die für hochrauschende, komplexe Daten konzipiert ist. Dies hält das Video stabil und optisch ansprechend.
Für die Aktion (Die Chirurgie): Es verwendet eine völlig andere mathematische Formel, die für rauscharme, hochpräzise Daten entwickelt wurde. Dies stellt sicher, dass der Roboter die winzigen, kritischen Details der Bewegung lernt, ohne sein „Signal“ zu verlieren.

Durch die Anpassung des Trainings an die spezifischen Bedürfnisse jedes „Streams“ ermöglicht Flash-WAM dem Roboter, die Fähigkeiten des Lehrers in nur einem Schritt sowohl für das Video als auch für die Aktion zu erlernen.

Die Ergebnisse: Vom Einfrieren zur Echtzeit

Die Auswirkung dieser Änderung ist gewaltig:

Geschwindigkeit: Die Zeit, die für die Planung einer Bewegung benötigt wird, sank von 8,1 Sekunden auf 0,35 Sekunden (348 Millisekunden). Dies ist eine 23-fache Beschleunigung, die es dem Roboter endlich ermöglicht, in Echtzeit zu agieren.
Leistung:
- In Computersimulationen behielt der Roboter seine hohe Erfolgsquote (um die 85–95 %), während die „Einheitslösung“-Methode auf 24 % abstürzte.
- Bei einem echten, menschengroßen Roboter (Unitree G1) erreichte Flash-WAM eine Erfolgsquote von 60 % bei realen Aufgaben. Im Gegensatz dazu sank die Erfolgsrate bei einer bloßen Beschleunigung des alten Modells ohne dieses spezielle Training auf 23 %, und die Verwendung der Standard-Abkürzung senkte sie auf 43 %.

Zusammenfassung

Betrachten Sie Flash-WAM als die Erkenntnis, dass man einen Marathonläufer und einen Seiltänzer nicht auf die gleiche Weise trainieren kann, auch wenn beide Athleten sind. Indem man ihnen das spezifische Training gibt, das sie benötigen, kann der Roboter endlich schnell genug denken und sich schnell genug bewegen, um in Echtzeit mit der realen Welt zu interagieren, ohne dabei seine Fähigkeit zu verlieren, die Aufgabe erfolgreich zu bewältigen.

Technisches Resümee: Flash-WAM

Problemstellung

World Action Models (WAMs) stellen eine vielversprechende Richtung für die embodied AI dar, indem sie zukünftige Videoframes und Roboteraktionen durch iterative Diffusionsprozesse gemeinsam generieren. Während diese Modelle eine starke Leistung in Manipulations-Benchmarks erzielen, erzeugt ihre Abhängigkeit von dutzenden Denoising-Schritten sowohl für den Video- als auch für den Aktionsstrom prohibitive Rechenkosten. Beispielsweise benötigt das State-of-the-Art-Modell LingBot-VA 8,1 Sekunden pro Chunk auf einer NVIDIA L40S GPU, was eine echtzeitfähige Closed-Loop-Steuerung unmöglich macht.

Obwohl Step-Distillation eine natürliche Lösung zur Beschleunigung von Diffusionsmodellen bietet, versagen bestehende „Off-the-shelf“-Methoden bei der Anwendung auf das gemeinsame Video-Aktions-Setting. Das Kernproblem liegt in den asymmetrischen Rausch-Schedules (Noise Schedules), die von WAMs verwendet werden:

Videoströme nutzen hohe Signal-to-Noise Ratio (SNR) Verschiebungen, wodurch die Trainingsmasse bei hohen Rauschpegeln ( $\sigma$ ) konzentriert wird.
Aktionsströme nutzen niedrigere SNR-Verschiebungen, wodurch sich die Trainingsmasse über den gesamten Bereich verteilt, mit einer signifikanten Dichte bei niedrigem $\sigma$ .

Standardmäßige Konsistenz-Distillationsmethoden (z. B. LCM) verlassen sich auf eine einzige Konsistenzfunktion. Die Autoren zeigen auf, dass diese Funktionen typischerweise ein quadratisches Gradientenverschwinden ( $|b(\sigma)| \propto \sigma^2$ ) aufweisen, wenn $\sigma \to 0$ . Infolgedessen verschwindet bei einer einheitlichen Anwendung auf ein gemeinsames Modell das Gradientensignal für den Aktionsstrom (der bei niedrigem $\sigma$ trainiert) vollständig, was zu einem Zusammenbruch der Aktionsgenauigkeit und der Erfolgsrate führt (Abfall von >90 % auf ~24 % in Experimenten), selbst wenn die Videorekonstruktion intakt bleibt.

Methodik: Flash-WAM

Die Autoren schlagen Flash-WAM vor, ein modalitätsbewusstes Step-Distillations-Framework, das darauf ausgelegt ist, diese strukturelle Inkompatibilität zu lösen. Anstatt eine einzige Konsistenzfunktion auf beide Modalitäten anzuwenden, wählt Flash-WAM unterschiedliche Mitglieder der Konsistenzfunktions-Familie aus, die auf das spezifische Rauschregime des jeweiligen Streams zugeschnitten sind.

1. Strukturelle Analyse der Gradientenskalierung

Das Paper stellt fest, dass die Stärke des Gradientensignals in der Konsistenz-Distillation proportional zu $|b(\sigma)|$ ist, wobei die Konsistenzfunktion als $f(x_\sigma, \sigma) = a(\sigma)x_\sigma + b(\sigma)v_\theta$ definiert ist.

Proposition 1: Für jede gültige Konsistenzfunktion ist die optimale Gradientenskalierung nahe $\sigma=0$ linear ( $O(\sigma)$ ), was nur erreicht werden kann, wenn $b'(0) \neq 0$ .
Versagen von Standard-LCM: Standardmäßige LCM-Parametrisierungen erfüllen $b'(0)=0$ , was zu einer quadratischen Skalierung ( $O(\sigma^2)$ ) führt. Dies ist ausreichend für das Video-Training bei hohem $\sigma$ , aber katastrophal für das Aktions-Training bei niedrigem $\sigma$ .

2. Modalitätsbewusste Parametrisierung

Flash-WAM begegnet diesem Problem durch die Zuweisung unterschiedlicher Parametrisierungen:

Aktionsstrom (Low- $\sigma$ -Regime): Die Autoren leiten eine linear-gradientenskalierende Parametrisierung ab, bei der $a(\sigma) = 1$ und $b(\sigma) = -\sigma$ gilt. Dies stellt sicher, dass $|b(\sigma)| = \sigma$ ist, was ein starkes, lineares Gradientensignal über die gesamte Low-Noise-Trainingsverteilung des Aktionsstroms liefert.
Videostream (High- $\sigma$ -Regime): Für den Videostream, der bei hohem $\sigma$ konzentriert ist, behalten die Autoren die standardmäßige Varianz-erhaltende Karras-Parametrisierung (verwendet in LCM) bei. Diese Wahl begründet sich aus der Notwendigkeit der Varianzerhaltung und beschränkter Output-Bereiche bei hohen Rauschpegeln – Eigenschaften, die für die niedrigdimensionale, beschränkte Aktionszielgröße weniger kritisch sind.

3. Gemeinsames Trainingsziel

Das Student-Modell wird trainiert, um die Konsistenz-Eigenschaft für beide Modalitäten gleichzeitig unter Verwendung eines kombinierten Verlusts zu erfüllen:
$\mathcal{L} = \mathcal{L}_v + \lambda_a \mathcal{L}_a$
wobei $\mathcal{L}_v$ und $\mathcal{L}_a$ ihre jeweiligen modalitätsspezifischen Konsistenzfunktionen nutzen. Die Architektur bleibt ein gemeinsamer Transformer-Backbone, wobei die modalitätsbewusste Parametrisierung nur die Loss-Heads beeinflusst, wodurch die Rechenkosten pro Schritt identisch zum Teacher bleiben.

Hauptergebnisse

Das Framework wurde auf LingBot-VA implementiert, wobei die Inferenz auf einen einzigen Schritt für beide Modalitäten (1v/1a) oder einen Videoschritt und zwei Aktionsschritte (1v/2a) komprimiert wurde.

Beschleunigung: Flash-WAM erreicht eine 23-fache Beschleunigung und reduziert die Latenz pro Chunk von 8,1 Sekunden auf 348 ms auf einer NVIDIA L40S, was eine Echtzeit-Inferenz (unter dem 500 ms Budget) ermöglicht.
Simulations-Benchmarks:
- RoboTwin 2.0: Bei 1v/2a erreicht Flash-WAM 85,5 % Erfolg (gegenüber 91,2 % beim Teacher), verglichen mit 23,9 % für naive gemeinsame LCM. Bei 1v/1a behält es 81,4 % Erfolg.
- LIBERO: Bei 1v/2a erreicht es einen durchschnittlichen Erfolg von 95,7 % (gegenüber 98,6 % beim Teacher) und übertrifft damit Video-only-Distillations-Baselines.
Realwelt-Einsatz: Evaluierung auf einem Unitree G1 Humanoid-Roboter über drei Manipulationsaufgaben.
- Der unbeschleunigte Teacher (3v/10a) erreichte 66,7 %.
- Die Reduzierung der Schritte ohne Distillation (1v/2a) senkte die Leistung auf 40,0 %.
- Naives Video-only LCM (1v/2a) erreichte 43,3 %.
- Flash-WAM (1v/2a) erreichte 60,0 % und stellte die unbeschleunigte Performance substanziell wieder her.
Qualitative Analyse: Visualisierungen zeigen, dass während naive Distillation zum Verschwinden oder zur Unschärfe von Objekten führt, Flash-WAM die Szenenstruktur und Objektidentität bewahrt.

Bedeutung und Ansprüche

Das Paper behauptet, dass Flash-WAM das erste Framework ist, das erfolgreich die Echtzeit-Inferenz für gemeinsame Video-Aktions-Diffusionsmodelle ermöglicht, indem es einen strukturellen Ausfallmodus adressiert, der inhärent beim Anwenden von Single-Modality-Distillation auf asymmetrische Multi-Modal-Systeme ist.

Diagnose: Die Arbeit identifiziert, dass die Inkompatibilität zwischen Standard-Konsistenz-Distillation und gemeinsamem Diffusion kein Problem der Hyperparameter-Optimierung ist, sondern ein grundlegender Mismatch in der Verfügbarkeit des Gradientensignals, verursacht durch asymmetrische Rausch-Schedules.
Lösung: Durch die Begründung der Auswahl von Konsistenzfunktionen in einer strukturellen Analyse der Gradientenskalierung bietet Flash-WAM eine fundierte Methode, um die Aufgabenerfolgsrate zu bewahren, während die Denoising-Schritte auf einen Schritt pro Modalität reduziert werden.
Auswirkung: Die Ergebnisse demonstrieren, dass die Echtzeit-Robotersteuerung mittels WAMs auf handelsüblicher Edge-Hardware machbar ist, ohne die generativen Fähigkeiten zu opfern, die WAMs gegenüber statischen Vision-Language-Action (VLA) Policies überlegen machen. Die Autoren betonen, dass ihr Ansatz die ursprüngliche WAM-Inferenzstruktur beibehält, im Gegensatz zu Methoden, die die Videogenerierung vollständig entfernen.