💻 computer science

NoiseGate: Learning Per-Latent Timestep Schedules as Information Gating in World Action Models

Das Papier schlägt NoiseGate vor, ein neuartiges Framework für World Action Models, das den gemeinsamen Zeitschrittplan durch eine lernbare, pro-Latenz-Gating-Richtlinie ersetzt, um die Zuverlässigkeit zukünftiger Beobachtungs-Latenzen für die Aktionsgenerierung dynamisch zu modulieren und dadurch die Leistung bei diversen robotischen Manipulationsaufgaben zu verbessern.

Ursprüngliche Autoren: Wen Huang, Haoran Sun, Yongjian Guo, Yunxuan Ma, Haoran Li, Jing Long, Zhouying Mo, Zhong Guan, Yucheng Guo, Shuai Di, Junwu Xiong

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wen Huang, Haoran Sun, Yongjian Guo, Yunxuan Ma, Haoran Li, Jing Long, Zhouying Mo, Zhong Guan, Yucheng Guo, Shuai Di, Junwu Xiong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine Aufgabe auszuführen, wie zum Beispiel eine Tasse aufzuheben und auf einen Tisch zu stellen. Um dies zu tun, verwendet der Roboter ein „Welt-Aktions-Modell" (WAM). Betrachten Sie dieses Modell als einen Filmregisseur, der gleichzeitig das Drehbuch (die Aktionen des Roboters) schreibt und die zukünftigen Szenen (wie die Welt aussehen wird) Bild für Bild imaginiert.

Bei traditionellen Roboter-Regisseuren gibt es eine strikte Regel: Jeder einzelne zukünftige Filmrahmen muss mit exakt derselben Geschwindigkeit geklärt werden.

Wenn der Roboter im Begriff ist, eine Tasse zu greifen, imaginiert er die nächsten 10 Sekunden Video. Auf die alte Weise versucht das Modell, das Bild von „Hand berührt Tasse" (in 2 Sekunden) und „Hand stellt Tasse auf Tisch" (in 8 Sekunden) zur gleichen Zeit gleich klar zu machen. Es ist, als würde man versuchen, mit einem einzigen, fest eingestellten Fokusregler gleichzeitig eine Nahaufnahme einer Blume und einen fernen Berg scharf zu stellen. Das Papier argumentiert, dass dies ineffizient ist, da einige Teile der Zukunft für die Entscheidung jetzt gerade wichtiger sind als andere.

Das Problem: Der „Einheitsgröße"-Zeitplan

Die Autoren bezeichnen die alte Methode als „geteilten skalaren Zeitplan". Es ist wie eine Ampel, die für jedes Auto genau im selben Moment auf Grün schaltet, unabhängig davon, ob es sich um einen langsam fahrenden Lastwagen oder einen schnellen Sportwagen handelt.

Im Gehirn des Roboters bedeutet dies, dass jeder imaginierte zukünftige Moment als gleich zuverlässig behandelt wird. Doch in der Realität, wenn der Roboter bei einer kniffligen Bewegung unsicher ist (wie beim Greifen eines rutschigen Objekts), könnte es besser sein, diesen spezifischen zukünftigen Moment für eine Weile „unscharf" (unsicher) zu halten, während die unmittelbaren nächsten Schritte geklärt werden. Das alte System zwingt alles dazu, gemeinsam klar oder unscharf zu sein, was dazu führen kann, dass der Roboter übermütige, vorzeitige Fehler macht.

Die Lösung: NoiseGate

Das Papier stellt NoiseGate vor, ein neues System, das wie ein intelligenter, adaptiver Editor für die Imagination des Roboters fungiert.

Anstatt eines festen Zeitplans lernt NoiseGate, jedem zukünftigen Rahmen individuell ein einzigartiges „Rauschniveau" (oder Unschärfeniveau) zuzuweisen. So funktioniert es unter Verwendung einer einfachen Analogie:

Die Analogie des „Informationsgates":
Stellen Sie sich den Entscheidungsprozess des Roboters als einen Raum voller Menschen (die „Aktions-Token") vor, die versuchen zu entscheiden, was zu tun ist. Sie schauen auf eine Wand von Bildschirmen, die zukünftige Möglichkeiten zeigen (die „Video-Latents").

Die alte Weise: Alle Bildschirme werden zur gleichen Zeit geklärt. Wenn ein Bildschirm ein verwirrendes, unscharfes Bild einer zukünftigen Katastrophe zeigt, könnten die Menschen im Raum in Panik geraten und eine schlechte Entscheidung treffen, weil sie gezwungen sind, dieses unscharfe Bild zu früh zu betrachten.
Die NoiseGate-Weise: Das System hat einen Torwächter (das Gating Policy Network). Dieser Torwächter betrachtet die Situation und entscheidet: „Hey, der Bildschirm, der das Tassen-Greifen in 2 Sekunden zeigt, ist super wichtig; klären wir das sofort. Aber der Bildschirm, der die Tassen-Platzierung in 5 Sekunden zeigt, ist noch neblig und unsicher; lassen wir diesen eine Weile unscharf, damit er uns nicht ablenkt."

Indem weniger wichtige oder unsichere zukünftige Rahmen „rauschbehaftet" (maskiert) gehalten werden, verhindert der Torwächter, dass sich der Roboter auf unzuverlässige Vorhersagen verlässt. Er lässt nur dann „zuverlässige" Informationen durch das Tor, wenn sie bereit sind.

Wie sie es lernten

Die Forscher haben diese Regeln nicht einfach hart codiert. Sie verwendeten einen dreistufigen Trainingsprozess:

Das Substrat: Zuerst lehrten sie dem Gehirn des Roboters, dass es verschiedene Unschärfegrade für verschiedene Rahmen bewältigen kann (unter Ausleihen eines Tricks aus einer Technik namens „Diffusion Forcing").
Der Torwächter: Sie fügten eine kleine, leichte KI hinzu (das Gating Policy Network), deren einzige Aufgabe es ist, zu entscheiden, wie viel von jedem zukünftigen Rahmen in jedem Schritt geklärt werden soll.
Die Belohnung: Sie sagten dem Torwächter nicht wie er es tun soll. Stattdessen ließen sie den Roboter Aufgaben in einem Simulator ausprobieren. Wenn der Roboter erfolgreich war (z. B. die Tasse erfolgreich platziert), erhielt der Torwächter eine Belohnung. Wenn er scheiterte, erhielt er nichts. Im Laufe der Zeit lernte der Torwächter: „Oh, ich muss den 'Greif'-Rahmen für diese spezifische Aufgabe länger unscharf halten, aber für diese andere schnell klären."

Die Ergebnisse

Bei Tests auf einem Benchmark namens RoboTwin (bei dem Roboter Objekte in zufälligen, chaotischen Umgebungen manipulieren müssen), schnitt NoiseGate besser ab als die alten Methoden.

Es machte den Roboter nicht nur allgemein etwas besser; es half speziell in kniffligen Situationen, in denen der Roboter vorsichtig sein musste.
In einem visuellen Test versuchte der alte Roboter, eine Tasse zu früh zu greifen, weil er in seiner unscharfen zukünftigen Vorhersage „übermütig" war. NoiseGate hielt diese Vorhersage leicht unscharf (unsicher), bis der Roboter tatsächlich bereit war, was zu einem erfolgreichen Greifen führte.

Zusammenfassung

NoiseGate ist eine Methode, die der „Imagination" eines Roboters Flexibilität verleiht. Anstatt jeden zukünftigen Gedanken zur gleichen Zeit klar werden zu lassen, lernt es, Informationen zu steuern, unsichere Zukünfte unscharf zu halten, bis sie benötigt werden, und kritische Momente frühzeitig zu klären. Dies verhindert, dass der Roboter Fehler aufgrund vorzeitiger oder unzuverlässiger Vermutungen über die Zukunft macht.

Technische Zusammenfassung: NoiseGate – Lernen von latenten Zeitschritt-Plänen pro Latent als Informationsgating in World Action Models

1. Problemformulierung

World Action Models (WAMs) repräsentieren ein Paradigma, bei dem die Generierung von Roboteraktionen mit der Modellierung zukünftiger Beobachtungen gekoppelt ist und gemeinsam einen Chunk zukünftiger latenter Videoframes ( $v$ ) sowie einen Aktionschunk ( $a$ ) basierend auf einer aktuellen Beobachtung ( $v_0$ ) und einer Sprachanweisung ( $l$ ) erzeugen. Prominente Implementierungen wie Motus und Fast-WAM nutzen einen gemeinsamen Video-Aktion-Denoising-Rückgrat, das auf einer Mixture-of-Transformers (MoT)-Architektur basiert. In diesen Systemen interagieren Video-Token und Aktion-Token durch gemeinsame Self-Attention-Schichten.

Eine kritische Einschränkung bestehender WAMs liegt in der Behandlung des Diffusions-Zeitschritts. Während die Architektur theoretisch jedem vorhergesagten latenten Frame einen unabhängigen Zeitschritt ( $t_f$ ) ermöglicht, kollabieren aktuelle Systeme diesen Freiheitsgrad in einen einzigen gemeinsamen skalaren Zeitschritt ( $t$ ) für alle vorhergesagten Frames bei jedem Denoising-Schritt. Unter der Interpretation „Rauschen als Maskierung" von Diffusion Forcing auferlegt dieser gemeinsame Plan einen ungerechtfertigten Prior: Er geht davon aus, dass jeder vorhergesagte latente Frame zu jedem gegebenen Schritt gleichermaßen zuverlässig und für den Aktionsgenerierungsprozess „sichtbar" ist.

Der Einfluss zukünftiger Frames auf die Aktionsvorhersage ist jedoch inhärent heterogen und aufgabenspezifisch. Beispielsweise könnte ein Modell während kritischer Ereignisse wie dem Greifen davon profitieren, die entsprechenden imaginierten Latents „verschwommener" (höheres Rauschen) zu halten, um eine Überabhängigkeit von unsicheren Vorhersagen zu vermeiden. Manuell entworfene Pläne (z. B. monotoner Rauschabfall) ersetzen lediglich einen festen Prior durch einen anderen und versagen darin, sich an die spezifische Informationsdichte anzupassen, die verschiedene Aufgaben erfordern.

2. Methodik: NoiseGate

Die Autoren schlagen NoiseGate vor, ein Framework, das den latenten Zeitschritt-Plan pro Latent als eine lernbare Informationsgating-Richtlinie neu fasst. Anstelle eines festen Plans lernt NoiseGate, die Zuverlässigkeit des Key/Value-Beitrags jedes latenten Frames zu den Aktion-Token durch dynamische Anpassung seines Rauschniveaus zu modulieren.

Die Methode besteht aus drei gekoppelten Komponenten:

A. Gemeinsames Video-Aktion MoT-Rückgrat

Das System verwendet ein Mixture-of-Transformers-Rückgrat, das einen chunk-bidirektionalen Video-Diffusion-Transformer (DiT) mit einem Action-Expert-DiT integriert.

Gemeinsame Self-Attention: Video- und Aktion-Token teilen sich Self-Attention-Blöcke, wodurch die Aktion-Token die Video-Latents attendieren können.
Modality-spezifische Experten: Jede Modalität behält ihre eigenen Feed-Forward-Schichten.
Gating-Mechanismus: Das Rauschniveau $t_f$ auf einem Video-Latent moduliert direkt die Zuverlässigkeit seines Beitrags zu den versteckten Repräsentationen der Aktion-Token.

B. Unabhängiges Sampling pro Latent (Trainingssubstrat)

Um dem Rückgrat zu ermöglichen, während der Inferenz auf beliebige plattform-spezifische Pläne zu generalisieren, übernehmen die Autoren eine Trainingsstrategie, die von Diffusion Forcing inspiriert ist.

Während des Trainings werden für jeden latenten Frame unabhängige Zeitschritte $t_v = (t_1, \dots, t_F)$ anstelle eines gemeinsamen Skalars gesampelt.
Dies erzeugt einen „heterogen verrauschten" Input, der das Rückgrat lehrt, effektiv durch variierende Unsicherheitsniveaus im Video-Chunk zu „lesen".

C. Gating-Policy-Netzwerk (GPN) und GRPO-Optimierung

Die Kerninnovation ist das Gating-Policy-Netzwerk ( $\pi_\phi$ ), ein leichtgewichtiges Netzwerk, das den optimalen Zeitschritt-Plan lernt.

Eingang: Bei jedem Denoising-Schritt $k$ beobachtet das GPN den aktuellen heterogen verrauschten Video-Chunk ( $v_t^{(k)}$ ), die saubere Beobachtung ( $v_0$ ) und die aktuellen Zeitschritte ( $t_v^{(k)}$ ).
Ausgang: Es sagt relative Skalierungsincrements ( $r_f$ ) voraus, um zu bestimmen, wie stark der Zeitschritt jedes Frames verringert werden soll ( $\Delta t_f$ ). Der Beobachtungsframe bleibt bei $t_0=0$ fixiert, und der Aktionszeitschritt folgt einem festen globalen Plan.
Training: Das GPN wird mittels Group Relative Policy Optimization (GRPO) trainiert. Das Rückgrat bleibt eingefroren, und die Richtlinie wird gegen einen spärlichen binären Aufgabenerfolg-Reward ( $r \in \{0, 1\}$ ) optimiert. Dies verankert die Gating-Richtlinie in der tatsächlichen Aufgabennützlichkeit, ohne manuell entworfene Form-Priors zu benötigen.

3. Hauptbeiträge

Neufassung des Plans: Die Autoren identifizieren den konventionellen gemeinsamen skalaren Zeitschritt in gemeinsamen Video-Aktion-WAMs als starken impliziten Prior, der die Modellflexibilität einschränkt. Sie schlagen vor, die Planung pro Latent als eine lernbare Informationsgating-Richtlinie über gemeinsame Self-Attention zu betrachten.
NoiseGate-Architektur: Sie führen NoiseGate ein, das unabhängiges Sampling pro Latent während des Rückgrat-Trainings, ein leichtgewichtiges GPN zur Ausgabe von Zeit-Increments pro Latent und eine durch Aufgaberewards getriebene GRPO-Optimierung kombiniert.
Empirische Validierung: Auf dem RoboTwin-Benchmark unter Bedingungen mit zufälligen Szenen zeigt NoiseGate konsistente Verbesserungen gegenüber sowohl gemeinsamen skalaren Baselines als auch manuell entworfenen Planvarianten. Dies bestätigt, dass das Lernen der Gating-Richtlinie entscheidend ist, um den Freiheitsgrad pro Latent auszuschöpfen.

4. Experimentelle Ergebnisse

Die Evaluierung wurde auf dem RoboTwin-Benchmark durchgeführt, speziell unter Bedingungen mit zufälligen Szenen, bei denen Objekt-Posen, Farben und Hintergründe randomisiert sind.

Hauptvergleich: NoiseGate wurde gegen starke Baselines (Fast-WAM, LingBot-VA, $\pi_{0.5}$ $π_{0.5}$ , Motus) und ein Stage-1-WAM (das Rückgrat, trainiert mit unabhängigem Rauschen, aber Inferenz mit gemeinsamem Skalar) verglichen.
- NoiseGate erreichte eine durchschnittliche Erfolgsrate von 94,28 % und übertraf damit das Stage-1-WAM (92,58 %) sowie alle anderen Baselines.
- Signifikante Gewinne wurden bei Aufgaben beobachtet, die präzises Timing oder den Umgang mit Unsicherheit erfordern (z. B. Hanging Mug +9 %, Blocks Ranking Size +7 %, Put Object Cabinet +7 %).
Ablationsstudien:
- Das Entfernen des GPN und die Rückkehr zu einem gemeinsamen Skalar ( $Shared\text{-}t$ ) verursachte den größten Leistungsabfall (67,5 % $\to$ 57,5 % im kontrollierten Ablationssetup).
- Die Verwendung eines manuell entworfenen monotonen Plans verbesserte die Leistung gegenüber dem gemeinsamen Skalar, blieb jedoch hinter dem gelernten GPN zurück (63,4 % vs. 67,5 %), was darauf hindeutet, dass eine aufgabenadaptive Kontrolle notwendig ist.
Qualitative Analyse:
- Rauschen als Maskierung: Attention-Karten bestätigten einen monotonen Abfall der Attention von Aktion zu Video, wenn die Rauschniveaus steigen, was den Gating-Mechanismus validiert.
- Aufgabenadaptive Pläne: Visualisierungen zeigten, dass das GPN für verschiedene Aufgaben unterschiedliche, nicht-uniforme Zeitschritt-Trajektorien lernt. Beispielsweise hielt das GPN bei Greifaufgaben den kritischen Greif-Frame länger auf einem höheren Rauschniveau (unsicherer) als andere Frames, was eine vorzeitige Aktionsbindung verhinderte.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass NoiseGate erfolgreich demonstriert, dass der latente Zeitschritt-Plan pro Latent in einem World Action Model ein Designobjekt erster Klasse ist und nicht ein fester Hyperparameter oder ein impliziter Prior.

Mechanismus: Indem der Zeitschritt als lernbares Gate behandelt wird, kann das Modell zukünftige Informationen selektiv der Aktionsrichtlinie preisgeben. Dies ermöglicht dem System, bei kritischen, schwer vorherzusagenden zukünftigen Ereignissen eine höhere Unsicherheit (Verschmierung) beizubehalten, während weniger kritische Informationen geklärt werden, wodurch die Robustheit bei komplexen Manipulationsaufgaben verbessert wird.
Effizienz: Der Ansatz optimiert den Plan unter Verwendung eines leichtgewichtigen Policy-Netzwerks und spärlicher Rewards, wodurch komplexe manuell entworfene Priors oder ein Nachtrainieren des massiven generativen Rückgrats vermieden werden.
Generalisierbarkeit: Obwohl der Fokus auf der Robotik liegt, stellen die Autoren fest, dass die Sichtweise von latenter Rauschverteilung pro Latent als lernbares Informationsgate auf andere generative Settings anwendbar sein könnte, bei denen nachgelagerte Konsumenten gemeinsam denoisierte Token mit heterogener Nützlichkeit lesen (z. B. autonomes Fahren, Videovorhersage).

Die Autoren bleiben bezüglich der Einschränkungen bescheiden und weisen darauf hin, dass das aktuelle Training auf spärlichen Simulator-Rollouts basiert, was datenineffizient sein kann, und dass die Skalierung der gelernten Planrichtlinie auf große, multi-task-Suiten zukünftige Arbeit bleibt.