💻 computer science

NoiseGate: Learning Per-Latent Timestep Schedules as Information Gating in World Action Models

本論文は、共有タイムステップスケジュールに代わる学習可能な潜在変数ごとのゲーティング方針を導入し、動作生成における未来の観測潜在変数の信頼性を動的に調整することで、多様なロボティクス操作タスクにおける性能を向上させる、世界動作モデルのための新たなフレームワークであるNoiseGateを提案する。

原著者： Wen Huang, Haoran Sun, Yongjian Guo, Yunxuan Ma, Haoran Li, Jing Long, Zhouying Mo, Zhong Guan, Yucheng Guo, Shuai Di, Junwu Xiong

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Wen Huang, Haoran Sun, Yongjian Guo, Yunxuan Ma, Haoran Li, Jing Long, Zhouying Mo, Zhong Guan, Yucheng Guo, Shuai Di, Junwu Xiong

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに、カップを拾ってテーブルに置くようなタスクを教えることを想像してください。そのために、ロボットは「ワールド・アクション・モデル（WAM）」を使用します。このモデルを、脚本（ロボットの動作）を書きながら、同時に未来のシーン（世界がどう見えるか）をフレームごとに想像している映画監督だと考えてください。

従来のロボット監督には、厳格なルールがありました：映画のすべての未来のフレームは、厳密に同じ速度で鮮明にされなければならないというものです。

ロボットがカップを掴もうとしている場合、次の10秒間の映像を想像します。従来の方法では、モデルは「2秒後の手がカップに触れる瞬間」と「8秒後の手がカップをテーブルに置く瞬間」の画像を、同時に同じ程度に鮮明にしようとするのです。これは、単一の固定フォーカスノブを使って、花のクローズアップと遠くの山を同時にピント合わせしようとするようなものです。この論文は、未来の一部は他の部分よりも「今」の意思決定にとって重要であるため、この方法は非効率であると主張しています。

問題点：「万能型」スケジュール

著者らは、従来の方法を「共有スカラースケジュール」と呼んでいます。これは、遅いトラックであれ速いスポーツカーであれ、すべての車が厳密に同じ瞬間に青信号になるような交通信号機のようなものです。

ロボットの脳内では、これは想像されたすべての未来の瞬間が同等に信頼できるとして扱われることを意味します。しかし実際には、ロボットが難しい動き（滑りやすい物体を掴むなど）について不確実な場合、その特定の未来の瞬間をもう少しの間「ぼやけた状態（不確実な状態）」に保ち、直近のステップを鮮明にする方がよいかもしれません。従来のシステムは、すべてを同時に鮮明にするか、同時にぼやけたままにするかを強制するため、ロボットが過信して早まった間違いを犯す原因となり得ます。

解決策：NoiseGate

この論文は、ロボットの想像力のための賢く適応的な編集者として機能する新しいシステム、NoiseGateを導入します。

1 つの固定されたスケジュールの代わりに、NoiseGate は各未来のフレームに対して個別に固有の「ノイズレベル（またはぼけレベル）」を割り当てることを学びます。簡単なアナロジーを用いてその仕組みを説明します。

「情報ゲート」のアナロジー：
ロボットの意思決定プロセスを、何をするかを決めようとしている「アクショントークン」と呼ばれる人々でいっぱいの部屋だと想像してください。彼らは、未来の可能性を示す「ビデオ潜在変数」と呼ばれる画面の壁を見ています。

従来の方法： すべての画面が同時に鮮明になります。もしある画面が、未来の災害の混乱したぼやけた画像を表示している場合、部屋の人々は強制的にそのぼやけた画像を早期に見させられるため、パニックを起こし、悪い判断を下す可能性があります。
NoiseGate の方法： システムにはゲートキーパー（ゲーティングポリシーネットワーク）がいます。このゲートキーパーは状況を観察し、以下のように決定します。「ねえ、2 秒後のカップを掴む画面は超重要だ；すぐに鮮明にしよう。でも、5 秒後のテーブルへの置き方の画面はまだ霧がかかり不確実だ；少しの間、それをぼやけたままにしておこう。そうすれば、私たちを混乱させないで済む。」

重要度が低いか不確実な未来のフレームを「ノイズ（マスク）」として保持することで、ゲートキーパーはロボットが信頼性の低い予測に過度に依存するのを防ぎます。信頼できる情報が準備できたときだけ、ゲートを通すのです。

どのように教えたか

研究者たちは、これらのルールをハードコードしたわけではありません。3 段階のトレーニングプロセスを使用しました。

基盤： まず、異なるフレームに対して異なるレベルのぼけを扱えるようにロボットに脳を教え込みました（「Diffusion Forcing」と呼ばれる技術からのトリックを借用）。
ゲートキーパー： 各未来のフレームをどの程度鮮明にするかを各ステップで決定するだけの、小さく軽量な AI（ゲーティングポリシーネットワーク）を追加しました。
報酬： ゲートキーパーに「どのように」行うかを指示したわけではありません。代わりに、シミュレーターでロボットにタスクを試行させました。ロボットが成功した場合（例えば、カップを無事に置けた場合）、ゲートキーパーは報酬を受け取りました。失敗した場合は何も得られませんでした。時間の経過とともに、ゲートキーパーは学びました。「ああ、この特定のタスクでは『掴む』フレームをもう少し長くぼやけたままにする必要があるが、あのタスクでは素早く鮮明にする必要があるんだな。」

結果

ランダムで散らかった環境で物体を操作する必要があるベンチマーク「RoboTwin」でテストされたところ、NoiseGate は従来の手法を上回りました。

単にロボットを全体的に少し良くしただけではなく、ロボットが慎重になる必要がある厄介な状況で特に役立ちました。
視覚的なテストでは、従来のロボットは、ぼやけた未来の予測に対して「過信」していたため、カップを早すぎたタイミングで掴もうとしました。NoiseGate は、ロボットが実際に準備ができるまで、その予測を少しぼやけた（不確実な）状態に保ち、結果として成功した掴み動作につながりました。

まとめ

NoiseGateは、ロボットの「想像力」を柔軟にする手法です。すべての未来の思考を同時に鮮明にするよう強制するのではなく、必要なまで不確実な未来をぼやけたままに保ち、重要な瞬間を早期に鮮明にするよう、情報をゲート制御することを学びます。これにより、ロボットは未来に関する早まった、あるいは信頼性の低い推測に基づいて間違いを犯すことが防がれます。

技術的概要：NoiseGate – 世界行動モデルにおける情報ゲーティングとしての潜在変数ごとの時間ステップスケジューリングの学習

1. 問題定式化

世界行動モデル（WAMs）は、ロボット行動生成と将来観測モデリングを結合するパラダイムであり、現在の観測（ $v_0$ ）と言語指示（ $l$ ）に基づき、将来の潜在ビデオフレームのチャンク（ $v$ ）と行動チャンク（ $a$ ）を共生成する。Motus や Fast-WAM などの代表的な実装は、Transformer の混合（MoT）アーキテクチャに基づく結合型ビデオ–行動デノイジングバックボーンを利用している。これらのシステムでは、ビデオトークンと行動トークンが共有の自己注意層を介して相互作用する。

既存の WAMs における重要な限界は、拡散時間ステップの扱いにある。アーキテクチャは理論的には予測される各潜在フレームが独立した時間ステップ（ $t_f$ ）を持つことを可能にしているが、現在のシステムはこの自由度を、すべてのデノイジングステップにおいて予測されるすべてのフレームに対して単一の共有スカラー時間ステップ（ $t$ ）へと縮退させている。Diffusion Forcing の「ノイズをマスキングとして解釈する」観点に照らせば、この共有スケジュールは不当な事前分布を課していることになる。すなわち、任意のステップにおいて、すべての予測された潜在フレームが行動生成プロセスに対して同等に信頼性が高く、「可視的」であると仮定しているのだ。

しかし、将来のフレームが行動予測に与える影響は本質的に不均質であり、タスク依存である。例えば、把持のような重要なイベントの間、モデルは不確実な予測への過度な依存を避けるために、対応する想像上の潜在変数をより「ぼやけた」（ノイズの多い）状態に保つことが有益となり得る。手作業で設計されたスケジュール（例えば、単調なノイズ減少）は、単に一つの固定された事前分布を別のものに置き換えるに過ぎず、異なるタスクが要求する特定の情報密度に適応できない。

2. 手法：NoiseGate

著者らは、NoiseGateを提案する。これは、潜在変数ごとの時間ステップスケジュールを学習可能な情報ゲーティング方策として再定義するフレームワークである。固定されたスケジュールの代わりに、NoiseGate は各潜在フレームのキー/バリュー（Key/Value）の貢献に対する信頼性を、そのノイズレベルを動的に調整することで調節することを学習する。

この手法は、3 つの結合したコンポーネントから構成される。

A. 結合型ビデオ–行動 MoT バックボーン

このシステムは、チャンク双方向ビデオ拡散トランスフォーマー（DiT）と行動専門家用 DiT を統合する、Transformer の混合（MoT）バックボーンを採用している。

共有自己注意: ビデオトークンと行動トークンは自己注意ブロックを共有し、行動トークンがビデオ潜在変数に注意を向けることを可能にする。
モダリティ固有の専門家: 各モダリティは独自のフィードフォワード層を保持する。
ゲーティング機構: ビデオ潜在変数上のノイズレベル $t_f$ は、行動トークンの隠れ表現へのその貢献の信頼性を直接調節する。

B. 独立した潜在変数ごとの時間ステップサンプリング（学習基盤）

推論中に任意のフレームごとのスケジュールにバックボーンが一般化できるようにするため、著者らは Diffusion Forcing に着想を得た学習戦略を採用する。

学習中は、共有スカラーではなく、各潜在フレームに対して独立した時間ステップ $t_v = (t_1, \dots, t_F)$ をサンプリングする。
これにより「不均質なノイズが加えられた」入力が生成され、バックボーンがビデオチャンク全体にわたる変動する不確実性のレベルを効果的に「読み取る」ことを学習させる。

C. ゲーティング方策ネットワーク（GPN）と GRPO 最適化

中核的な革新は、最適な時間ステップスケジュールを学習する軽量ネットワークであるゲーティング方策ネットワーク（ $\pi_\phi$ ）である。

入力: 各デノイジングステップ $k$ において、GPN は現在の不均質にノイズが加えられたビデオチャンク（ $v_t^{(k)}$ ）、クリーンな観測（ $v_0$ ）、および現在の時間ステップ（ $t_v^{(k)}$ ）を観測する。
出力: 各フレームの時間ステップがどの程度減少するか（ $\Delta t_f$ ）を決定するための相対的なスケール増分（ $r_f$ ）を予測する。観測フレームは $t_0=0$ に固定され、行動時間ステップは固定されたグローバルスケジュールに従う。
学習: GPN は**グループ相対方策最適化（GRPO）**を用いて学習される。バックボーンは凍結され、方策はスパースな二値タスク成功報酬（ $r \in \{0, 1\}$ ）に対して最適化される。これにより、手作業で設計された形状事前分布を必要とすることなく、ゲーティング方策を実際のタスク有用性に根ざすことができる。

3. 主要な貢献

スケジュールの再定義: 著者らは、結合型ビデオ–行動 WAMs における従来の共有スカラー時間ステップを、モデルの柔軟性を制限する強力な暗黙の事前分布として特定する。彼らは、潜在変数ごとのスケジュールを、共有自己注意にわたる学習可能な情報ゲーティング方策として捉えることを提案する。
NoiseGate アーキテクチャ: 彼らは NoiseGate を導入する。これは、バックボーン学習中の独立した潜在変数ごとの時間ステップサンプリング、潜在変数ごとの時間増分を出力する軽量 GPN、およびタスク報酬によって駆動される GRPO 最適化を組み合わせる。
実証的検証: ランダムなシーン条件下の RoboTwin ベンチマークにおいて、NoiseGate は共有スカラーのベースラインおよび手作業で設計されたスケジュール変種との両方に対して一貫した改善を示し、ゲーティング方策を学習することが潜在変数ごとの自由度を活用するために不可欠であることを確認した。

4. 実験結果

評価は、物体の姿勢、色、背景がランダム化されたランダムシーン条件下でのRoboTwinベンチマークにおいて行われた。

主な比較: NoiseGate は、強力なベースライン（Fast-WAM, LingBot-VA, $\pi_{0.5}$ $π_{0.5}$ , Motus）およびステージ 1 の WAM（独立ノイズで学習されたが共有スカラー推論を行うバックボーン）と比較された。
- NoiseGate は平均成功率**94.28%**を達成し、ステージ 1 の WAM（92.58%）および他のすべてのベースラインを上回った。
- 正確なタイミングを必要とするタスクや不確実性の処理を必要とするタスク（例：Hanging Mug +9%, Blocks Ranking Size +7%, Put Object Cabinet +7%）において、顕著な改善が観察された。
アブレーション研究:
- GPN を除去し共有スカラー（ $Shared\text{-}t$ ）に戻すと、制御されたアブレーション設定において最大の性能低下（67.5% $\to$ 57.5%）が生じた。
- 手作業で設計された単調スケジュールを使用すると、共有スカラーよりも性能が向上したが、学習された GPN よりも劣った（63.4% 対 67.5%）。これは、タスク適応型の制御が必要であることを示している。
定性的分析:
- ノイズによるマスキング: 注意マップは、ノイズレベルの増加に伴い行動からビデオへの注意が単調に減少することを確認し、ゲーティング機構を検証した。
- タスク適応型スケジュール: 可視化により、GPN が異なるタスクに対して明確で非一様な時間ステップの軌跡を学習することが示された。例えば、把持タスクでは、GPN は他のフレームよりも重要な把持フレームをより長い間高いノイズレベル（より不確実）に保ち、早期の行動コミットメントを防いでいた。

5. 意義と主張

本論文は、世界行動モデルにおける潜在変数ごとの時間ステップスケジュールが、固定されたハイパーパラメータや暗黙の事前分布ではなく、第一級の設計対象であることを NoiseGate が成功裏に実証したと主張する。

機構: 時間ステップを学習可能なゲートとして扱うことで、モデルは行動方策に対して将来の情報を選択的に露出させることができる。これにより、システムは予測が困難な重要な将来事象については高い不確実性（ぼやけ）を維持しつつ、重要度の低い情報は明確にすることで、複雑な操作タスクにおけるロバスト性を向上させることができる。
効率性: このアプローチは、軽量な方策ネットワークとスパースな報酬を用いてスケジュールを最適化し、複雑な手作業の事前分布や巨大な生成バックボーンの再学習を必要としない。
汎用性: ロボティクスに焦点を当てているが、著者らは、潜在変数ごとのノイズを学習可能な情報ゲートとして捉えるという視点は、下流の消費者が不均質な有用性を持つ結合デノイズトークンから読み取る他の生成設定（例：自動運転、ビデオ予測）にも適用可能であると指摘している。

著者らは、現在の学習がスパースなシミュレータロールアウトに依存しており、これはデータ非効率であり得る点、および学習されたスケジュール方策を大規模なマルチタスクスイートに拡張することが今後の課題である点について、限界に関して謙虚な姿勢を示している。