Information Filtering via Variational Regularization for Robot Manipulation

技術概要：ロボット操作における変分正則化による情報フィルタリング

問題定義
3 次元視覚表現（例えば点群）を利用する拡散ベースの視覚運動ポリシーは、ロボット操作において最先端の性能を達成しています。しかし、これらのシステムは通常、大規模なアーキテクチャ的非対称性を採用しています。すなわち、コンパクトで情報量の多いシーンエンコーダと、過剰なサイズのノイズ除去デコーダ（U-Net や約 2 億 5000 万パラメータを持つ DiT など）の組み合わせです。大規模なデコーダはモデル容量を増加させますが、経験的証拠は、それらが中間特徴ブロックに冗長性やタスク無関係なノイズを導入することを示唆しています。著者らは、この「ノイズの多い」情報が意思決定を劣化させると仮説を立てていますが、これらのデコーダの内部表現は、性能制限の源泉として未だ十分に探求されていません。

手法
本論文は、中間デコーダ特徴からノイズを適応的にフィルタリングするために設計されたプラグ＆プレイ型モジュールである「変分正則化（VR）」を提案します。手法は 3 つの段階で進行します。

1. ノイズの特定: 著者らはまず、推論時のアブレーション研究を通じてノイズの存在を検証します。

   • U-Netアーキテクチャの場合、推論時にバックボーン特徴をランダムにマスクすることが成功率の向上につながることが多く、これは特定タスクにおいてこれらの特徴が信号よりもノイズを多く含んでいることを示しています。
   • DiTアーキテクチャの場合、中間層（12 層モデルでは特に 4 層目から 8 層目）のスケーリングダウンまたはスキップも同様に性能を向上させ、これらの層がノイズの多い特徴更新を導入していることを示唆しています。

2. 変分正則化モジュール: これに対処するため、VR はノイズの多い中間層の後（U-Net では最終ダウンサンプリング段階の後、DiT では中間層の後）に挿入されます。

   • モジュールは、ノイズの多い特徴 $Z$ を潜在変数として扱い、コンパクトなシーンコンテキスト $C$ を条件としたガウス分布 $p_\theta(\hat{Z}|Z, C)$ を課します。
   • MLP を用いて平均 $\mu_\theta(Z, C)$ と標準偏差 $\sigma_\theta(Z, C)$ を予測し、FiLM 層を通じてコンテキストによって変調されます。
   • フィルタリングされた表現 $\hat{Z}$ は、再パラメータ化トリックを通じて得られます：$\hat{Z} = \mu_\theta + \sigma_\theta \odot \epsilon$。
   • 損失関数には KL 発散正則化子が追加され、$\hat{Z}$ の分布が標準正規事前分布と一致することを促し、適応的な情報ボトルネックとして機能します。

3. 理論的正当化: 著者らは、変分情報ボトルネック（VIB）フレームワークを用いて理論的根拠を提供します。提案された損失関数（ノイズ除去損失＋KL 正則化子）の最小化が、情報ボトルネック目的の証拠下限（ELBO）の最大化に等しいことを示します。これにより、モジュールがタスク無関係な情報をフィルタリングし、予測に不可欠な信号を保持することが理論的に保証されます。

主要な貢献

• 経験的発見: 本論文は、大規模な拡散デコーダ（U-Net および DiT）の中間特徴が、推論時にこれらの特徴をマスクまたはスキップした際の性能向上という証拠によって示されるように、タスク無関係なノイズをしばしば含んでいることを特定し、定量化しました。
• 新規モジュール: バックボーンのアーキテクチャ変更を必要とせずに中間特徴を適応的にフィルタリングする、コンテキスト条件付き変分ボトルネックである変分正則化（VR）の導入。
• 理論的リンク: VR 目的を変分情報ボトルネックに結びつける原理的な導出により、情報フィルタリングに対する理論的保証を提供。
• 最先端の性能: 本手法は複数のベンチマークで新たな最先端の結果を達成し、ベースラインの DP3 ポリシーを上回りました。

実験結果
著者らは、VR を 3 つのシミュレーションベンチマーク（RoboTwin2.0、Adroit、MetaWorld）および実世界展開において評価しました。

• RoboTwin2.0: VR は DP3-UNet の平均成功率を 56.6% から 63.8%（+7.2）、DP3-DiT を 62.7% から 67.0%（+4.3）に向上させました。
• Adroit: 10 の専門家デモンストレーションのみを使用し、VR は DP3-UNet の平均 SR5 を 68.6% から 73.7%、DP3-DiT を 70.4% から 73.8% に向上させました。
• MetaWorld: VR は両方のバックボーンに対して平均 SR5 を一貫して向上させました（例：DP3-UNet は 63.1% から 68.1%）。
• 実世界: カップ積みタスクにおいて、VR は成功率を 73.3% から 86.7%（+13.4）に増加させました。
• アブレーション: 実験により、コンテキスト注入が VR の性能にとって決定的であり、VR がドロップアウト、幅の削減、およびバニラ情報ボトルネックなどの他の正則化技術よりも優れていることが確認されました。

重要性
本論文は、過剰なサイズのデコーダをブラックボックスとしてではなく、潜在的なノイズの源として扱うことで、適応的フィルタリングを通じて性能を大幅に向上させ得ると主張しています。その重要性は、「大きいことが常に良いわけではない」ということを、拡散ベースの操作において実証し、代わりに変分ボトルネックを介して中間表現を明示的にモデル化しフィルタリングすることが、より堅牢で効果的なポリシーにつながることを示す点にあります。本手法は、多様な操作タスクおよびデコーダアーキテクチャ全体で一般化と成功率を向上させる、シンプルでプラグ＆プレイ型のソリューションとして提示されています。