🤖 machine learning

DISC: Decoupling Instruction from State-Conditioned Control via Policy Generation

DISC フレームワークは、言語条件付き操作における観察漏洩を排除するため、ハイパーネットワークを用いて指示から直接タスク固有のポリシーパラメータを生成し、これにより言語グラウンディングと視覚状態処理を構造的に分離することで、絡み合ったベースラインおよび大規模事前学習モデルと比較して優れた性能と汎化性を達成する。

原著者： Hanxiang Ren, Pei Zhou, Xunzhe Zhou, Yanchao Yang

公開日 2026-05-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hanxiang Ren, Pei Zhou, Xunzhe Zhou, Yanchao Yang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「DISC: Decoupling Instruction from State-Conditioned Control via Policy Generation」の解説を、平易な言葉と創造的な比喩を用いて行ったものです。

大きな問題：「ズルをする」ロボット

ロボットに料理を教える場面を想像してください。あなたはロボットに 2 つの情報を与えます。

レシピ（指示）： 「フライパンをコンロに置け。」
視点（観測）： コンロ、フライパン、皿がある台所を示すカメラ映像。

現在のほとんどのロボットでは、「脳」がレシピとカメラ映像を同時に処理し、巨大なデータのスープの中に混ぜ合わせています。この論文ではこれを**「タスクと状態の絡み合い（Task-State Entanglement）」**と呼びます。

ズルの仕組み：
ロボットは訓練データの中で、コンロとフライパンが一緒に映っている場面を非常に多く見てきたため、近道（ショートカット）を学習してしまいます。つまり、レシピを読むのをやめて、ただ画像を見るだけで済ませるようになるのです。

シナリオ： あなたが「フライパンをコンロに置け」と言うと、ロボットは画像にコンロとフライパンが見えているため、そこに置きます。
罠：次にあなたが「フライパンを皿に置け」と言うと、ロボットはまだ画像の中にコンロとフライパンを見ています。言葉ではなく画像に反応するように学習してしまったため、まだコンロに置こうとしたり、混乱したりする可能性があります。なぜなら、それは実際にはあなたの特定の指示を聞くことを学んでおらず、言語に基づいて根拠を持つのではなく、視覚的な場面から答えを「漏らして」しまったからです。

解決策：DISC（「オーダーメイドスーツ」の仕立て屋）

著者たちは、ロボットの脳を構築する新しい方法としてDISCを提案しています。レシピと視点をごちゃ混ぜにするのではなく、それらを完全に分離するのです。

DISC は、**「サイズが一つしかないユニフォーム」ではなく、「オーダーメイドスーツの仕立て屋」**のようなものです。

仕立て屋（ハイパーネットワーク）： これはあなたの声（指示）だけを聞く特別な AI です。台所は見ていません。その唯一の役割は、「フライパンをコンロに置け」という言葉を聞き、その正確なタスクに特化した全く新しいカスタム脳を編み出すことです。
スーツ（生成された方策）： 仕立て屋が編み上げると、カスタム脳（数学的な重みのセット）を渡されます。この脳はもはや「コンロタスク用の脳」であることがハードウェアレベルで固定されています。
着用者（ロボット）： ロボットはこのカスタム脳を装着します。これで、ロボットは台所（視点）を見て行動します。重要なのは、もうあなたの声は聞こえないということです。ロボットは与えられたカスタム脳に基づいてしか行動できません。

なぜこれでズルが止まるのか：
ロボットの脳はあなたの言葉から完全に構築されるため、あなたに耳を傾けること以外に選択肢がありません。画像を見て何をするか推測することはできません。なぜなら、画像は脳に直接話しかけることが許されていないからです。ロボットが何をするべきかを知る唯一の方法は、あなたの言葉がその脳を構築したからです。

「カスタム脳」を作る方法（2 段階のプロセス）

文章から丸ごと新しい脳を作るのは困難です。「この文章用の脳を作れ」とコンピュータに頼むだけでは、ぐちゃぐちゃで壊れた脳ができてしまうかもしれません。

DISC は、2 段階の構築プロセスでこれを解決します。

ラフな下書き（重みの初期化）： 仕立て屋は、言葉に基づいてラフなスーツを素早くスケッチします。これは正しい形に近いです（例えば、掃除タスクではなく料理タスクであることは分かっています）が、ボタンが間違った場所にあるかもしれません。
仕立て直し（反復的な洗練）： これが論文の巧妙なトリックです。仕立て屋は単に推測するのではなく、スーツを通常どう直すかの「精神的シミュレーション」を使います。ラフな下書きを見て、何が間違っているかを想像し、小さく精密な調整を行います。これを非常に高速に何度も繰り返し、スーツが完璧に合うまで行います。
- 注記： これは実際のトレーニングのような遅く重たい数学計算を実際に行うことなく行われます。彼らは多くの例を見て「スーツの直し方」を学習しているため、頭の中で瞬時に行うことができます。

実験では何が起こったか？

著者たちは、この手法をコンピュータシミュレーション内のロボットと、実際のロボットアームでテストしました。

「視覚的罠」テスト： ロボットが赤いリンゴを拾い、特定のボウル（小サイズグレー、大サイズ赤、またはライトグレー）に入れるという、トリッキーなテストを作成しました。視覚的な場面は毎回同じでしたが、言葉だけが変わりました。
- 従来のロボット： 混乱しました。リンゴとボウルを見ていましたが、視覚的な近道に依存していたため、リンゴを間違ったボウルに入れたり、立ち往生したりすることが多かったです。
- DISC： ほぼ毎回正解しました。その脳が「赤いリンゴ→小サイズグレーのボウル」のために特別に構築されていたため、視覚的な混乱を無視し、指示に従ったのです。
学習速度： 新しいタスクの例をわずか数回（1 回または 3 回）与えられただけで、DISC は従来のロボットよりもはるかに速く学習しました。これは、その「仕立て屋」がすでに仕事の一般的な形を知っており、ゼロから学ぶのではなく、スーツをわずかに調整するだけで済むためです。
複雑さ： タスクが複雑になるほど（例：「コンロをオンにしてから、フライパンを置く」）、他の手法と比較して DISC の性能は向上しました。「ズルをする」ロボットは長いタスクでは失敗し、行方を見失ってしまいましたが、DISC は軌道を保ちました。

まとめ

この論文は、現在のロボットは自分が目にするものに基づいて推測するのが上手すぎるため、特定の指示に従うのが下手であると主張しています。

DISC はアーキテクチャを変更することでこれを修正します。

従来の方法： 言葉と画像を混ぜる $\rightarrow$ ロボットは言葉を無視し、画像から推測することを学習する。
DISC の方法： 言葉を使ってカスタム脳を構築する $\rightarrow$ ロボットはその脳を使って画像を見る。

指示のみからロボットに「タスク固有の脳」を自ら構築させることで、ロボットが単に場面に反応するのではなく、実際にあなたが求めたことを理解していることを保証します。

技術概要：DISC – ポリシー生成による指示と状態条件付き制御の分離

1. 問題定義

本論文は、現在の言語条件付きロボット操作ポリシーにおける根本的な限界、すなわち**タスクと状態の絡み合い（task-state entanglement）**に対処する。既存のアーキテクチャ（Transformer や拡散ポリシーなど）は、自然言語の指示と視覚的観測を共有ネットワークパラメータを通じて処理する。著者らは、この設計が以下の 2 つの重大な失敗を生み出すと主張する：

最適化の緊張関係：共有パラメータは、抽象化を必要とする意味的な言語理解と、空間的感度を必要とする精密な視覚運動制御を同時に学習しなければならないため、矛盾する最適化目標に直面する。
観測漏れ：限られたロボットデータセットにおいて、視覚的文脈はタスクの同一性と強く相関することが多い。絡み合ったアーキテクチャはこれを悪用し、「シーンからアクション」へのショートカットを学習することで、言語指示を完全に迂回する。その結果、ポリシーは慣れ親しんだシーンでは成功するが、指示が変更された場合や視覚的な曖昧さが生じた場合には失敗する。これは、言語的なタスク仕様の定着ではなく、視覚的な事前知識に依存しているためである。

2. 手法：DISC アーキテクチャ

提案される解決策であるDISCは、タスク仕様（言語）と状態条件付き制御を構造的に分離する。言語を条件として汎用ポリシーを条件付けるのではなく、DISC はハイパーネットワークを用いて、指示のみに基づきタスク固有の視覚運動ポリシーの全パラメータセットを生成する。

中核コンポーネント

ハイパーネットワーク（ $H_\phi$ ）：言語指示の埋め込み（ $e_l$ ）を入力とし、ターゲットポリシーの重み（ $\theta_\pi$ ）を出力する。ターゲットポリシー（ $\pi_{\theta_\pi}$ ）は、視覚的観測（ $o_t$ ）のみを受け取り、動作（ $a_t$ ）を出力する。ターゲットポリシーが言語に直接アクセスできないため、タスクの意味論は生成された重み内に完全に符号化されなければならず、これにより観測漏れが構造的に排除される。
2 段階生成：高次元の整合的な重みを生成することは困難である。DISC はパラメータの品質を確保するために 2 段階のプロセスを採用する：
1. 重み初期化ネットワーク（WIN）：言語埋め込みを、パラメータ空間における粗く、意味論的に情報を持った点（例えば、把持と押し付けを区別する点）にマッピングする。
2. 反復的洗練モジュール： $T$ 回の学習ステップを通じて初期化を洗練する。このモジュールは勾配ベースの最適化（順伝播、疑似勾配推定、パラメータ更新）の構造を模倣するが、完全なフィードフォワードニューラルネットワークとして動作する。これは、推論時に実際の勾配降下のコストを負うことなく、最適化に対する帰納的バイアスを埋め込む。
ターゲットポリシー：生成された重みによって構成される、コンパクトでタスク固有のコントローラー（軽量 MLP として実装）。

学習と適応

学習：システムは行動クローニングを通じてエンドツーエンドで学習される。損失関数はターゲットポリシーとハイパーネットワークを通じて逆伝播され、ハイパーネットワークのパラメータ（ $\phi$ ）が更新される。
少数ショット適応：新規タスクに対して、ハイパーネットワークは新しい指示に基づき初期化を生成する。この初期化はすでにタスク多様体と意味論的に整合しているため、少量のデモンストレーションで微調整される。これにより、適応はグローバルな探索から局所的な洗練へと変換され、サンプル効率を大幅に向上させる。

3. 主要な貢献

アーキテクチャ的な分離：本論文は、タスクの意味論が共有処理層を通じてではなく、生成されたポリシーパラメータを通じてのみ行動に影響を与えることを保証することで、観測漏れに対する構造的保証を導入する。
最適化に着想を得たハイパーネットワーク：学習されたフィードフォワード洗練プロセスを用いて、整合性のある高次元のポリシー重みを生成する新規なハイパーネットワーク設計。これは表現力と制御精度の間のギャップを埋める。
意味論的パラメータ多様体：本手法は、意味論的に類似したタスクが幾何学的にクラスタリングされるパラメータ空間を学習し、ロバストな少数ショット適応と、言い換えられた指示への一般化を可能にする。

4. 実験結果

著者らは、シミュレーションベンチマーク（LIBERO-90、Meta-World）および実世界の組み合わせベンチマークにおいて DISC を評価した。

マルチタスク性能：
- LIBERO-90において、DISC は全体成功率**94.3%を達成し、ゼロから学習した最も強力な絡み合ったベースライン（OTTER、86.6%）を7.7%**上回った。
- 性能の差はタスクの複雑さが増すにつれて拡大し、長期的タスクにおいてはベースラインを**+8.4%**上回った。
- DISC はゼロから学習されたにもかかわらず、大規模事前学習モデル $\pi_0$ （91.6%）を上回り、 $\pi_{0.5}$ （95.7%）とも競争力のある性能を示した。
- Meta-Worldにおいて、DISC は全体で**92.2%**を達成し、すべてのベースラインを上回った。
観測漏れの軽減（実世界）：
- 視覚的文脈が同一で（言語のみが異なる）9 つのタスクを共有する実世界のベンチマークにおいて、DISC は**86.4%**の成功率を達成した。
- 絡み合ったベースライン（Octo など）は**78.5%**まで低下し、視覚的設定は同一だが指示が異なるタスクを区別できないことが多く、DISC の分離が視覚的ショートカットを防止していることを確認させた。
少数ショット適応：
- DISC は優れたサンプル効率を示す。わずか 1〜3 回のデモンストレーションで、拡散ベースの手法が 0% 付近で苦労する領域において、非自明な成功率を達成する。
- より長い「ウォームアップ」段階を必要とするベースラインと比較して、迅速に収束する（200 ステップ以内）。
言語の定着：
- 言語的変異（言い換えられた指示）の下でも、DISC は高い性能を維持する（LIBERO-90 で 85.4%）。一方、絡み合ったモデルは著しい劣化を示し、DISC が特定の言い回しを暗記するのではなく、タスクの意味を定着させていることを示している。

5. 意義と主張

本論文は、言語がポリシーアーキテクチャにどのように組み込まれるかが、それがどのように符号化されるかよりも重要であると主張する。著者らは、タスクと状態の絡み合いは、データやモデルサイズの拡大だけでは完全に解決できない構造的欠陥であると論じている。

構造的保証：タスク固有のパラメータを生成することにより、DISC はタスクの意味論がコントローラー全体に埋め込まれ、ネットワークが言語を迂回するショートカットを学習することを防ぐ構造的保証を提供する。
効率性と事前学習：結果は、アーキテクチャ的な帰納的バイアス（分離）が大規模事前学習に起因する恩恵の多くを回復できることを示唆しており、ゼロから学習されたモデルが大規模な事前学習されたビジョン・言語・アクション（VLA）モデルと競合するか、あるいはそれを超えることを可能にする。
ロバスト性：分離されたアーキテクチャは、絡み合ったポリシーが蓄積された定着エラーにより失敗する複雑な、長期的な、または視覚的に曖昧なシナリオにおいて特に価値がある。

著者らは結論として、大規模な事前学習された VLA はデータ豊富な設定では補完的であるが、DISC は信頼性の高い定着、効率的な制御、および限られたロボットデータからの適応を必要とするシナリオに対して、より優れたアプローチを提供すると述べている。