💻 computer science

DiSPo: Diffusion-SSM based Policy Learning for Coarse-to-Fine Action Discretization

本論文は、多様な粗いスキルから学習し、Mamba を活用した拡散型状態空間モデル（DiSPo）を提案することで、従来の手法よりも高い成功率と推論効率で粗から細への行動 discretization を実現する手法を提示しています。

原著者： Nayoung Oh, Jaehyeong Jang, Moonkyeong Jung, Daehyung Park

公開日 2026-02-25

📖 1 分で読めます☕ さくっと読める

原著者： Nayoung Oh, Jaehyeong Jang, Moonkyeong Jung, Daehyung Park

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文「DiSPo」の解説：ロボットに「大まかな指図」から「繊細な動き」を教える魔法

この論文は、ロボットが人間から「大まかな動き」だけを見て、それを「繊細で正確な動き」に変換して実行できるようにする新しい技術「DiSPo」を紹介しています。

専門用語を抜きにして、日常の例えを使って説明しましょう。

🤖 従来の問題点：「大まかなメモ」だけでは不十分

Imagine（想像してみてください）：
あなたが料理のレシピを弟子に教えるとき、**「まず鍋に水を入れ、次に野菜を切り、最後に炒める」という大まかな手順（粗いデータ）**しかメモに残さなかったとします。

**従来のロボット（AI）**は、このメモだけを見て「じゃあ、水を入れる動作を 1 秒で、野菜を切る動作を 1 秒で」と、機械的に間を埋めようとして失敗します。
- 結果：野菜を切りすぎたり、火が強すぎて焦がしたり、「カクカクした不自然な動き」になってしまいます。
- 昔の技術では、これを直すために「1 秒ごとの詳細な動き」を何千回も記録して教える必要があり、時間とコストがかかりすぎていました。

✨ DiSPo の解決策：「大まかなメモ」から「プロの動き」を再現する

DiSPo は、「大まかなメモ（粗い動き）」から「プロの繊細な動き（細かい動き）」を推測して作り出すことができる新しいロボット用 AI です。

1. 2 つの天才を合体させる（拡散モデル × SSM）

DiSPo は、2 つの異なる「天才的な能力」を持った技術を組み合わせています。

拡散モデル（Diffusion Model）の能力：
- 例え： 「ぼやけた写真から、鮮明な画像を復元する」能力。
- 役割： 雑音（ノイズ）だらけの動きから、滑らかで正しい動きを徐々に「浄化」して作り出します。
SSM（Mamba）の能力：
- 例え： 「長い物語を、必要な部分だけ記憶して理解する」能力。
- 役割： 過去の動きを忘れずに、次の動きを効率的に計算します。特に、「時間の刻み方（粒度）」を自由自在に変えられるのが最大の特徴です。

2. 「ステップスケール」：時間の刻み方を自在に変える魔法

これがこの論文の最大の革新点です。

通常のリズム： 1 秒間に 10 回動く（細かい動き）。
DiSPo の魔法：
- 空を飛んでいるような**「何もしなくていい場所」**では、時間をゆっくり刻んで（粗く）、エネルギーを節約します。
- 壁にぶつかりそうな**「危険な場所」や、ボタンを押すような「繊細な場所」**では、一瞬で時間を細かく刻んで（細かく）、超精密な動きをします。

例え話：
自動運転車が、高速道路では「1 分ごと」に位置を確認し、交差点や狭い道では「1 秒ごと」に位置を確認してハンドルを切るようなものです。DiSPo は、「どこが重要か」を判断して、動きの細かさをその場に合わせて自動調整します。

🎮 具体的な実験結果：どうすごいのか？

研究者たちは、3 つのシミュレーションと、実際のロボット（UR5e）を使ってテストしました。

クランプ（金具）の通り抜け：
- 細いパイプを通すタスク。
- 従来の AI は、大まかなデータから学習すると、パイプにぶつかって失敗しました。
- DiSPoは、大まかなデータから「ここは曲がる必要がある」と察知し、ぶつからないよう滑らかに曲がる繊細な動きを生成しました。成功率が最大で81% 向上しました。
ボタン押し：
- 壁に挟まれたボタンを、壁にぶつけずに押すタスク。
- 従来の AI は、ボタン付近で「ガタガタ」と小刻みに動いて失敗しました。
- DiSPoは、ボタンに近づくと動きを極端に細かくして、ピタッと正確にボタンを押すことができました。
リアルなロボット実験：
- 実際のロボットアームを使って、金属の輪っかをパイプに通す実験を行いました。
- 従来の方法（D-Ma）はパイプを傷つけたり、止まったりしましたが、DiSPo は失敗することなく、滑らかに通しきりました。

💡 まとめ：なぜこれが重要なのか？

データ節約： これまで「超細かい動き」を何千回も記録して教える必要がありましたが、DiSPo なら「大まかな動き」のデータだけで済みます。
効率化： 重要な場所だけ集中して動き、そうでない場所ではサボる（計算を減らす）ことができるため、ロボットがより速く、賢く動けます。
柔軟性： ユーザーが「もっと細かく動いて」とか「もっと大まかに動いて」と指示すれば、その通りに動きの細かさを調整できます。

一言で言うと：
DiSPo は、「大まかなスケッチ（粗い動き）」を見て、 「プロの画家のような繊細な絵（精密な動き）」を描き上げる、時間と計算を賢く使う新しいロボットのコツです。これにより、ロボットは人間のように、状況に合わせて「大まかに」も「細かく」も動くことができるようになります。

DiSPo: Diffusion-SSM based Policy Learning for Coarse-to-Fine Action Discretization の技術的サマリー

本論文は、ロボット操作タスクにおいて、粗い（低頻度）デモンストレーションから微細な（高頻度）動作を生成するための新しい方策学習アルゴリズム「DiSPo（Diffusion-SSM based Policy）」を提案しています。以下に、問題定義、手法、主要な貢献、結果、そして意義について詳細にまとめます。

1. 問題定義

従来の模倣学習（Imitation Learning, IL）では、複雑な操作タスク（ねじり、溶接、挿入など）を成功させるために、高頻度かつ微細な動作データが必要とされることが一般的でした。しかし、以下の課題が存在します。

多粒度データの欠如: 既存の手法は、特定の周波数の軌跡から学習するか、補間技術や動力学モデルに依存しており、デモンストレーションに含まれる「粗い」動きと「細かい」動きの多様な粒度（Multi-granularity）を効果的にエンコード・デコードできません。
計算コストとデータ効率: 微細なスキルを学習させるためには高頻度のデモンストレーションが必要となり、データ収集と計算リソースのオーバーヘッドが大きくなります。
柔軟性の欠如: ユーザーの意図やタスクの状況に応じて、動作の粒度（時間分解能）を動的に変更する能力が既存のモデルには不足しています。

本研究は、**「粗いデモンストレーションから、ユーザーが意図する粒度の微細な動作を生成する」**という課題を解決することを目指しています。

2. 手法：DiSPo のアーキテクチャ

DiSPo は、**拡散モデル（Diffusion Model）**の表現力と、状態空間モデル（SSM: State Space Model）、特に最新の「Mamba」アーキテクチャの柔軟な離散化能力を融合させたハイブリッド方策です。

2.1 核心となる技術

拡散-SSM 統合:
- 従来の拡散モデルは Transformer や CNN をバックボーンに使用しますが、DiSPo は Mamba ベースのブロックを「Denoising Network」として採用しています。
- これにより、長い系列データの効率的な処理と、多様な粒度の表現が可能になります。
ステップスケーリング機構（Step-Scaling Mechanism）:
- Mamba の離散化パラメータ（ステップサイズ $\Delta$ ）を、ユーザーが指定する「ステップスケーリングファクター（ $r_t$ ）」や学習された予測器によって動的に調整します。
- これにより、同じモデルで「粗い動作（低頻度）」から「微細な動作（高頻度）」まで、任意の粒度をオンラインで生成・制御できます。
多粒度学習と再生:
- 学習時には、デモンストレーションの周波数をランダムに変化させるデータ拡張（Sample-rate Augmentation）を行い、多様な粒度に対応する能力を習得させます。
- 推論時には、ユーザーの意図やタスクの状況に応じてステップサイズを調整し、重要な領域（例：衝突回避が必要な箇所）では微細な動作を、安全な領域では粗い動作を生成して推論効率を向上させます。

2.2 学習パイプライン（擬似デモンストレーション生成）

高頻度の動作データが存在しない場合でも、微細な動作を生成するために以下の 2 段階の学習戦略を採用しています。

事前学習（Pretraining）: 粗いデモンストレーションに対して、ランダムなステップスケーリングファクターを適用してデータ拡張を行い、多粒度に対応する基礎モデルを学習します。
ファインチューニング（Fine-tuning）:
- 擬似デモンストレーションの生成: 事前学習済みモデルを用いて、高頻度の「擬似デモンストレーション（Pseudo Demonstration）」を生成します。
- 部分的な置換: 生成された高頻度動作のうち、元のデモンストレーションに対応する部分（低頻度成分）を、ノイズを加えた元のデモンストレーションデータに置換することで、モデルを微調整します。これにより、高頻度動作の精度を向上させつつ、元のデモンストレーションの信頼性を維持します。

3. 主要な貢献

初の Mamba 離散モデルの微細操作への適用: Mamba の離散モデルを微細なロボット操作タスクに適用し、粒度を調整可能にした最初の試みです。
データ効率と計算効率の向上: 高頻度データがなくても、粗いデータから微細な動作を学習・生成できるため、データ収集コストを削減します。また、推論時に必要な領域のみを微細化することで計算負荷を低減します。
新しいベンチマークの提案: 粗いデモンストレーションから微細な動作を生成する能力を評価するための「Coarse-to-Fine」タスク（Clamp passing, Passage passing, Button touch）を提案し、既存手法との比較を行いました。
実世界での検証: シミュレーションだけでなく、UR5e マニピュレータを用いた実世界実験（クランプの通過、ボタン押し）でも有効性を証明しました。

4. 実験結果

シミュレーションベンチマーク:
- 2.5Hz〜20Hz の様々な周波数のデモンストレーションから学習し、20Hz の目標動作を生成するタスクにおいて、DiSPo は既存の Diffusion Policy（DP-C, DP-T）や Mamba ベースの D-Ma、VQ-BeT などの SOTA 手法を凌駕しました。
- 特に 2.5Hz の粗いデータからの学習において、成功率が最大で81% 向上しました（ベースラインは 2.5Hz データではほぼ失敗）。
- 混合周波数（2.5Hz と 5Hz）のデータセットでも、DiSPo は 93% の成功率を達成し、他の手法が頻度の違いを適切に扱えず失敗するのに対し、多粒度学習の優位性を示しました。
実世界実験:
- UR5e による「クランプ通過（2.5mm の隙間）」と「ボタン押し」タスクにおいて、DiSPo は D-Ma よりも高い成功率を達成しました。
- D-Ma は粗い動きは捉えられますが、衝突やボタンへの接触失敗が多発したのに対し、DiSPo は衝突を回避し、正確な微細制御を実現しました。
推論効率:
- 適応的なステップスケーリングにより、不要な領域でのステップ数を 32% 削減しつつ、タスク成功率を維持できることが示されました。

5. 意義と結論

DiSPo は、ロボット学習における「粒度（Granularity）」の課題に対する画期的な解決策を提供します。

柔軟な制御: ユーザーやタスクの文脈に応じて、動作の解像度を動的に変更できるため、複雑なタスクにおける計算リソースの最適化が可能です。
実用性の向上: 高頻度のデモンストレーション収集が困難な実世界環境でも、粗いデータから高精度な制御を学習できるため、ロボットの実用化へのハードルを下げます。
技術的ブレイクスルー: 拡散モデルと SSM（Mamba）の組み合わせが、単なる効率化だけでなく、多様な時間スケールでの動作生成という新しい能力をもたらすことを実証しました。

本論文は、ロボットが人間のように「大まかな動き」と「微細な調整」を状況に応じて使い分ける能力を獲得するための重要な一歩であり、実世界での複雑な操作タスクへの応用可能性を大きく広げました。