🤖 machine learning

DADP: Domain Adaptive Diffusion Policy

本論文は、動的予測における時間的遅れを導入して静的なドメイン情報を分離し、拡散モデルの生成プロセスにドメイン適応情報を注入する「DADP（Domain Adaptive Diffusion Policy）」を提案することで、学習ベース制御における未知の遷移ダイナミクスへのゼロショット適応性能を飛躍的に向上させる手法を提示しています。

原著者： Pengcheng Wang, Qinghang Liu, Haotian Lin, Yiheng Li, Guojian Zhan, Masayoshi Tomizuka, Yixiao Wang

公開日 2026-03-31

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Pengcheng Wang, Qinghang Liu, Haotian Lin, Yiheng Li, Guojian Zhan, Masayoshi Tomizuka, Yixiao Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「DADP（ドメイン適応拡散ポリシー）」**という新しい AI の学習方法について書かれています。

一言で言うと、**「どんな新しい環境（道や車）に出ても、すぐに上手に運転できる万能な AI 運転手を作る方法」**です。

従来の AI は、練習した環境（例えば、摩擦の少ない氷の道）でしかうまく動けず、少し条件が変わると（摩擦のある砂利道など）すぐに失敗していました。この論文は、その問題を解決する「魔法のレシピ」を提案しています。

わかりやすく 3 つのポイントで説明しますね。

1. 問題点：AI は「今」に惑わされすぎている

AI が新しい環境に適応しようとするとき、過去の経験（コンテキスト）を参考にします。しかし、これまでの方法は**「直前の数秒の動き」**をそのまま参考にしていました。

例え話：
運転手（AI）が「今、車が右に傾いているから、次も右にハンドルを切る」と考えているとします。
でも、その「右に傾いている」のは、「その瞬間の路面の凹凸（一時的な変化）」かもしれません。
もし AI が「路面の凹凸」まで「車の仕様（重力やタイヤの硬さ）」だと勘違いして覚えてしまうと、「本当の車の仕様」と「一時的な揺れ」が混ざり合ってしまい、混乱してしまいます。
これが、AI が新しい環境で失敗する原因だったのです。

2. 解決策①：「タイムラグ」を使って、本質を見抜く

著者たちは、**「少し前の過去」を見ることで、この混乱を解消しました。これを「遅れたコンテキスト予測（Lagged Context Dynamical Prediction）」**と呼んでいます。

例え話：
運転手の練習方法をこう変えました。
「今、車が右に傾いているから右に切ろう」ではなく、**「10 秒前に車が右に傾いていたから、今の車の仕様は右に傾きやすいんだな」**と推測します。

10 秒前の「路面の凹凸」は、今の車の動きには関係ありません。だから、AI は**「路面の揺れ（一時的なもの）」を無視して、「車の仕様（重力や摩擦など、変わらない本質）」だけを抽出する**ようになります。

これにより、AI は**「環境の本質（ドメイン）」をクリアに理解できるようになりました。**

3. 解決策②：「拡散モデル」に本質を注入する

次に、この「本質を理解した AI」が、実際にどう行動するかを決定する部分です。ここでは**「拡散モデル（Diffusion Model）」**という技術を使います。
（これは、ノイズの多い画像からきれいな絵を徐々に復元する技術と同じ仕組みです。AI は「ノイズ（無作為な動き）」から「きれいな動き（最適な行動）」を復元します。）

例え話：
普通の AI は、**「真っ白なキャンバス（ノイズ）」から始めて、一から絵を描き始めます。
しかし、DADP は、「キャンバスに、すでに『この車の仕様』に合わせた色の下書き（本質的な情報）」**を塗ってから描き始めます。

さらに、描き進める過程で、「この色（本質）」が正解かどうかを常にチェックさせます。
これにより、AI は「ノイズ」から迷わずに、その環境に最適な「完璧な動き」を素早く復元できるようになります。

まとめ：なぜこれがすごいのか？

この新しい方法（DADP）を使えば、AI は以下のようなことができるようになります。

ゼロショット学習： 一度も見たことのない新しい環境（新しい車や新しい地形）に出ても、すぐに適応して上手に動ける。
安定性： 一時的な揺れやノイズに惑わされず、本質的なルールだけを守って行動できる。
汎用性： 歩行ロボット（歩くこと）から、精密な指先操作（物を掴むこと）まで、あらゆるタスクで高い成績を収めた。

結論：
この論文は、AI が「一時的な現象」と「本質的なルール」を区別し、それを行動に活かすための新しい「脳の仕組み」を提案しました。これにより、AI はより現実世界で、より柔軟に活躍できるようになるのです。

まるで、**「経験則だけでなく、物理法則そのものを理解した天才ドライバー」**が生まれたようなものです。

DADP: Domain Adaptive Diffusion Policy 技術要約

本論文は、学習ベースの制御において「見えない遷移ダイナミクス（環境変化）への適応」を可能にする新しい手法、DADP (Domain-Adaptive Diffusion Policy) を提案しています。既存のドメイン適応手法が抱える課題を解決し、ゼロショット（学習時にその環境データを持たない状態）での適応性能を飛躍的に向上させることに成功しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 背景と問題定義

強化学習に基づく制御エージェントは、学習環境と異なる unseen なドメイン（重力、摩擦、ロボットの形状などの変化）に展開されると、性能が著しく低下する傾向があります。これを克服するため、ドメイン固有の情報を表現（Representation）として学習し、意思決定に活用するアプローチが主流です。

しかし、既存の手法には以下の根本的な課題がありました：

表現の混同（Entanglement）: ドメイン表現を学習する際、従来の「動的予測（Dynamical Prediction）」タスクでは、直近の履歴（コンテキスト）から未来の状態を予測します。この際、静的なドメイン情報（例：重力定数）だけでなく、時間変化する動的性質（例：現在の速度や加速度）も表現に混入してしまいます。
適応の制約: この「静的情報」と「時間変化する情報」が混ざった表現を条件としてポリシーに与えると、ポリシーが混乱し、ゼロショット適応の性能が制限されてしまいます。

2. 提案手法：DADP

DADP は、**「無教師による表現の分離（Unsupervised Disentanglement）」と「ドメイン認識型の拡散注入（Domain-Aware Diffusion Injection）」**の 2 つの柱で構成されます。

2.1. 遅延コンテキスト動的予測 (Lagged Context Dynamical Prediction)

ドメイン表現から時間変化する情報を除去し、静的なドメイン情報のみを抽出するための学習戦略です。

従来の問題点: 直近の履歴（ $t-1$ など）をコンテキストとして未来を予測すると、その履歴に含まれる瞬間的な速度や加速度が予測に利用され、表現に混入してしまいます。
DADP の解決策: 予測対象の時刻とコンテキストの間に、意図的な時間遅延（オフセット $\Delta t$ $Δ t$ ）を設けます。
- コンテキストを $t-\Delta t$ 時点の履歴とし、未来 $t+1$ の状態を予測します。
- $\Delta t$ を大きくする（ $\Delta t \to \infty$ ）ことで、コンテキストに含まれる「瞬間的な動的変化」は現在の予測タスクに役立たなくなります。
- 結果として、モデルは予測誤差を最小化するために、時間不変な静的ドメイン情報（重力、摩擦係数など）のみを表現にエンコードせざるを得なくなります。
効果: これにより、ドメイン間で明確に分離され、時間的に安定した高品質なドメイン表現が得られます。

2.2. 表現を用いた拡散プロセスの修正 (Diffusion Modulation)

学習されたドメイン表現を、拡散ポリシー（Diffusion Policy）の生成プロセスに直接組み込む手法です。単に表現を入力として追加するのではなく、生成の初期状態と目標を再定義します。

事前分布のバイアス: 従来の拡散モデルはガウスノイズからデノイジングを開始しますが、DADP は学習されたドメイン表現 $z$ を中心とした混合ガウス分布からデノイジングを開始します。これにより、ドメイン固有の行動モード（Action Modality）が事前分布に埋め込まれます。
予測目標の再定式化: 従来のノイズ予測だけでなく、ノイズと表現のシフト（ $z$ $z$ の影響）を合わせた複合項を予測目標とします。
- これにより、デノイジングプロセスの各ステップでドメイン情報が直接ガイドされ、より効率的で安定した行動生成が可能になります。

3. 主要な貢献

無教師表現学習の革新: 「遅延コンテキスト動的予測」を導入し、追加データ生成や教師ありラベルなしで、時間変化するノイズを除去した高品質なドメイン表現を学習可能にしました。
拡散ポリシーの改良: 表現を単なる条件付け入力としてではなく、拡散プロセスの事前分布と予測目標そのものに組み込むことで、ドメイン適応性能を最大化しました。
広範なベンチマークでの SOTA 性能: 移動（Locomotion）と操作（Manipulation）の両タスクにおいて、既存の最良手法（Meta-DT, CORRO など）を上回る性能を達成しました。
オープンソース化: アルゴリズム、データセット、データ生成パイプラインを公開し、コミュニティでの利用を促進しています。

4. 実験結果

MuJoCo（HalfCheetah, Walker2d, Ant, Hopper）および Adroit（Door, Relocate）のベンチマークで評価を行いました。

In-Distribution (IID) / Out-of-Distribution (OOD): 学習ドメイン内だけでなく、未見のドメイン（OOD）においても、DADP は他手法を凌駕する安定した高いリターンを達成しました。
アブレーション研究:
- $\Delta t$ の効果: 時間遅延 $\Delta t$ を大きくするほど、ドメイン分類精度（Linear Probe Accuracy）や動的パラメータ再構成精度が向上し、教師あり学習に近い表現品質に達することが示されました。
- 表現利用法の効果: 単なる条件付け（Conditional）や事前分布のバイアス（w/o Predict）よりも、提案する「事前分布バイアス＋予測目標の修正（w/ Predict）」が最も高い性能（Mastery: 専門家の 60% 以上の性能を達成するドメインの割合）を示しました。
安定性: 異なるシード（ランダム性）に対する性能のばらつきが小さく、実用性の高い安定性を示しています。

5. 意義と将来展望

実用性: DADP は、シミュレーションから実世界への転移（Sim-to-Real）や、ロボットが未知の環境に直面した際のゼロショット適応において、極めて有効なアプローチです。特に、ロボットの形状変化や物理パラメータの大幅な変動に対しても頑健です。
限界と将来: 現在の手法は「時間不変（Stationary）」なダイナミクスを前提としており、時間変化する信号を意図的に排除しています。将来的には、非定常環境において、時間変化するダイナミクスを保持しつつ静的ドメイン情報を分離する手法への拡張が期待されます。

結論として、DADP は拡散モデルの生成能力と、時間遅延を利用した無教師表現学習を組み合わせることで、ドメイン適応における長年の課題であった「表現の混同」を解決し、強化学習の汎用性と実用性を大きく前進させた画期的な研究です。