技術的概要：アクションチャンキング行動クローニングにおけるマルチモーダル失敗の理解

問題定義

行動クローニング（BC）は、専門家の条件付き行動分布がマルチモーダルである場合に、根本的な課題に直面する。単一の観測に対して、複数の異なる有効な行動が存在し得る（例えば、異なる逆運動学解や障害物回避のためのナビゲーション経路など）。L2 損失や単一ガウス分布などの単モーダルヘッドを使用する標準的な BC 手法は、条件付き平均への回帰によって失敗し、しばしば有効なモード間の隙間に位置し、物理的に実行不可能な行動を生成する。

これに対処するため、現代の手法はアクションチャンキング（単一のステップではなく行動のシーケンスを予測すること）とマルチモーダルパラメータ化を採用している。これらは一般的に以下の 2 つのカテゴリに分類される：

1. 潜在変数ポリシー：行動の曖昧さを符号化するために、観測されない潜在変数 $Z$（例えば CVAE）を導入する。
2. アクション空間生成ポリシー：明示的な中間潜在コードなしに、フローや拡散モデルを用いて行動分布を直接モデル化する。

経験的な成功にもかかわらず、これらのポリシーがマルチモーダリティを維持する上で成功または失敗する理論的メカニズムは不明なままだ。具体的には、どの訓練レベルの量が異なるモードの維持を制御するかは未知である。

手法と理論的枠組み

著者らは、専門家行動分布 $p_D(\cdot|s)$ のサポートが $K(s)$ 個のよく分離されたモード集合 $C_k(s)$ に含まれる性質としてマルチモーダリティを形式化した。彼らは、特定の制約下でこれら 2 つの主要なポリシーファミリーがこれらのモードを維持することに失敗する方法を分析する。

1. 潜在変数ポリシー（CVAE）

本研究は、条件付き変分オートエンコーダにおける事後分布 - 事前分布正則化（通常は点ごとの KL 発散項、$\beta D(q_\phi \| p_\psi)$）の役割を調査する。

• 情報要件：観測 $S$ から特定のデモンストレーションされたモード $M$ を復元するためには、潜在変数 $Z$ が行動条件付き情報を符号化しなければならない。著者らは、モードの同一性を維持するために必要な条件付き相互情報 $I(A; Z | S)$ の下限を導出した。
• 崩壊メカニズム：彼らは、正則化の強さ $\beta$ が増加するにつれて、変分目的関数が事後分布と事前分布の間の発散を罰則化することを証明した。これは、事後分布を事前分布へと収束させ、モードを区別するために必要な行動条件付き情報を実質的に除去する。
• 主要な結果：非自明なマルチモーダリティ証明を達成するための必要条件 $\beta < C/b_0$ が存在する。過度の正則化は「モード崩壊」を引き起こし、データの真の複雑さに関わらずポリシーが単モーダルになる。

2. アクション空間生成ポリシー

本研究は、ベースノイズ $u$（例えばガウス分布）をアクションチャンクにマッピングする決定論的サンプラー $G_{\theta,s}(u)$ を分析する。

• 幾何学的制約：複数の分離されたモードを表現する能力は、輸送マップのリプシッツ定数（$L_{\theta,s}$）に依存する。
• 滑らかさのトレードオフ：著者らは、小さなリプシッツ定数を持つマップは、多くのよく分離されたモードに同時に実質的な確率質量を割り当てることができないことを証明した。$K$ 個の分離されたモードをカバーするためには、生成器は以下のいずれかを行わなければならない：
  1. ベース空間で鋭い遷移（大きなリプシッツ定数）を示す。
  2. モード間で遷移する「ブリッジ領域」をアクション空間に利用する。これはしばしば無効（サポート外）の軌道を通る。
• 主要な結果：滑らかさ（小さなリプシッツ定数）を強制する正則化技術は、本質的にマルチモーダル分布を表現するモデルの能力を制約し、安定性とモードのカバレッジの間のトレードオフを強いる。

主要な貢献

1. マルチモーダリティの形式的定義：分離されたモード集合とモード割り当て関数に基づいた、厳密なマルチモーダル行動クローニングの定義を提供する。
2. 失敗メカニズムの特定：
   • 潜在ポリシーの場合：行動条件付き潜在情報を抑制することによるモード崩壊の決定的要因として、点ごとの KL 正則化の強さを特定した。
   • アクション空間ポリシーの場合：基底からアクションへのマップのリプシッツ定数を、表現可能なモード数を制限する幾何学的ボトルネックとして特定した。
3. 理論的 bound：
   • モード復元に必要な相互情報（$I(A; Z | S)$）の下限を導出し、Fano 修正モードエントロピーと関連付けた。
   • リプシッツ生成器の表現可能なモード数の上限を導出し、それがリプシッツ定数とモード分離距離の比率に比例してスケールすることを示した。
4. 経験的検証：合成 2 次元ナビゲーションタスク（真のモードラベル付き）および標準的なロボットシミュレーションベンチマーク（Push-T、UR3 BlockPush、Kitchen）において、これらのメカニズムを検証した。

実験結果

実験は理論的予測を支持している：

• 潜在ポリシー：CVAE における KL 重み $\beta$ を増加させると、相互情報 $I(A; Z | S)$ が急激に減少し、モードのカバレッジが崩壊する。集約マッチング（例：MMD-CWAE）は事後分布のモード情報を維持できるが、展開の成否は、事前分布が有効な行動に復号される潜在領域をカバーしているかどうかに大きく依存する。
• アクション空間ポリシー：生成モデル（フロー/拡散）はモードを成功裡にカバーするが、トレードオフを示す。高基数タスク（$K=16$）では、鋭い遷移の代わりに「ブリッジ」軌道（モード間の無効な経路）の割合が高くなるというマルチモーダリティのコストを支払う。
• ベンチマーク性能：
  • ほぼ単モーダルなタスク（UR3 BlockPush）では、決定論的 BC が生成手法を上回る。
  • 高度にマルチモーダルなタスク（Kitchen、Push-T Image）では、生成手法が決定論的ベースラインを上回る。
  • 学習された事前分布と集約マッチングは、標準的な点ごとの KL-CVAE よりも性能を向上させるが、それは事前分布がデコーダの有効な潜在領域と整合している場合に限られる。
  • アクション空間輸送手法は、推論において潜在ベースの手法よりも約 6 倍遅い。

意義と主張

本論文は、経験的なタスク駆動型の比較を超えて、マルチモーダル模倣学習が失敗する「理由」を理解するための決定的なギャップを埋め、モード維持のための理論的基準を提供することを主張する。

• CVAE への実践的示唆：著者らは、主要な研究（例：ACT）におけるデフォルトの選択 $\beta=10$ が、理論的には単モーダルなポリシーを生み出す可能性が高いことを強調している。これは、実務家が正則化を慎重に調整し、整合性とモード情報の必要性のバランスを取る必要があることを示唆している。
• 生成モデルへの実践的示唆：この分析は、正則化を通じて拡散モデルやフローモデルに過度の滑らかさを強制することが、意図せずモード崩壊を引き起こす可能性を示唆している。なぜなら、モデルは滑らかさの制約に違反することなく分離されたモードをカバーするために潜在空間を十分に伸張できないからである。
• 限定的な範囲：著者らは、彼らの結果が訓練に依存しない構造的な制限と必要条件を記述していることを認めている。これらは、訓練がこれらの条件を満たすオプティマイザを見つけることを保証するものではなく、タスク固有の曖昧さを推定せずに $\beta$ を選択するための普遍的な規則を提供するものでもない。彼らは、「最良」のポリシークラスは、単なるモデルの表現力ではなく、データの特定の曖昧さ構造に依存すると強調している。

要約すると、この研究は、行動クローニングにおけるマルチモーダリティの維持が、潜在モデルにおける正則化の強さと、生成モデルにおける輸送マップの幾何学的滑らかさという、明示的で定量化可能な制約によって支配されていることを確立している。