技術要約: RoDiF – 破損した人間からのフィードバックを用いた拡散方策のロバストな直接微調整

1. 問題提起

拡散方策（Diffusion policies）は、従来のガウス分布や決定論的な方策と比較して、マルチモーダルな分布のキャプチャや高次元のアクション空間の処理において優れた能力を発揮し、ロボット制御における強力なパラダイムとして台頭しています。しかし、これらの学習済みの方策を特定の人間による好みに適合させるために微調整を行う際、以下の2つの根本的な課題が生じます。

1. 構造的不一致（Structural Mismatch）: 自己回帰型の言語モデルとは異なり、拡散方策は環境のマルコフ決定過程（MDP）内にネストされた多段階のデノイジング・チェーン（denoising chain）を通じて動作します。既存の直接選好最適化（DPO）手法は、この二重の時系列構造（内部のデノイジング・ステップと外部の環境ダイナミクス）を本質的に考慮しておらず、扱いやすいDPO目的関数の導出が容易ではありません。
2. 破損した人間からのフィードバック（Corrupted Human Feedback）: ロボット制御における人間のフィードバックは、しばしば確率的であり、標準的なノイズの仮定を超えた不一致（例：ラベルの反転、アノテーター間の意見の相違、または非定常な基準）を含んでいます。このようなデータに対して素朴に微調整を行うと、モデルは矛盾する比較に対して過学習してしまい、人間の意図ではなく誤った制約に対して最適化されてしまい、結果としてアライメント（適合）とタスク性能の両方を低下させます。

2. 手法

提案されるフレームワークである RoDiF (Robust Direct Fine-Tuning) は、統一的な理論的定式化と幾何学に基づいた最適化戦略を通じて、これらの課題に対処します。

2.1 統一MDP定式化

拡散方策へのDPOを可能にするため、著者らは拡散デノイジング・チェーンと環境ダイナミクスを整合的に統合する 統一MDP (Unified MDP) を導入しています。

• 状態とアクションの定義: 統一状態 $s^+$ は、現在の環境状態 $s_t$ と初期ノイズベクトル $a^K_t$ を組み合わせたものです。統一アクション $a^+$ は、デノイジング・ステップのシーケンス $(a^{K-1}_t, \dots, a^0_t)$ を表します。
• 遷移ダイナミクス: 遷移関数はプロセスをフラット化し、ランダムなノイズ注入と環境遷移を単一のステップとして扱います。
• 方策の因数分解: 統一方策 $\pi_\theta(a^+|s^+)$ は、各ステップ $k$ における条件付きデノイジング確率の積へと因数分解されます。これにより、明示的な報酬モデリングを行うことなく、拡散プロセスに対して標準的なDPO再パラメータ化トリックを適用することが可能になります。

2.2 幾何学的仮説切断の視点

RoDiFは、DPOの目的関数を幾何学的なレンズを通して再解釈します。

• 仮説空間: 拡散方策のパラメータ空間は、仮説空間 $\Theta$ と見なされます。
• 切断としての選好: 人間による選好ペア（勝利軌跡 $\tau_w$ 対 敗北軌跡 $\tau_l$）は、パラメータ空間に対する不等式制約（「カット」）を誘発します。有効な方策パラメータは、選好されたペアに対して $\Delta Q_\theta \geq 0$ を満たす必要があります。
• ノイズの問題: 破損したラベルが存在する場合、単一の誤った選好が「偽のカット」を生み出し、真の最適パラメータ $\theta_H$ をすべてのカットの共通部分から除外してしまうことで、学習プロセスを不可逆的に脱線させる可能性があります。

2.3 保守的な投票戦略

特定のノイズ分布を仮定することなくロバスト性を実現するために、RoDiFは 保守的な切断戦略 (conservative cutting strategy) を採用しています。

• 投票メカニズム: すべての選好カットを満足するパラメータを要求する代わりに（これはラベルが破損している場合に失敗します）、本手法は各カットを一つの「投票」として扱います。
• 保守的閾値: 破損率の上限の推定値を表す保守性レベル $\gamma \in [0, 1]$ が導入されます。最適化の目的関数は、少なくとも $\lfloor(1-\gamma)N\rfloor$ 個のカットを満たすパラメータを保持するように緩和されます。
• ロバスト損失関数: 標準的なDPO損失は、ロバスト損失 $L_{RoDiF}$ に修正されます。投票数をカウントするために使用される非微分的なヘヴィサイドの階段関数は、勾配ベースの最適化を可能にするためにシグモイド関数を用いて平滑化されます。これにより、最大 $\gamma N$ 個の不一致なラベルを無視しながら、真の人間適合型の方策へと収束させることが可能になります。

3. 主な貢献

1. 統一MDP定式化: 拡散デノイジング・ステップと環境遷移を統合する新しい定式化により、拡散方策に対する扱いやすい報酬フリーのDPO目的関数の導出を可能にしました。
2. RoDiFアルゴリズム: 保守的な仮説切断を活用することで、拡散方策をロバストに微調整する、幾何学に基づいたアルゴリズムです。これは、ノイズ分布の事前知識を必要とせずに、不一致な選好ラベルの影響を軽減します。
3. 実証的検証: 高次元かつ長期間の操作タスクにおいて、RoDiFが標準的なDPO、CPO、IPO、SimPOを含む最先端のベースラインを大幅に上回ることを示す広範な実験を行いました。特に、30%の破損した選好ラベルが存在する場合でも高いアライメント性能を維持しています。

4. 実験結果

本手法は、3種類の異なる拡散バックボーン（UNet、Transformer、MLP）を用い、5つの長期間操作タスク（Avoid, Pushing, Sorting, Aligning, Stacking）で評価されました。

• アライメントの有効性: RoDiFは、学習済みの方策において支配的でないモードであっても（例：ベースラインが21%未満であった「Avoid」タスクにおいて84%以上のモード・アライメントを達成）、ユーザー指定のモードへと方策を導くことに成功しました。
• ノイズに対するロバスト性:
  • 破損率0%の場合、RoDiFは標準的なDPOと同等の性能を示しました。
  • 20%および30%の破損条件下では、標準的なDPOやSimPOなどの他のベースラインは著しく低下しました（例：SimPOの成功率は20%のノイズ下で43%から10%に低下）。
  • RoDiFは、すべてのノイズレベルにおいて高い性能（成功率84%以上）を維持し、系統的なラベルノイズからステアリング信号を効果的に分離しました。
• アーキテクチャ非依存性: 本手法は、多様な拡散アーキテクチャ（UNet、Transformer、MLP）に対して有効であることが証明されました。
• サンプル効率: 本フレームワークは高いサンプル効率を示し、特定のタスクではわずか10組の勝者・敗者ペアで強力なアライメントを達成しました。

5. 意義と主張

本論文は、RoDiFが選好ベースのロボット学習における安全性と信頼性を前進させると主張しています。誤った、あるいは不一致な人間からのフィードバックの影響を明示的に軽減することで、本フレームワークは脆弱または不安定な方策更新のリスクを低減します。これは、人間によるアノテーションが不完全なデータを提供する可能性がある、現実世界の安全性が重要な環境へのロボットシステムの展開に向けた重要なステップとして提示されています。本研究は、ロバスト性を責任ある展開のための基礎的な要件として強調しており、完璧なデータや複雑な報酬モデリングに依存しない解決策を提供しています。