SERNF: 正規化フローとアクションチャンク化クリティックによる実世界での効率的な器用な操作ポリシー微調整

本論文は、ETH Zurich の Soft Robotics Lab によって提案されたSERNF（Sample-Efficient Reinforcement Learning with Normalizing Flows）というフレームワークについて述べています。これは、限られた実世界での相互作用予算（データ量）の中で、複雑な器用な操作タスク（dexterous manipulation）に対して、視覚運動ポリシー（visuomotor policy）を効率的に微調整するための手法です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義と背景

実世界のロボット制御、特に複雑な接触を伴う器用な操作タスク（例：ハサミでのテープ切断、手のひらでのキューブ回転）において、以下の課題が存在します。

• 実世界データの限界: 高品質な実世界データ（特に成功したデモンストレーション）の収集は時間とコストがかかり、限られた相互作用予算内で最大限の学習を行う必要があります。
• 多峰性のアクション分布: 器用な操作では、同じ状態から複数の異なる有効なアクション（多峰性）が存在します。従来のガウス分布ベースのポリシーは、このような多峰性を表現できず、性能が低下します。
• 拡散モデルの限界: 表現力が高い拡散モデル（Diffusion Models）は多峰性を扱えますが、アクションの尤度（likelihood）が計算不可能（intractable）であるため、保守的な尤度ベースの正則化（conservative likelihood-based updates）を用いた微調整が困難です。
• チャンク化実行との不一致: 現代のロボット制御では、連続したアクションの断片（チャンク）を一度に生成して実行する「アクションチャンク化」が一般的ですが、標準的なクリティック（価値関数）はステップごとの評価に特化しており、長期的なクレジット割り当て（credit assignment）が不十分です。

2. 提案手法：SERNF

SERNF は、以下の 3 つの主要な技術的要素を組み合わせたオフポリシー強化学習フレームワークです。

A. 条件付き正規化フロー（Conditional Normalizing Flow）ポリシー

• 尤度の計算可能性: ポリシーを正規化フロー（NF）で表現することで、多峰性のアクション分布を保持しつつ、アクションの正確な尤度（log-likelihood）を計算可能にします。
• 保守的な微調整: 計算可能な尤度を利用することで、初期ポリシー（模倣学習で学習されたものなど）からの乖離を抑制する正則化項を強化学習の目的関数に追加できます。これにより、データ分布から外れた過剰な探索を防ぎ、安定した微調整を実現します。
• アーキテクチャ: Transformer ベースの結合層（coupling layers）を使用し、観測条件付きでアクションチャンクを生成します。

B. アクションチャンク化クリティック（Action-Chunked Critic）

• 時間的構造の整合: クリティックは単一のステップではなく、アクションチャンク全体を評価するように設計されています。
• クレジット割り当ての改善: チャンク単位で価値を評価することで、ポリシーの時間的構造と価値推定を整合させ、長期的なタスクにおけるクレジット割り当てを改善し、学習の安定性を高めます。
• 分布クリティック: 安定性を向上させるため、HL-Gauss 分布を用いた分布クリティックを採用しています。

C. 4 段階のトレーニングパイプライン

1. 模倣学習（IL）による初期化: 成功したデモンストレーションデータを用いて NF ポリシーを事前学習します。
2. オフライン RL クリティックのウォームアップ: 初期ポリシーを用いて、クリティックをオフラインデータで事前学習します。
3. 完全なオフライン RL: 行動クローニング（BC）の正則化項（尤度ベース）と Q 値最大化を組み合わせて、ポリシーをオフラインデータで微調整します。
4. オンライン微調整: 実ロボットでの限られたインタラクションデータを収集し、オフラインデータと混合してポリシーをさらに洗練させます。

3. 主要な貢献

1. 実世界ハードウェアでの初の実証: 尤度ベースの多峰性生成ポリシー（正規化フロー）と、チャンクレベルの価値学習（アクションチャンク化クリティック）を組み合わせ、実ロボット上でオフポリシー微調整を成功させた最初の研究です。
2. サンプル効率の向上: 保守的な尤度正則化とチャンク整合クリティックにより、限られた実世界データでも安定した学習と高い成功率を達成しました。
3. 実用的なトレーニングレシピ: 限られたロボットデータでのトレーニングに向けた、正則化係数の調整やクリティックのウォームアップなど、実践的なトレーニング手順を提示しました。

4. 実験結果

SERNF は、実世界で 2 つの困難な器用な操作タスクで評価されました。

タスク 1: ハサミの回収とテープ切断

• 設定: 7 自由度アームと ORCA 手を使い、ケースからハサミを取り出し、空中でテープを切断します。
• データ: 121 件のテレオペレーションデータ（71 件が成功）から開始。
• 結果:
  • 初期の模倣学習ポリシーはハサミの把持は 50% 成功しましたが、切断はほぼ不可能でした。
  • オフライン RL により把持成功率が 80% まで向上しましたが、切断動作は未熟でした。
  • オンライン微調整を経て、切断成功率が 70% に達しました。
  • ベースライン（ACT、Flow-Matching、単純なデータ追加）と比較して、SERNF はオフラインとオンラインのデータを効果的に活用し、他では達成できない切断タスクを成功させました。

タスク 2: 手のひらでのキューブ回転（In-hand Cube Rotation）

• 設定: シミュレーションで学習したポリシーを、実世界の ORCA 手（手のひらを下向き）でキューブを回転させるタスク（Sim-to-Real）。
• 結果:
  • 教師政策（PPO）からの蒸留後、SERNF によるオンライン微調整を行いました。
  • 学習が進むにつれ、キューブを落とさずに連続して回転させる能力が向上しました。
  • 最終的に1 分あたり約 6.25 回転、1 回の試行で平均 1.01 回転の連続回転を達成し、シミュレーションから実世界へのギャップを埋めることに成功しました。

5. 意義と結論

SERNF は、実世界のロボット制御において、「表現力（多峰性の扱い）」と「学習の安定性（尤度ベースの正則化）」を両立させる重要なステップです。

• 実用性: 拡散モデルのような複雑なモデルが抱える尤度計算の問題を回避しつつ、その表現力を維持しています。
• スケーラビリティ: 限られた実世界データでも高性能を発揮するため、高コストな実機学習のボトルネックを解消する可能性があります。
• 将来展望: 報酬の自動ラベリング（VLM 活用）や、大規模な Vision-Language-Action (VLA) モデルへの適用、より広範なベンチマークでの評価が今後の課題として挙げられています。

総じて、SERNF は、実世界の複雑な器用な操作タスクにおいて、限られた相互作用予算で高品質な視覚運動ポリシーを微調整するための、堅牢で効率的な基盤技術を提供しています。