技術要約：疎なエピソード結果を用いたVLAのオンラインRLファインチューニングのための階層的アドバンテージ重み付け

1. 問題提起

学習済みの視覚・言語・行動（VLA）ポリシーは強力な汎化性能を示すが、共変量シフトやデモンストレーションの網羅性不足により、実世界へのデプロイメントにおいて失敗することが多い。オンライン強化学習（RL）によるファインチューニングは、ポリシーの誤差を修正し、新しい条件に適応するために必要であるが、利用可能なデータと、アクターの更新に必要な教師信号との間には根本的な不一致が存在する。

実際、ロボット操作におけるオンライン・ロールアウトでは、エピソードごとに単一のバイナリな結果（成功または失敗）しか得られない。しかし、行動クローニング（BC）フレームワークにおける効果的なアクターの更新には、遷移ごとの教師信号が必要である。既存のアプローチは、この疎なエピソードの結果を単一のスカラー報酬またはアドバンテージ信号に集約することで、この問題を解決しようと試みている。著者らは、この手法には2つの決定的な欠陥があることを指摘している：

1. 目的の混同： 単一のスカラー値は、生存可能性（viability）（現在の状態が依然として成功に繋がり得るか）と、効率性（efficiency）（遷移が完了に向けて迅速に進んでいるか）を混同してしまう。基本的な成功が可能になった段階では、バイナリのラベルは、効率的な完了と無駄の多い完了を区別するための勾配を提供しない。
2. 混合制御エピソードにおける不適切なクレジット割り当て： 実世界のロールアウトには、しばしば人間の介入が含まれる。エピソードの最終結果をすべてのタイムステップにナイーブに割り当てると、人間の修正に対してポリシーにクレジットを与えすぎたり、あるいは人間の介入を誘発した状態に対してポリシーにペナルティを与えすぎたりすることになり、ノイズの多い教師信号をもたらす。

2. 手法：階archical Advantage-Weighted Behavior Cloning (HABC)

本論文では、疎なエピソードの結果を明確な遷移レベルの信号へと分解し、介入を考慮したクレジット割り当てを適用するフレームワークであるHABCを提案する。この手法は、フローマッチングVLAアクターフレームワーク内で動作し、重み付き損失関数を通じてポリシーを更新する。

2.1 デュアルヘッド・クリティック・アーキテクチャ

単一のクリティックではなく、HABCは学習信号を分離するために、共有バックボーンと2つの専用ヘッドを採用している：

• 生存可能性ヘッド ($V_v$): 現在の状態から最終的なタスク成功に至る確率 ($P(\text{success} | s)$) を推定する。これは、成功および失敗の両方のエピソードを含む、すべての結果ラベル付きポリシー実行ウィンドウを用いて、バイナリクロスエントロピーで学習される。このヘッドは、失敗が頻発する学習初期段階において情報量を持つ。
• 効率性ヘッド ($V_e$): 成功までの残りステップ数を推定する。これは、ターゲットが明確に定義されている（終端成功 = 0、非終端ステップ = -1 + 次の状態の値）成功した軌跡のみで学習される。このヘッドは、ポリシーが高い成功率を達成した段階で主要な信号となり、迅速な完了と遅い完了を区別する。

結合クリティック損失は、生存可能性のためのバイナリクロスエントロピーと、効率性のためのHuber損失を組み合わせたものである。

2.2 状態適応型アドバンテージ・ゲーティング

アクターの損失に対するスカラー重み ($w_i$) を生成するために、HABCは両方のヘッドについて1ステップのアドバンテージを計算する：

• 生存可能性アドバンテージ ($A_v$): 連続する状態間の生存可能性ロジットの変化。
• 効率性アドバンテージ ($A_e$): 期待されるステップ数減少からの偏差。

これらのアドバンテージは、状態適応型ゲート ($g_t$) を通じて結合される：
$$g_t = 1 + \tanh((1 - p_v(s_t)) \cdot A_v + p_v(s_t) \cdot A_e)$$
このゲートは、生存可能性の推定値 ($p_v$) に基づいて動的に焦点を切り替える：

• $p_v$ が低いとき（成功が不確実なとき）、ゲートは生存可能な状態と停滞した状態を分離するために $A_v$ を優先する。
• $p_v$ が高いとき（成功の可能性が高いとき）、ゲートは $A_e$ を優先して効率性を最適化する。
  この補間はバッチ内の各状態に対して行われ、モデルが異なる信号を同時に学習することを可能にする。

2.3 介入を考慮したクレジット割り当て

制御境界を越えたクレジットの漏洩を防ぐため、HABCはログに記録されたコントローラー（ポリシーか人間か）に基づいてエピソードを分割する：

• ポリシー実行セグメント： 最後の人間介入後の**ポリシー実行サフィックス（後続部分）**のみが、エピソードの結果ラベルを受け取る。これにより、ポリシーが実際に取った行動に対してのみ、クレジットまたはペナルティが与えられることが保証される。
• 介入セグメント： 人間の介入ウィンドウには、エピソードの結果ラベルは決して割り当てられない。代わりに、これらはアクターに対する直接的な模倣教師信号として機能し、かつ進捗のターゲットとして効率性ヘッド ($V_e$) に寄与する。これにより、人間の修正を、最終的な成功/失敗を帰属させることなく、デモンストレーションとして活用する。

3. 主な貢献

1. 階層的信号分解： 本論文は、単一のバイナリな結果が、2つの分離可能な信号（生存可能性と効率性）をエンコードしており、それらが異なるデータサブセットと異なる学習段階において情報量を持つことを示している。これはデュアルヘッド・クリティックを通じて具現化される。
2. 介入を考慮したクレジット割り当て： 結果ラベルをポリシー実行セグメントに厳密に制限することで、介入境界を越えて教師信号が漏れるのを防ぎ、両方のクリティックヘッドに対してクリーンな学習信号を確保する。
3. 実機ロボットによる検証： 変形物体を含む3つの複雑で接触の多い両腕タスクにおいて、本手法を検証し、教師あり微調整（SFT）ベースラインに対して大幅な改善を示した。

4. 実験結果

実験は、ARX X5 両腕ロボットを用い、Pencil Pouch、Paper Bag、Snack Bag の3つのタスクに対して行われた。

• 成功率： HABCはベースラインを大幅に上回った。
  • Pencil Pouch: SFTの36%から**92%**へ向上。
  • Paper Bag: SFTの44%から**88%**へ向上。
  • Snack Bag: SFTの12%から**38%**へ向上。
• 効率性： 完全なHABC（効率性ヘッドを含む）は、生存可能性のみのバリアント（HABC-V）と比較して、一貫して軌道長を短縮した。これは、モデルが単に信頼性を高めるだけでなく、タスクをより速く完了することを学習したことを示している。
• アブレーション研究：
  • HABC-V (生存可能性のみ): 非HABCベースラインを上回り、ソフトな生存可能性重み付けがハードなフィルタリングよりも優れていることを確認した。
  • Imit-DAgger: 一部のタスクでSFTを下回り、適切な重み付けなしにSFTと介入データを50/50で混合すると、介入状態へとバイアスがかかることを示唆している。
  • 介入リウェイティング (IR): 初期学習フェーズの後に介入サンプルへのリウェイティングを有効にすることで、さらに性能が向上した。これは、人間の修正を重み付きデータとして活用する有用性を示している。

定性的分析では、HABCで学習されたポリシーは、操作エラー（例：失敗した把握）を検出し、自律的なリカバリ動作を実行できることが示された。一方で、SFTベースラインはしばしば失敗を繰り返したり、回復不能なループに陥ったりしていた。

5. 意義と主張

本論文は、疎な報酬と混合制御データが存在する状況下でのVLAのファインチューニングに対する堅牢な解決策をHABCが提供すると主張している。その意義は以下の点にある：

• 目的のデカップリング： 「一律の」スカラー報酬問題を回避し、生存可能性と効率性を、段階依存の異なる信号として明示的にモデル化している。
• クリーンな教師信号： コントロール権限の境界を厳格に遵守することで、人間とロボットの協調におけるクレジット割り当ての曖昧さを解消し、ポリシーが人間の介入と自身の行動との間に誤った関連性を学習するのを防いでいる。
• 実用的なデプロイメント： 複雑な報酬エンジニアリングやポリシー勾配の推定に頼ることなく、重み付き行動クローニングを用いることで、困難な変形物体タスクの成功率を向上させている。

著者らは、信頼できる介入境界検出の仮定、成功が稀な場合における効率性信号の弱さ、および現在のシングルタスク・ファインチューニングへの制限といった限界についても述べている。今後の展望として、適応型ゲーティング、マルチステップ・アドバンテージ推定、およびマルチタスクまたはクロスエンボディメント設定への拡張を挙げている。