技術要約: CLIFT – 非侵襲的なクローズドループ反復微調整による、Gemini Robotics On-Deviceのヒューマノイド特化型への転換

1. 問題提起

ロボティクス・コミュニティは、根本的なジレンマに直面している。最も有能なVision-Language-Action (VLA) 基盤モデルは、通常、独自のデータを用いて訓練されており、クローズドソースであるため、ダウンストリームのユーザーがそれらを適応させる能力を制限している。現在、Managed Supervised Fine-Tuning (SFT) API（例：Gemini Robotics On-Device または GROD）というパラダイムが登場しており、ユーザーは重みや勾配にアクセスすることなく、データを送信してチューニングされたポリシーを受け取ることができるが、この体制には重大な限界がある。

現在のAPIベースの適応は、主にデモンストレーションのみのSFTに依存している。このアプローチは、以下の理由により性能の天井に突き当たる：

1. 分布の不一致 (Distribution Mismatch): 人間のテレオペレーションによる固定された分布で訓練されるが、デプロイメントはポリシー自身のクローズドループ観測分布下で行われる。
2. 実行の質 (Execution Quality): タスクの完了だけでは成功を保証できない。滑らかさ、接触の質、安全性といった要素が極めて重要である。
3. コントローラーの結合 (Controller Coupling): VLAポリシーはダウンストリームの全身コントローラーと密接に結合している。同じアクションチャンクであっても、レイテンシ、コンプライアンス、追従ダイナミクスによって異なる物理的結果をもたらすことがあり、ポリシーの出力とデプロイされた挙動の間にギャップを生じさせる。

既存のクローズドループ改善手法（例：PPO、残差RL）は、勾配、尤度、あるいはクリティック・ネットワークといった内部信号へのアクセスを必要とするが、これらは制限されたアクセス環境下のAPI体制では利用できない。中心となる問いは、**「マネージドAPI体制はヒューマノイドの適応においてどの程度効果的なのか、そして、その体制内でタスクの習熟を達成するために、いかにしてクローズドループの改善を実現できるか？」**である。

2. 手法: CLIFT

著者らは、マネージドSFTインターフェースとクローズドループのポリシー改善を橋渡しする、非侵襲的なパイプラインであるCLIFT (Closed-Loop Iterative Fine-Tuning) を提案する。CLIFTは、モデルの内部的な重みや損失に一切触れることなく、デプロイメント時の報酬フィードバックをAPI互換の教師ありデータへと変換する「フライホイール」として機能する。

このパイプラインは、以下の3つの反復ステップで構成される：

A. 嗜好性を較正した高密度報酬モデリング (Preference-Calibrated Dense Reward Modeling)

デプロイメント時のロールアウトをスコアリングするために、CLIFTは2段階の報酬生成プロセスを採用する：

1. 候補生成 (Candidate Generation): ゼロショットVLMが、与えられたロールアウトに対して複数の候補となるステップごとの報酬シーケンスを生成する。
2. 人間の選択と蒸留 (Human Selection & Distillation): 人間のオペレーターが、ロールアウトの品質に対してペアワイズの嗜好性を示す。累積リターン（累積報酬）のランキングが人間の嗜好と最もよく一致する候補が選択される。これらの選択されたシーケンスは、生成的な報酬モデル ($R_\theta$) へと蒸留される。このモデルは、粗いタスクの進行状況を超えた、実行の質を捉える、嗜好性を較正した高密度な報酬を提供する。

B. 検索ベースのアドバンテージ条件付け (Retrieval-Based Advantage Conditioning)

失敗したロールアウトを破棄したり、エピソードを二値の成功/失敗として扱ったりする代わりに、CLIFTはチャンクレベルのクレジット割り当て (chunk-level credit assignment) を行う：

1. 検索 (Retrieval): 状態 $o_t$ から始まる各アクションチャンクに対して、システムは視覚的に類似した状態から始まる他のロールアウトから、比較対象となるチャンクのセットを検索する。
2. スコアリング (Scoring): チャンクは、ルックアヘッド・ウィンドウにおける割引リターンに基づいてスコアリングされる。
3. ラベリング (Labeling): チャンクにはバイナリのアドバンテージ・トークン ($I \in \{positive, negative\}$) が付与される。もしチャンクのリターンが検索されたセットの上位30%に含まれる場合（状態の難易度に応じて自動調整される）、ポジティブなラベルが付与され、そうでなければネガティブとなる。
4. データ変換 (Data Conversion): 各ロールアウトのチャンクは、SFTタプル (observation, instruction, action_chunk, advantage_token) に変換される。

C. 反復的な自己改善 (Iterative Self-Improvement)

ループは以下のように進行する：

1. デプロイメント (Deployment): 現在のポリシー $\pi_k$ をロボット上にデプロイし、クローズドループのロールアウトを収集する。
2. 再ラベリング (Relabeling): ロールアウトは $R_\theta$ によってスコアリングされ、チャンクにアドバンテージ・トークンが付与される。
3. データセット構築 (Dataset Construction): 元の人間によるデモンストレーション（常にポジティブとラベル付けされる）と、新たに再ラベル付けされたロールアウトのチャンクを組み合わせることで、累積データセット $D_k$ が形成される。
4. 微調整 (Fine-Tuning): ベースモデルは、マネージドSFT APIを介して $D_k$ 上でゼロから微調整され、$\pi_{k+1}$ を生成する。
5. 推論 (Inference): デプロイメント時、ポリシーはポジティブなアドバンテージ・トークンによって条件付けられ、高品質なアクションへと挙動を誘導される。

3. 実験設定

• プラットフォーム: デュアルアーム、器用なハンド、および頭部装着型RGBカメラを備えたUnitree G1 ヒューマノイドロボット。
• 制御: VLAが上半身の関節角と下半身の速度を出力し、それをRL（強化学習）で学習されたコントローラーが追従する、階層的な全身制御。
• タスク: 接触を伴う機敏な操作タスク3種：
  1. ボックス・パッキング (Box Packing): 精密な把握と配置。
  2. カップ挿入 (Cup Insertion): 非対称な両腕の協調（キャリアを安定させながらボトルを挿入する）。
  3. 二腕プレート受け渡し (Bimanual Plate Handover): 両手間での協調的な受け渡し。
• 比較モデル:
  • GROD: マネージドSFT APIを介したクローズドウェイトモデル。
  • $\pi_{0.5}$: 直接的な重みへのアクセスが可能なオープンウェイトVLA (Physical Intelligence)。
• プロトコル: 両モデルとも2時間のテレオペレーション・デモンストレーションで初期化され、2サイクルのCLIFTに供された。

4. 主な結果

パフォーマンスの向上

• GROD (クローズドウェイト): CLIFTは、API経由のアクセスのみであるにもかかわらず、2サイクルのフライホイールを経て、GRODを完全なタスク習熟に近いレベルまで押し上げることに成功した。
  • ボックス・パッキング: 93% $\to$ 100%
  • カップ挿入: 70% $\to$ 98%
  • 二腕プレート受け渡し: 53% $\to$ 96%
• $\pi_{0.5}$ (オープンウェイト): CLIFTはオープンウェイトモデルも改善させたが、著しく低い天井（例：二腕プレート受け渡しにおいて5% $\to$ 30%）で停滞した。
• 比較: 直接的なSFTを用いたGRODは、同じデータで訓練された$\pi_{0.5}$を既に上回っていた。$\pi_{0.5}$に対して、嗜好性信号をネットワークに直接注入するための「侵襲的」な適応（FiLM形式の条件付け）を許可した場合でも、APIを通じて適応されたGRODには及ばなかった。

高密度 vs エピソード選択 (Dense vs. Episode Selection)

著者らはCLIFTの2つのバリアントを比較した：

1. 高密度アドバンテージ条件付け (Dense Advantage-Conditioned): すべてのロールアウト内のすべてのチャンクにラベルを付与する（ポジティブまたはネガティブ）。
2. 高リターン・エピソード選択 (High-Return Episode Selection): 成功したエピソードの上位30%のみを保持する（標準的なDAggerスタイル）。

• 知見: 容易なタスクでは、両者は同様の性能を示した。最も困難なタスク（二腕プレート受け渡し）において、高密度（Dense）版はエピソード選択を大幅に上回った（96% vs 約84%）。これは、失敗したロールアウトを保持し、上手く実行されたチャンクをポジティブな例として（そして不適切なチャンクをネガティブとして）再ラベル付けすることが、学習において極めて重要であることを示している。

創発的挙動 (Emergent Behaviors)

CLIFTは、元のデモンストレーションには存在しなかった挙動を獲得することを可能にした：

• プレ・マニピュレーション (Pre-manipulation): 把握を容易にするために、指や手首を使ってボックスの向きを変える。
• リカバリ (Recovery): 最初の試行が失敗した後、停止するのではなく、二度目の挿入を試みる。

5. 意義と主張

本論文は、CLIFTが、マネージドSFT APIが単なるカスタマイズ・インターフェースとしてだけでなく、実用的なクローズドループ・ポリシー改善のメカニズムとして機能することを示すものである。

• 非侵襲的な習熟 (Non-Invasive Mastery): 「モデルの箱を開ける」（重み、勾配、または損失へのアクセス）ことなく、複雑で接触を伴うタスクに対して、クローズドウェイトの基盤モデルを完全な成功へと押し上げることが可能である。
• 基盤モデルの重要性: 狭いAPIインターフェースを介して適応された強力なクローズドウェイト基盤モデル（GROD）は、たとえ「侵襲的」な適応（内部への直接的な信号注入）を許可されたとしても、より弱いオープンウェイトモデル（$\pi_{0.5}$）よりも優れた性能を示す。これは、クローズドループ適応においては、訓練アクセスのレベルよりも、事前学習されたプライア（事前知識）の強さが重要であることを示唆している。
• データ効率: デプロイメント時の失敗を、高密度なチャンクレベルの訓練信号へと変換することで、CLIFTは実ロボットのロールアウトから最大限の価値を引き出し、失敗を単なる破棄ではなく学習信号へと変えている。

著者らは、実ロボットのロールアウトにはコストがかかるものの、このアプローチが、独自の基盤モデルが普及する時代におけるヒューマノイドロボットのタスク習熟への実行可能な道筋を提供すると結論付けている。