技術要約：ロボット操作のオフライン検証におけるクリティカル・インターバル MSE (CI-MSE)

1. 問題提起

実世界での評価（物理ハードウェア上でのポリシー・ロールアウト）は、ロボット操作ポリシーを評価するためのゴールドスタンダードであるが、高コスト、再現性の問題、およびデータの希少性により、迅速なモデル反復のボトルネックとなっている。一方で、保持されたデモンストレーションを用いたオフライン検証は、安価で再現可能な代替手段となるが、標準的な指標である平均二乗誤差（MSE）は、全アクション空間にわたるものであり、実世界のタスク成功率との相関が低い。

この根本的な不一致は、軌道内に多くの「非クリティカル」なタイムステップ（例：アイドル状態の安定化、広範な移動動作）が含まれていることに起因する。これらのステップでは、アクションの誤差は大きいものの、タスク完了には無関係である。逆に、「クリティカル」な区間（例：把持、接触、微細な位置合わせ）は短時間であり、誤差に対して敏感で、タスクの成功と因果関係がある。全軌道にわたって誤差を平均化すると、指標は情報価値のない高誤差な非クリティカル・セグメントに支配され、パフォーマンスの信号が不明瞭になってしまう。さらに、標準的なオフライン指標は、ポリシーの振る舞いを実質的に変化させるロールアウト時の手順（例：テンポラル・アンサンブル、アクション・チャンキング）を無視することが多い。

2. 手法：クリティカル・インターバル MSE (CI-MSE)

本論文では、タスクに重要なセグメントおよびロールアウト時の実行挙動に誤差計算を適合させるために設計されたオフライン検証指標、Critical Interval MSE (CI-MSE) を提案する。この手法は、主に3つのコンポーネントで構成される。

3.1 クリティカル・インターバルのフィルタリング

CI-MSEは、全軌道に対して誤差を平均化するのではなく、アクションの正確性がタスクの結果に不釣り合いに影響を与えるクリティカル・インターバル（例：物体への接触、挿入）に誤差計算を限定する。

• 自動化: クリティカル・インターバルは、デモンストレーション動画に対する数発のプロンプティングを用いた視覚言語モデル（VLM）を使用して自動的に特定される。これにより、最小限の人間の労力で、タスクに依存しないアノテーション・パイプラインが構築される。
• フィルタリング: 指標は、特定されたこれらのインターバル（$D_{crit}$）内のタイムステップに対してのみ誤差を計算し、生のMSEを支配する情報価値のないタイムステップを効果的に排除する。

3.2 オフライン検証のためのアクション・アライメント

ロールアウト時の挙動をより良く一致させるため、CI-MSEは推論時の手順を検証プロセスに直接組み込んでいる。

• テンポラル・アンサンブル & RTC: 指標は、デプロイメント中に使用されるものと同じテンポラル・アンサンブルまたはリアルタイム・チャンキング（RTC）のロジックを適用する。これには、オーバーラップするチャンクからアクション予測を平均化することや、生成をガイドするためにオーバーラップするチャンクを使用することが含まれ、これによりロールアウトによる平滑化と分散減少の効果をモデル化する。
• 動的時間伸縮法 (DTW): テンポラルな不一致（例：把き動作におけるわずかな位相シフト）を考慮するため、CI-MSEは予測されたアクション・シーケンスとエキスパートのアクション・シーケンス間の単調なアライメント・パスを見つけるためにDTWを使用する。これにより、有害なタイミングのオフセットを罰することなく累積誤差を最小化するが、失敗を隠蔽してしまうような過度なワーピングを防ぐためのウィンドウサイズ制約も設けている。

3.3 Eloによる安定したランキング

バイナリの成功率が粗すぎ、試行回数が限られている実世界実験において、著者らはEloスタイルのランキングシステムの使用を推奨している。このシステムは、試行全体にわたるペア比較に基づいてポリシーのスコアを更新し、スカラー値の部分的成功スコアよりも安定したリーダーボードを提供する。

3. 主な貢献

1. CI-MSEの導入: 非クリティカルなタイムステップをフィルタリングし、ロールアウト時の実行（アンサンブル/DTW経由）に適合させた、シンプルかつ効果的なオフライン指標。
2. 実証的検証: シミュレーションおよび実世界の双方の設定における広範な実験を通じて、CI-MSEが生のMSEと比較してロールアウト性能を大幅に予測できることを実証した。
3. 堅牢性分析: CI-MSEが様々な分布シフト（オブジェクトのレイアウト、視覚、スキルOOD）の下でも効果的であり、合理的な範囲内のハイパーパラメータの選択に対して堅牢であることを示す体系的な評価。

4. 実験結果

シミュレーション実験

アーキテクチャ、データスケール、学習ステップ、PEFT、アクションヘッドサイズ、VLMバックボーンの変化を含む27のモデルチェックポイントを用いて：

• 相関の改善: CI-MSEは、ロールアウト成功率に対して −0.87 のスピアマンの順位相関係数（$\rho$）を達成した（生のMSEは −0.61）。ピアソンの相関係数（$r$）は、生のMSEの −0.56 から CI-MSEの −0.74 へと向上した。
• バリアントへの感度: 生のMSEは、データスケールの変化に対して正の相関（$\rho=0.90$、つまり誤差の低下が性能の悪化を意味する）を示し、性能を正しく予測できなかった。対照的に、CI-MSEはすべてのバリアント・ファミリーにおいて強い負の相関（$\rho=-0.90$）を維持し、ポリシーがどのように変更されたとしても、モデルを正しくランク付けした。

実世界実験

Frankaアームを用い、4つのタスク（注水、マウス配置、タオル折り、プラグ抜き）で評価：

• クロスドメイン性能: 「注水（pour-water）」および「マウス配置（arrange-mouse）」において、CI-MSEは環境間の検証においてほぼ完全な一致（$\rho=-1.00$）を示した。
• 交絡因子の処理: 検証データと訓練データが異なるオペレーターによって収集されたタスク（スタイル・ミスマッチを導入）では、両方の指標において相関が弱まった。これはオフライン検証がデータ収集プロトコルに対して敏感であることを浮き彫りにしたが、ほとんどの場合においてCI-MSEは生のMSEよりも強力な信号を提供した。

感度分析

指標はハイパーパラメータの変動に対して堅牢であることが判明した：

• アンサンブル・ホライゾン: パフォーマンスは $H=8$ でピークに達し、中程度の変化に対しても安定していた。
• DTW ウィンドウ: 小さなウィンドウ（$W=1$）が最良の結果を提供した。大きなウィンドウは相関を低下させた。
• インターバル・アノテーション: 指標は、クリティカル・インターバルの境界が（インターバル長の最大40%まで）シフトしても、大幅な劣化なしに耐え、アノテーションの不正確さに対して脆くないことを示した。

5. 意義と主張

著者らは、CI-MSEを実世界のロールアウトの代替品としてではなく、ポリシーの反復を加速させるための信頼できるツールとして位置づけている。非クリティカルなタイムステップからのノイズを排除し、デプロイメント時の挙動を考慮することで、CI-MSEは以下の特性を持つ検証信号を提供する：

• より予測的: 多様なモデルバリアントにわたって、実世界の成功率と強く相関している。
• 堅牢: 分布シフトに対して効果的であり、合理的なハイパーパラメータ調整に対して鈍感である。
• 実用的: 物理的なロールアウトに伴う多大なコストをかけずに、近接するモデルバリアント（例：軽微なアーキテクチャやデータセットの変更）を比較することを可能にする。

結論として、オフライン検証は物理的なダイナミクスや未知の失敗モードを完全に捉えることはできないが、CI-MSEはオフラインベンチマークの忠実度を大幅に向上させ、より効率的でデータ駆動型のロボット学習サイクルを可能にする。