テクニカルサマリー：SPARC – ロボットデモンストレーションからの信頼性の高い空間アノテーションのスケール化

1. 問題提起

ロボットのデモンストレーションから、高品質で構造化された空間アノテーション（バウンディングボックス、物体の軌跡、操作フェーズのラベルなど）を大規模に生成することは、グラウンデッドなロボットポリシーやエンボディド・ファンデーションモデルを訓練する上での重要なボトルネックとなっている。既存の自動パイプラインは通常、物体検出器とトラッカーを連鎖させる手法に依存している。しかし、これらのアプローチは根本的な**「スケールと品質のトレードオフ」**に直面している。

• 不一致な信頼度: 検出器の信頼度は、認識の可能性を示すものであり、検出された物体が実際に操作されている対象物であるかどうかを示すものではない。混雑したシーンでは、パイプラインが高信頼度で、もっともらしいが誤ったディストラクター（注視対象）にロックオンしてしまうことがよくある。
• 効果的なフィルタリングの欠如: 検出器の信頼度や単純な運動量ヒューリスティックに頼ると、ノイズの多いラベルを受け入れるか、精度を維持するために有用なサンプルの大部分を破棄するかという選択を迫られる。
• 人間によるレビューのコスト: 人間によるアノテーションは信頼できるが、大規模なデータセットに対してはコストが高すぎる。シミュレーションは正解（グランドトゥルース）を提供できるが、現実とのギャップ（リアリティギャップ）に苦しむ。

その結果、外観的な特徴だけでなく、物理的な相互作用のエビデンスから導出される**「信頼できる、アノテーションごとの品質信号」**を備えた、自動化された空間・時間的アノテーション生成手法が不足している。

2. メソドロジー：SPARCフレームワーク

著者らは、ロボットのデモンストレーションのラベル付けを自動化し、各アノテーションに信頼度スコアを割り当てるリスク回避型フレームワークであるSPARC（Spatial Annotations from Robot Demonstrations with Reliability Calibration）を提案する。このパイプラインは3つのステージで動作する。

ステージ1：サブタスク分解とフェーズ検出

• インタラクション・セグメンテーション: 長時間のデモンストレーション（視覚フレーム、固有受容状態、言語指示）に対し、SPARCは軌跡を短くオブジェクト中心のセグメントに分解する。
• グリッパー・フェーズ抽出: 正規化されたグリッパー信号を用い、ノイズや一時的な滑りを排除するための二重パス・ヒステリシス手順によって、把握サイクル（接近、相互作用、解放）を特定する。
• 言語に基づくパース: 大規模言語モデル（Qwen3.6-30B）が、検出された把握サイクルと言語指示を整合させ、操作されている物体、アクションタイプ、および開始/ターゲット位置を特定する構造化されたサブタスク記録を生成する。

ステージ2：候補提案とトラッキング

• 候補生成: 遮蔽を最小限に抑えるキーフレームにおいて、低閾値を用いたオープンボキャブラリ検出器（LLMDet）が物体候補を提案する。インスタンスマスクはSAM2を用いて生成される。
• 高密度トラッキングと3Dリフティング: システムは高密度トラッカー（AllTracker）を適用して、各候補のピクセルレベルのトラックを生成する。これらの2Dトラックは単眼幾何推定器（MoGe-2）を用いて3Dにリフトされ、各候補の運動の時空間表現を作成する。

ステージ3：信頼度スコアリング

検出器の信頼度に依存する代わりに、SPARCは以下の3つの物理的に根拠のある手がかりに基づいて、複合アノテーション信頼度スコア（$R_i$）を算出する。

1. フェーズを考慮した運動 ($A_i$): インタラクション・フェーズ中において、非インタラクション・フェーズと比較して候補が有意に動いているかを測定する。これにより、背景の動きやトラッキングのジッターを抑制する。
2. 3Dグリッパー近接性 ($P_i$): 操作中の候補の3Dポイントのうち、グリッパーの周囲の適応的な球体内に含まれる割合を計算する。
3. ロボット重複ペナルティ ($\Pi_i$): ロボット自身の形状（例：グリッパー自体）と重なる候補を抑制するソフトな二次関数的ペナルティであるが、グリッパーと接触している真の物体は保持する。

最終的なスコアは、これらの信号を検出器の信頼度（$D_i$）と組み合わせる。その際、3D近接エビデンスが強い場合には外観への依存度を下げる適応的な重みを使用する。このスコアに閾値を設けることで、ユーザーは人間によるレビューなしに、アノテーションの品質とデータセットのスケールの間で明示的にトレードオフを行うことができる。

3. 主な貢献

1. 選択的予測としての再定義: 著者らは、自動的な時空間アノテーションを「選択的予測問題」として扱うことを提案し、検出器の信頼度ではなく、物理的な相互作用のエビデンスに基づいた、アノテーションごとの信頼度スコアを導入した。
2. IA-Benchベンチマーク: 12種類の多様なエンボディメント（バイマニュアル構成を含む）および設定にわたる、人間がアノレートした1,748個の操作物体における開始およびターゲット位置を含む新しいベンチマーク、IA-Benchを導入した。静的なベンチマークとは異なり、IA-Benchはビデオと固有受容感覚に基づいて物体をグラウンドする能力を評価する。
3. 大規模データセットと性能: 95%の精度でフィルタリングすることにより、167k個のアノテーション済み軌跡（280k個の生軌跡から）という高品質なデータセットを生成した。著者らは、このデータでファインチューニングされたモデルが、物体グラウンディングおよびポインティングのベンチマークにおいて、同規模の人間によるアノテーションで訓練されたモデルを上回るSOTA（最先端）の結果を達成することを実証している。

4. 実験結果

• アノテーション精度: IA-Benchにおいて、SPARCは高信頼度で**80.2%**の操作物体局在精度を達成し、検出のみのベースライン（58.1%）や他の運動ベースのヒューリスティックを大幅に上回った。
• データ保持率: 95%の精度目標において、SPARCは**58%**のサンプルを保持するが、最強の軌跡フィルタリング・ベースラインはわずか20%しか保持できない。これは、品質を犠牲にすることなく高いカバレッジを維持できるSPARCの能力を示している。
• ダウンストリームVLMの性能: SPARCアノテーションデータでファインチューニングされたモデル（Qwen3.5-4B）は、多様な空間ポインティング・タスク（空きスペース、アフォーダンス、トレース予測）においてベースラインを上回り、Where2Place、RefSpatial、RoboRefItといったベンチマークでSOTAの結果を達成した。
• 実世界のポリシーの堅牢性: 複雑なテーブルトップ環境において、SPARCアノテーションデータと推論トレースを用いて訓練されたポリシーは31%の成功率を達成した。これは、検出アノテーションを用いたベースライン（12%）の2倍以上であり、推論なしのベースライン（9%）の3倍にあたる。

5. 重要性と主張

本論文は、ロボットタスク固有の時空間構造を活用することで、SPARCがロボット学習におけるクリティカルな「スケールと品質」のボトルネックに対処することを主張している。外観ベースの信頼度から**「インタラクションを考慮した信頼性」**へとシフトすることで、SPARCは人間の検証なしに大規模かつ高品質なデータセットの作成を可能にする。

著者らは以下のことを断言している：

• 信頼性は校正されている: 提案されたスコアは正解性を効果的に推定し、制御可能な品質とカバレッジのトレードオフを可能にする。
• 自動アノテーションは人間によるデータを凌駕できる: 完全自動であり人間による検証を経ていないにもかかわらず、SPARCが生成したアノテーションは、エンボディド・グラウンディング・タスクにおいて、人間によるアノテーション（例：EO-1.5M）で訓練されたモデルと同等またはそれを上回る性能を示す。
• 推論の恩恵: 高品質な空間アノテーションは、視覚的に曖昧で混雑した現実世界のシーンを扱うことができる推論ポリシーを訓練するために不可ら欠である。

結論として、SPARCは基礎となる基盤モデルの能力（透明な表面や視覚的に類似した物体間のアイデンティティ・スイッチに苦戦するなど）に制約を受けるものの、次世代のエンボディドAIに求められる構造化された空間的教師信号を生成するための、堅牢でスケーラブルな経路を提供するものである。