技術的概要：WorldComp2D

問題定義

具身型人工知能（AI）エージェントは、厳格な計算リソースと電力制約の下で動作し、完全なグローバルビューにアクセスするのではなく、局所的かつ視点依存の観測を通じて世界を知覚する。既存の空間的意味推論手法（物体位置特定など）は、通常、グローバル画像へのアクセスに依存し、ピクセルごとの計算、専用アーキテクチャ、またはヒートマップベースの回帰ヘッドを介して完全な画像を処理する。標準的なベンチマークでは効果的であるが、これらのアプローチは莫大な計算コストと遅延を伴うため、リソース制約のある具身型エージェントへのリアルタイム展開には不適切である。さらに、既存の潜在表現学習手法の多くは、世界モデルのための時間的予測に焦点を当てており、微細な空間的近接性とインスタンスレベルの同一性を同時に保持するように潜在空間を明示的に構造化することに失敗している。

手法

著者らは、局所観測を用いて空間的意味構造を直接潜在空間に符号化するように設計された軽量な表現学習フレームワークWorldComp2Dを提案する。このフレームワークは、以下の 3 つの主要コンポーネントで構成される。

1. 近接依存エンコーダ（PdEnc）:

   • 入力: エージェントは、注視点 $F$ を中心とした 2 つのマルチスケール受容野（RF）を通じて環境を観測する。小スケールのパッチ（$o^{[1]}$）は微細な外観を捉え、大スケールのパッチ（$o^{[2]}$）は広範な文脈を提供する。これらを連結して観測を形成する。
   • アーキテクチャ: 6 層の畳み込み層と 2 層の全結合層を備えた軽量な畳み込みニューラルネットワーク（CNN）。
   • 出力: 超球面上（$z^T z = 1$）に存在する正規化された空間的意味潜在ベクトル $z$。
   • 学習目的: エンコーダは**近接重み付き対照学習（PWConLoss）**を用いて訓練される。標準的な二値対照学習とは異なり、この手法は連続的な親和性値を用いてペアごとの関係をモデル化する。損失関数は、表現間の潜在距離が注視点と周囲の物体との間の現実世界の空間距離を反映するように促す。対照ペアの重みは物理的距離 $d_{ij}$ によって調整され、より近い物体ほど潜在空間内でより強い正の相互作用を持つことを保証する。

2. ローカライザ（Loc）:

   • 機能: 集約された空間的意味表現から、近接する物体の座標を直接推論する。
   • メカニズム: 単一の局所観測ではシーン内のすべての物体をカバーできないため、ローカライザは画像全体にわたる複数の注視点（$N_F$）からの潜在ベクトルを集約する。これらの潜在ベクトルを対応する注視点座標と連結し、マルチレイヤーパーセプトロン（MLP）を用いて、すべての物体クラスの正規化された座標を同時に予測する。これにより、網羅的なピクセルごとの処理なしに位置特定が可能となる。

3. 補助ローカライザ（AuxLoc）（オプション）:

   • 機能: 位置特定精度を向上させるための精緻化モジュール。
   • メカニズム: 各予測座標に対して、推定値を中心とした局所パッチを抽出し、深度方向分離畳み込みを備えた軽量 CNN を用いてクラス固有のヒートマップを生成する。最終的な位置は、ヒートマップのピークから導出されたオフセットを粗い推定値に適用することで精緻化される。

主な貢献

• フレームワーク設計: 局所ビューから空間的意味表現を学習し、完全な画像処理なしに物体位置特定を可能にする、注視点中心のフレームワーク WorldComp2D の導入。
• 新規学習目的: 潜在空間幾何学を明示的に構造化する近接重み付き対照学習手法の開発。このアプローチは物体の同一性を保持しつつ、潜在距離が注視点に対する現実世界の空間的近接性を反映することを保証する。
• 効率性と性能: 明示的に構造化された潜在空間が、空間的意味推論のための効率的な基盤を提供することを示す。最先端（SoTA）の軽量モデルと比較して、計算複雑性を大幅に削減しながら競争力のある精度を達成する。

実験結果

このフレームワークは、COFW、300W、AFLW データセットを用いた顔のランドマーク位置特定タスクで評価された。

• 効率性: WorldComp2D は、9.7M パラメータと 1.2 GFLOPs を使用する PoPos などの SoTA 軽量モデルと比較して、わずか240 万パラメータと293.7–546.8 MFLOPs（データセットに依存）のみを必要とする。これは、最悪の場合でもパラメータ数が 4.0 倍削減され、FLOPs が 2.2 倍削減されたことを意味する。
• リアルタイム性能: このモデルは CPU 上でリアルタイム推論を達成し、i5-13400 プロセッサを使用した場合、300W データセットで78.48 FPS、COFW で138.41 FPSに達する。
• 精度:
  • COFW および 300W において、このフレームワークは直接教師あり回帰手法よりもわずかに高い正規化平均誤差（NME）を示すが、AFLW データセットでは複数の SoTA 手法（LAB、Awing、ODN、HRNet など）を上回る。
  • オプションの AuxLoc モジュールは、計算負荷の増加を伴うものの、精度をわずかに向上させる（例：COFW において NME を約 4.6% 削減）。
• 頑健性: このモデルは、ガウシアンブラー、JPEG 圧縮、モーションブラー、遮蔽などの入力劣化に対して一貫した頑健性を示し、極端な条件下でも性能の低下は中程度に留まる。
• 潜在空間の性質: 除去実験により、潜在空間が物体を同一性（クラス内）ごとにクラスタリングしつつ、異なるクラス（クラス間）を分離することに成功していることが確認された。重要なのは、重み付けされていない対照損失で訓練されたエンコーダには欠けているが、潜在距離が現実世界の空間的近接性と相関しているという性質である。

意義と主張

本論文は、WorldComp2D が具身型 AI における空間的意味推論のための一般的かつ効率的な基盤を提供すると主張する。物体の同一性と空間的近接性に整合するように潜在空間幾何学を明示的に構造化することで、このフレームワークはエージェントが少量の局所観測からインスタンスレベルの理解を実行することを可能にする。このアプローチは、従来のコンピュータビジョンのグローバルビューの仮定と、具身型エージェントの局所ビューの現実との間の根本的な対立を解決する。

著者らは、この仕事が厳格なリソース制約を持つエッジデバイスへの展開を可能にする柔軟な精度と速度のトレードオフを提供することを強調している。その結果は、密な特徴マップやグローバル処理から、明示的に構造化された軽量な潜在表現へと移行することが、リアルタイムの具身知覚への viable な道筋であることを示唆している。このフレームワークは、この方向性のさらなる研究を促進するためにオープンソース化されている。