Toward Low-Latency Vision-Language Models with Doubly-Correct Predictions in Egocentric Visual Understanding

技術要約：二重に正しい予測（Doubly-Correct Predictions）を用いた低遅延ビジョン・ランゲージ・モデルに向けた、一人称視覚理解の研究

問題提起
人間とロボットの協調（HRC）および一人称視点（エゴセントリック）の視覚理解におけるビジョン・ランゲージ・モデル（VLM）の急速な普及は、決定的なボトルネックに直面している。すなわち、大規模なモデルによる高い計算コストと推論レイテンシが、リアルタイムのオンボード処理を妨げていることである。重みプルーニング（枝刈り）はモデルのサイズと計算量を削減するための標準的な手法であるが、既存の手法は主に予測精度のみを最適化している。本論文は、物理的なロボティクスにおける安全性に配慮が必要な状況においては、精度だけでは不十分であると主張する。モデルは**「二重に正しい予測（Doubly-Correct Predictions: DCP）」**、つまり、単に事実として正しいだけでなく、妥当な視覚的根拠（根拠となる理由／ラショナル）に基づいた出力を生成しなければならない。

著者らは、現在のプルーニング戦略における特定の失敗モードを特定している。既存の手法は、有効な根拠（例：正しい物体の位置）を特定する能力は維持するものの、その根拠を用いて正しい予測を行う能力を低下させることが多い。これにより、「間違った理由による正解（Right for the Wrong Reason）」というシナリオが生じる。例えば、プルーニングされたモデルがレンチの位置を正しく特定できても、「受け渡し」のアクションを予測できなかったり、逆に、物体そのものではなく、不適切な相関関係に基づいて正しいアクションを予測したりする場合がある。このような不一致は、身体化された知能（embodied intelligence）において深刻な安全上のリスクをもたらし、タスクの失敗や人間への危害につながる可能性がある。

手法
本論文は、DCPを維持しながら計算オーバーヘッドを削減するために設計された**「根拠に基づくプルーニング（Rationale-Informed Pruning）」**戦略を提案している。手法は以下のステップで進行する：

1. 評価プロトコルの定義： 著者らは、一人称視点ビデオのための時空間的DCP評価プロトコルを定義した。

   • 根拠（Rationale）の定義： 根拠は、アクションの証拠となる人間が操作する物体として定義される。
   • 次元： 正当性は2つの次元で評価される：空間的（フレーム内における物体の位置特定、Relevant Mass Accuracyによって測定）および時間的（物体を含むフレームの特定、バイナリ分類として扱う）。
   • 指標： プルーニングの影響を診断するために、予測信頼性（Prediction Trustworthiness: PT）、推論信頼性（Inference Reliability: IR）、および二重に正しいサンプルの割合（RR）を導入する。

2. 診断結果： 既存のポストトレーニング・プルーニング手法（OMP, GMP, Kwon et al., ECoFLaP）を用いた実験により、これらの手法は高いPT（正しい予測における有効な根拠の存在）を維持する場合がある一方で、IR（有効な根拠における正しい予測）およびRRを著しく低下させることが明らかになった。プルーニングされたモデルは、有効な根拠の特定能力は保持しているものの、その根拠を最終的な決定層へと伝播させることに失敗し、正しい根拠があるにもかかわらず誤った予測を下すという結果になることが多い。

3. 提案するプルーニングアルゴリズム： これに対処するため、著者らは追加の教師あり学習なしに、モデル自身が生成した根拠を利用して重みの選択をガイドするプルーニングフレームワークを導入する。

   • 層ごとの非一様性： 層によって予測への寄与が異なることを認め、重みの大きさに基づいてプルーニング比率を層ごとに非一様に割り当てる。
   • 根拠に基づくヘッセ行列（Rationale-Guided Hessian）： コアとなる革新は、標準的なOptimal Brain Surgeon (OBS) アプローチを修正することである。生の入力活性化を使用してヘッセ行列を計算する代わりに（これには背景ノイズが含まれる）、**根拠マスク（rationale mask）**を組み込む。
   • 意味論的変調（Semantic Modulation）： 根拠マスクは、根拠となる物体のテキスト埋め込みと予測クラスとの間のコサイン類似度を計算することで精緻化される。この類似度スコアは意味論的な因子として機能し、マスクに重みを付け、意味的に整合した根拠の寄与を増幅させ、ノイズを減衰させる。
   • 重みスコアリング： 各重みの重要度スコアは、変調された根拠マスクを用いて構築されたヘッセ行列を用いた、損失の二次テイラー近似を用いて計算される。これにより、有効な証拠を正しい決定へと結びつけるために不可欠な重みが保持されることが保証される。

主な貢献

• 時空間的DCP評価： 予測精度と時空間的な根拠の妥当性の両方を評価する、一人称視覚理解に特化した新しい評価プロトコルを提案する。
• 診断的洞察： 広範な実験を通じて、著者らはプルーニングにおける未探索のリスクを明らかにした。既存の手法は、有効な証拠と正しい決定をデカップリング（分離）させてしまうことがあり、これがVLMの信頼性の低い展開を招く。
• 根拠に基づくプルーニング： モデル自身の根拠を利用して重みの除去をガイドする、新しいプルーニングアルゴリズム。このアプローチは、証拠の特定と意思決定を整合させ、削減されたモデルがDCPを生み出す能力を保持することを確実にする。

実験結果
提案手法は、ActionCLIP (ViT-B/32) をベースモデルとして、標準的な一人称視点ビデオベンチマークである EPIC-KITCHENS VISOR および EgoExo4D で評価された。

• パフォーマンス： 提案手法は、すべてのプルーニング比率（20%, 25%, 30%）において、既存のプルーニング・ベースライン（OMP, GMP, Kwon et al., ECoFLaP）を一貫して上回る。
• 精度： 比較されたすべての手法の中で最高の予測精度を達成した。
• 二重に正しい指標： 本手法は、推論信頼性（IR）および二重に正しいサンプルの割合（RR）を大幅に向上させた。例えば、EPIC-KITCHENS VISORにおいて、30%のプルーニング比率の際、強力なベースラインであるECoFLaPと比較して、空間IRを13.62%、RRを3.65%向上させた。
• 信頼性： 本手法は予測信頼性（PT）を維持することに成功しており、正しい予測が妥当な根拠に基づいていることを保証している。
• アブレーション研究： 実験により、根拠マスクの使用と、それに対する意味論的変調の両方が極めて重要な構成要素であることが確認された。いずれかを削除すると、DCPパフォーマンスが大幅に低下する。

意義と主張
本論文は、ロボティクスのための低遅延VLMを実現するには、計算効率以上のもの、すなわち安全性と透明性が必要であると主張している。DCPに焦点を当てることで、著者らは、自らの手法が効率性と信頼性の間の溝を埋めるものであると述べている。本研究は、プルーニング戦略が、証拠と決定の間の意味的な繋がりを保持するように進化しなければならないことを示唆している。著者らは、精度主導の進歩を、責任ある人間とロボットの協調および身体化された知能に求められる透明性、監査可能性、安全性と一致させるための研究を刺激することを目指している。彼らは、プルーニングが効率性と精度にのみ影響を与えるという仮定に異を唱え、モデルが「間違った理由で正解してしまう」、あるいは「正しい証拠を活用できなくなる」という、新たな次元のリスクを強調している。