技術要約：NORA – 視覚的な一人称視点における規範的行動推論の接地された妥当性の評価

問題提起

大規模言語モデル（LLM）および視覚言語モデル（VLM）の規範的能力（具体的には、現実世界の環境において社会的規範や行動の実際的な理由をナビゲートする能力）に関する現在の評価は不十分である。既存のベンチマークは、通常、以下の2つの欠陥のあるパラダイムに依存している：

1. テキストのみの道徳的判断： 明示的に記述されたテキストベースの事例に基づいてモデルを評価することであり、これは視覚的な証拠から関連する特徴を分離する能力をテストできていない。
2. 多肢選択式問題（MCQ）： 視覚的な設定（EGONORMIAなど）であっても、モデルには固定された選択肢のメニューが提示される。このアプローチは、合理的なアクション空間をゼロから構築する能力ではなく、回答のマッチングをテストしている。

本論文は、これらの手法が「知ることと行うこと」のギャップにおける「判断側」に留まっていると主張している。実際には、エージェントは一人称視点のビデオから規範的に関連する特徴を特定し、それらについて推論し、事前に定義された候補リストなしに正当化されたアクションを生成しなければならない。現在のモデルは、合理的な代替案の全容を構築することや、選択されたアクションを正しいローカルなサポート（事実と理由）に結びつけることにしばしば失敗する。

手法：NORAベンチマーク

著者らは、接地された妥当性（grounded reasonableness）を評価するために設計されたベンチマークであるNORA（Normative Reasoning in Action）を導入する。この概念は、顕著なシーンの事実を特定し、候補となるアクションに対する賛成または反対の理由を表現し、社会的な文脈の中でそれらの理由に支持されたアクションを選択するモデルの能力として定義される。

データセット構築

NORAは、哲学者によるレビュー済みの指示の下でアノテーションされたEgo4Dデータセットのクリップに基づいている。データセットは、1,420個のアノテーション済みビデオクリップで構成され、以下の2つのティアに分かれている：

• HUMANGOLD-190: 人間のアノテーターによって検証された190個のクリップセット。
• LLMSILVER-1230: スケールを確保するために、人間のゴールドスタンダードに対してLLM（GPT-5.4およびGemini-3.1-Pro）によって検証された1,230個のクリップセット。

アノテーション・スキーマ：
各クリップは、以下の3つの原則に従った構造化された意思決定問題としてアノテーションされている：

1. 一人称視点： シーン内で利用可能な視覚的証拠に厳密に基づいている。
2. 事実–理由–アクションの順序： アノテーションは、事後的な正当化を避け、可視の事実、事実に基づく理由、および理由に基づく候補アクションを厳格な順序で記録する。
3. 合理的なアクションの複数性： 可視の証拠に基づき、かつより強力な文脈的考慮事項によって覆されない理由によって支持されている場合、複数のアクションが合理的となり得る。

アノテーションは、アクションに根ざしたサポートグラフ（$G = \{G_a : a \in A\}$）として表現され、エッジはローカルなサポート関係（$f \to r \to a$）をエンコードする。

評価プロトコル

評価では、参照用サポートグラフと比較することによって接地された妥当性を測定する。この指標は以下の3つのコンポーネントに分解される：

1. アクションの整合性（$Q_A$）： 候補となる次のアクションのセマンティックな回収。
2. 事実への接地（$Q_F$）： 可視のシーンの事実の回収。
3. サポートの結合（$Q_S$）： 事実と理由が適切なアクションに正しく結合されているかどうか。

主要な集計指標は、これら3つのコンポーネントの幾何平均である：$R = (Q_A \cdot Q_F \cdot Q_S)^{1/3}$。これにより、モデルが適切なアクションを単に生成したとしても、それを事実に接地できなかったり、正しい理由に結合できなかったりする場合に、高いスコアを得ることができないようになっている。

プロンプティング・レジーム：
本研究では、異なるレベルの正当化をテストするために、12のVLMを3つの異なるプロンプティング条件下で評価している：

• 直接的（単純）： 最小限の説明とともに次のアクションを求める（デプロイメントをシミュレート）。
• 熟考的（中程度）： 選択の前に、候補となるアクションと理由の自由形式の分析を要求する。
• 構造的（複雑）： 事実–理由–アクションのスキーマを明示的に要求し、ベンチマークのアノテーション形式と密接に一致させる。

主な貢献

1. NORAベンチマーク： MCQを超え、候補アクションを生成し、明示的なサポートグラフを介してそれらを正当化することを要求する、視覚的一人称ビデオベンチマーク。
2. 接地された妥当性の指標： 合理的なアクションの広範な空間を回収することと、単一の十分にサポートされたアクションにコミットすることとを区別する評価プロトコル。
3. 実証的分析： 規範的推論における特定の失敗モードを明らかにする、12の最先端VLM（GPT-5.x、Gemini、Qwen、Grokファミリーを含む）の包括的なベンチマーク。

結果

12のVLMのベンチマークにより、現在のモデルはしばしば妥当なアクションを回収できるものの、接地された妥当性の完全なタスクにおいては一貫して苦戦していることが明らかになった：

• パフォーマンス・ギャップ： 最先端のモデル（GPT-5.2, GPT-5.1）は最も高いスコア（Structuredプロンプティング下で $R \approx 0.38$）を達成しているが、アノテーションの参照上限（GPT-5.4は $R \approx 0.558$ に到達）を大幅に下回っている。
• コンポーネント分析： 事実への接地は通常最も強力なコンポーネントであるが、アクションの整合性（合理的なアクションの全容の回収）が最も弱いコンポーネントである。モデルはシーンを正しく記述できることが多いが、適切な候補アクションのセットを構築することに失敗する。
• プロンプトの効果： 高能力なモデル（GPT-5.2, Gemini-3-Flashなど）にとって、構造化プロンプティングは足場を提供することで一般的にパフォーマンスを向上させるが、他のモデルにとっては制約となる可能性がある。しかし、選択されたアクションのレベルにおいては、構造化プロンプティングは、熟考的プロンプティングと比較して、最終的な決定とそのローカルな接地を一貫して改善する。
• 集合 vs 選択： 集合レベルの妥当性と選択されたアクションの妥当性の間には強い相関があるが、これらは異なる能力である。一つの妥当なアクションを選択することは、合理的なアクションの全容を回収することよりも容易である。

意義と限界

本論文は、NORAが評価の問いを「モデルはアクションを選択できるか？」から「モデルは適切な可視の理由に基づいてアクションを正当化できるか？」へとシフトさせると主張している。これは、現在のVLMが状況に即した規範的推論を行う能力において、重大なギャップがあることを示しており、現在のシステムが適切なオプションセットを構築し、それらをローカルな証拠に結合する能力を欠いていることが多いことを浮き彫りにしている。

著者らが認める限界：

• アノテーションの複数性： 人間のアノテーションは、合理的なアクション空間の不完全なサンプルであり、複数の妥当な解釈が存在する。
• 比較スコアリング： 接地された妥当性のスコアは、絶対的な規範的能力の尺度ではなく、比較診断のためのものである。
• バイアス： ベンチマークは、ソースビデオの分布（Ego4D）、アノテーターのプール、および使用された特定の規範的カテゴリからのバイアスを反映している可能性がある。

著者らは、NORAを、社会環境において合理的に行動しなければならないエンボディド・エージェントのための評価フレームワークおよび潜在的な学習信号の両方として位置づけており、現在の最先端技術が「知ることと行うこと」のギャップを埋めるために、大幅な向上の余地を残していることを強調している。