テクニカル・サマリー：VRIQ – VLMにおける視覚的推論IQのベンチマークと分析

問題提起

視覚言語モデル（VLM）は著しい進歩を遂げているものの、信頼性の高い非言語的推論を実行する能力については未だ証明されていない。推論能力は大規模言語モデル（LLM）の性能の要であるが、これらの恩恵をマルチモーダルな文脈へと拡張しようとすると、持続的な限界が明らかになっている。既存のベンチマークには、以下の2つの決定的な欠落がある：

1. ドメイン間の等価性の欠如： 多くのベンチマークは、自然画像のみに焦点を当てていたり、浅い推論要件であったり、あるいは現実世界の視覚的理解から切り離された抽象的なパズルであったりするため、異なるドメイン間でのモデルの挙動を直接比較することができない。
2. モノリシックな評価： 現在の評価は、知覚（視覚要素の特定）と推論（それらの要素へのルールの適用）を単一の能力として扱うことが多く、失敗の具体的な原因を分離して特定できていない。

その結果、複雑な視覚的タスクにおけるVLMの失敗が、視覚的事実を抽出する能力（知覚）の欠如によるものなのか、それとも論理規則を適用する能力（推論）の欠如によるものなのかが不明確なままである。

手法：VRIQベンチマーク

著者らは、知覚と推論の両方を評価するために設計された、1,500個の専門家作成アイテムからなる診断的ベンチマークである**VRIQ（Visual Reasoning IQ）**を導入する。

1. ベンチマーク設計

VRIQは、同一の論理構造を持ちながら視覚ドメインが異なる2つのパズルファミリーを特徴とする、並行ドメイン構築戦略を採用している：

• 抽象ドメイン： 幾何学的な基本図形、線、パターン（例：公務員適性検査）。
• 自然ドメイン： 抽象的な対応物と同じ論理操作を必要とするように設計された、現実世界の物体やシーン。

このベンチマークは、人間心理学において確立された5つの基本的な推論カテゴリを網羅している：

• シーケンス補完 (Sequence Completion - SC)
• マトリックス予測 (Matrix Prediction - MP)
• 仲間外れ探し (Odd One Out - OO)
• 図形の回転 (Figure Rotation - FR)
• 3D可視化 (3D Visualization - 3D)

2. 階層的診断フレームワーク

モデルの失敗を解剖するために、VRIQは3層の評価フレームワークを利用する：

• ティア1（エンドツーエンドの正確性）： 全カテゴリにおける標準的な多肢選択式の正確性を測定する。
• ティア2（診断プローブ）： 各パズルに対して、著者らは2種類のプローブを構築する：
  • 知覚プローブ (P-probes)： 元の画像を使用して、特定の視覚属性（例：「赤い円は何個あるか？」）をテストする、原子レベルで人間にとって自明な質問。
  • 推論プローブ (R-probes)： 視覚的事実が明示的に提供された、パズルのルールのテキストのみによるインスタンス化。これは、正しい事実が与えられた場合にモデルが論理を適用できるかをテストする。
• ティア3（エラー分類）： 失敗を3つの明確なバケットに分類する：
  • P-only： モデルがP-probeには失敗したが、R-probeには合格した（知覚のボトルネック）。
  • R-only： モデルがすべてのP-probeには合格したが、R-probeには失敗した（推論の欠陥）。
  • P+R： モデルが両方に失敗した（複合的な失敗）。

3. 実験設定

本研究では、多様なオープンソースモデル（例：Qwen2.5/3, InternVL, LLaVA）およびプロプライエタリモデル（例：GPT-4o, GPT-5.1, Gemini-2.5-pro）を評価する。特別なケースとして、推論中に外部ツール（クロップ、ズーム、回転、Pythonコード）を使用することを可能にする「画像を用いた思考（thinking with images）」が有効化されたOpenAI o3を評価する。また、層化されたサブセットを用いた20人の参加者による人間ベースラインも設定した。

主要な結果

1. 抽象的推論における低いパフォーマンス

VLMは、抽象的なIQ問題においてランダムに近いレベルのパフォーマンスを示す。

• 抽象ドメイン： テストされたすべてのVLMにおける平均精度は**27.52%**であり、ランダムな推測のベースライン（25%）をわずかに上回る程度である。最高性能のモデルであるQwen3-VL-32B-Thinkingでさえ、35.5%しか達成していない。
• プロプライエタリ vs オープンソース： 他のベンチマークの傾向とは対照的に、プロプライエタリなモデル（例：GPT-4oの30.3%）は、強力なオープンソースモデルを抽象的タスクにおいて有意に上回ることはない。
• 人間ベースライン： 人間は抽象的サブセットにおいて**90.36%**の精度を達成しており、巨大なギャップを浮き彫りにしている。

2. 改善されているが信頼性に欠ける自然界の推論

タスクが自然画像に基づいている場合、パフォーマンスは向上するが、人間レベルには遠い。

• 自然ドメイン： 平均精度は**42.53%**に上昇し、抽象的タスクと比較して10〜20パーセントポイントの向上が見られる。
• 信頼性： 改善は見られるものの、モデルは依然として信頼できない。例えば、GPT-4oは平均で54.2%を達成しているが、オープンソースモデルは35%から47%の間に集まっている。パフォーマンスはカテゴリによって大きく変動する（例：3D推論では19%だが、シーケンス補完では24%となるモデルがある）。

3. ツール拡張型推論の影響

ツール使用能力（画像操作、コード実行）を備えたOpenAI o3モデルは、大幅な性能向上を示している：

• 抽象： 平均精度 50.2%（他のモデルの約28%に対し）。
• 自然： 平均精度 85.0%。
• メカニズム： ツールトレースの分析により、o3は要素を分離するためのクロップやズーム、および方向を正規化するための回転を頻繁に使用しており、これらが知覚的なボトルネックを効果的に緩和していることが示された。

4. 診断結果：知覚がボトルネックである

階層的なプローブ分析により、失敗の根本原因が明らかになった：

• 知覚の支配性： 失敗の約**56%**が知覚のみに起因し（P-only）、**43%**が複合的な知覚・推論の失敗（P+R）に起因している。
• 推論の希少性： 純粋な推論の失敗（R-only）は、エラー全体のわずか**1.1%**を占める。
• 示唆： モデルが視覚要素を正しく認識できている場合、論理規則を確実に適用できる。主要な失敗モードは、画像から正確な視覚的事実（カウント、位置、方向など）を抽出できないことにある。

5. 微細な知覚の欠陥

特定の知覚カテゴリは、明確な失敗プロファイルを示している：

• カウント（数え上げ）： 最も高い失敗率（73.8%）。
• 位置および回転： 高い失敗率（それぞれ58.2%および52.4%）。
• 色： 最も低い失敗率（31.4%）。これは、モデルが空間的または定量的な属性よりも、外観に基づく属性に対してより高度にチューニングされていることを示唆している。
• 3D/奥行き： 高い失敗率（67.5%）。これは、強力な3D幾何学的事前知識の欠如を示している。

意義と主張

本論文は、現在のVLMは、高度なアーキテクチャやツール拡張型の推論を備えていても、信頼できない抽象的推論者であると主張している。主な限界は、論理的推論能力の欠如ではなく、知覚のボトルネックである。

主な貢献は以下の通りである：

1. 新しいベンチマーク： VRIQは、同一の論理構造を用いて抽象的推論と自然界の推論を直接比較することを可能にする、初の多次元ベンチマークを提供する。
2. 診断フレームメント： 階層的なプローブ手法は、知覚と推論を分離することに成功し、「推論」のエラーの大部分が実は「知覚」のエラーであることを明らかにした。
3. 実行可能な洞察： これらの知見は、VLMの性能向上には、単にモデルの規模や推論能力を拡大することよりも、知覚的なグラウンディング（例：より優れた空間エンコーディング、カウントメカニズム、3D事前知識）を優先させる必要があることを示唆している。本論文は、マルチモーダル推論の将来の進展は、単一のモデルをさらにスケールアップすることよりも、知覚を処理するための外部手順（ツール）をオーケストレートすることに依存する可能性があると断じている。

著者らは、記述的な評価から診断的な評価へと移行することで、VRIQがより堅牢で信頼性の高いマルチモーダルシステムを開発するための原理的な基礎を提供すると結論付けている。