VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning

本論文は、視覚的アナロジー推論を評価する大規模ベンチマーク「VOILA」を提案し、現在のマルチモーダル大規模言語モデルが画像間の関係性の理解や高次な推論において人間に比べて大幅に劣っていることを明らかにするとともに、段階的なプロンプト戦略による性能向上の可能性を示しています。

要約

VOILA：AI の「ひらめき力」を測る新しいテスト

こんにちは！今日は、最新の AI（マルチモーダル大規模言語モデル）が、単に画像を「見る」だけでなく、「考える」力がどれくらいあるかを試す、面白い新しい研究についてお話しします。

この研究の名前は**「VOILA（ヴォイラ）」**。フランス語で「ほら、見なさい！」という意味ですが、ここでは「AI のひらめき力を見せつけてください！」という挑戦状のようなものです。

🎨 1. 何をやっているの？「視覚的ななぞなぞ」

Imagine（想像してみてください）。あなたは絵画教室に通っているとします。先生が黒板に 3 つの絵を描きました。

1. 絵 A：「2 匹の犬が走っている」
2. 絵 B：「2 匹の猫が走っている」
   • （ここでのルール：「犬」が「猫」に変わりました。でも「2 匹」と「走る」は同じままです）
3. 絵 C：「4 匹のウサギが泳いでいる」

さて、先生は言います。「A と B の関係と同じように、C から D（4 つ目の絵）を作ってください」

AI にこれを解かせようというのが、この VOILA テストの正体です。
AI は、犬と猫の「関係性（種類が変わった）」を理解し、それをウサギの絵に当てはめて、「4 匹のウサギが泳ぐのではなく、走る（あるいは別のアクション）」という新しい絵を自分で描き上げる必要があります。

🕵️‍♂️ 2. 2 つのレベル：「お茶目な先生」と「真面目な先生」

このテストには、2 つの難易度があります。

• VOILA-ND（真面目な先生）：
  絵の中に「関係ない情報」が入っていません。純粋にルールを見つけるだけです。
• VOILA-WD（お茶目な先生）：
  ここがポイントです！絵の中に**「ダミー（おとり）」**が隠されています。
  • 例：「犬が走っている」→「猫が走っている」のルールですが、実は「犬が赤い服を着ている」→「猫が青い服を着ている」という色の変化も描かれています。
  • AI は「色の変化」はルールに関係ない（ダミー）だと見抜いて無視し、「種類の変化」だけをルールとして適用しなければなりません。
  • これができるかどうかが、AI の本当の「賢さ」を試すのです。

📉 3. 結果はどうだった？「AI はまだ人間には敵わない」

残念ながら、現在の最強の AI（GPT-4o や LLaMa 3.2 など）は、このテストで大苦戦しました。

• 人間：70% 以上の正解率。
• AI：
  • 簡単な問題でも、最高で 29% 程度。
  • 難しい問題（ダミーがある場合）だと、13% 以下にまで落ち込みます。

なぜ AI は失敗するのでしょうか？
AI は「絵を説明する」ことなら得意ですが、「絵と絵の間の『関係性』を抽象的に理解し、それを新しい状況に当てはめて『描く』」という、高度な思考プロセスが苦手なようです。まるで、レシピの本は読めるけど、実際に料理を作ると焦げてしまうようなものです。

🧩 4. 工夫した結果：「階段を登るように」考えさせる

研究者たちは、AI に「いきなり答えを出せ」と言うのではなく、**「Least-to-Most（段階的）」**という方法を試しました。

• 直接答えさせる：「4 つ目の絵は？」（AI はパニックになる）
• 階段式にさせる：
  1. 「まず、1 枚目と 2 枚目の絵を見て、何が同じで何が変わったか説明して」
  2. 「じゃあ、そのルールを 3 枚目の絵に当てはめて、4 枚目の絵がどうなるか予想して」
  3. 「最後に、その予想した絵を描いて」

このように、小さなステップを踏ませると、AI の正解率は少しだけ上がりました。これは、AI が「一度に全部考えようとすると混乱する」ことを示しています。

💡 5. この研究が教えてくれること

この「VOILA」テストは、AI に**「ひらめき」や「類推（アナロジー）」の力**があるかどうかを測るための、新しい物差しです。

• 現状：AI は「知識の引き出し」は豊富ですが、「新しい状況でルールを応用する力」はまだ人間に遠く及びません。
• 未来：このテストを通じて、AI がもっと深く「考える」ことができるようになれば、単なる検索エンジンではなく、本当にクリエイティブなパートナーになれるかもしれません。

まとめると：
VOILA は、AI に「なぞなぞ」を解かせて、その「ひらめき力」をチェックするテストです。今の AI は、なぞなぞの「答え」を覚えているのは得意ですが、「新しいなぞなぞを自分で考えて解く」のはまだ下手くそ。でも、ステップバイステップで考えさせれば、少しは上手くなる！というのが、この研究の結論です。

技術概要

VOILA: 視覚的知覚理解と類推推論のための MLLM 評価ベンチマーク

技術的サマリー（日本語）

本論文は、ICLR 2025 で発表された「VOILA（Visual Open-ended Analogical Inference and Learning Assessment）」という、マルチモーダル大規模言語モデル（MLLM）の高度な推論能力を評価するための新しいベンチマークと研究について述べています。

1. 問題定義

現在の MLLM は、画像キャプション生成や視覚的質問応答（VQA）などのタスクで高い性能を示していますが、複数の画像にまたがる抽象的な関係性を理解し、類推（アナロジー）を行う能力については依然として大きな課題を抱えています。
既存の多くの評価ベンチマークは、正解を事前に定義された選択肢から選ぶ「多肢選択形式」に依存しており、これではモデルが視覚的文脈を解釈し、抽象的な推論を行う「高次認知能力」を十分に評価できないという問題があります。人間が最も高度な認知スキルを要するとされる「創造（生成）」タスクにおいて、MLLM がどのように振る舞うかを測定するオープンエンドな評価手法が不足していました。

2. 方法論と VOILA ベンチマーク

VOILA は、MLLM が視覚的知覚理解と関係推論を駆使して、新しい画像を生成する能力を評価する大規模で動的なオープンエンドベンチマークです。

• タスク形式: 視覚的アナロジー問題（A : A' :: B : ?）を扱います。モデルは、2 つの画像ペア（参照ペアと適用ペア）から関係性を推論し、3 つ目の画像（B）に対して、その関係性を適用した「4 つ目の画像（B'）」を生成（またはその内容記述）する必要があります。
• データセットの構築:
  • 動的生成: テキストから画像を生成するモデル（SDXL）を用いて、640 万を超える多様な視覚的アナロジーシナリオを動的に生成しています。
  • 属性とルール: 3 つの主要属性（対象物の数、対象物の種類、動作）と、4 つのルール（安定、変化、算術、気まぐれ/ディストラクション）を組み合わせることで構成されます。
  • サブセット:
    • VOILA-ND (No Distraction): 単純な関係推論のみを扱うタスク。
    • VOILA-WD (With Distraction): 関係推論に無関係な属性（気まぐれルール）が含まれるため、モデルが関連性の高いパターンを特定し、ノイズをフィルタリングする必要があるより困難なタスク。
• 評価パイプライン:
  • 単一の回答だけでなく、Least-to-Most (L2M) プロンプティングを用いて、タスクを 4 つの段階に分解して評価します。
    1. 視覚内容の理解（3 枚の画像の説明）
    2. 画像間の関係性の特定（変化・不変の属性の特定）
    3. 関係性の適用（3 枚目の画像に基づき 4 枚目の属性を予測）
    4. 画像生成（予測された属性に基づき画像を生成、または生成された画像の正解性を評価）
  • 入力形式として、「3 枚の画像を連続して提示」する形式と、「1 枚のコラージュ画像」として提示する形式を比較しています。

3. 主要な貢献

1. VOILA ベンチマークの提案: 大規模で動的に生成可能な、オープンエンドな視覚的類推推論評価ベンチマークを初めて導入しました。
2. 人間と AI の性能ギャップの可視化: 最先端の MLLM と人間の性能を比較し、高次推論タスクにおける顕著な性能差を定量化しました。
3. 詳細な要因分析: 入力形式（コラージュ vs 連続画像）、プロンプティング手法（L2M vs 直接回答）、ノイズ（ディストラクション）の有無、およびグランドトゥルース情報の提供がモデル性能に与える影響を包括的に調査しました。

4. 実験結果

GPT-4o、LLaMa 3.2、Qwen2-VL などの主要な MLLM を VOILA-WD と VOILA-ND で評価した結果、以下の知見が得られました。

• 全体性能の低さ: 最も困難なタスク（VOILA-WD）において、最高のモデル（LLaMa 3.2）でも関係適用段階での正解率は**13%に留まりました。一方、人間（MTurk 参加者）は71%**の正解率を達成し、モデルとの間に約 58% の大きなギャップが存在します。
• タスクの難易度: 単純なタスク（VOILA-ND）でも、GPT-4o の正解率は**29%**であり、人間（69%）には遠く及びません。
• 推論段階ごとの性能低下: モデルは画像の説明（視覚理解）段階では 70-80% の精度を示しますが、関係性の特定や適用段階で精度が劇的に低下します。これは、視覚的理解から抽象的な関係推論への移行が MLLM にとって大きな障壁であることを示しています。
• L2M プロンプティングの効果: 直接回答と比較して、L2M プロンプティング（段階的な指示）を採用することで、モデルの性能が向上しました（例：GPT-4o は VOILA-ND で 16.94% → 29.03% に改善）。
• 入力形式の影響: 3 枚の画像を連続して提示する形式は、コラージュ形式に比べて平均40% 高い性能を示しました。
• アブレーション研究:
  • 関係性の正解（グランドトゥルース）をモデルに提供しても、それを新しい画像に適用する段階での正解率は 17% まで低下し、モデルの推論能力に限界があることが示されました。
  • 視覚入力ではなくテキスト記述を入力とした場合、GPT-4o の正解率は 22% から 49% に向上し、視覚推論とテキスト推論の間に大きな乖離があることが明らかになりました。

5. 意義と結論

VOILA は、現在の MLLM が「視覚的なパターン認識」や「単純な質問応答」においては優れているものの、複数の画像間の抽象的な関係性を理解し、それを新しい文脈に転移させる（類推する）能力においては、人間の認知能力にまだ遠く及ばないことを示しました。

特に、ノイズ（ディストラクション）が存在する環境下での推論や、視覚情報から抽象ルールを抽出して生成タスクを行う能力は、現在のモデルにとって極めて困難です。この研究は、MLLM の開発において、単なる視覚認識の精度向上だけでなく、高次認知能力や構造的な推論能力の強化が不可欠であることを示唆しており、今後の研究開発の重要な指針となるベンチマークを提供しています。