Can VLMs Reason Robustly? A Neuro-Symbolic Investigation

本論文は、分布シフト下での推論の頑健性が課題となる視覚言語モデルに対し、知覚と推論を分離し、VLM による概念認識と回路ベースの記号推論を組み合わせるニューロシンボリック手法「VLC」を提案し、その分布シフトに対する高い頑健性を示したものです。

要約

この論文は、**「AI が画像を見て論理的な問題を解くとき、なぜ新しい状況に弱くなるのか？」という疑問から始まります。そして、その問題を解決するために、「AI の目」と「人間の論理」を分けて組み合わせた新しい方法（VLC）**を提案しています。

まるで**「天才的な写真家」と「完璧な計算機」をチームに組ませる**ような話です。

以下に、専門用語を排して、日常の例え話を使って解説します。

---

1. 問題：AI は「暗記」しかしていない？

まず、現在の AI（VLM：視覚言語モデル）には大きな弱点があります。

• 状況： 3 つの数字が並んだ画像で「足し算」を教えると、AI は完璧に答えられます。
• 問題： しかし、同じ「足し算」のルールでも、7 つの数字が並んだ新しい画像を見ると、AI はパニックになって正解できなくなります。

【例え話：暗記した生徒】
これは、**「3 桁の足し算だけを暗記した生徒」に似ています。
先生が「3 つの数字を足して」と言われたら満点ですが、「7 つの数字を足して」と言われると、「習っていない！」と答えられなくなります。AI はルール（足し算の仕組み）を本当に理解しているのではなく、「見た目のパターンを暗記」**しているだけだったのです。

これを「分布のシフト（新しい状況への対応）」と言いますが、今の AI はこのテストに弱いです。

2. 既存の解決策の限界：「黒箱」の頼りなさ

研究者たちは、AI に「目」と「頭」を分けて考えさせようとしてきました。

• AI（目）： 画像の中の数字や形を見つけて名前を言う。
• 別の AI（頭）： その名前を使って計算や論理をさせる。

しかし、この方法も完全ではありませんでした。
【例え話：頼りない通訳】
「目」の AI が「これは 5 です」と正確に言っても、「頭」の AI（別の巨大な言語モデル）が、「あ、5 なら 6 にしようかな？」と勝手に推測して間違えることがあります。
「頭」の AI もまた、ルールを厳密に守るのではなく、「なんとなく」で答える傾向があるため、状況が変わるとまた失敗してしまうのです。

3. 提案する新手法「VLC」：写真家と計算機の完璧なチーム

そこで、この論文が提案するのが**「VLC（Vision-Language Circuit）」という新しい仕組みです。
これは、「AI の目」と「人間の論理（回路）」**を組み合わせる方法です。

ステップ 1：写真家（VLM）が画像を見る

まず、AI（写真家）に画像を見てもらい、「これは数字の 3 です」「これは赤い丸です」という事実だけを抽出させます。

• ここでは「計算」はしません。「何が見えているか」だけを正確に伝えます。

ステップ 2：計算機（回路）がルールを適用

次に、その事実を**「計算機（回路）」**に渡します。

• この計算機は、事前に人間が「足し算のルール」や「論理のルール」をプログラムとして書き込んでおいたものです。
• **「もし 3 と 5 が見えたら、足して 8 にする」**というルールが、機械的に、絶対に間違えずに実行されます。

【例え話：料理のレシピ】

• 写真家（AI）： 「材料は、卵 2 個、牛乳 100ml です」と正確に伝えます。
• 計算機（回路）： 「卵 2 個と牛乳 100ml が入ったレシピ（回路）があるから、それに従って混ぜて焼く」という手順を、絶対に間違えずに実行します。

この方法なら、材料（画像）が 3 個だろうが 7 個だろうが、「レシピ（ルール）」さえ正しければ、どんな状況でも正解が出せます。

4. 実験結果：なぜこれがすごいのか？

研究者たちは、この「VLC」をテストしました。

• 従来の AI： 新しい画像（7 つの数字など）を見ると、正解率がガクンと下がりました。
• VLC： 画像の数が変わっても、ルールを厳密に守るため、高い正解率を維持しました。

さらに面白い発見がありました。

• AI のサイズを大きくしても（もっと賢くしても）： 論理的な推理能力はあまり上がりませんでした。
• AI の「目」の精度を上げると： VLC の性能は劇的に上がりました。

つまり、「頭（論理）」は人間が作ったルール（回路）に任せて、「目（認識）」だけを AI に頑張らせれば良いという結論です。

まとめ：AI には「ルール」を教えよう

この論文が伝えたいことはシンプルです。

「AI に『推測』させず、『ルール』を厳密に実行させよう」

今の AI は、まるで**「勘で答える天才」ですが、新しい状況では失敗します。
でも、「正確にものを見る AI」と「ルール通りに動く計算機」を組み合わせれば、どんなに複雑な状況でも、「絶対に間違えない推理」**ができるようになります。

これは、AI が単なる「暗記屋」から、本当に「論理的に考えるパートナー」になるための重要な一歩です。

技術概要

論文「Can VLMs Reason Robustly? A Neuro-Symbolic Investigation」の技術的サマリー

本論文は、視覚言語モデル（VLM）が分布外（OOD）のデータ、特に共変量シフト（covariate shifts）下において、いかに頑健に推論できるかという問題に焦点を当てています。著者らは、従来のエンドツーエンドの微調整では推論機能を学習できないことを実証し、知覚と推論を分離するニューロシンボリックなアプローチ「VLC」を提案しました。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 問題定義：VLM の推論の頑健性不足

近年、VLM は抽象推論、時系列推論、ドキュメント推論など、さまざまな推論タスクに応用されています。しかし、共変量シフト（入力データの分布が変化しても、予測の背後にあるルールは不変である状況）下での推論の頑健性は依然として不明瞭です。

• 課題: 従来の VLM は、エンドツーエンドの勾配ベースの微調整（fine-tuning）を行うことで、訓練データ（在分布データ）では高い精度を達成しますが、入力画像のオブジェクト数などが変化するテストデータ（分布外データ）に対しては、同じ推論ルールであっても一般化できず、性能が劇的に低下します。
• 仮説: 微調整は統計的な特徴を学習するだけであり、本質的な「推論関数」そのものを学習・実装しているわけではない。

2. 提案手法：VLC (Vision-Language Circuit)

著者らは、VLM の優れた「知覚（認識）」能力と、記号プログラムの優れた「推論」能力を組み合わせるニューロシンボリックな手法 VLC を提案しました。VLC は、推論プロセスを以下の 2 つの段階に明確に分離します。

フェーズ 1: VLM ベースの概念認識 (Perception)

• 役割: 入力画像からオブジェクトの概念（数字、色、形状など）を認識します。
• 手法: 事前学習済みの VLM（Qwen2.5-VL など）を使用し、Few-shot プロンプトとコンテキスト学習を用いて、画像内のオブジェクトをテキスト形式で認識させます。
• 特徴: この段階では、VLM の強力な認識能力のみを利用し、推論は行いません。

フェーズ 2: 回路ベースの記号推論 (Reasoning)

• 役割: 認識された概念に基づき、明示的に定義された推論ルールを厳密に実行します。
• 手法: 与えられた推論ルール（例：加算、論理 XOR、関係性チェック）を、論理回路（Circuit、具体的には SDD: Sentential Decision Diagram）としてコンパイルします。
• 実行: フェーズ 1 で得られた認識結果を二値入力として回路に渡し、回路がルールを厳密に評価して最終的な答えを導き出します。
• 特徴: 推論ロジックは学習パラメータに埋め込まれるのではなく、外部の記号プログラムとして明示的に実装されるため、分布シフトに対して不変な推論が可能になります。

3. 主要な貢献

1. VLC の提案: 視覚的演繹推論タスク向けに、VLM による概念認識と回路ベースの記号推論を結合したニューロシンボリック手法を提案しました。
2. エンドツーエンド微調整の限界の解明: 勾配ベースのエンドツーエンド微調整では、VLM が本質的な推論関数を学習できないこと、および既存のニューロシンボリック手法（Prism, ViperGPT）がブラックボックスな推論コンポーネントに依存しているため、タスク間で頑健性が不安定になることを実証しました。
3. 頑健な推論の実証: 異なる推論ルール（算術加算、論理 XOR、関係性チェック）を持つ 3 つのタスクにおいて、VLC が共変量シフト下で一貫して高い性能を発揮することを示しました。

4. 実験結果

著者らは、MNAdd（数字の加算）、MNLogic（ビットの XOR）、KandLogic（幾何学的形状と色の関係性チェック）の 3 つのタスクを用いて評価を行いました。各タスクで、画像内のオブジェクト数（3, 5, 7）を変化させることで共変量シフトをシミュレートしました。

• エンドツーエンド微調整 (End2end FT): 訓練データ（オブジェクト数 3）では高い精度を達成しましたが、テストデータ（オブジェクト数 5, 7）では性能が崩壊しました（例：MNAdd 7dgt で 1.35% まで低下）。
• 既存ニューロシンボリック手法 (Prism, ViperGPT):
  • Prism: LLM に推論を委譲しますが、論理的推論タスク（MNLogic, KandLogic）では性能が不安定でした。
  • ViperGPT: 生成されたコードの実行に依存するため、検出モデルの失敗やコード生成の誤りにより、タスクによって性能が極端に異なります（MNAdd では検出失敗により精度が 0% 近くまで低下）。
• VLC の性能:
  • 全てのタスクと全ての分布シフト条件において、一貫して高い精度を維持しました。
  • 概念認識の精度とタスク精度がほぼ一致しており、推論部分（回路）が認識エラー以外の要因で性能を低下させていないことを示しました。
  • モデルサイズのスケーリング: VLM のサイズを大きくしても、推論能力自体は向上しませんでした（認識能力は向上）。一方、VLC では認識能力の向上がそのままタスク精度の向上に直結しました。

5. 意義と結論

本論文は、VLM が「推論」を真に学習しているのではなく、単に統計的な相関を学習している可能性が高いことを示唆しています。

• 知覚と推論の分離の重要性: 推論タスクにおいて、VLM を「知覚モジュール」としてのみ利用し、推論ロジックは人間が定義した記号プログラム（回路）に委ねるアプローチが、分布外データに対する頑健性を確保する上で有効であることを実証しました。
• 解釈性と信頼性: 推論プロセスが記号回路によって実行されるため、VLC は解釈可能であり、ルールベースの厳密な推論を保証します。
• 将来の展望: 自然言語から記号ルールを自動抽出する技術や、より柔軟に複数の推論ルールを扱える記号モジュールの開発、および認識エラーに対する耐性向上が今後の課題として挙げられています。

総じて、VLC は、VLM の弱点である推論の不安定性を克服し、信頼性の高い視覚推論システムを構築するための有効な枠組みを提供しています。