VisTIRA: 構造化されたツール統合による視覚的数学推論における画像・テキスト間のギャップ解消

本論文「VisTIRA: Closing the Image–Text Modality Gap in Visual Math Reasoning via Structured Tool Integration」は、視覚言語モデル（VLM）が数学的問題を画像として提示された際に、テキスト形式で提示された場合と比較して著しく低い性能を示す「モダリティギャップ」に焦点を当てています。著者らは、このギャップを解消し、視覚的数学推論を改善するための新しいフレームワーク「VisTIRA」と、それを評価・学習させるための大規模データセットを提案しています。

以下に、論文の技術的な要点を詳細にまとめます。

1. 背景と課題：モダリティギャップ

現在の VLM は、ドキュメント理解やチャート QA などの汎用的なマルチモーダルタスクで高い性能を発揮していますが、数式、図表、テキストが混在する複雑な数学的問題を画像として提示されると、テキスト形式の同様の問題に比べて精度が大幅に低下します。

• 原因: 密集した数式の読み取り、レイアウト構造（分数の基準線、積分範囲、添字など）の誤解、そして記号と図解が混在する文脈の理解における失敗が連鎖し、最終的な答えの誤りにつながります。
• 現状の限界: 既存の VQA データセットや OCR データセットは、ステップごとの実行可能な推論経路（トレージェクトリ）を画像とペアにして提供しておらず、最終答えや短い自然言語の理由付けのみを提供していることが多く、VLM の推論能力を十分に訓練できません。

2. 提案手法：VisTIRA (Vision and Tool-Integrated Reasoning Agent)

著者らは、画像ベースの数学問題を解くために、自然言語の推論と実行可能な Python コードを交互に生成する「VisTIRA」と呼ばれるフレームワークを提案しました。

2.1 推論プロセス

VisTIRA は、以下のループ構造で問題を解決します：

1. 推論とコード生成: モデルは、入力画像 $I$ に対して、自然言語による推論ステップ（$\rho_i$）と、それを解決するための Python コードスニペット（$A_i$）を生成します。
2. 外部ツール実行: 生成されたコードは外部環境（Python/SymPy など）で実行され、その出力（$O_i$）が得られます。
3. フィードバックループ: 実行結果 $O_i$ がモデルにフィードバックされ、次の推論ステップやコードの修正、あるいは最終答えの生成に利用されます。
4. 終了条件: 最終的な答えが \boxed{} で囲まれて出力されるまで、このプロセスが反復されます。

このアプローチにより、計算ミスを外部エンジンに委ねることで、モデルが数値計算や複雑な代数操作で誤る「幻覚（hallucination）」を抑制し、検証可能な中間信号を提供します。

2.2 データ構築と教師あり微調整 (SFT)

VisTIRA の訓練には、高品質な「推論・コード・実行結果」のペアデータが必要です。

• SnapAsk データセット: 現実世界の宿題スタイルの数学画像（約 30 万枚）を使用。
• 教師モデルによる生成: GPT-4o や GPT-5 などの強力な VLM を「教師」として用い、画像から VisTIRA 形式の推論経路（CoT + コード + 実行結果）を生成させます。
• 整合性フィルタリング: 生成された経路において、モデルの CoT による推論結果と、ツール実行による結果が一致する場合のみを訓練データとして採用します（約 48.9% の採用率）。これにより、内部整合性の取れた高品質なデータセット（147,948 件）を構築しました。
• 微調整: 構築したデータセットを用いて、ベースモデル（Qwen2.5-VL-7B など）を教師あり微調整（SFT）し、VisTIRA エージェントとして機能するようにします。

2.3 評価用ベンチマークの構築（テキスト⇔画像変換）

モダリティギャップを厳密に評価するため、既存のテキストベースの数学データセット（NuminaMath）を画像形式に変換するパイプラインを開発しました。

• LaTeX レンダリング: 数式を含むテキストを compilable な LaTeX コードに変換し、それを画像としてレンダリングします。これにより、**「同じ問題」**をテキスト形式と画像形式で提示し、性能差を直接比較可能にしました。
• データ公開: 36 万枚のクリーンな画像と、ノイズ（ぼかし、JPEG 圧縮、色調変化など）を加えた 36 万枚の画像を含む大規模データセットを公開しました。

3. 実験結果と知見

3.1 ツール統合推論の有効性

• 性能向上: VisTIRA で微調整された Qwen2.5-VL-7B は、標準的な CoT 微調整モデルやベースモデルと比較して、NuminaMath（レンダリング画像）で約 2.3 ポイント、SnapAsk（実世界画像）で約 5.4 ポイントの精度向上を示しました。
• 実世界での効果: 実世界の画像（SnapAsk）では、ツール統合による改善が特に顕著でした。これは、複雑な記号計算を外部ツールに任せることで、視覚的な誤解による連鎖的な計算ミスを防げるためです。

3.2 モダリティギャップの分析

• ギャップの存在: テキスト入力に比べ、画像入力での精度はすべてのモデルで低下しました（Qwen2.5-VL-7B で約 5.4 ポイント、GPT-5 で約 6.0 ポイント）。
• モデルサイズとの相関: モデルサイズが小さいほど、モダリティギャップは大きくなる傾向がありました。これは、小規模モデルの視覚エンコーダの能力が限られているためです。

3.3 OCR グラウンディングの影響

画像からテキストを抽出する OCR（DeepSeek-OCR）を補助情報として入力に追加する実験を行いました。

• 小規模モデルへの効果: Qwen2.5-VL-7B において、画像＋OCR の入力により精度が大幅に向上しました（58.77% → 63.89%）。これは、視覚的な記号認識が苦手なモデルにとって、OCR によるテキスト補正が有効であることを示しています。
• 大規模モデルへの限界: GPT-5 などの強力なモデルでは、OCR を追加しても改善は限定的であり、場合によっては冗長な情報としてノイズになる可能性も示唆されました。
• テキスト長の分析: OCR が有効に働いた問題は、テキスト量が長く、複雑な数式を含む傾向があり、小規模モデルが画像のみから詳細を抽出するのが困難であることを裏付けました。

3.4 ノイズ耐性テスト

レンダリング画像に人工的なノイズ（ぼかし、色調変化など）を加えたストレステストを行いました。

• GPT-5 はノイズにより精度が低下し、モダリティギャップが拡大しました。
• Qwen2.5-VL-7B はもともと視覚解析の限界（天井効果）に達していたため、ノイズによる追加の悪影響は小さかったものの、依然としてテキスト入力との間に大きなギャップが存在しました。

4. 主要な貢献

1. VisTIRA フレームワークの提案: 画像ベースの数学問題を、推論・コード・実行のループで解決する反復的なツール統合フレームワーク。
2. 大規模な軌跡データセットの構築: 現実世界の宿題画像（SnapAsk）から生成・検証された、高品質な「推論＋コード＋実行結果」のデータセット。
3. 評価パイプラインとデータ公開: テキストベースの数学問題を画像に変換する LaTeX ベースのパイプラインと、36 万枚のクリーン/ノイズ画像を含む大規模ベンチマークの公開。
4. モダリティギャップの定量的分析: モデルサイズに応じたギャップの大きさ、ツール統合と OCR グラウンディングの相補的な役割、およびその限界を包括的に実証しました。

5. 意義と結論

本論文は、VLM における視覚的数学推論の課題を「視覚的パース（読み取り）」と「記号的推論」の両面から解決しようとするものです。

• 構造化された推論: ツール統合（VisTIRA）は、モデルの推論能力を強化し、計算ミスを防ぐために不可欠です。
• 補完的な戦略: 視覚認識が未熟な小規模モデルには OCR によるテキスト補正が有効ですが、大規模モデルにはツール統合による推論プロセスの改善がより重要です。
• 今後の展望: モデルサイズに応じた適応的な融合戦略（例：OCR の信頼度に基づくフィルタリング）や、より多様な実世界データへの一般化が今後の課題として挙げられています。

総じて、VisTIRA は、視覚的数学推論におけるモダリティギャップを埋め、VLM の実用的な能力を高めるための重要なステップを提供しています。