技術的サマリー：微細な視覚的痕跡の解明：マルチモーダル STEM タスクにおけるマルチモーダル交差推論チェーンの評価

問題定義

マルチモーダル大規模言語モデル（MLLM）は有望な推論能力を示しているが、STEM（科学、技術、工学、数学）のような専門分野におけるその性能を厳密に評価することは依然として困難である。現在のベンチマークは、以下の 3 つの主要な限界に直面している：

1. モダリティの冗長性とショートカット：既存の多くのデータセットでは、モデルが視覚的証拠を無視し、テキスト記述のみを頼ることを許容しており、これにより「モダリティの崩壊」が生じ、視覚的グラウンディングが弱体化している。
2. 構造化された視覚推論の欠如：科学的図表、ダイアグラム、プロットが訓練データにおいて過小評価されており、モデルは正確な記号と論理的制約を備えた構造化された視覚表現を生成することに苦慮している。
3. 結果志向の評価：既存のプロトコルは、ほぼ最終回答の精度のみに焦点を当てている。これは、中間推論ステップの質、忠実性、および一貫性を看過しており、真のクロスモーダル推論と表面的なショートカットを区別することを困難にしている。

手法

著者は、厳密なテキスト - 視覚の相補性を強制し、ステップレベルで推論を評価するために設計されたベンチマークおよび評価フレームワーク「STEPSTEM」を導入する。

1. データキュレーション（STEPSTEM ベンチマーク）

• 範囲：このデータセットは、工学、物理学、化学、数学、生物学、およびその他の分野にまたがる 283 の大学院レベルの問題で構成されている。
• 相補性の強制：問題の選定は、テキストのみまたは視覚のみから解答を導き出せないように行われている。これには、「強く依存する」問題（幾何学的・空間的推論を必要とする）と、「推論を簡略化する」問題（視覚が意味的な曖昧さを軽減する）が含まれる。
• 多様な解答軌道：各問題には、1 つ以上の真の解答軌道が注釈付けられている。これらの軌道は、テキスト推論と視覚的証拠（画像/図）が交差するシーケンスである。
• 視覚注釈：視覚推論ステップについては、画像アライメントのための微細な監督を可能にするために、専門家がバウンディングボックス（BBoxes）を使用して関連する局所的証拠を注釈付けする。
• タスクの多様性：このベンチマークには、最終出力が画像である 14 の描画タスクが含まれており、評価を「画像 - テキストからテキスト」へから「画像 - テキストから画像」へと拡張している。

2. 評価フレームワーク

著者は、最終回答の精度を超えたステップレベルの評価プロトコルを提案する：

• 局所アライメントスコア：
  • テキストステップ：Qwen3.5-9B を通じたアテンション・ロールアウトに基づく意味的類似性を使用し、その後、単調な動的計画法を用いて予測されたステップを参照ステップにアライメントする。これにより、些細なステップのスキップを許容しつつ、時間的順序を保持する。
  • 視覚ステップ：BBox にアンカーされた参照特徴と、予測画像からのスライディングウィンドウ特徴を比較する。単一の一般的な画像が複数の異なる視覚ステップを満たすことを防ぐために、多様性ペナルティが適用される。
• グローバル論理カバレッジ：LLM ベースのジャッジが、予測された完全な軌道が、参照解答によって要求されるすべての重要なテキスト命題と視覚的証拠を網羅しているかを評価し、逐語的な一致よりも意味的含意を報酬とする。
• メトリクスの融合：局所スコアとグローバルスコアは、加重二乗平均平方根（RMS）を用いて融合される。複数の参照解答が存在する場合、フレームワークは有効な代替推論経路を罰することを避けるため、最大融合スコアを報告する。
• 最終回答評価：テキストおよび視覚の最終回答は、それぞれ正誤について個別に評価される。

主要な貢献

1. STEPSTEM ベンチマーク：単一モダリティのショートカットを排除するために厳密なテキスト - 視覚の相補性を強制する、283 の大学院レベルの STEM 問題からなる慎重にキュレーションされたデータセット。これには、テキストと視覚ステップが交差する多様な解答軌道が含まれる。
2. 微細な評価フレームワーク：最終結果だけでなく、中間マルチモーダル推論ステップ（局所アライメントとグローバルカバレッジ）を評価する、新しいステップレベルの評価プロトコル。これは、交差する画像 - テキスト推論を処理するために動的計画法と多様性ペナルティを利用する。
3. 包括的な実証分析：統合モデル、交差生成モデル、および理解専用モデルを含む代表的な MLLM の評価により、現在の能力に大きなギャップがあることを明らかにする。本研究は、ステップレベルのスコアが最終回答の精度と強く相関するが、モデルの動作に対するより診断的な視点を提供することを示している。

実験結果

実験は、さまざまなモデルカテゴリにわたる 269 のテキスト回答問題と 14 の画像回答問題に対して実施された：

• 全体的な難易度：現在の MLLM は、大学院レベルのマルチモーダル STEM 推論に著しく苦慮している。最高性能の理解専用モデル（Gemini 3.1 Pro、Claude Opus 4.6）は、テキスト回答問題においてわずか**38.29%の精度を達成した。最高性能の統合モデル（Gemini 2.5 Flash Image）は、画像回答問題において50.80%**を達成した。
• モダリティの限界：
  • 理解専用モデル（例：Claude Opus 4.6）は、テキスト関連のプロセスメトリクス（Local-T、Global-T）で高いスコアを達成したが、画像関連のすべてのメトリクス（Img. Acc.、Local-I、Global-I）で**0%**のスコアを記録し、視覚的中間ステップを生成できないことを確認した。
  • 統合モデル（例：GPT-5.4 + GPT-Image）は、最高の融合プロセススコア（71.52）と強力な画像生成能力を達成したが、最終回答の精度（テキスト回答で 33.21%）は依然として限られており、説得力のある視覚構造を生成できるものの、複雑な問題の解決のためにそれらを効果的に統合することに苦慮していることを示唆している。
  • 交差生成モデル（例：Janus-Pro、OmniGen2）は、中間視覚コンテンツを生成する非自明な能力を示したが、正しい画像ベースの最終回答を生成することはできず（精度 0%）、失敗した。
• プロセス対結果：ステップレベルのスコアは、最終回答の正しさと強く関連していた。正解に至る軌道は一貫して高い融合プロセススコアを受けた。しかし、ステップレベルの評価は、一部のモデルが推論軌道が貧弱であっても正解に到達できる一方、他のモデルは論理的な経路をたどったものの最終ステップで失敗することを明らかにした。
• 多参照の有用性：複数の真の解答を使用することが不可欠であることが示された。単一参照評価は、構造的に異なるが有効な推論経路を不当に罰する可能性がある。多参照アプローチは、評価の安定性と公平性を向上させた。

意義と主張

本論文は、STEPSTEM がマルチモーダル推論の微細な評価のためのベンチマークとして位置づけられると主張している。その意義は以下の点にある：

• モダリティギャップの露呈：最先端のモデルでさえもテキスト推論に大きく依存しており、真のクロスモーダル STEM 推論能力を欠いていることを浮き彫りにする。
• 評価パラダイムの転換：複雑なマルチモーダルタスクに対しては、最終回答の精度だけでは不十分であると主張する。提案されたステップレベルフレームワークは、より情報量の多い診断シグナルを提供し、偶発的に正解を推測するモデルと、説得力がありグラウンディングされた推論プロセスに従うモデルを区別する。
• 将来の研究方向：著者は、STEPSTEM がマルチモーダルプロセス監督、推論志向のデータ構築、およびより忠実なクロスモーダル推論システムの開発における将来の研究を支援すると仮定している。

本論文は、現在のモデルが有望な兆候を示している一方で、真のクロスモーダル STEM 推論には「大幅な改善余地」があり、推論プロセス自体を評価することがこの分野を前進させる上で不可欠であると結論付けている。