技術要約: Sci-ρ: STEM問題のための多言語・視覚的接地型シンボリック・ベンチマーク

問題提起

STEM領域における大規模視覚言語モデル（VLM）を評価するための現在のベンチマークには、主に以下の3つの限界が存在する：

1. 堅牢性評価の欠如: 既存のベンチマークの多くは、静的な単発の画像に依存している。これらは、視覚的内容について真に推論しているモデルと、学習時に見た表面的な特徴のマッチングによって成功しているモデルを区別できていない。問題の視覚的な提示方法（例：特定の座標や色）は、その根底にある論理には付随的なものであることが多いが、現在の評価では、異なる視覚パラメータを持つ論理的に等価なバリアントをモデルが解けるかどうかをテストできていない。
2. ドメイン範囲の狭さ: 既存の取り組みは数学と物理学に大きく集中しており、生物学、化学、コンピュータサイエンスにおける視覚的接地型推論の文脈では、それら特有の視覚的要求（例：分子構造、生物学的図解）にもかかわらず、ほとんど未開拓のままである。
3. 単一言語バイアス: 評価はほぼ排他的に英語で行われており、ほとんどの学習者や実務者が実際にSTEMコンテンツに遭遇する多言語設定において、VLMの能力が転移するかどうかは不明なままである。

メソドロジー: Sci-ρ ベンチマーク

これらのギャップに対処するため、著者らは、視覚的に接地されたSTEM問題のための動的、シンボリック、かつ多言語なベンチマークである Sci-ρ (Science Robustness) を導入する。

データセットの構築

データセットは、科学オリンピックのメダリストや上級学部生を含むドメインエキスパートによる2段階のプロセスで構築された。

1. テンプレートの作成: Cambridge IGCSEおよびA-Levelのカリキュラムに基づき、5つの科目（数学、物理学、化学、生物学、コンピュータサイエンス）にわたる606個の高品質な問題テンプレートを作成した。各問題は実行可能なPythonクラスとして実装されている。これらのクラスは、以下の要素を変化させることで問題インスタンスを動的に生成する：
   • 数値: テキストや画像内の数値を変更する。
   • 視覚的パターン: 配置（例：物体の位置）を変更する。
   • 幾何学的形状: 寸法や形態を修正する。
   • 配色: 解答の色や物体の色相を変更する。
   • 関数タイプ: 線形、二次関数などの切り替え。
     各テンプレートは、少なくとも10個の異なるバリアントを保証している。
2. 翻訳: 問題の説明は、機械翻訳に続いてネイティブスピーカーによる厳格な検証を経て、6つの追加言語（インドネシア語、中国語、アラビア語、ヒンディー語、カザフ語、スワヒリ語）に翻訳された。品質管理には、翻訳者の正確性を確保するための「ハニーポット（罠）」エラーが含まれた。

最終的なデータセットは、42,420個の一意の問題インスタンス（606テンプレート × 10バリアント × 7言語）で構成され、それぞれに正解の解法とLaTeXによるステップバイステップの推論ステップがペアになっている。

評価フレームワーク

著者らは、17の最先端VLM（GPT-5.4、Gemini 2.5、Qwen3.5、Llama 4、InternVL、その他を含む）を、6つの指標を用いて評価した：

• 平均精度 ($A_{avg}$): 生成されたすべてのバリアントにおける平均精度。
• ワーストケース精度 ($A_{wst}$): モデルがすべてのバリアントに対して正解した問題テンプレートの割合。これは一貫性を測定する。
• ステップレベルの指標: 推論ステップに対する再現率（Recall, $R$）、適合率（Precision, $P$）、およびF1スコア（$F$）。これらは、LLMジャッジ（GPT-5.4）を用いて、モデルの出力を正解と比較することで算出される。
• ワーストケース・ステップF1 ($F_{wst}$): 特定のテンプレートに対する全バリアントにおける最小F1スコア。
• 画像アテンション比 (IAR): 生成中にVLMがテキストトークンに対して画像トークンをどの程度相対的に割り当てているかを測定するメカニスティックな分析。

主な結果

1. ロバストネス・ギャップ

すべてのモデルにおいて、平均精度とワーストケース精度の間に顕著な性能差が存在する。

• フロンティアモデル: GPT-5.4やGemini 2.5のようなトップティアのモデルであっても、平均精度と比較してワーストケース精度が10〜28%低下する。例えば、GPT-5.4の生物学における精度は、72.2%（平均）から47.8%（ワーストケース）へと低下する。
• 小型モデル: 小規模なオープンウェイトモデルは深刻な劣化を示す。生物学において、InternVL3.5-4BやMolmo2-4Bのようなモデルは、ワーストケース条件下で実質的に崩壊し、特定のバリアントに対して精度がほぼ0%にまで低下する。
• アーキテクチャの感受性: MoE（混合エキスパート）アーキテクチャであるQwen3.5-122B-A10Bは、27Bのデンスモデルと比較して著しく低いワーストケース精度を示しており、パラメータ数だけではロバスト性が保証されないことを示唆している。

2. 多言語パフォーマンス

• プロプライエタリ/大規模モデル: 大規模なプロプライエタリモデル（GPT-5.4、Gemini 2.5）および大規模なオープンウェイトモデルは、言語間での性能低下がほぼゼロであり、非英語設定においてもロバスト性を維持している。
• 小型モデル: 小規模なオープンウェイトモデルは、特にスワヒリ語のような低リソース言語において、顕著な性能低下を示す。これは、事前学習コーパスの表現が多言語のロバスト性に強く影響することを示唆している。

3. 推論ステップの分析

ステップレベルの評価は、推論の脆弱性が小型モデルに限られた現象ではなく、一般的な現象であることを明らかにしている。

• 一貫性: 平均F1スコアとワーストケースF1スコアの間には、一貫したギャップが存在する。GPT-5.4でさえ、ワーストケース条件下ではF1スコアが13〜20ポイント低下する。
• 科目の難易度: 生物学はすべてのモデルにおいて最も困難な科目であり、次いで数学とコンピュータサイエンスが、ステップレベルの一貫性の大きな低下を示した。

4. メカニスティックな洞察（アテンションヘッド）

Qwen3-VL-8B-Instructモデルのアテンションヘッドの分析により、画像アテンション比 (IAR) における大幅な言語間の変動が明らかになった：

• 言語依存性: モデルは、中国語でプロンプトを与えられたとき（最低のIAR）、視覚的コンテキストへの依存度が低くなり、カザフ語やヒンディー語でプロンプトを与えられたとき（最高のIAR）、視覚的コンテキストへの依存度が著しく高くなる。
• 仮説: 著者らは、言語への習熟度が高いほどモデルはテキスト入力に依存しやすくなり、習熟度が低いほど、視覚的入力への補償的な依存を強めるのだと仮定している。

5. 失敗モード

GPT-5.4の失敗に関する手動検査により、3つの主要なエラータイプが特定された：

1. 図表読み取りエラー (63.5%): 正確な数値の抽出失敗、または物体の誤カウント。
2. 知識エラー (28.8%): 不適切な論理推論、存在しない情報の幻覚（ハルシネーション）、または誤った定理の適用。
3. 計算エラー (7.7%): 正しい論理に基づいているにもかかわらず発生する算術ミス。

意義と主張

本論文は、Sci-ρ が、視覚的に接地されたSTEM推論のための初のシンボリックかつ多言語なロバストネス・ベンチマークであることを主張している。その主な意義は、評価パラダイムを、静的な単一インスタンスのテストから、動的なバリアントベースの評価へと移行させた点にある。

著者らは以下の通り主張している：

• 静的なベンチマークは不十分である: それらは、真の推論と表面的なパターンマッチングを区別できていない。平均精度とワーストケース精度の間の大きなギャップは、現在のVLMの脆弱性を露呈させている。
• ロバストネスは重要な指標である: STEMにおける真の能力には、視覚的および数値的な摂動に対する一貫したパフォーマンスが必要であるが、現在のフロンティアモデルにおいてさえ、その能力は欠けている。
• 多言語のロバストネスはモデル依存である: 大規模なモデルは言語を越えてよく汎化するが、小型のモデルは苦戦しており、より良い多言語事前学習やアーキテクチャの調整の必要性を浮き彫りにしている。
• 視覚的接地は一貫していない: アテンション割り当ての変動は、VLMが視覚情報とテキスト情報を一様に統合しているわけではなく、言語が馴染み深いときはテキストに、馴染みがないときは画像に依存する可能性があることを示唆している。

結論として、VLMの真の品質と、厳格なSTEMアプリケーションへの準備状況を測定するためには、静的なベンチマークを超えた評価が不可欠であるとしている。