技術要約: SciMIF

問題提起

マルチモーダル大規模言語モデル（MLLM）の科学領域への応用は、基本的な質問応答から、自律的な科学エージェントのような複雑なパラダイムへと進化している。しかし、現在の評価手法は、主に科学的正当性（最終的な回答が事実として正確であるか）に焦点を当てており、指示への遵守（モデルが明示的な操作上の制約を満たしているか）には焦点を当てていない。

既存の汎用的な指示遵守ベンチマーク（例：IF-Eval、FollowBench）は、形式、長さ、スタイルに関する制約を評価するが、ドメイン固有の科学的制約を欠いている。逆に、既存の科学的ベンチマーク（例：SciBench、MMMU）は、推論や知識を評価するが、複雑で多段階の操作指示に従うモデルの能力を体系的にテストするものではない。このギャップは、2つの異なる能力を不明瞭にしている。すなわち、モデルが要求された単位や形式に違反しながらも科学的に正しい回答を生成する場合や、科学的な推論に誤りがある一方で形式を厳格に遵守する場合である。さらに、科学的な指示遵守は、ドメイン固有の知識への依存、学際的な意味論の差異、およびマルチモーダル入力（例：分子構造、顕微鏡画像）への頻繁な依存により、特有の難しさがある。

手法

1. 科学的制約のタクソノミー（分類体系）

著者らは、化学、地理学、生物学、材料科学、物理学の5つの科学分野にわたってMLLMを評価するために設計されたベンチマーク、SciMIF（Scientific Multimodal Instruction Following）を導入する。

これら5つの分野における22の異なるタスクの分析に基づき、著者らは以下の階層的なタクソノミーを構築した：

• 10の機能的制約グループ： これらは、手順（Procedure）、数（Number）、方法（Method）、単位（Unit）、形式（Format）、用語（Terminology）、精度（Precision）、文字（Letter）、構造（Structure）、選択（Selection）を含む、ドメイン間で共有される要件を捉えている。
• 分野固有の実装： 機能的なグループは共通しているが、その具体的な意味は異なる。例えば、「用語」の制約は、化学では有効な分子命名法を、地理学では階層的な住所を、材料科学では特性評価技術を要求する。
• 制約インベントリ： 最終的なベンチマークには、10のグループから派生し、各分野の慣習に適応させた42の異なる制約が含まれている。

2. データ構築パイプライン

SciMIFは、4つのステップからなるパイプラインを通じて、既存の13の科学データセット（計2,527サンプル）を体系的に拡張することで構築されている：

1. シードの準備： 質問（$q$）、オプションの視覚入力（$I$）、参照回答（$a$）、タスクタイプ（$t$）を持つサンプルを選択する。
2. 制約の認識： 重複を避けるため、元のクエリに既に暗黙的に含まれている制約を特定する。
3. 制約の注入：
   • 科学的制約： タスクタイプと互換性のあるドメイン固有の制約を注入する。
   • 一般的制約： 参照回答の科学的正当性を変えることなく、一般的な操作的制約（例：出力形式、大文字化）を注入する。
   • 検証： 自動的なダブルチェックにより、注入された制約がクエリ内に存在すること、およびグラウンドトゥルースの回答が依然として有効であることを確認する。
4. 人間による検証： 2人のアノテーターが、論理的一貫性、流暢性、および制約の忠実度をレビューする。問題のあるサンプルは修正または破棄される。

3. 評価指標

本ベンチマークは、パフォーマンスを評価するために3つの指標を用いる：

• 制約充足率 (CSR): すべての指示における充足された制約の平均割合。
• 指示充足率 (ISR): 関連するすべての制約が完全に満たされた指示の割合。
• 分解された要件遵守率 (DRFR): 全制約数に対する、分解された個々の要件レベルでの遵守度を測定する。

検証には、決定論的なチェック（形式や単位などのスクリプトベースの手法）と、LLM-as-a-Judgeプロトコル（推論ステップなどの意味的なチェック）が用いられる。

主な結果

1. 分野間のパフォーマンス格差

最先端のクローズドソースモデル（例：GPT-5.2、Claude-Sonnet-4.6）およびオープンソースモデル（例：Qwen3.5、InternVL3.5）の評価により、顕著な差異が明らかになった：

• 化学は最大の課題となり、最高性能のモデル（GPT-5.2）であってもISRはわずか46.33%であった。
• 生物学および材料科学は、より高いパフォーマンス（ISR ~72–78%）を示した。
• 地理学も、空間的な階層構造のため、大きな困難を伴う。
• 物理学は、一般的に最も高いDRFRスコア（平均92.2%）をもたらす。

2. モデルの規模とアーキテクチャ

• スケーリングのパラドックス： モデルのパラメータ数を増やしても、指示遵守において線形な改善は見られない。例えば、Qwen3.5シリーズでは、122Bモデル（ISR 50.41%）は27Bモデル（ISR 51.37%）よりもわずかに低い性能を示した。
• クローズド vs オープンソース： クローズドソースモデルは、すべての分野においてオープンソースの対抗馬を一貫して上回っており、これはデータ品質とアライメント戦略の優位性を示唆している。

3. 制約ドメインの分析

• 一般的制約 vs 科学的制約： モデルは、一般的制約（フォーマットや構造）よりも、科学的制約（タスクに意味的に結合したもの）において大幅に高い性能を示す。GPT-5.2の場合、科学的制約におけるDRFRは88.74%であったのに対し、一般的制約では74.65%であった。
• 微細な課題： モデルは、精密な記号処理やドメイン固有のエンティティ認識（例：化学結合のカウント vs 文字数のカウント）を必要とする「文字（Letter）」および「数（Number）」の制約において最も苦戦する。

4. 正当性と遵守

重要な発見は、科学的正当性と指示遵守の間の結合が弱いことである：

• 約30%のサンプルが、科学的正当性と完全な指示遵守の両方を達成した（正解かつ遵守）。
• 約20%のサンプルは、科学的には正しいが制約に違反していた（正解だが違反）。
• 30%以上のサンプルは、指示には従っているが科学的に誤った回答を生成していた（不正解だが遵守）。
• 統計分析（ピアソンの$\chi^2$検定）により、正当性と遵守は正の相関があるものの、その強さは限定的（$\phi$係数は0.06から0.20の範囲）であり、これらが別個の能力であることを示している。

意義と貢献

本論文は、主に3つの貢献を主張している：

1. 専門家によるタクソノミーの確立： 5つの分野と10の機能グループにわたる、共有された能力とドメイン固有の要件の両方を捉えた、包括的な科学的制約のタクソノミーの構築。
2. スケーラブルなフレームワーク： 既存の科学的タスクを、暗黙の制約を認識し、参照回答を変更せずに互換性のある制約を注入することによって、指示遵守評価へと変換する手法。
3. ベンチマークと評価： SciMIFの構築と代表的なMLLMの評価。これにより、以下のことが明らかになった：
   • 分野によるパフォーマンスの著しい差異。
   • 微細な制約における深刻な困難。
   • 科学的正当性と指示遵守の間の明確な乖離。

著者らは、現在のMLLMは、厳格な操作的制約を必要とする厳密な科学的応用にはまだ信頼性が不十分であると結論付けている。今後の研究は、ドメインを意識した指示アライメント、微細な制約のための外部ツール（例：記号エンジン）の統合、および正当性と遵守を分離して扱うのではなく、両方の同時達成を最適化することに焦点を当てるべきであると示唆している。