IsoSci: A Benchmark of Isomorphic Cross-Domain Science Problems for Evaluating Reasoning versus Knowledge Retrieval in LLMs

技術要約: ISOSCI

問題提起
大規模言語モデル（LLM）における最近の進歩は、「推論」が複雑な科学的タスクにおけるパフォーマンスの主要な原動力であることを強調しており、これらはGPQA、SciBench、MMLU-STEMといったベンチマークによって検証されることが多い。しかし、これらのベンチマークは、「ドメイン固有の知識の検索」と「論理的な推論手順の適用」という2つの異なる能力を混同している。モデルが科学の問題に失敗する場合、その原因が事実の想起不足にあるのか、あるいは必要な推論ステップを実行できないことにあるのかは曖лоう（曖昧）である。その結果、推論メカニズム（例：思考の連鎖（Chain-of-Thought）プロンプティング、推論特化型トレーニング）が、純粋に論理的推論を改善しているのか、それとも主に適切なドメイン知識を表面化させる役割を果たしているのかは不明である。既存のベンチマークには、これらの要因を切り離すための構造的な制御が欠けている。

手法：ISOSCIベンチマーク
これに対処するため、著者らは同型的なクロスドメイン科学問題ペア（isomorphic cross-domain science problem pairs）のベンチマークであるISOSCIを導入する。コアとなる設計原則は、必要なドメイン知識を変化させつつ、推論構造を一定に保つことである。

• 同型ペア（Isomorphic Pairs）: 各問題 $q$ は、異なる科学ドメイン（物理学、化学、生物学、または地球科学）からなる対照となる問題 $q'$ とペアになる。これらのペアは以下の4つの条件を満たす：
  1. それらは異なるドメインに属している。
  2. 彼らは全く同じ論理構造タイプ（例：公式の想起、単位変換、保存則の適用）を共有している。
  3. $q'$ の解法手順は、$q$ の手順の全単射（bijection）であり、ドメイン固有の原子（公式、定数）を新しいドメインの対応するものに置き換えたものである。
  4. 各問題に必要とされる知識集合は互いに素（disjoint）である。
• データセット構築: ベンチマークは、GPQA、SciBench、MMLU-STEMから派生した144組のペア（288個の問題）で構成されており、地球科学については合成生成が行われている。3段階のパイプライン（シード収集、パートナー生成、自動検証）により、構造的等価性と知識の独立性が確保されている。検証にはLLMジャッジのパネルと人間による専門家監査が含まれ、人間のコンセンサスとの高い一致率を実現している。
• 評価プロトコル: 本研究では、4つのモデルファミリー（OpenAI、Google、Qwen、DeepSeek）にわたる5つのモデルペアを評価する。比較対象には、「伝統的な」ペア（異なる学習目的を持つ異なるモデル）と、「トグル」ペア（推論が有効化されている場合と無効化されている場合で同一のモデルを用いるもの）が含まれる。モデルはISOSCIおよび他の3つのベンチマーク（GPQA、MMLU-STEM、SciBench）で評価される。
• デカップリング指標 ($p_{know}$): 著者らは、推論モードによる利得を帰属させるための指標を提案している。利得が**知識依存的（knowledge-dependent）であるとは、推論構成が同型ペアの一方のメンバーのパフォーマンスを向上させる一方で、もう一方を向上させない場合を指す。利得が構造不変（structure-invariant）**であるとは、両方のメンバーのパフォーマンスを向上させる場合を指す。指標 $p_{know}$ は、知識依存的な利得の総利得に対する比率を算出する。

主な貢献

1. 構築手法: ドメイン知識から推論構造を分離する、同型的なクロスドメイン問題ペアを生成するためのスケーラブルなフレームワーク。
2. $p_{know}$ 指標: 推論による利得を、知識依存的成分と構造不変成分に分解するための定量的な手法。
3. ISOSCI ベンチマーク: 4つの科学ドメインにわたる144組の同型ペアの公開データセット、および推論による利得の性質に関する実証的な知見。

結果

• 知識依存性の支配: 5つのモデルペアと69の観察された推論モードの利得全体を通じて、91.3%（63/69）が構造不変ではなく知識依存的であった。これは、推論モードがパフォーマンスを向上させる際、論理的な手順自体の実行能力を高めるのではなく、特定のドメインの事実を検索または適用するのを助けていることを示している。
• 最小限のトグル効果: 高性能なモデルにおいて、推論トグルを有効にしても、ドメイン間でわずかな精度向上（5パーセントポイント未満）しか得られなかった。Gemini 2.0 Flashモデルについては、トグルは統計的に有意な影響を与えなかった。
• ベンチマークに依存する結論: 本研究は、モデルのパフォーマンスにおける劇的な逆転現象を明らかにしている。o3-mini モデルは、GPQA Diamond（深い概念的推論を好むベンチマーク）においてGPT-4o-miniを+19.2pp上回る一方で、ISOSCIではGPT-4o-miniを−24.7pp下回る。これは、推論モデルの有用性に関する結論が、ベンチマークのデザインに完全に依存していることを示している。
• 推論による利得の性質: データは、短期間の定型的（procedural）な科学タスクにおいて、推論メカニズムが主に拡張された知識検索として機能し、論理的推論能力を強化するのではなく、生成中に適切な事実が表面化する確率を高めていることを示唆している。

意義と主張
本論文は、思考の連鎖による推論が、短期間の定型的な科学的問題解決を本質的に改善するという仮定に対し、これらの知見が異議を唱えるものであると主張している。著者らは、ISOSCIがカバーする問題タイプにおいて、推論による改善は主に知識利用のプロキシ（代理指標）であると述べている。研究は、単一のベンチマークが科学的能力の完全な姿を提供するものではないと断言している。概念的導出（GPQA）に強いモデルが、構造化された知識検索（ISOSCI）には弱い可能性がある。著者らは、ISOSCIを、モデルの科学的能力が「どこで」「どのように」崩壊するかを診断するためのツールとして位置づけており、知識の欠如と推論の欠陥を区別するものであるとしている。結論として、同型ペアの手法と$p_{know}$ 指標はより精密な評価をサポートするものの、現在の知見は短期間の定型的問題に特有のものであり、長期間またはオープンエンドな推論への適用可能性については未解決の課題であるとしている。