QSTRBench: a New Benchmark to Evaluate the Ability of Language Models to Reason with Qualitative Spatial and Temporal Calculi

QSTRBench の技術的概要：言語モデルの質的空間・時間計算論を用いた推論能力を評価するための新たなベンチマーク

問題定義
質的空間・時間推論（QSTR）は、「左側にある」「以前に」「一部である」などの質的情報を形式計算論を用いて表現・推論することを扱う確立された分野である。大規模言語モデル（LLM）は自然言語処理において印象的な能力を示してきたが、これらの形式システム内での厳密な推論能力は未検証のままだ。既存のベンチマークは、核心的な QSTR 推論タスクの体系的な網羅性に欠けるか、特定の計算論に基づかない非公式な質問に依存していることが多い。さらに、LLM が真に推論を行っているのか、それとも訓練データからのパターンを単に複製しているのかという議論が存在する。本論文は、現代の LLM が QSTR 計算論に関連する特定の推論タスク、すなわち逆関係の決定、関係合成の計算、概念的近傍の特定を実行できるかどうかという問いに答えるものである。

手法
著者らは、Point Algebra (PA)、Allen's Interval Algebra (IA)、Interval and Duration (INDU)、Region Connection Calculus (RCC-5, RCC-8, RCC-22)、Nine Intersection Model (9IM)、Cardinal Direction Calculus (CDC)、および Revised STAR という 9 つの異なる QSTR 計算論における LLM のテストを目的とした包括的なベンチマーク「QSTRBench」を導入する。

このベンチマークは、各計算論に対して以下の 3 つの特定の推論タスクを評価する：

1. 逆関係（Converse）： 関係 $R(x, y)$ が与えられたとき、関係 $R^{-1}(y, x)$ を決定する。
2. 合成表（Composition Table, CT）： $R_1(x, y)$ および $R_2(y, z)$ が与えられたとき、$x$ と $z$ の間の可能な関係を決定する。
3. 概念的近傍（Conceptual Neighbourhood, CN）： 連続的な変形または移動の下で、与えられた関係に直接続くことのできる関係を特定する。

データセットは、選択された計算論全体にわたる 102 の基本関係を網羅する1,806 問で構成される。堅牢性と、パターンマッチング対真の推論の可能性をテストするために、著者らは14,372 問の拡張データセット（QSTRBenchExtended）を作成した。この拡張セットは、以下の要素を通じてプロンプトの提示を変化させる：

• 表記法： 接頭辞形式対中置記法。
• 用語： 標準的な英語の単語、数学記号、および「ニース（nonce）」単語（意味を持たないランダムに生成された用語）。
• 記述スタイル： 自然言語テキスト、模式的な ASCII 図、および LaTeX 数式。
• 匿名化： 訓練データへの依存かプロンプト固有の論理への依存かをテストするために、関係名の入れ替え（例：「TPP」を「EC」とラベル付け）。

本研究では、最先端の商用モデル（GPT-5.2、Gemini-2.5-Pro、Grok-4 など）から小規模なオープンウェイトモデル（Llama-3、Gemma-3 など）に至るまで、32 の現代の LLMを評価した。実験は、確率的変動を最小化するために厳格な温度設定（0.01）で行われ、結果は精度のマイクロ平均として報告された。

主要な貢献

1. ベンチマークの作成： 複数の計算論およびプロンプトのバリエーションにわたる LLM における QSTR 推論を評価するための、最初の広範なオープンソースデータセットである QSTRBench および QSTRBenchExtended の公開。
2. 新規データ： 著者らによって導出・検証された、**RCC-22 概念的近傍（CN）**の初公開。
3. 体系的評価： 3 つの推論タスクにわたる 32 モデルの厳密な評価。精度だけでなく、トークン使用量、推論の痕跡、および反復間の一貫性によってもパフォーマンスを分析。
4. 方法論的厳密性： 記憶された事実の検索か論理的推論の実行かをモデルが探るために、ニース単語や模式的記述を使用。

結果

• 全体的なパフォーマンス： 全てのテストモデルはランダム推測を上回ったが、どのモデルも全ての質問に一貫して正解したわけではない。パフォーマンスは計算論およびタスクの種類によって大きく異なった。
• タスクの難易度： モデルは逆関係の質問で最も良く機能し、次いで**合成表（CT）**の質問、**概念的近傍（CN）**の質問が最も困難であった。
• 計算論の難易度： **Point Algebra (PA)**が最も単純（最高精度）であり、RCC-22が最も困難であった。興味深いことに、精度は基本関係の数と厳密に相関しなかった。例えば、25 の関係を持つ INDU は、22 の関係を持つ RCC-22 よりも容易であった。
• モデルのパフォーマンス：
  • GPT-5.2（高い推論努力を伴う）は全体として最上位のパフォーマンスを示し、PA、CDC、STAR ではほぼ完璧なスコアを達成したが、RCC-22 では依然として苦戦した。
  • OpenAI の GPT-5.1は低く（精度 0.22）、先行モデル（GPT-5）および後継モデル（GPT-5.2）を大幅に下回り、「適応的推論」設定に問題があることを示唆した。
  • 小規模モデル： 小規模モデル（Gemma-3 1B、Llama-3 8B など）は非常に低く、しばしば基本的な同一性または推移性のチェックに失敗した。
• 推論対検索：
  • モデルは標準的なプロンプトでは一般的に高い精度を維持したが、関係名が入れ替えられたりニース単語に置き換えられたりするとパフォーマンスが低下し、訓練データのパターンへの依存を示唆した。
  • しかし、o1およびGPT-5.2は、記述が模式的であったり名前が匿名化されていたりしても、ある程度の一般化能力を示したが、テキストに比べて模式的な図では精度が大幅に低下した。
  • 幻覚： モデルは頻繁に存在しない関係名（例：「TPPPi」または無効な INDU 関係）を幻覚し、計算論の深い意味理解の欠如を示した。
• トークン使用量： より複雑な計算論（RCC-22 など）は、高推論モデルにとって PA よりも桁違いに多くの出力トークンを必要としたが、これが完璧な精度を保証するものではなかった。

意義と主張
本論文は、LLM が推論をシミュレートする能力（ランダムな確率を上回る）を示している一方で、形式 QSTR 計算論に対して信頼性のある一貫した推論能力はまだ持っていないと主張する。著者らは以下の点を強調する：

• 不整合性： 最良のモデルでさえ、固定されたシードであっても、同じ質問に対して反復ごとに異なる回答を生成する。
• 訓練データの限界： ニース単語や模式的プロンプトによるパフォーマンスの低下は、現在のモデルが第一原理から回答を導出するのではなく、訓練コーパスから記憶されたパターンに大きく依存していることを示唆する。
• 複雑性の障壁： 単純な計算論と比較した RCC-22 の難しさは、複雑な空間トポロジーに関する現在のモデル能力の天井を浮き彫りにする。
• 将来の有用性： このベンチマークは、AI 推論の進捗を追跡するための必要なツールとして機能する。著者らは、LLM が将来的に記号推論機を置き換える可能性はあるが、現在のニューロ記号的アプローチ（LLM を用いて自然言語を記号ソルバーに変換する）は、下流の失敗を引き起こす翻訳エラーに依然として罹患していると指摘する。

本論文は控えめに結論付け、評価は急速に進化する分野のスナップショットであり、主な永続的価値はベンチマーク自体および推論の堅牢性をテストする方法論にあると述べている。