論文「Measuring Representation Robustness in Large Language Models for Geometry」の技術的サマリー

本論文は、大規模言語モデル（LLM）が幾何学問題において、問題の表現形式（表現不変性）に対してどの程度頑健（ロバスト）であるかを検証した研究です。LLM は数学的推論において高い能力を示していますが、同じ意味を持つ問題でも「ユークリッド幾何」「座標幾何」「ベクトル幾何」といった異なる表現形式で提示された場合、性能に大きなばらつきが生じる可能性が指摘されています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 研究背景と問題定義

既存の数学推論ベンチマーク（GSM8K, MATH など）は、通常、問題が固定された形式（主に自然言語記述や特定の座標系）で提示されます。しかし、幾何学問題では、同じ数学的制約と解を持つ問題が、以下のように多様な形式で表現可能です。

• ユークリッド幾何 (Euclidean): 図形的関係や長さ、角度を自然言語で記述。
• 座標幾何 (Coordinate): 座標平面上の点と方程式を用いる。
• ベクトル幾何 (Vector): 内積、外積、ベクトル演算を用いる。

核心的な問題:
現在の評価手法は、特定の形式での正解率のみを報告しており、「表現形式が変わってもモデルが同じ推論能力を発揮できるか（表現不変性）」を測定していません。もしモデルが特定の形式に依存したヒューリスティック（経験則）に頼っている場合、形式が変わるだけで性能が劇的に低下する可能性があります。本研究は、この「表現への感受性」を定量的に評価することを目的としています。

2. 提案手法：GeoRepEval

本研究では、GeoRepEvalという新しい評価フレームワークを提案しました。これは、同じ問題を 3 つの異なる表現形式で並列に評価し、モデルの推論能力と表現感受性を分離して分析するものです。

2.1 データセット構築

• ソース: 印度的な高校・中等教育の標準教科書（NCERT, RD Sharma, RS Aggarwal）から 158 個の核心問題を抽出。
• 並列生成: 各問題を「ユークリッド」「座標」「ベクトル」の 3 形式に変換。
• 検証: 数学の専門家パネルによる手動検証を行い、意味的な等価性と解の一意性を保証。
• 規模: 合計 474 インスタンス（158 問題 × 3 形式）。

2.2 評価指標

単なる正解率だけでなく、以下の高度な指標を導入しました。

1. Invariance@3: 3 つの表現形式すべてで正解した問題の割合。モデルが真に「頑健」な推論を行っているかを示す。
2. Consistency@3: 3 つの形式すべてで同じ出力（正解か不正解を問わない）を出した問題の割合。
3. 脆弱な正解 (Fragile Correctness): 特定の形式では正解したが、他では不正解だったケース。これは形式依存のヒューリスティックを示唆。
4. 統計的検定: マクネマー検定（McNemar's test）とブートストラップ法を用いて、形式間の差が統計的に有意かを確認。

2.3 理論的性質

評価指標には以下の数学的性質が証明されています。

• 分解: 形式ごとの正解率は「Invariance@3（頑健な正解）」と「脆弱な正解」の和に分解可能。
• 上限: Invariance@3 は、最も性能の低い形式の正解率によって上限が決まる（弱いリンクの法則）。
• 不一致の分析: Consistency@3 と Invariance@3 の差は、すべての形式で同じ「誤った答え」を出しているシステム的エラーの割合を示す。

3. 実験設定

• 対象モデル: 11 種類の LLM（LLaMA-3.1-8B, Gemma, Mistral, Qwen, Claude, GPT-5.1/5.2, Gemini 2.5 Flash, GPT-OSS-20B など）。
• 設定: ゼロショット推論、温度 0.0（決定論的）、OpenRouter API を経由。
• スコアリング: 厳密な正規化（分数、ルート、$\pi$ の表記統一）による数値一致チェック。一部は人手によるレビューを実施。

4. 主要な結果

4.1 表現形式による性能の偏り

• 全般的な傾向: どのモデルにおいても、ユークリッド形式が最も高く、ベクトル形式が最も低い正解率を示しました。
• 性能差: 形式間の正解率の差は最大で14 パーセントポイントに達しました（例：Claude-Haiku はユークリッド 60% vs ベクトル 46%）。
• Invariance@3 の低さ: 多くのモデルで Invariance@3 は 0.47 未満でした。特に LLaMA-3.1-8B は0.044（全形式で正解した問題が 5% 未満）と極めて低く、モデルが形式に強く依存していることが示されました。

4.2 失敗パターンの分析

• CCW パターンの支配: 「ユークリッドと座標は正解、ベクトルは不正解（CCW）」というパターンが、他の失敗パターン（例：ユークリッドのみ失敗）よりも 2〜5 倍頻繁に発生しました。
• ベクトルの脆弱性: ベクトル形式は、モデルにとって単一の主要な失敗点（Single Point of Failure）となっており、ベクトル演算（外積、ノルム計算など）における代数エラーが蓄積していることが示唆されました。

4.3 統計的有意性

• ユークリッドとベクトルの間には統計的に有意な差（$p < 0.05$）が確認されました。
• トークン数や記号密度などの表面的特徴を回帰分析で制御しても、この差は残存しており、単なる「問題の長さ」の問題ではないことが示されました。

4.4 プロンプト介入（Convert-Then-Solve）

• 手法: ベクトル問題をまず「ユークリッド形式に変換し、その後解く」というプロンプト戦略（Convert-Then-Solve: CTS）を適用。
• 結果:
  • 高容量モデル: ベクトル形式の正解率が最大52 パーセントポイント向上しました（例：Gemini 2.5 Flash は 0.45 → 0.97）。
  • 低容量モデル: LLaMA-3.1-8B などではほとんど改善が見られませんでした。
• 示唆: 高容量モデルは「解く能力」は持っているが、「ベクトル形式での推論プロセス」が不安定であるため、形式変換という足場（Scaffolding）で改善可能。一方、低容量モデルは根本的な推論能力の限界を抱えている可能性があります。

5. 考察と仮説

ベクトル形式での性能低下の理由として、以下の 4 つの仮説が提唱されています。

1. 表面の複雑さ: ベクトル記法（$\hat{i}, \hat{j}, \hat{k}$ など）が長く記号的であること。
2. 手順チェーンの長さ: ベクトル解法は、ユークリッド形式に比べて計算ステップ（ベクトルの作成、外積、ノルム計算など）が多く、誤りが蓄積しやすい。
3. 学習データの分布: 訓練データにユークリッド/座標幾何が多く、ベクトル幾何（より高度な課程）が少ない可能性。
4. 代数エラーの蓄積: 概念は理解していても、成分ごとの計算や符号処理で誤りが発生しやすい。

6. 結論と意義

• 結論: 現在の LLM は、抽象的な幾何学推論というよりも、表現形式に特化したヒューリスティックに依存して動作している可能性が高い。単一の形式での高い正解率は、真の推論能力を保証するものではない。
• 貢献:
  • 統計的に裏付けられた評価フレームワーク「GeoRepEval」の提案。
  • 形式依存性を定量化する新しい指標（Invariance@3 など）の導入。
  • ベクトル形式の脆弱性と、それを補うためのプロンプト戦略の有効性の実証。
• 意義:
  • 安全クリティカルなアプリケーションにおいて、問題の表現形式が信頼性に直結することを示唆。
  • 今後のベンチマーク開発において、単一形式だけでなく、並列な表現形式での評価が不可欠であることを提言。
  • 低容量モデルには根本的な能力限界があり、高容量モデルには形式感受性がボトルネックであることを示し、モデル改善の方向性を示唆。

本論文は、LLM の数学的推論能力を評価する際、「どのように問題を表現するか」が「モデルがどう推論するか」に決定的な影響を与えることを実証し、より堅牢な AI 評価の必要性を強く訴えています。