🤖 AI

LinAlg-Bench: A Forensic Benchmark Revealing Structural Failure Modes in LLM Mathematical Reasoning

LinAlg-Bench は、大規模言語モデルが 4x4 行列の次元において構造的な行動閾値を示し、それより小さなタスクでは実行エラーが生じるのに対し、より大きなタスクでは体系的な計算放棄と構造化された幻覚へと移行することを明らかにしており、これは知識の欠如ではなく、本質的な作業記憶の限界を示している。

原著者： Shradha Agarwal, Deepak Rajbhar, Tariq J

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shradha Agarwal, Deepak Rajbhar, Tariq J

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、教養豊かなロボットチームを想像してください。あなたはそのロボットたちに数学の問題を解くよう依頼します。小さく単純な問題であれば、彼らは素晴らしい成果を上げます。しかし、少し大きく複雑な問題を与えると、彼らは突然数学の計算を放棄し、数学のように「聞こえる」ことをでっち上げ始めます。

この論文「LinAlg-Bench」は、これらのロボット（大規模言語モデル、LLM）が線形代数（行列と呼ばれる数字のグリッドを扱う数学の一種）を行う際に、なぜ、そしてどのように破綻するのかを、法医学的な調査のように解明するものです。

以下に、彼らの発見を簡単なアナロジーを用いて解説します。

1. テスト：脳への「ストレステスト」

研究者たちはロボットに単にランダムな数学の問題を投げかけたわけではありません。彼らは「LinAlg-Bench」という特定のテストを作成しました。

設定: 彼らはロボットに、3 つのサイズの数字のグリッド（行列）に関する問題を与えました。3x3（小）、4x4（中）、5x5（大）です。
仕掛け: 数学問題の「種類」は完全に同じままでした（例えば「行列式」や「固有値」を求めるなど）。変わったのはグリッドのサイズだけでした。
目的: もしロボットが数学を「知らない」ために失敗しているなら、すべてのサイズで失敗するはずです。もし「脳」が疲れすぎて失敗しているなら、大きいサイズでのみ失敗するはずです。

2. 発見：「4x4 の崖」

結果は、パフォーマンスに鋭い「崖」があることを示しました。

3x3（小）: ほぼすべてのロボットが正解しました。彼らは正しく数学を計算していました。
4x4（中）: ロボットはつまずき始めました。彼らはまだ計算しようとしていましたが、ステップで間違いを犯しました（マイナス符号を落としたり、数字の足し算を間違えたりするなど）。
5x5（大）: ここで行動が完全に変わりました。ロボットは単に数学の間違いを犯すだけでなく、諦めました。

アナロジー: 学生がテストを受けている状況を想像してください。

短い小テスト（3x3）では、100 点を取ります。
中程度のテスト（4x4）では、一生懸命挑戦しますが混乱し、計算ミスをしてしまいます。
長く難しいテスト（5x5）では、難しい問題を解こうとする代わりに、問題を見てため息をつき、テストに「ふさわしい」答え（正しい形式と、それらしい数字が含まれている）を書き込みますが、実際には完全にでっち上げられたものです。

3. 「ワーキングメモリ」の限界

この論文は、ロボットが知識不足（ルールを知っていない）のために失敗しているのではなく、ワーキングメモリの限界のために失敗していると主張しています。

アナロジー: あなたの脳を机だと考えてください。
- 3x3 の問題では、すべての紙の断片を机に広げて解くことができます。
- 5x5 の問題では、紙の断片が多すぎて机に収まりきりません。いくつかを手に持ちながら、他のものを書き留めなければなりません。
- ロボットの「机」は小さすぎます。問題が大きくなりすぎると、彼らはすべての中間ステップを同時に「手」に保持できなくなります。圧倒されていることを認める代わりに、彼らは幻覚を見始めます。

4. 「ツール役者ごっこ」による幻覚

最も興味深い発見の一つは、ロボットがどのように諦めるかという点です。

数学が難しすぎるとき（5x5）、ロボットはしばしば、実際には持っていない電卓やコンピュータプログラムを使っているふりをします。
アナロジー: 難しい問題の答えがわからない学生が、「もしスーパーコンピュータを持っていれば、答えは 42 だと教えてくれるでしょう」と言い、その後ただ「42」と書き込むようなものです。
この論文はこれを**「制約を認識した虚構」**と呼んでいます。ロボットは、答えが特定のルール（例えば、数字の合計が特定の値に一致するなど）に従う「べき」であることを十分に理解しています。そのため、実際に計算を行っていなくても、そのルールに合うように答えをでっち上げます。

5. 「戦略」の罠

研究者たちは、ロボットにより効率的な数学的方法を使うよう強制することで（「長い方法を使わず、短い方法を使え！」と指示するなど）、彼らを助けようと試みました。

結果: それは役立ちませんでした。たとえ「簡単な」方法を使うよう強制されても、ロボットは依然として失敗しました。
なぜか: 問題は彼らが「どの」方法を使ったかではなく、ステップを順序立てて保持し続けることができなかったからです。疲れたランナーに「歩幅を小さくしろ」と言うようなものです。すでに疲れ果てている場合、歩幅を小さくしてもレースを完走する助けにはなりません。

6. ロボットの 3 つの階層

この論文は、10 種類の異なる AI モデルを、いつ破綻したかによって 3 つのグループに分類しました。

ティア 1（最強）: 彼らは 5x5 の数学問題を主に正しく処理できましたが、最も複雑な種類の答え（固有値など）を求められた場合でも、諦めてでっち上げ始める傾向がありました。
ティア 2（中間）: 彼らは中程度の問題には対応できましたが、最も難しい問題では完全に崩壊しました。
ティア 3（最弱）: 彼らはより早期に失敗し始め、非常に早く諦めました。中程度の大きさの問題であっても、答えをでっち上げることがよくありました。

結論

この論文は、これらの AI モデルの失敗はランダムではないと結論付けています。その失敗は構造的です。

彼らは小さなタスクでは優れています。
彼らは計算ミスにより中程度のタスクで苦労します。
彼らは大きく複雑なタスクでは完全にタスクを放棄し、内部の「ワーキングメモリ」が枯渇するため、もっともらしい嘘を作り始めます。

著者たちは、他の科学者がこの「ワーキングメモリ」の限界を研究し、修正を試みられるよう、すべてのデータとツールを公開しました。彼らは、これらのモデルにとって**「数学を計算すること」が「数学を知ること」よりも難しい**ことを証明しました。

技術的サマリー：LinAlg-Bench

問題定義

数学的推論における大規模言語モデル（LLM）の現在の評価は、難易度と新規性を混同しており、最終的な回答の精度のみを測定し、知識の欠如と実行の失敗を区別していない。支配的な統計的説明は、モデルの失敗が不十分な訓練データまたは一般的な能力の天井に起因すると示唆している。本論文は、再帰的計算負荷下での LLM の失敗はランダムではなく、構造的に制約されていると主張する。具体的には、失敗様式がアルゴリズムファミリーと行列の次元に基づいて予測可能に変化し、測定可能な複雑さの閾値において実行エラーから計算の放棄へと移行すると仮定している。線形代数がテストベッドとして選択された理由は、その演算がアルゴリズム的に正確であり、行列の次元を通じて自然にスケーリング可能で（根本的なタスクを変更することなく）、各レベルが正確に 1 つの計算要件を追加する認知階層に分解されるからである。

手法

著者らは、数学的知識から計算の深さを分離するように設計された診断ベンチマーク「LinAlg-Bench」を導入する。

データセット: このベンチマークは、SymPy による記号計算で検証された 660 件の整数要素の問題で構成され、9 種類のタスクタイプと 3 種類の行列次元（ $3\times3$ 、 $4\times4$ 、 $5\times5$ ）に分散されている。これにより、6,600 件のモデル出力が網羅的に評価された。
モデル: 10 の最先端モデルが、温度 0 でゼロショット評価された。これらは多様なアーキテクチャ（Dense、MoE）、訓練パラダイム（推論最適化、RLHF、ハイブリッド）、およびプロバイダー（OpenAI、Google、Anthropic、Meta、Alibaba、Mistral、DeepSeek）にまたがっている。
認知分類: タスクは 5 つの認知レベルに整理されている：
1. 読解: 純粋な要素抽出（Trace、Transpose）。
2. 算術: 並列独立計算（Matrix-Vector、Multiplication、Power）。
3. 逐次: 行操作を通じた状態追跡（Rank、Nullity）。
4. 再帰: 深い再帰的符号管理（余因子展開による行列式）。
5. 構成: 行列式をサブルーチンとして構築（固有値）。
フォレンジックパイプライン: 3 段階の自動化された「LLM-as-a-Judge」パイプラインが、1,156 件の誤った回答を 10 個の主要なエラータグ（例：SIGN_ERROR、HALLUCINATION、MEMORY_LOSS）と 4 つの固有値固有の拡張に分類する。分類は「最初のエラー原則」に従い、計算が真実値から逸脱する最初のステップをタグ付けする。このパイプラインは 593 件の人手による注釈ラベルに対して検証され、92.6% の全体的な一致率を達成した。
アブレーション研究: 自然に余因子展開を好むモデルに対して、アルゴリズム的に効率的な戦略（ガウス消去法）を強制する標的調査を行い、演算回数か実行の深さか、どちらが真のボトルネックかをテストした。

主要な結果

1. 捏造から放棄への閾値

中心的な実証的発見は、 $4\times4$ スケールにおける急激な行動の転換である。

閾値以下（ $3\times3$ ）: モデルは計算を試み、その中で失敗する。失敗は SIGN_ERROR（33.0%）や ARITHMETIC などの実行エラーが支配的である。
閾値以上（ $5\times5$ ）: モデルは計算を試みる前に放棄する。支配的な失敗様式は HALLUCINATION（47.1%）へと移行し、具体的には Complete_Collapse であり、モデルはアクセスできないツール（Python/NumPy/WolframAlpha の呼び出しなど）をシミュレートするツールの役割演技や、制約に整合する捏造を通じて回答を捏造する。
普遍性: この転換は、すべてのモデルティアとアーキテクチャにほぼ普遍的に見られ、知識のギャップではなくワーキングメモリの限界を示唆している。

2. 階層化されたパフォーマンスと失敗様式

モデルは、その性能境界に基づいて 3 つの明確なティアに分離される。

ティア 1（例：OpenAI-o1、Gemini-3.0-Pro、DeepSeek-V3）: $5\times5$ の行列式で $\ge74\%$ の精度を維持するが、固有値の精度はほぼゼロに収束する。彼らは「捏造から放棄への」転換を示すが、再帰的実行をより長く維持する。
ティア 2（例：GPT-5.2、Mistral-Large）: 再帰的負荷を部分的に耐えるが、構成レベルで崩壊する。
ティア 3（例：GPT-4o、Llama-3.3-70B、Claude-4.5-Sonnet）: 再帰レベル（ $5\times5$ の行列式精度 $\le12\%$ ）で完全に崩壊する。

3. 制約を認識した捏造

モデルが $5\times5$ で固有値の計算に失敗する場合、任意の数を生成するわけではない。代わりに、部分的な数学的制約を満たす値を捏造する。

捏造された固有値の和の 45% が行列のトレースと一致する。
捏造された大きさの 85% がフロベニウスノルムの境界を尊重する。
この「制約を認識した捏造」は、モデルが表面的な制約を満たすために部分的な知識を活用しつつ、核心的な計算に失敗する構造化された幻覚モードを表している。

4. 戦略対実行の深さ

本研究は、アルゴリズムの効率性（演算回数）が主要なボトルネックであるという仮説に挑戦する。

観察: 自然なゼロショット設定において、余因子展開（ $O(n!)$ ）に厳密に固定されたモデルは、ガウス消去法（ $O(n^3)$ ）を使用するモデルよりも頻繁に崩壊した。
アブレーション: モデルに明示的にガウス消去法を使用させるよう強制された場合、精度は有意に回復しなかった（例：Mistral-Large は 26.9% にわずかに改善されたのみ；他のモデルはほぼ 0% のままだった）。
結論: ボトルネックは選択されたアルゴリズムではなく、自己回帰的実行の深さである。ガウス消去法は、高度に依存する分数算術の厳密な逐次チェーンを必要とする。初期のステップでの単一エラーは不可逆的に伝播し、結果を崩壊させる。一方、余因子展開は数学的にはより高価であるが、トランスフォーマーにとって実行が安全な、並列かつ独立した整数ステップで構成されている。

意義と主張

LinAlg-Bench は、LLM の数学的失敗の構造的性質に関するフォレンジック分類と、検証可能な実証的発見に貢献する。

構造的制約: LLM の失敗はランダムではなく、アルゴリズムファミリーと行列の次元によって決定される。実行エラーから計算の放棄への転換は、ワーキングメモリの限界と一致する測定可能な閾値である。
新しい失敗様式: 本論文は、計算過負荷下で発生する 制約を認識した捏造 と ツールの役割演技による崩壊 を、標準的な精度ベースのベンチマークでは正しく分類されたり検出されたりしない、明確で構造化された幻覚メカニズムとして記録している。
機械的仮説: この発見は、符号追跡の失敗における後期層のパリティ回路の関与や、完全な崩壊中のこれらの回路の抑制など、機械的解釈可能性のための検証可能な仮説を生成する。
評価手法: 本論文は、診断ベンチマークは単にリーダーボードの順位を生み出すのではなく、検証可能な機械的仮説を生成すべきであると主張する。アルゴリズムを固定したまま次元をスケーリングすることで、計算の深さを数学的知識から分離できることを実証している。

著者らは明示的に、捏造から放棄への閾値とワーキングメモリの説明は、データによって直接支持される主張であり、機械的解釈可能性ツールによる検証と分野横断的な複製を招き入れると述べている。すべてのデータ、モデル出力、エラーラベル、およびジャッジパイプラインは公開されている。