テクニカル・サマリー：信頼できるLLMにおけるゼロエラー・ホライゾン（Zero-Error Horizons）

1. 問題提起

大規模言語モデル（LLM）は、ヘルスケア、金融、原子力システムなどの安全性が極めて重要な領域への導入が進んでいます。一見すると高度な推論能力を備えているように見えるLLMですが、その能力には「穴」が存在し、単純なタスク（例：$127 \times 82$ の計算、$5$ 文字のバイナリ文字列のパリティ判定、括弧の対応関係のチェックなど）において不可解なエラーを発生させます。

現在の評価指標、主に**精度（Accuracy）**は、以下の理由から安全性が重視されるアプリケーションには不十分です。

• スケールの恣意性： 精度は、評価者が問題の範囲をどのように設定するか（例：$50 \times 50$ までの乗算をテストするか、$99 \times 99$ までにするか）に依存します。モデルは限定的な範囲では非常に高い精度を示しても、入力がわずかに大きくなっただけで壊滅的に失敗することがあります。
• 安全性の保証の欠如： 平均精度が高いことは、「穴」が存在しないことを保証しません。安全性が重要な文脈では、たった一つのエラーが致命的になり得ます。
• 飽和： 固定サイズのベンチマークは、モデルの向上に伴っていずれ飽和し、最先端の性能を差別化する能力を失います。

本論文は、平均的なパフォーマンス・スコアではなく、保証された安全境界を定義する指標が必要であると主張しています。

2. 手法：ゼロエラー・ホライゾン（ZEH）

著者らは、決定論的なグリーディ・デコーディング（greedy decoding）の下で、モデルがすべてのインスタンスをエラーなしで解ける最大の問題サイズ $n$ を表す指標として、**ゼロエラー・ホライゾン（Zero-Error Horizon: ZEH）**を提案しています。

定義

固定されたモデル、問題タイプ、およびプロンプトが与えられたとき：

• $B_n$ をサイズ $n$ の問題の集合とする。
• $T_n = \bigcup_{i=1}^n B_i$ を、サイズが $n$ 以下のすべての問題の集合とする。
• $C$ を、モデルが正解した問題の集合とする。
• ZEH は以下のように定義される：
  $$\text{ZEH} = \max \{ n \mid T_n \subseteq C \}$$

本質的に、$\text{ZEH} = k$ であるモデルは、サイズ $1$から$k$までのすべてのインスタンスを正しく解きますが、サイズ$k+1$のインスタンスにおいて少なくとも一つのエラーを発生させます。モデルが最初に失敗するサイズ$k+1$ の特定のインスタンスは、**ZEHリミッター（ZEH Limiter）**と呼ばれます。

評価タスク

著者らは、ZEHを以下の4つのタスクで評価しています。

1. 乗算： 整数乗算（$a \times b$）。サイズは $\max(a, b)$ と定義される。
2. パリティ（奇偶性）： バイナリ文字列のパリティ（1の個数が偶数か奇数か）の判定。サイズは文字列の長さ。
3. バランス括弧： 括弧の文字列が正しく閉じられているかの判定。サイズは文字列の長さ。
4. グラフ彩色： 単純無向グラフの彩色数を求める。サイズはノード数。

効率化のための最適化

ZEHの評価には網羅的な検証が必要であり、計算コストが高くなります。本論文では、4つの加速技術を提案しています。

1. ティーチャー・フォーシング（Teacher Forcing）： 自己回帰的なデコーディングの代わりに、フルシーケンス（例：$28 \times 43 = 1204$）を因果的マスク（causal mask）と共にモデルに入力し、トークンごとに並列で正誤を検証します。
2. ルックアヘッド（バッチ処理）： GPU利用率を最大化するため、サイズごとに逐次処理するのではなく、異なるサイズのインスタンスをまとめて並列処理します。
3. プロンプト・プリフィリング（Prompt Prefilling）： 共通のプロンプト・プレフィックスを一度に処理し、そのKey-Value (KV) キャッシュを全インスタンス間で共有します。
4. FlashTree： インスタンス間の共有プレフィックスにおけるKVキャッシュを共有するために、Trie構造を用いたツリー構造のアプローチを使用します（例：$1 \times 1, 1 \times 2, 1 \times 3$）。これは、ネイティブな自己回帰による $O(N^2)$ のアテンション・マスクのボトルネックを回避するために、FlashAttentionに着想を得たオンライン・ソフトマックス実装を利用しており、ナイーブな自己回帰に対して最大10倍の高速化を実現します。

3. 主な結果

3.1 最先端モデルにおける驚くべき失敗

GPT-5.2（本論文のコンテキストにおける、2026年1月付の仮定のモデル）の評価により、重大な能力のギャップが明らかになりました。

• パリティ： ZEH = 4。モデルは5文字の文字列 11000 で失敗する。
• バランス括弧： ZEH = 10。モデルは11文字の文字列 ((((()))))) で失敗する。
• 乗算： ZEH = 126。モデルは $127 \times 82$ で失敗する。
  これらの結果は、流体力学のような複雑なコード生成が可能なモデルであっても、初歩的な算術や論理タスクで失敗することを実証しています。

3.2 Qwen2.5 ファミリーの分析

著者らは、Qwen2.5シリーズ（0.5Bから72B）について乗算に関する分析を行いました。

• 精度との相関： ZEHと精度は、モデルサイズとともに一般的に増加しますが、一対一の相関関係にはありません。例えば、72Bモデルの $99 \times 99$ に対する精度は98.6%ですが、そのZEHはわずか42です。
• 記憶 vs アルゴリズム的推論：
  • 小型モデル (0.5B - 3B)： 学習データの頻度（C4コーパス）と精度の間に高い相関が見られ、**記憶（memorization）**への依存を示唆しています。彼らのZEHは低く、停滞しています。これは、記憶が確率的であるため、学習データ内のランダムな「穴」が連続的なエラーフリー・ホライゾンを妨げるからです。
  • 大型モデル (14B - 72B)： 学習頻度との相関が減少しており、**アルゴリズム的推論（algorithmic reasoning）**への移行を示しています。
• 構造化されたエラー： モデルが大きくなるにつれ、エラーはより「構造化」されます。大型モデルの場合、予測値と正解の差はしばしば10の倍数になります（例：986の代わりに1006と予測する）。これは、モデルが乗算アルゴリズム（例：一の位を正しく合わせる）を理解しているものの、実行エラー（例：繰り上がりミス）を起こしていることを示唆しており、ランダムな幻覚（hallucination）とは異なります。
• 繰り上がりへの感度： ロジスティック回帰分析によると、大型モデルは小型モデルよりも「繰り上がり」操作（桁の積が10以上になる場合）に対してより敏感です。この直感に反する結果は、大型モデルが記憶した答えを呼び出しているのではなく、算術ルールを実行しようとしているという仮説を支持しています。つまり、実行しようとしているルールの計算難易度に脆弱であるということです。

3.3 プロンプトの安定性

ZEHはプロンプトのバリエーションに対して比較的堅牢です。Qwen2.5モデルにおいて、異なるプロンプト表現間でのZEHの標準偏差は約3でした。ただし、安全性が重要なアプリケーションにおいては、複数のプロンプトの中で観察された最も低いZEHを使用することを著者らは推奨しています。

4. 意義と主張

本論文は、ZEHが信頼できるLLMにとって従来の精度指標よりも明確な利点を持つと主張しています。

1. 安全性の保証と警告信号： ZEHは明確な境界を提供します。ホライゾン内の問題は「安全」（正解が保証されている）であり、ホライゾンを超えた問題は「危険」です。これは、平均的なパフォーマンスでは不十分な安全重視の領域において極めて重要です。
2. 具体的な証拠 (ZEH リミッター)： 抽象的な精度スコアとは異なり、ZEHはモデルが失敗する具体的かつ再現可能な例（リミッター）を提供します。これにより、デバッグが容易になり、能力のギャップに対する否定できない証拠となります。
3. 客観的な指標： ZEHは精度の「スケールの恣意性」を排除します。ホライゾンは評価者のテスト範囲の選択ではなく、モデル固有の能力によって決定されます。
4. 創発への洞察： ZEHは、記憶からアルゴリズム的推論への移行を示す敏感な指標です。ZEHの成長は、たとえ全体の精度がプラトー（停滞）に達したとしても、モデルがルールを確実に実行できる能力と相関しています。
5. 将来への対応力： 固定されたベンチマークとは異 달리、ZEHはオープンエンドであり、モデルの向上に合わせて継続して機能する指標です。

著者らは、ZEHには計算コストがかかるものの、提案された最適化技術（FlashTreeなど）によって実現可能であると結論付けています。また、ZEHは精度を補完する指標として、特にハイリスクなアプリケーションにおける信頼性の検証において使用されるべきであると強調しています。