技術要約：複雑性の天井ベンチマーク (Complexity Ceiling Benchmark: CCB)

問題提起

現在の大規模言語モデル（LLM）のベンチマークは、通常、固定された難易度のタスクに対する集計的な精度を報告している。このアプローチは、知識の欠落、プロンプトの読み飛ばし、コンテキストウィンドウの枯渇、あるいは逐次的なステップにおける一貫性の累積的な喪失といった、長期的推論（long-horizon reasoning）における特定の失敗モードを隠蔽してしまう。集計された指標はモデルが「失敗したこと」は示すが、「なぜ」失敗したのか、あるいは要求される推論ステップ数（$N$）が増加するにつれてどのように性能が低下するのかを説明できない。この粒度の欠如は、LLMをエージェントとしてデプロイする際の制限となる。エージェントにおいては、多くのステップにわたる持続的な一貫性が極めて重要であるためである。

手法

著者らは、意味的内容を一定に保ちながら、推論の深さを主要な実験変数として扱う制御された評価フレームワークである**複雑性の天井ベンチマーク（CCB）**を導入する。

ベンチマーク設計

CCBは、要求されるステップ数 $N$ を5から50までスイープしながら、3つの構造的に異なるドメインでモデルを評価する：

1. D1 (接地された空間状態追跡): 「エイリアン・グリッド」タスク。衝突制約の下で、離散的な変換（回転、入れ替え、シフト）を受ける $3\times3$ のグリッドを扱う。エラーは決定論的に蓄積する。
2. D2 (抽象的記号ポインタ操作): 循環シフトと剰余演算の下で、異なる数字を保持する7つの変数を維持する必要があり、かつ割り当ての一意性制約に従うタスク。
3. D3 (推移的関係推論): 10人のエージェントによる外交的グラフを扱う「ソーシャル・ロジック」タスク。新しい同盟/敵対関係のエッジが追加されるたびに、推移的閉包（$O(n^2)$ の関係）の再計算を要求される。

評価パイプライン

• モデル: 5つのフロンティアモデルおよびオープンウェイトモデル（Claude 3.7, Gemini 2.0 Flash, DeepSeek, GPT-4o-mini, LLaMA-3.3-70B）を、6,000回の試行（各セルにつき $n=40$）にわたって評価した。
• パース: 正規表現ベースの厳格なパーサーを用いて、出力を「正解（Correct）」「推論（Reasoning：標準的なトレースから逸脱）」「制約違反（Constraint violation）」「フォーマット失敗（Format failure）」「切り捨て（Truncation）」「APIエラー」の互いに排他的な結果に分類する。これにより、LLM-as-a-judgeへの依存を回避している。
• トレースレベルの指標 (TFBC): 著者らは、最終的な答えが正解であっても、中間的な推論がステップ $k^*$ で標準的なトレースから逸脱しているケースを特定するために、Trace First Branch Correct (TFBC) を定義する。これは「トレースに忠実な」正解と「ラッキーな推測による」正解を区別するものである。

幾何学的減衰モデル

論文では、ステップごとの保持率を幾何学的減衰関数を用いてモデル化している：
$$P(\text{correct} | N) = p_d^N$$
ここで、$p_d$ は、ある状態 $S_k$ が維持されているという条件下で、状態遷移 $S_k \to S_{k+1}$ を正しく計算できる確率である。パラメータ $p_d$ は、各（モデル、ドメイン）のペアに対して最大尤度推定（MLE）を通じて推定される。成功閾値 $s$ に対する有効なタスクホライゾン $H_s$ は、$H_s \approx \ln(s) / \ln(p_d)$ として導出される。

注：著者らは、仮定1（独立したステップごとの失敗）は、自己回帰的なエラーは正の相関を持つ（ステップ $k^*$ でのエラーはそれ以降のすべてのステップを汚染する）ため、楽観的な境界であると認めている。したがって、$p_d^N$ は持続的な正確性のための楽観的なエンベロープ（包絡線）として機能する。

主な結果

1. ドメイン固有の天井（Ceilings）

ベンチマークは、ドメイン間の顕著な解離を明らかにしている：

• D1 & D2 (空間および記号): 強力なフロンティアモデル（Claude, Gemini, DeepSeek）は、高い保持確率（$p_d \in [0.92, 0.99]$）を維持している。例えば、ClaudeはD2において $p_d=0.987$ を達成し、$N=50$ において約55%の精度を維持している。非フロンティアモデル（GPT-4o-mini, LLaMA）は、はるかに早く（$N \approx 15$）崩壊する。
• D3 (推移的ロジック): すべてのモデルが、能力の階層に関わらず、$N=5$ を超えると崩壊する。最高のモデル（Claude）でさえ、50%成功ホライゾンは $H_{0.5} \approx 4.7$ ステップ（$p_d=0.863$）に過ぎない。これは、D3が、再帰的な状態更新やグローバルな一貫性の処理におけるアーキテクチャ上の限界に起因する、質的に異なる、より困難な領域であることを示唆している。

2. トレースレベルの逸脱 ($k^*$)

推論が最初に逸脱した平均ステップ（$k^*$）は、パラメータ数よりもドメイン内精度を忠実に予測する。

• D2において、Claudeはグローバルな一貫性で失敗する前に約17ステップのコヒーレンスを維持するが、LLaMAは最初の記号的遷移で失敗する（$k^* \approx 3.9$）。
• D3では、$k^*$ はすべてのモデルにおいて一様に低く（$2.88 - 4.30$）、これは失敗が容量の問題ではなく構造的な問題であることを裏付けている。

3. 「ラッキーな推測」現象

ベンチマーク全体を通じて、14.5% の正解がTFBC（逸脱した推論だが、最終回答は正解）であった。

• D2では、正解のほとんどはトレースに忠実である（Claudeでわずか8%のTFBC）。
• D3では、正解はラッキーな推測によって支配されている（トップモデルで56–62%のTFBC）。
  これは、集計された精度が、特に困難なドメインにおいて、推論の質を大幅に過大評価していることを示している。

4. プロンプトによる介入

• 冗長性: 冗長な状態追跡（信念の再表明）を強制しても、D3の性能は向上しなかった（McNemar $p=1.000$）。
• プロンプト構造: 特定の配置フォーマット（VAR B）は、わずかな精度の向上（$N=15$ で20%の精度）をもたらしたが、根本的に天井を押し上げたり、より長いホライゾンへとスケールさせたりすることはできなかった。

意義と主張

本論文は、モデルの長期的推論プロファイルを、タスクファミリーごとの2つの解釈可能な数値、すなわち $p_d$（ステップごとの保持率）と $k^*$（平均コヒーレンス深度）に集約できると主張している。

1. 失敗レジームの診断: CCBは、3つの異なる失敗モードを特定する：
   • D1: ステップごとの保持のボトルネック（フォーマットの問題ではない）。
   • D2: 制約管理のボトルネック（不正な再割り当て）。
   • D3: 構造的なカスケード崩壊（推移的閉包には、標準的な自己回帰的アテンションには存在しないメカニズムが必要となる）。
2. 現行アーキテクチャの限界: サイズの異なるモデル間でD3における一様な崩壊が見られることは、容量の限界ではなくアーキテクチャのボトルネックであることを示唆している。著者らは、標準的なアテンション・メカニズムがシーケンスの階層性を平坦化してしまい、推移的閉包に必要な再帰的なスタック管理をサポートできていないと推測している。
3. デプロイへの影響: 指標 $p_d$ を用いることで、実務者は、深度層別評価を再実行することなく、期待される精度が選択した閾値を下回る深度を推定できる。
4. 今後の方向性: 論文は、プロセス監督（process-supervised）モデル、再帰的スカフォールド、および明示的なグラフ状態を持つツール拡張システムを評価することが、D3の天井を押し上げられるかどうかを判断するための次のステップであると明言している。

著者らは、CCBが次世代のメモリ拡張システムのための原則的な診断を提供すると結論づけており、フォーマット、状態のドリフト、あるいは推移的推論を扱うための根本的なアーキテクチャ上の能力の欠如による失敗を区別できるとしている。