技術要約：言語モデルは算術における記号的学習者である

問題提起

大規模言語モデル（LM）が算術を実行しているかどうかを巡る議論の核心は、これらのモデルが真にアルゴリズムを計算する手法を学習しているのか、それとも単に表層的なパターンマッチングを習得しているに過ぎないのかという点にある。最先端のモデルはGSM8Kのようなベンチマークで飽和状態に達しているが、それらが真の数値的推論能力を備えているのか、あるいはその成功が訓練データの統計的パターンから織りなされた「精巧なイリュージョン」に過ぎないのかは依然として不明である。本論文は後者の立場をとり、LMは乗算の抽象的なアルゴリズムを学習するのではなく、データセットの統計に適合するために可能な限り単純なショートカットを優先する「強欲な記号学習者（greedy symbolic learners）」であると断定する。

手法：サブグループ帰納法（Subgroup Induction）

この仮説を検証するために、著者らはソロモンオフ帰納法（Solomonoff Induction; SI）から適応させた実用的なフレームワークであるサブグループ帰納法を導入する。SIは、コルモゴロフ複雑性を介してオッカムの剃刀（より単純な仮説を好む）を用いることで、計算可能性とベイズ原理を組み合わせた最適な予測のための理論的枠組みである。

著者らは、算術学習という具体的な設定に合わせてSIの原理を適応させ、サブグループを分析の基本単位として定義した。サブグループ $s$ は、入力数字（$A, B$）のサブセットから単一の出力数字（$C$）への最小限のマッピングである。このフレームワークは、算術問題をこれらのサブグループに分解することで、LMが利用している「ショートカット」を特定する。

2つの相補的な指標が、サブグループの複雑さを測定するために提案されている：

1. サブグループの質 ($Q(s)$): 特定の入力トークンのサブセットのみを使用して出力数字を予測する精度を計算（他のトークンをゼロにマスクする）することで、ショートカットの生存能力を測定する。高い $Q(s)$ は、信頼性が高く、少ないトークン数で済むショートカットであることを示す。
2. サブグループのエントロピー ($H(s)$): サブグループ内のラベル空間における出力ラベルの固有の曖昧さまたは変動性を測定する。これは、エラー推定および推論パスを分析するための計算効率の高いツールとして機能する。

著者らは、LMによる入力トークンの選択を「仮説選択プロセス」として扱う。彼らは、LMが「トークン予算ツリー（token-budget tree）」探索に従っていると仮定しており、最初は少ないトークンを必要とする高品質なショートカットを学習し、学習目的によって強制された場合にのみ、段階的に、より複雑でマルチトークンのパターンを取り入れていくと考えている。

主要な結果

1. U字型の精度パターン

Gemma-2-2BおよびLlama-3.1-8Bを用いた多桁乗算（3桁から5桁）の実験により、明確なU字型の精度曲線が明らかになった。

• 観察: モデルは最初（最も重要な桁）と最後（最も重要でない桁）の出力数字を急速に習得し、95%以上の精度を達成する。逆に、シーケンスの中間の数字については、精度が劇的に低下（約10%まで）する。
• 相関: このU字型は偶然ではなく、最も単純なサブグループのサブグループの質 ($Q(s)$) を完璧に反映している。
  • 端の部分: 最も重要でない桁は、最後の入力数字（例：$A_2 \times B_2$）のみに依存し、最も重要な桁は、先頭の数字を用いた大きさの推定によって制約を受ける。これらは少ないトークン数（低い $k$）を必要とし、高い $Q(s)$ を持つ。
  • 中間部分: 中間の数字は、多くの入力数字からのクロス項や繰り上がり操作を統合する必要がある。これらの位置における低トークンのサブグループは、$Q(s)$ が低いため、モデルは学習の後半でより多くのトークンを必要とする複雑なマッピングを学習することを余儀なくされる。

2. 木探索としての学習ダイナミクス

著者らは、学習ダイナミクスを「トークン予算ツリー」への探索として解釈している。

• フェーズ1: モデルは、最小限のトークンを用いて、ツリーの「容易な」葉（端の数字）を迅速に適合させる。
• フェーズ2-n: 残差エラーが存続するにつれ、勾配は、曖昧さを解消するために、より大きなサブグループ（より多くのトークン）を取り入れるようモデルを駆動する。
• 結論: LMは乗算のアルゴリズム全体を学習するのではなく、抵抗の少ない経路から始まる、記号から記号への階層的なマッピングを学習するのである。

3. サブグループ・エントロピーと思考の連鎖（CoT）

本論文は、このフレームワークを思考の連鎖（Chain-of-Thought; CoT）による推論へと拡張している：

• エラー推定: サブグループのエントロピー（$H(s)$）は、モデルの性能と強く相関している。集約エントロピーが低いタスク（例：より小さな剰余を用いた剰余演算）は、高い精度をもたらす。
• CoTの最適化: CoTの設定において、乗算問題をステップ（例：エジプト式乗算 vs 標準的な乗算）に分解することは、パフォーマンスに影響を与える。研究によれば、集約サブグループ・エントロピーが最も低いCoTパスが一貫して最高の精度を達成することが示された。これは、LMが最も容易な一連の記号的ショートカットで構成された推論戦略を好むことを示唆している。

主な貢献

1. サブグループ帰納フレームワーク: 問題を最小限の入出力マッピングに分解することで、算術におけるLMの学習メカニズムを分析するための、ソロモンオフ帰納法から派生した新しい実用的なフレームワーク。
2. U字型精度の発見: 多桁乗算における一貫したU字型の精度パターンの特定。これは、LMが単純なショートカットを通じて端の数字を習得する一方で、中間の数字の複雑な相互依存関係に苦戦するという経験的な証拠を提供している。
3. メカニズムの説明: U字型が「トークン予算」の階層の直接的な結果であることの証明。すなわち、モデルは複雑なパターンを学習する前に、低トークンで高品質なショートカットを優先する。
4. 指標としてのエントロピー: エラー境界を推定し、CoT設定における推論パスの複雑さを評価するための、計算効率の高い指標としてのサブグループ・エントロピーの導入。

意義と主張

本論文は、LMにとっての算術習得への道は、抽象的なアルゴリズムの発見によって舗装されるのではなく、単純で階層的に学習された記号的ショートカットの連鎖によって築かれるものであると主張している。

• 信頼性への示唆: これらの知見は、LMが真の数値的推論を発達させているのではなく、単純なショートカットが失敗するような分布外（out-of-distribution）のシナリオ（例：複雑な乗算における中間の数字の計算）に対して脆弱な、高度なパターンマッチング能力を備えているに過ぎないことを示唆している。
• 理論的架け橋: 本研究は、理論的な普遍的予測（ソロモンオフ帰納法）と現代のニューラルアーキテクチャを橋渡しし、LMが「何を」達成するかだけでなく、「どのように」学習するかを理解するためのレンズを提供している。
• 実用的有用性: このフレームワークは、中間の数字に必要なトークンを明らかにするためのデータキュレーションや、記号的複雑さを最小化するCoTパスの設計など、学習のボトルネックを診断し、学習戦略を最適化するためのツールを提供する。

著者らは、LMを「強欲な記号学習者」として理解することは、信頼できるAI推論を開発する上で極めて重要であると結論付けている。なぜなら、それは現在のモデルが、単純な低トークンのマッピングに分解できないタスクを扱う際の限界を浮き彫りにしているからである。