Nothing from Something: Can a Language Model Discover 0?

技術要約：無から有へ：言語モデルは「0」を発見できるか？

問題提起
本論文は、人工ニューラルネットワークが「分布外（out-of-distribution）」の汎化、具体的には、訓練データには存在しない真に新しい数学的構造を仮説立て、学習する能力を備えているかどうかを調査している。近年の大規模言語モデル（LLM）は、複雑な数学的ベンチマーク（IMOやPutnamなど）において高い性能を示しているが、これらの成功は、テスト問題の複雑さと内容を反映した訓練データに大きく依存している。著者らは、真の数学的発見には、概念の宇宙からより強力な概念を含む宇宙へと橋渡しをする、概念的なギャップを埋めるシステムが必要であると断じている。数字の「ゼロ」の導入をケーススタディとして、本論文は次のように問いかける。「正の単一桁の算術のみで訓練されたモデルは、ゼロを含むように汎化できるのか、そして言語の事前学習は、この飛躍を促進するのか？」

手法
著者らは、制御された実験セットアップを用いて、GPTスタイルのデコーダーのみのトランスフォーマー（具体的にはGPT-2規模のアーキテクチャ）を採用している。

• モデル: 2つの主要な構成をテストした。小規模モデル（4レイヤー、埋め込み次元128、パラメータ数約80万）と、大規模モデル（12レイヤー、埋め込み次元768、パラメータ数約1億2400万）である。これらは4つの条件下で評価された：(1) フィルタリングされていないOpenWebTextで事前学習、(2) 数値や数学記号を除去したフィルタリング済みのOpenWebTextで事前学習、(3) 未加工のデータで事前学習したが、特定の数学的訓練は行わない、(4) 事前学習なし。
• データ構築:
  • 算術タスク: 変数長の単一桁の加算および減算問題（オペランドは2〜4個）を用いてモデルを訓練した。
  • ゼロ・ホールドアウト戦略: 訓練セットおよび検証セットには、オペランドまたは結果としてゼロが登場しない問題（「10」のような多桁の答えの一の位を除く）のみを含めた。テストセットは、ゼロを必要とする問題（例：「3-3=0」や「0+5=5」）のみで構成された。
  • トークナイゼーション: 各数字と記号を個別のトークンとするカスタムの手動トークナイゼーション・スキームを使用した。これにより、モデルが「0」をより大きな整数トークンの一部としてではなく、特定のトークンとして扱うことを保証した。
  • 言語事前学習: 「フィルタリング済み」モデルが算術への事前の露出を持たないことを確実にするため、非自然言語文字を削除し、数値を単語に変換し、数学記号をフィルタリングすることで、OpenWebTextのキュレーションを行った。パープレキシティのチェックにより、これらのモデルが算術トークンに対して事前知識を持っていないことが確認された。
• 実験設計:
  1. ゼロショット汎化: 正の数のみの算術で訓練されたモデルを、ゼロを含む問題でテストした。
  2. フューショット学習: 訓練データの極めて小さな割合（1から1024例の範囲）を、ゼロを含む問題に置き換え、サンプル効率を測定した。
  3. コントロール実験: ゼロの困難さを判断するために、ゼロ・ホールドアウト手順を数字1〜9（および、進数8における1〜7）に対して繰り返した。

主な結果

1. ゼロショット汎化の失敗: 言語事前学習やモデルのサイズに関わらず、GPT-2規模のモデルは、訓練分布にゼロが完全に欠如している場合、ゼロへの汎化に失敗した。訓練損失が減少し、検証精度が飽和しているにもかかわらず、ゼロを含む問題に対するテスト精度はチャンスレベル（偶然レベル）にとどまった。
2. フューショットデータのインパクト: 訓練セットにゼロを含む例を少量導入すると、モデルの性能は大幅に向上した。
   • 言語事前学習を行ったモデルでは、わずか64例（訓練データの0.64%）で60%以上の精度が得られ、1024例で90%以上の精度が得られた。
   • サンプル効率: 言語事前学習は、事前学習なしのモデルと比較して、必要なフューショット例の数を約50%削減した。これは、言語能力が数学的発見のための足場（スキャフォールド）として機能することを示唆している。
3. ゼロの特殊性: 汎化の難易度は数字によって異なった。範囲の中間にある数字（例：4, 5）は、ゼロや「繰り上がり」の数字（進数10における9、進数8における7）よりも汎化が容易であった。
   • 埋め込みベクトルの分析により、0と9の表現は、中間にある数字と比較して「近傍（コサイン類似度の高い数字）」が少ないことが明らかになった。これは、モデルが表現上の近傍が疎な数字への外挿に苦戦するという仮説を支持している。
4. スケーリングの限界: 付録に含まれる、より大規模なオープンソースの10億パラメータモデルを用いた実験でも、明示的な露出なしにテスト時にゼロを発見することはできず、スケーリング単独ではこの特定の汎化問題を解決できないことが示唆された。

意義と主張
本論文は、ニューラルモデルにおける「概念的汎化」の厳密なベンチマークを提供していると主張しており、これは構成的汎化とは異なるものである。著者らは以下の結論を導き出している：

• 現在のGPT-2規模のモデルは、算術訓練のみを通じてゼロの概念を自発的に発見することはできず、明示的な露出を必要とする。
• 言語事前学習はゼロショットの発見を可能にするものではないが、概念が導入された際の学習プロセスを大幅に加速させ、データ要求量を約半分に削減する。
• この知見は、言語能力が人間の認知における形式的概念の進化を足場として支えるという、認知科学の理論（Carey, 2009など）と並行している。
• ゼロ（および繰り上がり数字）への汎化の難しさは、既存のトークン表現の「補間」を超えて外挿するモデルの能力における限界を浮き彫りにしている。

著者らは、これらの結果が単純な算術における汎化のメカニズムを解明するものである一方で、AIが独立して複雑かつ斬新な数学的証明を生成できることを示すものではないと述べ、控えめな立場を維持している。本研究は、AIシステムにおける真の数学的発見をどのように測定し、可能にするかを理解するための基礎的なステップとして機能する。