Evaluating the relationship between regularity and learnability in recursive numeral systems using Reinforcement Learning

論文「再帰的数体系における規則性と学習性の関係を強化学習を用いて評価する」の詳細な技術的概要は以下の通りです。

1. 問題提起

本論文は、英語の10進法や中国語などの再帰的数体系を形成する進化的および認知的圧力について調査する。人間の数体系は非常に規則的であるが、理論的に可能な体系は非常に不規則になり得る。先行研究（例：Prasertsom et al., 2026）は、自然な体系が語彙サイズと形態統語的複雑さの間のトレードオフを最適化することを示唆しているが、規則性（形式の再利用）については説明できていない。

核心的な研究課題は：規則性は学習性を促進するか？
著者らは、規則的な体系が普及しているのは、限られた訓練データから広範な整数を正確に表現するための一般化を必要とする学習タスクにおいて、学習が容易であるためであると仮説を立てている。彼らはこの仮説を検証するため、学習プロセスをシミュレートする強化学習（RL）エージェントの使用を目的としている。

2. 手法

本研究は、さまざまな数体系の学習性を定量化するために**単一エージェント強化学習（RL）**を採用している。

• タスク定式化: タスクは、連続行動空間を持つ文脈付きバンディット問題として枠組み化されている。

  • 入力: 数値文字列（形態素の系列）。
  • 出力: 予測された整数値（1–99）。
  • エージェントアーキテクチャ: 単層の LSTM ネットワーク。形態素は埋め込み（サイズ 5）され、逐次的に処理され、最終的な隠れ状態はスカラー $\mu \in [0, 1]$ を予測する。これはガウス方策 $N(\mu, \sigma)$ の平均として解釈される。
  • 報酬関数: 予測された整数と目標整数の距離に基づいた、有界かつ指数関数的に減衰するガウス関数。1–99 の範囲外の予測にはゼロ報酬が与えられる。
  • 訓練: エージェントは REINFORCE アルゴリズムを用いて 30,000 エポック訓練される。
  • 指標: 学習性は、テスト精度対訓練エポックの**曲線下面積（AUC）**によって測定される。AUC が高いほど学習が速いことを示す。

• システムデータセット: 本研究は 4 つのシステムカテゴリを評価する。

  1. 人間体系: 128 の実証された再帰的数体系。
  2. D&S 最適: 語彙サイズと複雑さのトレードオフのために人工的に生成された体系（Denić & Szymanik, 2024）。
  3. Y&R 最適: 同じトレードオフで最適化されたが、人間らしい制約を課された人工体系（Yang & Regier, 2025）。
  4. ランダムベースライン: 人間らしい記号を使用した 300 の未実証体系。

• 規則性の測定: 不規則性は、その体系の文法を生成するために必要な**最小決定性有限オートマトン（DFA）**のサイズによって定量化される。この指標は、DFA の遷移表、初期状態、受理状態を符号化するために必要なビット数を計算する。

• 実験条件:

  • 実験 1: 訓練分布（$p(n)$）とテスト分布（$q(n)$）の両方がべき乗則（$n^{-2}$）に従う。これはコミュニケーション頻度（小さな数への重い偏り）を反映している。
  • 実験 2: 訓練はべき乗則に従うが、テストは一様分布（$q(n) \propto 1/99$）を使用し、すべての整数への一般化をテストする。
  • 実験 3: 人間の体系の「局所的な近傍」（既存の形態素の配列のみを変化させる）に焦点を当て、語彙サイズと平均長を一定に保ちながら規則性の効果を孤立させる。

3. 主要な結果

• 実験 1（べき乗則による訓練とテスト）:

  • 結果: 規則性と学習性の間に有意な相関は見られなかった（$\beta = -0.020$）。
  • 解釈: テスト分布が偏った訓練分布（小さな数に焦点を当てたもの）と一致する場合、エージェントは大きな数への一般化を必要とすることなく高い精度を達成できる。したがって、規則性の構造的利点は活用されない。

• 実験 2（べき乗則による訓練、一様分布によるテスト）:

  • 結果: 不規則性と学習性の間に強い負の相関が見られた（$\beta = -0.828$）。非常に規則的な人間らしい体系は、学習が著しく容易である。
  • 解釈: エージェントが稀な大きな数（「ロングテール」）へ一般化しなければならない場合、規則的な体系はエージェントが学習した部分（形態素や規則）を効率的に再利用することを可能にする。不規則な体系は、これらの再利用可能なパターンを提供しない。
  • 局所的規則性: 「局所的規則性」指標（30 代、40 代などの連続する数値範囲内での規則性）を導入することで相関がさらに向上し、フランス語のようなグローバルな基底が不整合でも局所的な範囲が一貫している外れ値を説明できた。

• 実験 3（局所的近傍）:

  • 結果: 固定された語彙サイズと長さを持つ特定の体系ファミリー内では、30 の近傍のうち 21 で不規則性と学習性の間に負の相関が見られた。
  • ニュアンス: 非常に不規則な体系（ランダムベースライン）の場合、規則性は学習性にほとんど影響を与えなかった。代わりに、**形態統語的複雑さ（長さ）**が決定的な要因となった。規則性に関わらず、長い形式は記憶が困難であった。

4. 主要な貢献

1. 学習性の代理としての RL: 強化学習エージェントが、特に規則性と一般化の間のトレードオフを捉えることで、言語体系の学習性を効果的にモデル化できることを実証した。
2. 一般化の役割: 規則性と学習性の間の関連は条件付きであることを確立した。規則性は、学習タスクが直近の訓練分布（頻繁な小さな数）を超えて（希少な大きな数へ）一般化を要求する場合にのみ、学習性の利点を付与する。
3. 複雑性指標の精緻化: 「不規則性」は学習性の単一の予測因子ではないことを示した。非常に不規則な体系では長さ/複雑さが支配的であるのに対し、規則的な体系では構造的規則性が支配的である。
4. 局所的規則性対グローバル規則性: 連続する範囲内の一貫性である局所的規則性の概念を導入し、フランス語のような混合基底を持つ体系でも学習可能である理由を説明した。

5. 意義と含意

• 言語の進化: 本研究の知見は、規則的な数体系の言語間での普及が、最も頻繁に使用されるものだけでなく、すべての整数を表現するために世代間で知識を効率的に伝達する必要があるという学習性の圧力によって駆動されているという仮説を支持する。
• 認知モデリング: この研究は、人間の数値の学習が同様の一般化メカニズムに依存している可能性を示唆している。先行する人間の実験（Holt & Barner, 2025）との不一致は、それらの特定の実験デザインにおいて大きな数への一般化を促す圧力が欠如していたことに起因すると考えられる。
• 今後の方向性: 著者らは、カウントのルーチン（逐次的な曝露）が、人間の学習において大きな数の頻度を人工的に高め、一般的な規則の抽出を促進する可能性を提案している。また、学習性は多面的な空間であり、仮説空間の異なる領域では異なる複雑性要因（長さ対規則性）が支配的になることを示唆している。

結論として、本論文は、規則性が数体系の適応的特徴であり、限られたデータから整数の普遍集合への堅牢な一般化を可能にするために選択されたという計算論的証拠を提供する。