技術概要：大規模言語モデルの数値学習のための桁エントロピー損失

1. 問題定義

大規模言語モデル（LLM）は数学的推論やコード生成において顕著な能力を示してきたが、正確な数値予測は依然として根本的な課題である。LLM の標準的な訓練目的である最尤推定（MLE）は、数値予測に対して最適ではない。MLE のゼロ回避特性は、モデルに観測されたトークンに無視できない確率を割り当てるよう強制し、テキストの劣化やデータ空域の過大評価といった問題を引き起こす。

最近のペナルティ駆動アプローチ、具体的には**Number Token Loss（NTL）およびDiscretized Distance Loss（DIST2Loss）**は、数値距離の帰納的バイアスを導入することでこの課題に対処しようとしている。しかし、これらの手法には決定的な限界が存在する：

• 過度の鋭化と過度の平坦化： NTL は非ターゲットトークンの確率をほぼゼロまで積極的に抑制し、過度に鋭い分布を作成する一方、DIST2Loss は滑らかな分布を強制することで、過度に平坦で不確実な桁予測をもたらす。
• ヒューリスティックな距離への依存： 両手法とも、手動で定義された距離項（例：桁間の$L_1$距離）に依存している。分析により、LLM は桁を数値値と記号列（例：日付、ID）の両方として機能させる絡み合った表現を学習することが明らかになった。その結果、手動で課された幾何学的な事前分布は、大規模コーパスから学習された意味的表現と矛盾することが多い。
• 包括的な認識の欠如： 既存の手法は、単一桁の最適化パラダイム内で動作するか、小数を個別の整数として扱う傾向があり、浮動小数点数の連続的な性質や数値構造の全体像を捉えきれていない。

2. 手法：桁エントロピー損失（DEL）

著者らは、自己回帰的な数値学習に特化した従来の教師なしエントロピー最適化の再定式化である**Digit Entropy Loss（DEL）**を提案する。この手法は、「基準距離」から「桁エントロピー最適化」へとパラダイムを転換させる、3 つの主要な設計原則に基づいている。

A. 基準距離からエントロピー最適化へ

既存の数値学習手法は、基準距離定式化（論文の式 4）に従う：
$$\mathcal{L}_N = \mathcal{H}(p, g) + \alpha \sum \mathcal{C}(\hat{p}) \cdot \mathcal{D}(V_d, g_t)$$
ここで、$\mathcal{C}$は基準項、$\mathcal{D}$は距離項である。著者らは、距離項$\mathcal{D}$が、LLM によって学習された桁の意味的構造と整合しない幾何学的な事前分布を課すため、最適ではないと主張する。

B. DEL の 3 つの主要な設計

1. 桁条件付き確率と BCE による教師ありエントロピー：
   教師なしの形でエントロピーを最小化すること（これにより自明なワンホット解を許容する）の代わりに、DEL は教師ありの基準を導入する。これは、桁条件付き確率（$\hat{p}$）と**二値交差エントロピー（BCE）**の積を活用する。
   $$\mathcal{L}_{DEL} = \mathcal{H}(p, g) + \alpha \sum_{g_t \in V_d} \hat{p}(\cdot|x_{<t}) \cdot \text{BCE}(\bar{p}(\cdot|x_{<t}), y_t)$$
   ここで、$\bar{p}$はシグモイドに基づく二値分類確率、$y_t$はワンホットラベルである。この定式化は、エントロピー最適化を教師ありの方向へ導き、NTL の一定のペナルティによって引き起こされる「過度の鋭化」を招くことなく、確率質量をターゲット桁に集中させる。

2. 距離項の廃止：
   著者らは明示的に損失関数から距離項（$\mathcal{D}$）を除去する。桁トークン埋め込みの t-SNE による実証的分析は、LLM における桁の学習された類似性構造が、理想的な数値距離（例：埋め込み空間において'0'は'1'よりも'8'に近い場合がある）を厳密に追従しないことを示している。距離項を除去することで、DEL は矛盾する幾何学的な事前分布の注入を回避し、モデルが学習済みの意味的表現に依存することを可能にする。

3. 浮動小数点最適化への一般化：
   多桁の整数と小数を包括的に処理するために、DEL は浮動小数点数最適化戦略を導入する。小数を個別の整数として扱う以前の手法（不連続なペナルティを引き起こす）とは異なり、DEL は連続的なペナルティ関数$u(t)$を適用する：

   • 整数桁（$i \ge 0$）に対する線形ペナルティ。
   • 小数桁（$i < 0$）に対する指数関数的減衰。
     これにより、整数成分と小数成分の間の滑らかな遷移が保証され、浮動小数点数の正確な予測が可能となる。

3. 主要な貢献

• 理論的分析： 本論文は、最先端の数値学習手法（NTL、DIST2Loss）が、LLM の意味的表現と整合しないことが多いヒューリスティックな距離項に依存する「基準距離」パラダイムを共有していることを明らかにする、詳細な分析を提供する。
• 新規損失関数： 桁条件付き確率と二値交差エントロピーを組み合わせ、数値学習を再定式化する**Digit Entropy Loss（DEL）**の提案。これにより、エントロピー最小化を効果的に教師ありの方向へ導く。
• 包括的な数値認識： 単一桁の最適化から浮動小数点数最適化への数値学習の拡張。先行研究で見られた小数予測における不連続性の問題に対処する。
• 実証的検証： 複数のアーキテクチャとベンチマークにおいて、DEL が MLE、MixCE、EMO、NTL、DIST2Loss を上回ることを示す包括的な実験。

4. 実験結果

著者らは、7 つの数学的推論ベンチマーク（GSM8K、MATH、SVAMP、SimulEq、AQuA、SAT、MMLU）において、4 つの代表的な LLM（CodeLlama、Mistral、DeepSeek-Math、Qwen-2.5）を使用して DEL を評価した。

• 全体の精度： DEL は、すべてのモデルアーキテクチャとベンチマークで一貫して最高平均精度（mACC）を達成した。例えば、Qwen-2.5-7B モデルにおいて、DEL は mACC 70.6を達成し、ベースラインの MLE（68.3）および次点の手法である DIST2Loss（69.2）を上回った。
• 数値距離： DEL は、予測値と真値との間の数値距離（平均絶対誤差）を大幅に減少させ、明示的な距離項がなくてもより正確な数値生成を実現することを示した。
• エントロピー分析： 桁エントロピー（不確実性）を増加させた DIST2Loss や、分布を過度に鋭化した NTL と異なり、DEL は数値の不確実性に対して「穏やかな」最適化を維持し、決定性と柔軟性のバランスを取った。
• アブレーション研究： 距離項の除去と浮動小数点最適化の組み込みが性能向上に不可欠であることを実験が確認した。具体的には、DEL に距離項を追加すると性能が低下し、その廃止の決定が正当化された。

5. 意義と主張

本論文は、**Digit Entropy Loss（DEL）**が、ヒューリスティックな距離ベースの手法の限界に対処することで、LLM の数値学習において重要な前進を遂げたと主張する。

• パラダイムの転換： 本作業は、数値学習が、手動で定義された幾何学的な事前分布（距離項）から、モデルによって学習された意味的表現を尊重するエントロピーベースの最適化へと移行すべきであると論じる。
• 信頼性： 数値トークンに対して極めて決定論的な生成を達成することで、DEL は定量的分析や論理的推論を必要とする下流タスクにおける信頼性の高い LLM 展開のための前提条件となる。
• 限定的な範囲： 著者らは、DEL が数値生成の精度を向上させるものの、トークンレベルで動作し、複雑な数学的演算（加算、乗算など）や数値意味の全体像を共同でモデル化するものではないことを認めている。彼らは DEL を、数学的推論の全側面に対する完全な解決策というよりも、数値生成のための基盤的な改善として位置づけている。

要約すると、本論文は DEL を、既存の数値損失関数に対する堅牢で理論的に裏付けられた代替案として提示し、人工的な距離制約の除去と教師ありエントロピーの最適化が、数学的推論およびコード生成タスクにおいて優れた性能をもたらすことを実証している。