💻 computer science

Value-Aware Numerical Representations for Transformer Language Models

本論文は、標準的なトークン入力に数値条件付きのプレフィックス・トークンを付加することで数値の大きさを明示的に符号化する、価値認識型の数値表現を導入しており、これにより、算術および数値推論タスクにおけるTransformer言語モデルの堅牢性を大幅に向上させている。

原著者： Andreea Dutulescu, Stefan Ruseti, Mihai Dascalu

公開日 2026-01-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Andreea Dutulescu, Stefan Ruseti, Mihai Dascalu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

問題点：モデルは数学において「文盲」である

非常に賢い学生（AI）を想像してみてください。この学生は何百万冊もの本を読み、物語を書いたり、質問に答えたり、複雑な論理パズルを解いたりすることには長けています。しかし、基本的な数学に関しては、驚くほど苦手です。

もしあなたがその学生に「9.11と9.9、どちらが大きいですか？」と尋ねたら、学生は自信満々に「はい（9.11の方が大きい）」と答えるかもしれません。なぜでしょうか？それは、学生にとって数字は「量」ではなく、単なる**「言葉」**だからです。

現状の仕組み: AIは数字の「14」を、「1」と「4」という一連の文字の並びとして見ています。これは「cat（猫）」と「dog（犬）」という言葉を扱うのと同じです。AIは「14」が「9」よりも大きいということを本質的に「理解」していません。学習した本の中で「14」と「9」がどの程度一緒に現れたかという頻度に基づいて、推測しているだけなのです。
結果: 数字が長くなったり複雑になったりすると、AIは混乱し、単にシーケンス内の次の「単語」を予測しているだけなので、計算ミスのような初歩的な間違いを犯してしまいます。

解決策：「値タグ（Value Tag）」

著者らは、シンプルながらも強力な修正案を提案しています。彼らは、数字の桁が表示される前に、その数字の実際の「重み」や「大きさ」をAIに伝える「カンニングペーパー」を与えようとしています。

彼らは、文章内のあらゆる数字の直前に配置される、特別な不可視のタグ <num> を導入しました。

従来の方法: 「I have 14 apples.」（AIが見ているもの：「I」、「have」、「1」、「4」、「apples」）
新しい方法: 「I have <num> 14 apples.」

ここが魔法のポイントです。この <num> タグのエンベディング（内部コード）は、ランダムな単語ではありません。それは数字の「14」に基づいて数学的に計算されたものです。これは、まるで「14」という言葉に物理的な重みを付け、AIがその重さを「感じ取れる」ようにするようなものです。

仕組み（トレーニングの比喩）

AIを料理を学んでいるシェフだと考えてみましょう。

トレーニング中（練習用のキッチン）:
シェフには「砂糖を14グラム加えてください」というレシピが与えられます。
- AIはタグ <num> を見ると、特殊な機械が即座に「14」の正確な「フレーバー・プロファイル（味の特性）」を計算し、それをシェフに手渡します。
- シェフは学びます。「この特定のフレーバー・プロファイルを見たら、それが『14』という数字の正確な意味であることを知っている」と。
- また、AIは前の単語を見るだけでそのフレーバー・プロファイルを予測することも学習します。これにより、機械がなくても重さを推測する能力が高まります。
テスト中（実際のレストラン）:
シェフは新しい料理を作るよう求められます。彼らはタグ <num> を見つけますが、機械はそこにはありません。
- しかし、猛特訓してきたおかげで、シェフは文脈に基づいて「14」のフレーバーがどのような感じかを、記憶から引き出すことができます。
- 彼らはこの内部メモリを使うことで、14が9よりも大きいことを正しく理解し、間違いを犯さなくなります。

2つの「フレーバー（手法）」

研究者たちは、この「フレーバー・プロファイル」を構築するために、2つの異なる方法を試しました。

「固定グリッド（MLP）」: 固定された目盛りを持つ定規を想像してください。すべての数字を特定のグリッドに無理やり当てはめます。単純ですが、数字が非常に長かったり特殊だったりする場合、押しつぶされてしまう可能性があります。
「柔軟なメジャー（RNN）」: どんな長さにも伸び縮みできるメジャーを想像してください。この方法は、人間が長い数字を読む時のように、数字を桁ごとに処理します。この方法の方が、さまざまなサイズの数字を扱う上でわずかに優れていることが分かりました。

結果：効果はあるのか？

研究者たちは、AIが基本的な数学のミスを犯すように設計された特別な数学試験（NUPA）を用いてテストを行いました。

標準的なAI: 正解率は約 68% でした。長い数字や比較において苦戦しました。
「値認識型（Value-Aware）」のAI: 正解率は約 72% でした。
その差: 4%という数字は小さく聞こえるかもしれませんが、AIの世界ではこれは大きな飛躍です。より重要なのは、新しいAIは、数字が長くなるにつれて混乱しがちだった従来のAIとは異なり、7桁の数字が3桁の数字と劇的に異なるものであることを、はるかに良く理解できたことです。

なぜこれが重要なのか

現在のほとんどのAI研究は、AIに「もっと深く考えさせる（長い思考の連鎖を生成させる）」ことで数学の問題を解決しようとしています。しかし、この論文は、問題はAIが十分に考えていないことではなく、AIが**「数字とは何か」を知らない**ことにあると主張しています。

数字の数値的な性質（大きさ）を直接的な「感覚」として提示することで、彼らはエラーの根本原因を解決しました。これは、ブロックの絵を見せるのではなく、実際にブロックを手に持たせて数え方を教えるようなものです。

まとめ

問題: AIは数字を単なる言葉として扱うため、数学的なミスが発生する。
解決策: 数字の前に、その数字の実際の「数学的な重み」を運ぶ特別なタグを追加する。
結果: AIは基本的な数学や比較においてより信頼性が高くなり、ゼロから再学習したり複雑な新しいアーキテクチャを使用したりすることなく、軽量なアップグレードで実現できる。これにより、AIは数字を単なる記号ではなく、量として「見る」ことができるようになる。

技術要約：Transformer言語モデルのための価値認識型数値表現

問題提起

Transformerベースの大規模言語モデル（LLM）は、複雑な数学的推論のベンチマークにおいて強力な性能を示すことが多い一方で、基本的な数値理解や算術演算の処理においては脆弱であり続ける。特定された核心的な限界は、標準的なLLMが数値を（文字やサブワードのシーケンスとしての）記号的なトークンとして処理しており、その埋め込みがトークンの共起統計のみから学習される点にある。その結果、モデルは数値の大きさ（マグニチュード）に関する明示的かつ連続的な表現を欠いている。これにより、特に数値入力の長さが増大するにつれて、大きさの比較、順序付け、および算術操作を必要とするタスクにおいて系統的なエラーが生じる。本論文は、現在の「推論集中的」なアプローチ（例：Chain-of-Thought）は、長い中間ステップを生成することでこれらの根本的な弱点を隠蔽しているに過ぎず、モデルが数値が何を表しているのかを本質的に「理解」していないという根本的な問題は解決していないと主張している。

手法

著者らは、標準的なトークン化された入力に、数値の表面形式（surface-form）トークンの直前に挿入される専用のプレフィックス・トークン<num>を付加する、**価値認識型数値表現（value-aware numerical representation）**を提案している。

アーキテクチャとメカニズム

価値条件付き埋め込み（Value-Conditioned Embedding）: 標準的なトークンとは異かり、<num>トークンの埋め込みは固定されていない。代わりに、基礎となる数値 $x$ の関数 $f(x)$ として計算される。
- 学習フェーズ: 真の数値 $x$ が利用可能である。学習可能な埋め込みモジュール（MLPベースの固定小数点エンコーダ、またはRNNベースの再帰型エンコーダ）が $f(x)$ を計算する。この埋め込みは、標準的なトークン埋め込みと共にモデルの入力シーケンスに注入される。
- 推論フェーズ: 真の数値 $x$ は利用できない。投影ヘッド（projection head）が、<num>トークンの前にあるモデルの隠れ状態 $h$ を、近似的な価値ベースの埋め込み（ $proj(h) \approx f(x)$ ）へとマッピングする。この投影された埋め込みが、後続の数値トークンの生成を条件付ける。
埋め込みモジュールのバリエーション:
- MLPベース: 整数部と小数部を固定長の十進ベクトルとして表現し、補助的な特徴量（符号、桁数、小数点以下の桁数）と結合した後、フィードフォワード層を通じて投影する。
- RNNベース: 整数部と小数部を独立して処理するためにGRU（Gated Recurrent Units）を使用し、可変長のシーケンスと任意の精度を可能にした後、補助的特徴量との結合および線形投影を行う。
学習目的関数: 学習時とテスト時のミスマッチ（モデルが学習中に真の数値を見て「カンニング」してしまう問題）に対処するため、著者らは複合損失関数を採用している。
- 標準的な言語モデル損失 ( $L_{LM}^{emb}$ ): 真の価値ベースの埋め込み $f(x)$ を用いてモデルを訓練する。
- 投影言語モデル損失 ( $L_{LM}^{proj}$ ): 推論条件をシミュレートするために、投影された隠れ状態 $proj(h)$ を用いて訓練する。
- 再構成損失 ( $L_{rec}$ ): 投影された隠れ状態と真の価値ベースの埋め込みとの間のコサイン距離を最小化し、整合性を強制する。
- 全体の損失は、重み付き合計である： $L = L_{LM}^{emb} + L_{LM}^{proj} + \lambda L_{rec}$ 。

主な貢献

新規なエンコーディング・メカニズム: 数値の大きさを表面的なトークン化から切り離し、数値値に明示的に条件付けられた価値認識型プレフィックス・トークンの提案。
実証的検証: 本手法が、同一の訓練および推論条件下で強力なベースラインを上回り、算術能力を隔離して設計されたベンチマークにおいて一貫して性能を向上させることを実証した。
アーキテクチャの互換性: 本手法は最小限の修正しか必要とせず、既存のトークナイザーや生成メカニズムを変更することなく、デコーダーのみのTransformerアーキテクチャに直接適用可能である。
オープンソース: 再現性をサポートするため、アーキテクチャの変更、訓練コード、および評価スクリプトを含む完全な実装を公開している。

実験結果

本アプローチは、整数、浮動小数点数、分数、および科学的表記における基本的な数値スキルを分離したNUPAベンチマーク（Yang et al., 2024）を用いて評価された。

ベースライン: 標準的なTransformer（自己回帰型、トークンのみ）および、大きさの自然言語による記述（例：桁数）を補助入力として使用するNumerologic（Schwartz et al., 2024）と比較した。
性能:
- 提案されたNumValue-RNNおよびNumValue-MLPモデルは、Exact Match精度において、標準的なTransformerの0.687およびNumerologicの0.633に対し、それぞれ0.724および0.720を達成した。
- 提案手法による改善は、すべての数値形式、タスクタイプ（算術、比較、変換）、およびオペランドの長さ（最大7桁）において観察された。
- RNNベースのバリアントは、可変長シーケンスを扱う能力により、わずかに高いExact Matchスコアを示したが、MLPバリアントは桁レベルの整列と長さ推定においてわずかに優れた性能を示した。
堅牢性: 提案手法とベースラインの性能差は、桁数が増加するにつれて一貫しているか、あるいは拡大しており、入力スケールに対する堅牢性の向上を示している。

意義と主張

本論文は、数値を明示的にエンコードすることが、言語モデルにおける基本的な数値の堅牢性を向上させるための効果的かつ効率的な方法であると主張している。入力空間に大きさの情報を直接注入することで、このアプローチは、拡張された推論チェーンによって補完するのではなく、基本的な数値エラーの根本原因に対処している。

著者らは、本手法が推論集中的な戦略に対する軽量な代替手段を提供することを強調している。彼らは、数値能力は単なる高度な推論の副産物ではなく、明示的な表現を必要とする独自の能力であると論じている。結果は、数値を離散的な記号トークンとしてではなく、連続的な測定値として扱うことが、数値量に関する推論能力を大幅に強化することを示唆している。

著者らが指摘する制限事項:

評価は、制約されたベンチマークを用いてゼロから訓練されたモデルを用いたプロトタイプレベルで行われており、結果が複雑な指示追従シナリオにおける大規模な事前学習済みモデルの性能を完全に反映していない可能性がある。
本手法は、1つの例に対して2回のフォワードパス（投影用とデコーディング用）を必要とするため、高い訓練コストを伴うが、これは推論レイテンシには影響しない。
専用のハイパーパラメータチューニングは行われておらず、それが絶対的な性能指標に影響を与える可能性があるが、相対的な比較を変えるものではない。