A Triadic Suffix Tokenization Scheme for Numerical Reasoning

この論文は、数値推論における誤りを軽減するため、3 桁ごとのグループ化と明確な桁数マーカーを組み合わせた決定論的な「三項接尾辞トークン化（TST）」方式を提案し、既存の LLM に対してドロップインとして統合可能なスケーラブルな枠組みを構築したことを述べています。

要約

この論文は、**「AI（人工知能）が数字を間違える理由」と、「それを解決する新しい『数字の読み方』」**について書かれたものです。

AI が「9.11 より 9.9 の方が大きい」と間違った答えを出してしまうのは、実は AI が数字を「バラバラの部品」でしか見ていないからだと指摘しています。この論文では、その問題を解決するために**「Triadic Suffix Tokenization（TST：三桁接尾語トークン化）」**という新しい方法を提案しています。

わかりやすく、3 つのポイントで解説しますね。

---

1. 問題：AI は数字を「パズル」のようにバラバラに見ている

今の AI は、数字を「サブワード（単語の一部）」という単位で分解して理解しようとします。
例えば、「100,400」という数字を AI は「100」と「400」という 2 つの別々のブロックとして見てしまいます。

• 今の AI の視点： 「100」と「400」があるな。でも、この「100」が「10 万」を表しているのか、「100」そのものなのか、AI は文脈から推測するしかありません。
• 結果： AI は「100」と「400」の間の「桁（1000 倍の差）」を忘れてしまい、計算ミスや大小関係の間違いを犯してしまいます。

【アナロジー】
これは、**「100 円玉と 100 万円札を、どちらも『100』という数字の塊として見ている」**ようなものです。
財布の中で「100」が 2 つあれば、AI は「合計 200 円だ！」と勘違いしてしまいます。本当は「100 円」と「100 万円」で、価値が全く違うのに、区別がついていないのです。

---

2. 解決策：TST（三桁接尾語トークン化）とは？

この論文が提案する TST は、数字を**「3 桁ごとに区切り、その区切りに『大きさのラベル』を貼る」**という方法です。

• 整数部分（左側）： 3 桁ごとに区切り、その後に「k（千）」、「m（百万）」、「b（10 億）」などのラベルを付けます。
  • 例：100400 → 100k 400 （「100 個の千」と「400」）
  • 例：1234567 → 1m 234k 567 （「1 個の百万」＋「234 個の千」＋「567」）
• 小数部分（右側）： 3 桁ごとに区切り、その後に「p（小数点第 1 位〜第 3 位）」、「pp（第 4〜6 位）」などのラベルを付けます。
  • 例：0.123456 → 0. 123p 456pp

【アナロジー】
これは、**「荷物の箱に『中身』と『重さ』を明確にラベルする」**ようなものです。

• 今の AI： 「箱 A（100）」と「箱 B（400）」がある。中身が何かわからない。
• TST の AI： 「箱 A**（中身：100、重さ：1000 倍のラベル付き）」**と「箱 B（中身：400）」がある。
  これで AI は、「あ、この箱は 1000 倍の重さがあるんだ！」と即座に理解できます。

さらに、小数点以下の「0.1」と「0.100」が同じ意味になるよう、「0.1」を「0.100」と揃えてラベルするというルールも作っています。これで「0.1」と「0.10」が別物だと勘違いするのを防ぎます。

---

3. なぜこれがすごいのか？

この方法は、AI の学習を劇的に楽にします。

• 推測不要： AI は「文脈から桁を推測する」という難しい作業をしなくて済みます。ラベルに書いてあるから、100% 確実に大きさがわかります。
• どんな数字でも対応： 小さな数字から、天文学的な巨大な数字、あるいは非常に細かい小数まで、ルールさえ守れば何でも扱えます。
• AI の改造は不要： AI の中身（脳）を変える必要はありません。ただ、数字を AI に渡す前に「この新しいラベル付きの形」に変換するだけで済みます。

【アナロジー】
AI が数字を学ぶのは、**「暗号を解読する」ようなものです。
今の方法は、暗号の解き方を AI に自分で考えさせています。
TST は、「暗号を解いた答えを、最初からメモに書いて渡す」**ようなものです。AI はそのメモを見て「なるほど、これが答えなんだ！」とすぐに理解できるので、勉強（学習）が早くなり、ミスも減ります。

---

まとめ

この論文は、**「AI に数字を教えるときは、バラバラにせず、3 桁ごとに『大きさのタグ』をつけてあげれば、AI は数字を完璧に理解できるようになる」**という提案です。

まだ実験結果は今後の課題ですが、もしこれが実用化されれば、AI が数学の問題や科学の計算でミスをする原因が一つ消え、より賢く、信頼できる AI が作れるようになるかもしれません。

一言で言うと：
**「AI に数字を教えるなら、『100』と『100 万』を区別できるように、箱に『重さのシール』を貼ってあげましょう！」**というアイデアです。

技術概要

以下は、提示された論文「A Triadic Suffix Tokenization Scheme for Numerical Reasoning（数値推論のための三進接尾語トークナ化方式）」の技術的サマリーです。

1. 問題提起 (Problem)

大規模言語モデル（LLM）は複雑な推論タスクにおいて高い性能を示していますが、基本的な数値理解、特に小数点以下の大きさの比較や算術演算において頻繁に失敗します（例：「9.11 > 9.9」という誤った判断）。
この主な原因は、標準的なサブワードトークナ化（BPE など）にあります。

• 不整合な分割: 数字が任意のサブワード単位に分割され、位置情報や桁の構造（桁数）が失われます。
• 桁の大きさの推論負荷: モデルは「100400」のような数字を「100」と「400」に分割されますが、前者が「10 万」を表すという位取りの関係を文脈からゼロから学習する必要があり、統計的に非効率的です。
• 既存手法の限界: 右から左へのカンマ区切りはグループ化を助けますが、各グループの桁の大きさ（1000 倍か 100 万倍か）を明示しません。xVal のような連続エンコーディングは精度を犠牲にしています。

2. 提案手法：Triadic Suffix Tokenization (TST)

著者は、Triadic Suffix Tokenization (TST) と呼ばれる新しいトークナ化方式を提案しました。これは、数字を 3 桁ごとの「トライアド（triad）」に分割し、各トライアドに桁の大きさを明示する接尾語（suffix）を付与する決定論的（deterministic）な方式です。

核心となる原則

1. 3 桁グループ化: 整数部は右から左へ、小数部は左から右へ 3 桁ずつグループ化します。
2. 明示的な桁の大きさマーカー: 各グループにその桁の大きさを示す接尾語を付与します。
3. 完全な数字の保持: 元の数字の桁はそのまま保持されます。

具体的な実装

• 整数部: 右から 3 桁ごとにグループ化し、接尾語を付与します。
  • 例：100400 → 100k 400 (k=thousand, 10^3)
  • 例：1234567 → 1m 234k 567 (m=million, 10^6)
  • 接尾語: k (千), m (百万), b (10 億), t (兆), q (京) など。
• 小数部: 左から 3 桁ごとにグループ化し、複製された「p」マーカーを使用します。
  • 例：1.12345678 → 1. 123p 456pp 780ppp
  • ゼロパディング: 数値的に等価な表現（例：0.1, 0.10, 0.100）を同じトークン列にするため、小数部のトライアドは常に 3 桁になるよう末尾にゼロを埋めます（例：0.1 → 0. 100p）。これにより、トークンと数値の 1 対 1 対応を確保します。

実装バリエーション

1. オプション A（分離トークン）: 数字のグループと接尾語を別々のトークンとして扱います。語彙数は 10 種類のみ増加します（k, m, b, t, q, p, pp, ppp, pppp, ppppp）。
2. オプション B（複合トークン）: 「100k」や「234m」のように、数字と接尾語を結合した 1 つのトークンとして扱います。これにより入力シーケンスが短縮され、桁のグループと大きさが明確に紐づきます。語彙数は最大で 1 万程度増加しますが、現代の LLM の語彙サイズでは管理可能です。

3. 主要な貢献と技術的利点

• 明示的な帰納的バイアス: 従来の位置推論に依存するのではなく、トークンレベルで桁の大きさ（オーダー）を明示的に提供します。これにより、モデルは数値の関係をゼロから学習する必要がなくなります。
• 決定論的な境界: 接尾語（例：k）がトライアドの終わりを明確に示すため、モデルは「どこまでが 1000 のグループか」を即座に判断できます（プレフィックス方式よりも境界の曖昧さが少ない）。
• スケーラビリティ: 33 オーダー（10^-15 から 10^18）をカバーする設計であり、必要に応じて接尾語を追加することで任意の精度・範囲に拡張可能です。
• アーキテクチャ非依存: モデル構造の変更は不要で、単なるトークナ化の事前処理（preprocessing）として導入可能です。
• NTL（Number Token Loss）との相性: トークナ化（入力側）と損失関数の修正（学習側）は直交しており、TST と NTL を組み合わせることで相乗効果が期待されます。

4. 結果と評価

• 実験的検証: 本論文は理論的な枠組みと提案の提示が主目的であり、NumercBench などのベンチマークを用いた実験的検証は今後の課題として残されています。
• 比較分析:
  • BPE 対 TST: BPE は確率的な推測を必要とするのに対し、TST（特にオプション B）はトークンから実数値への 1 対 1 写像を確立し、確率 1.0 で正確な値を伝達します。
  • 右から左のカンマ方式: カンマはグループ化のみですが、TST はグループごとの桁の大きさまで明示します。
  • xVal: 連続エンコーディングは滑らかですが、正確な桁情報を失います。TST は正確な桁を保持しつつ構造を明示します。

5. 意義と将来展望

TST は、数値推論における LLM の弱点である「トークナ化に起因する構造的曖昧さ」を解消する実用的な解決策です。

• 精度向上の期待: 桁の大きさに関する明示的なシグナルにより、算術演算や科学推論における誤りを減少させ、学習の収束を安定化させることが期待されます。
• 柔軟性: 整数部と小数部の両方に対して階層的な構造を提供し、任意の精度に対応可能です。
• 実用性: 既存のモデルを大幅に変更することなく、トークナライザの差し替えだけで導入できる「ドロップイン」型の強化手法です。

結論として、この論文は数値処理におけるトークナ化の根本的な課題を指摘し、決定論的で構造化された新しいトークナ化方式を提案することで、LLM の数値推論能力を飛躍的に向上させる可能性を示唆しています。