🤖 machine learning

Kronecker Embeddings: Byte-Level Structured Token Representations for Parameter-Efficient Language Models

本論文は、従来の大規模な埋め込みテーブルを固定エンコーダと学習済み射影に置き換える決定論的バイトレベル因数分解手法である「Kronecker 埋め込み」を導入し、これにより大規模言語モデルにおける入力側の学習可能パラメータの 90% 以上を削減するとともに、トレーニング効率、綴りに対する頑健性、および実行時メモリ使用量を向上させる。

原著者： Rohan Shravan

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rohan Shravan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大な図書館を想像してください。そこにあるすべての本には、固有のIDカードが付けられています。標準的な大規模言語モデル（AI）では、コンピュータが単語を見たときに行う最初の作業は、その単語のIDカードを、事前に作成された巨大な電話帳から探し出すことです。この電話帳は埋め込みテーブルと呼ばれます。

小規模なモデルにとっては、この電話帳は管理可能なものです。しかし、今日の最先端のAIを支える巨大な「フロンティア」モデルにとっては、この電話帳は肥大化した怪物と化しています。これは何億ドルもの価値を持つコンピュータメモリを占有し、AIが文の意味について考え始める前に、どのIDカードがどの単語に対応するかを単に記憶するために、膨大な脳の能力を費やすことを要求します。

クリネッカー埋め込みは、この巨大な電話帳を完全に排除する、この図書館を構築する新しい方法です。

それがどのように機能するかを、簡単なアナロジーを用いて説明します。

1. 従来の方法：巨大な電話帳

標準的なAIを、"apple"から"zephyr"に至るまで、すべての単語に特定のランダムな数字が割り当てられた辞書を暗記しなければならない学生だと考えてください。

問題点: 辞書に13万語あれば、学生は13万個のランダムな数字を暗記しなければなりません。これは脳（メモリ）の膨大なスペースを占有し、処理を遅くします。
欠点: 論文によると、この「電話帳」は単語の家族関係を理解するのが非常に苦手です。AIに"run"について尋ねると、その電話帳は最も近い単語として"Run"、"run"、".run"（大文字小文字や句読点の違いだけ）を返します。"run"と"running"は関連しているにもかかわらず、見知らぬ者同士として扱います。

2. 新しい方法：レゴの設計図

クリネッカー埋め込みは、電話帳を捨て去ります。代わりに、AIにレゴの設計図を与えます。

仕組み: すべての単語は、単に小さなブロック（バイト）の列です。設計図は次のように指示します。「1番目に'b'が見えたら、この特定のレゴブロックを使用せよ。2番目に'a'が見えたら、そのブロックを使用せよ。」
魔法: AIは単語"run"を暗記しません。代わりに、'r'、'u'、'n'のそれぞれのブロックを特定の位置で組み合わせることで、その場で単語"run"を構築します。
結果: AIはもはや巨大な電話帳を必要としません。必要なものは、そのレゴブロックを意味のある形に組み合わせる方法を知るための、小さな説明書（投影行列）だけです。これにより、モデルの入力側に必要なメモリが**91〜94%**節約されます。

3. 論文が実際に発見したこと

研究者たちはこの新しい方法を従来の方法と比較してテストし、いくつかの驚くべき結果を見つけました。

タイプミスをより賢く処理する: 新しい方法は単語を個々の文字（バイト）から構築するため、"netwrok"が"network"と非常に似ていることを理解します。タイプミスがあっても、AIは単語の形状を認識します。一方、巨大な電話帳に依存する従来の方法は、タイプミスが発生すると単語を混乱した断片に分解してしまうことが多いです。
- アナロジー: "cat"を"cst"と誤ってスペルした場合、従来のAIはあなたが全く異なる未知の物体について話していると考えてしまうかもしれません。新しいAIは"c"と"t"が正しい位置にあることを認識し、おそらく"cat"を意味していると判断します。
より速く学習する: テストにおいて、レゴの設計図（クリネッカー）を使用したAIは、電話帳を使用したAIよりも、文の次の単語を予測する能力が**2.5%向上しました。また、そのスキルレベルに到達するために必要なトレーニングステップ数が43%**少なくて済みました。
新しい単語を「忘れない」: AIに"kronekticus"のような作り言葉について話させるよう求めると、従来のAIは混乱し、架空の定義を作り出してしまいます。一方、新しいAIは文字から単語を構築するため、作り言葉を完全に正確に繰り返すことができ、あなたが与えた正確なスペルを保持します。

4. トレードオフ（欠点）

論文は欠点についても率直に述べています。

混乱する双子: 新しい方法は文字に注目するため、意味が異なっていても形が似ている単語を関連していると誤って判断することがあります。例えば、"compute"と"commute"は文字レベルで見ると非常に似ています。新しいAIは、一方が数学に関係し、他方が旅行に関係しているにもかかわらず、これらを近親者とみなすかもしれません。AIは、文脈に基づいてその違いを判断するために、その「脳」（モデルの残りの部分）を使用する必要があります。
「結び目」を結べない: 従来のシステムでは、スペースを節約するために読み書きに同じ電話帳を使用できました。新しいシステムは構造があまりに異なるため、これを行うことができず、書き込み用の別の小さな説明書が必要です。ただし、論文は、最大のAIモデルはすでにこの「結び目」を結ぶ慣習から離れつつあると指摘しています。

5. これが未来にとってなぜ重要なのか

この論文は、巨大で重たい電話帳を取り除くことで、その膨大なコンピュータメモリを解放できると示唆しています。

再配分: 単語の静的なリストにメモリを浪費する代わりに、節約されたスペースは、AIの「脳」（トランスフォーマー本体）をより大きく、賢く、あるいはより長い文書を読めるようにするために使用できます。
エッジデバイス: スマートフォンや小型デバイスでAIを実行する場合、これはゲームチェンジャーです。新しい方法により、AIを数ギガバイトの単語リストなしで配送できるようになります。2GBのファイルではなく、わずか4.5MBのファイルから単語を再構築できるため、小型ハードウェア上で強力なAIを実行することが格段に容易になります。

まとめ:
クリネッカー埋め込みは、巨大で硬直した辞書を、柔軟な文字ごとの構築キットに置き換えます。これは膨大なメモリを節約し、タイプミスをよりよく処理し、より速く学習し、AIがこれまで見たことのない単語を処理できるようにします。その際、AIのアーキテクチャの残りの部分は完全に同じままです。

技術的概要：クロネッカー埋め込み

1. 問題定義

現代の大規模言語モデル（LLM）は、トークン識別子を連続ベクトルにマッピングするために、 $|V| \times d_{model}$ 形状の学習済み入力埋め込みテーブルに依存している。最先端のスケールでは、このテーブルは、いかなる文脈計算が行われる前にも、数億から数十億の学習可能パラメータを消費する。例えば、語彙数が 13 万で $d_{model}=4096$ のモデルは、入力埋め込みのみに約 5 億 3700 万のパラメータを割り当てる。これは重大なエンジニアリング上の摩擦を生む：テーブルはデータ並列ランク間でシャードされなければならず、テンソル並列設定では通信オーバーヘッドを発生させ、またオプティマイザ状態（混合精度 Adam の場合、パラメータあたり約 16 バイト）のために莫大なメモリを必要とする。さらに、この論文は、トークン ID からベクトルへのこの固定されたマッピングを学習する必要性が未解決の問題であると主張している。特に、エンジニアリングコストと、これらの埋め込みが実際に発展させる構造の性質を考慮すると、その必要性は疑問視される。

2. 手法：クロネッカー埋め込み

著者らは、学習済み入力埋め込みテーブルの決定論的かつ構造化された代替手段としてクロネッカー埋め込みを提案する。この手法は標準的な BPE または SentencePiece トークナイゼーションを維持しつつ、ルックアップテーブルを固定エンコーダと単一の学習済み射影に置き換える。

中核メカニズム

UTF-8 バイト列 $b = (b_1, \dots, b_L)$ を持つトークンについて、埋め込みは以下のように計算される：

バイト位置符号化: トークンは構成バイトとその位置に分解される。
クロネッカー積: 決定論的なコーデックベクトル $\kappa(b) \in \mathbb{R}^D$ $κ (b) \in R^{D}$ が構築される。ここで $D = d_c \times d_p$ $D = d_{c} \times d_{p}$ である。
- $d_c = 256$ （完全なバイトアルファベット）。
- $d_p$ は最大バイト位置（例：32）。
- コーデックは、1 ホットバイトベクトルと 1 ホット位置ベクトルのクロネッカー積の和である： $\kappa(b) = \frac{1}{\sqrt{L}} \sum_{p=1}^L c_{b_p} \otimes p_p$ 。
正規化: コーデック出力は、トレーニング初期を安定させるために、トークンごとの $z$ -正規化（平均 0、標準偏差 1）を受ける。
学習済み射影: 単一の学習可能な線形層 $W_{proj} \in \mathbb{R}^{D \times d_{model}}$ が、コーデックベクトルをモデルの隠れ次元に射影する。

運用バリエーション

gpu_table: 起動時に完全な $|V| \times D$ コーデックテーブルを事前計算する。計算量は無視できる（gather 操作）が、メモリ使用量は高い（ギガバイト規模）。
gpu_dynamic: フォワードパス中にコンパクトなバイトバッファ（13 万語彙で約 4.5 MB）を使用して、コーデックをオンザフライで再計算する。これは、少量の計算オーバーヘッド（ステップ時間の 0.01–0.24%）と引き換えに、莫大なメモリ節約を実現する。

帰納的バイアス

この手法はバイトレベルの局所性を導入する：2 つの文字列が同じ位置で同じバイトを共有する場合にのみ、類似した埋め込みを受け取る。これは、標準的な BPE 埋め込みがタイプ的な変異体をクラスタリングする傾向があるのとは異なり、大文字小文字の区別（例：swift と SWIFT）や、タイプミスに対する頑健性（例：seperate と separate）を保持する。

3. 主要な貢献

A. クロスモデルプローブの知見

著者らは、Llama-3.2、Qwen3、DeepSeek-V3 などを含む、6 つの現代言語モデル（1 億 3500 万から 6710 億パラメータ）の入力埋め込みを分析した：

タイプ的クラスタリング: 学習済みの BPE 埋め込みは、形態論的な関連語（例：running、runner）よりも、タイプ的な変異体（例：run、Run、.run）をはるかに強くクラスタリングする。このパターンは、トークナイザーファミリーやスケールを超えて維持される。
クロネッカーからの脱却: クロネッカー埋め込みはこのタイプ的クラスタリングから脱却し、代わりにバイト類似の文字列を復元する。
形態論的構造: いずれの手法も、埋め込み層において厳密な形態論的クラスタリングを発達させない。1 億 2400 万チェックポイントの層別プローブにおいて、BPE 側のアームの最初のトランスフォーマー層は、形態論的幾何学を共起性/文脈的幾何学と交換するのに対し、クロネッカーは初期層を通じてバイトレベルの幾何学を保持する。

B. 制御されたトレーニング比較

FineWeb-Edu の 25 億トークンでトレーニングされたnanoGPT GPT-2 124Mアーキテクチャにおける 3 つのシードによる比較：

性能: クロネッカーは、BPE 結合ベースラインに比べて検証損失が 2.5 ± 0.2% 低い達成した（0.083 ナットの差、約 9% の低いパープレキシティ）。
収束: 損失の差はトレーニング中に拡大し、収束時に狭まるのではなく安定した。
効率性: クロネッカーは、BPE ベースラインの収束損失に到達するために1.43 倍少ないオプティマイザステップを必要とした。
パラメータ数: 1 億 2400 万スケールにおいて、入力側の学習可能パラメータは91% 削減された（3860 万から 310 万へ）。ただし、クロネッカーの $D \neq d_{model}$ により重み共有がアーキテクチャ的に非互換であるため、未結合の出力ヘッドが必要となり、総学習可能数はわずかに増加した（約 310 万）。最先端スケール（例：1200 億 MoE）では、入力側の削減は**94%**に達する（約 5 億 300 万パラメータの節約）。

C. 頑健性と忠実度プローブ

スペリング頑健性: 110 組のクリーン/タイプミスプロンプトペアにおいて、クロネッカーはトップ 1 予測を**55.5%**のケースで保持した（BPE は 47.3%、+8.2 ポイント）。また、クリーンとタイプミスの分布間の KL 発散は低く（-7.6%）、最終隠れ状態のコサイン類似度は高かった（+2.6%）。
生成忠実度: 定性的プローブにより、クロネッカーモデルは自己回帰生成を通じてバイト的に新規な文字列やスペルミス（例：kronekticus、netwrok）を「反響」し、保持することが示された。一方、BPE モデルはそれらを断片化し、忘却した。

D. メカニズムの観察

安定したターゲット: BPE 埋め込みノルムはトレーニング中に標準偏差 0.020 から 0.026 へドリフトするのに対し、クロネッカー射影ノルムは約 1.0 で安定したままとなる。これは、クロネッカーがトランスフォーマー本体に対して安定した表現ターゲットを提供することを示唆する。
メモリ効率性: オンザフライ変種は、生産環境の語彙サイズにおいて、入力経路のメモリフットプリントを事前計算テーブルの約 2.15 GB からバイトバッファの約 4.5 MB に削減する。

4. 意義と主張

この論文は、クロネッカー埋め込みが標準的な入力埋め込みに対するパラメータ効率的なドロップイン代替手段であると主張しており、以下の特徴を持つ：

埋め込みボトルネックの解消: 最先端スケールで入力側の学習可能パラメータを 91–94% 削減し、トランスフォーマー本体のための容量を解放するか、オプティマイザ状態メモリを削減する。
トレーニングダイナミクスの改善: 制御された設定において、より低い検証損失とより速い収束を達成する。これは、安定した表現ターゲットとパラメータ効率的な最適化によるものと考えられる。
頑健性の向上: タイポグラフィカルエラーに対する本質的な頑健性を提供し、生成においてバイトレベルの忠実度を保持する。これは標準的な BPE 埋め込みには欠けている特性である。
埋め込み役割の再定義: 学習済み埋め込みが形態論を捉えなければならないという仮定に挑戦し、それらが主にタイプ的な変異体を捉えることを示す。一方、クロネッカーは異なるバイトレベルの帰納的バイアスを提供する。

著者らは明示的に、この手法はトークナイザーの代替でも、文字レベルモデルでもないことを述べている。これはトークン系列上で動作するが、埋め込みルックアップを置き換えるものである。また、重み共有の不可能性、意味的に遠くてもバイト類似な単語（例：compute/commute）のクラスタリング、最先端スケール（10 億パラメータ以上）および多言語データセットでのさらなる検証の必要性など、限界も認めている。

5. 限界と将来の作業

この論文は以下の未解決の問題を特定している：

スケーリング: 検証損失の優位性と層別知見が、10 億から 70 億パラメータ以上のスケールで維持されるかどうか。
未結合ベースライン: 制御された比較では BPE 結合ベースラインを使用したが、将来の研究では BPE 未結合ベースラインとの比較を行うべきである。
メカニズム: 性能向上の正確なメカニズム（安定したターゲット対パラメータ効率対帰納的バイアス）は未解決の問題である。
出力側: 現在の設計では、出力ヘッドを標準的な学習済み行列のままとしている。著者らは、将来の研究で語彙なしデコーディングのために出力側へクロネッカーを拡張できる可能性を仮説としているが、これは未検証である。

この研究は、コード、再現可能なスクリプト、およびスケールにおける安定性を示すためにトレーニング済みの LightningLM モデル 4 つ（20 億から 1200 億 MoE）と共にリリースされている。