💬 NLP

Efficient Pre-Training with Token Superposition

本論文は、モデル構造や並列化を変更することなく、効率的なマルチホット交差エントロピー学習のためにトークンを最初にバッグに結合し、その後標準的な学習に戻すことで、事前学習データの処理量を大幅に向上させ、合計学習時間を最大2.5倍短縮するドロップイン手法であるトークン・スーパーポジション学習（TST）を導入する。

原著者： Bowen Peng, Théo Gigant, Jeffrey Quesnelle

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bowen Peng, Théo Gigant, Jeffrey Quesnelle

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「Efficient Pre-Training with Token Superposition」という論文を、平易な言葉と日常的な比喩を用いて解説します。

大きな問題：AI の学習は砂浜を走るマラソンのようなもの

あなたが学生（大規模言語モデル）に読み書きを教えようとしていると想像してください。そのためには、数百万冊の本を見せてあげる必要があります。しかし、現在の教え方は信じられないほど遅く、費用もかかります。まるで、学生に重いバックパックを背負わせたまま、本の一語一語を順番に読ませているようなものです。彼らは疲弊し（計算コストが高くつき）、図書館をすべて読み終えるのに永遠にかかってしまいます。

研究者たちは、学生の脳（モデルのアーキテクチャ）や読む本（データ）を変えることなく、このプロセスをより迅速に行いたいと考えています。

解決策：「トークン超位置学習（Token Superposition Training: TST）」

著者たちは、**トークン超位置学習（TST）**と呼ばれる巧妙な 2 段階の学習法を提案しています。これは「速読フェーズ」に続いて「微調整フェーズ」を行うようなものです。

フェーズ 1：「スムージー」フェーズ（超位置）

標準的な学習では、AI は一語ずつ（例：「The」、次に「cat」、次に「sat」）を見て学習します。

超位置フェーズでは、AI は一度に単語の「袋」全体を見るように教えられます。

比喩： 「The cat sat on the mat」という文を読む代わりに、教師が学生にそれらの言葉が入ったブレンダーを渡すと想像してください。学生は個々の言葉を見るのではなく、「The + cat + sat」でできた「スムージー」を見ています。
仕組み： コンピュータは 8 語（1 つの「袋」）を取り、その意味を単一の「超単語」に混ぜ合わせ、AI に次の 8 語の「袋」が何になるかを予測させます。
メリット： AI は 8 語を 1 語として処理するため、計算能力を増やすことなくデータを 8 倍の速さで「読める」ようになります。まるで学生が、以前に 1 ページ読むのにかかっていた時間で 8 ページ読めるようになったようなものです。

フェーズ 2：「細目櫛」フェーズ（回復）

もし AI を「スムージー」だけで訓練し続ければ、通常の文を書くのが下手になります。語順がわからず、出力は意味不明なものになります。

そのため、一定期間（通常は総学習時間の約 30%）が経過した後、研究者たちは「スムージー」フェーズを停止します。

比喩： 標準的な方法に戻ります。すでに言語の全体的な構造を非常に効率的に学習した AI の脳を、通常の教室に戻すのです。ブレンダーの使用をやめ、再び個々の単語を見せていきます。
結果： フェーズ 1 で AI がすでに「全体像」を非常に効率的に学習していたため、回復は非常に迅速です。それは、最初から「遅い方法」で訓練されたモデルの性能に追いつき、しばしば凌駕します。

これが重要な理由

この論文は、この方法が「そのまま導入可能（drop-in）」な解決策であると主張しています。AI の脳、コンピュータチップ、あるいは本を変える必要はありません。学習の最初の段階でデータを「どのように与えるか」を変えるだけです。

速度向上： 大規模モデル（100 億パラメータ）を用いたテストでは、この方法により、標準的な学習と比較して半分の時間で同等の知能レベルを達成することができました（2.5 倍の速度向上）。
トレードオフ： 彼らは「データ消費量」と「速度」を交換しています。AI は同じ時間内でより多くのデータを読みますが、「袋」単位で読むため、パターンをより速く学習します。

この論文が主張していないこと

著者が実際に述べたことに忠実であることが重要です。

最終製品は変わらない： 学習が完了すれば、AI は通常の AI と全く同じです。一貫性のある文、コード、物語を書くことができます。「スムージー」のトリックは学習プロセスの間だけ使用されます。
「思考」が速くなるわけではない： これは学習中に AI の推論能力や複雑な数学問題の解決能力を高めるものではありません。単に学習プロセス自体をより効率的にするだけです。
万能薬ではない： 著者たちは、小規模（2 億 7000 万パラメータ）から大規模（100 億パラメータ）までのモデルでこれをテストしました。全体的にうまく機能しましたが、無限のデータと時間がある場合、恩恵の現れ方は異なる可能性があることに注意しています。

まとめ

TST を AI 向けの速読コースと考えてください。

まず、スキミングを教える： 混ぜ合わされたテキストの断片を見せて、言語の全体的な雰囲気を非常に素早く吸収させます。
次に、通常通り読むことを教える： 語順ごとの読み方に切り替え、スキルを磨きます。

結果は？AI は記録的な時間で「教育」を完了し、同じエネルギー量を使用しながら、遅い伝統的なルートを選んだ者たちと同じくらい（あるいはそれ以上）賢くなります。

技術的サマリー：トークン超位置による効率的な前学習

問題提起

大規模言語モデル（LLM）の前学習は、スケールが大きくなるにつれて、ますます莫大なコストと非効率性を伴うようになっている。現在のパラダイムでは、高いデータスループットを達成するために、並列化戦略、オプティマイザ、トークナイザ、またはモデルアーキテクチャに対して複雑で侵入的な変更が必要とされることが多い。さらに、最近の研究は推論時の効率性の向上や、学習と推論の効率性の分離に焦点を当てているが、最終的なモデルのアーキテクチャや推論ダイナミクスを変更することなく、学習時のスループットを大幅に向上させる手法は不足している。既存のアプローチは、学習効率と推論効率を混同するか、必ずしも FLOP あたりの生トークン処理率を増加させない補助損失に依存し、パラメータやハイパーパラメータを追加する傾向がある。

手法：トークン超位置学習（TST）

著者は、並列化、オプティマイザ、トークナイザ、データ、またはモデルアーキテクチャを変更することなく、前学習中の FLOP あたりのデータスループットを向上させる「ドロップイン」手法である**トークン超位置学習（Token Superposition Training: TST）**を提案する。TST は、2 つの明確なフェーズで動作する。

フェーズ 1：超位置フェーズ

このフェーズでは、モデルは連続するトークンの「袋（bag）」を、単一の潜在単位である「s トークン」として処理する。

入力超位置: 連続する $s$ トークンのシーケンスを、非重複の袋に分割する。これらの $s$ トークンの埋め込みを平均化し、単一の超位置された潜在トークン埋め込みを作成する。これにより、シーケンス長は $s$ 倍（ $L$ から $\lfloor L/s \rfloor$ へ）減少する。
スループット機構: ベースライン学習（等 FLOP）との公平な比較を確保するため、このフェーズ中のデータシーケンス長 $L$ は $s$ 倍に増加される。その結果、モデルはステップあたりの計算コストを同じに保ちながら、 $s$ 倍のデータトークンを取り込む。
出力超位置: 単一の次のトークンを予測する代わりに、モデルは次の $s$ トークンの「袋」を予測する。標準的なワンホットのクロスエントロピー（CE）損失は、**マルチホット・クロスエントロピー（MCE）**損失に置き換えられる。MCE 目的関数は、ターゲットとなる袋をマルチホットラベルとして扱い、袋内の各有効トークンの確率を $1/s$ に向けて押し上げる。損失は、袋内の各トークンに対する標準的な CE 損失の平均から、勾配に影響しない定数項（ $\log |y|$ ）を引いたものとして定式化される。
因果性: 因果性を維持するため、標準的な次のトークン予測ラベルは、非重複の袋に分割される前に $s-1$ だけ左にシフトされる。

フェーズ 2：回復フェーズ

TST のみで訓練されたモデルは、袋内のトークンの順序を失い、標準的な自己回帰サンプリング能力を欠くため、 nonsensical な出力を生み出す。これを remedies するために：

学習は、標準的な次のトークン因果予測目的関数に戻される。
モデルは、超位置フェーズの終了時に保存されたチェックポイントから学習を再開する。
最終的なモデルアーキテクチャと推論ダイナミクスがベースラインと同一であることを保証するため、TST コードは完全に削除される。
超位置フェーズで費やされるステップの比率を $r$ とする（例： $r=0.3$ は、ステップの 30% が TST、70% が標準的であることを意味する）。

主要な貢献

新規学習パラダイム: モデルの最終的なアーキテクチャや推論行動を変更することなく、特定の学習レジーム中にトークンスループットを $s$ 倍に増加させる TST の導入。
2 フェーズ設計: 入力超位置（埋め込みの平均化）と出力超位置（マルチホット予測）を組み合わせ、モデルを標準的な自己回帰行動に再調整するための回復フェーズを後続させる、シンプルな機構。
既存手法との直交性: 著者は、TST を補助損失手法（マルチトークン予測など）に対して直交するものとして位置づけている。MTP はパラメータを追加し、FLOP あたりのトークン数を増加させずに将来のトークンをターゲットとするのに対し、TST は厳密にスループットを増加させ、アーキテクチャを変更しない。
実証的検証: 270M、600M、3B、および 10B の混合専門家（Mixture-of-Experts）モデルなど、さまざまなモデルスケールでの広範な評価により、異なるハイパーパラメータ設定における堅牢性を示している。

結果

DCLM および FineWeb-Edu データセットを使用した実験に基づき、論文は以下の知見を報告している。

損失の低減: 等 FLOP 制約下において、TST は最終学習損失の面でベースラインモデルを一貫して上回る。
下游タスクのパフォーマンス: 同じステップ数または同じ計算コストで学習されたベースラインと比較して、TST で学習されたモデルは、HellaSwag、ARC-E/C、MMLU などの下游ベンチマークでパフォーマンスが向上する。
効率性の向上:
- 等損失設定において、TST は 10B パラメータスケールで、前学習の総時間を最大2.5 倍短縮する。
- 10B A1B（合計 10B、アクティブ 1B）の MoE 実験において、TST モデルは最終損失が低い（2.236 対 2.252）にもかかわらず、ベースラインの 1.05T トークンに対して 2T のデータトークンを処理し、B200 時間（4768 対 12311）を大幅に削減した。
ハイパーパラメータ感度: この手法は、超位置袋サイズ（ $s \in [4, 8]$ ）とステップ比率（ $r \in [0.2, 0.4]$ ）の合理的な範囲内で堅牢である。
アブレーション研究:
- 入力対出力: 入力のみおよび出力のみの超位置はどちらもベースラインよりもパフォーマンスを向上させるが、両者の組み合わせが最良の結果をもたらす。これは、それらが直交的な機構であることを示唆している。
- 表現の整合性: 超位置フェーズと回復フェーズの間で入力埋め込みと出力 LM ヘッドをランダムに再初期化すると、TST の効果が完全に消失する。これは、フェーズ間での表現整合性を維持することが重要であることを示している。

意義と主張

この論文は、TST がモデルの推論時アーキテクチャとは独立して学習時のスループットを最大化することで、前学習の効率性を大幅に向上させると主張している。著者は、このアプローチが「粗粒度から微細粒度」への粒度スケジュールが効率的な前学習のための再利用可能な要素であることを実証することで、単一の前学習パラダイムに挑戦すると論じている。

主な主張には以下が含まれる。

コスト削減: ほぼ半分の計算コストで、同じモデル品質（損失）を達成する。
簡素性: この手法は、複雑なアーキテクチャの変更、新しいオプティマイザ、追加パラメータを必要とせず、実用的な「ドロップイン」ソリューションである。
効率性の分離: 学習時の効率性と推論時の効率性を成功裏に分離し、多くの手法が両者を混同している現在の文献におけるギャップを埋める。
スケーラビリティ: この手法は、小規模な密モデル（270M）から大規模な混合専門家モデル（10B）まで効果的にスケーリングし、広範な適用可能性を示唆している。

著者は、基盤となるメカニズムについては控えめな姿勢を保ち、入力超位置が「前 - 前学習」または埋め込み幾何学の暗黙的正則化の一種として機能すると仮説を立てつつも、さらなる解釈可能性の作業が必要であると指摘している。また、計算リソースの制約により大規模なアブレーション研究が行われていないこと、および前学習が現在データ束縛ではなく計算束縛であると仮定していることなどの限界も認めている。