💬 NLP

BitLM: Unlocking Multi-Token Language Generation with Bitwise Continuous Diffusion

BitLM は、トークンをバイナリコードとして表現し、軽量な拡散ヘッドを用いてブロック内で複数のトークンを並列にノイズ除去することで、従来の 1 トークンずつの処理というボトルネックを克服する新たな言語モデルアーキテクチャを導入し、自己回帰モデルの不可欠な因果構造を保持しつつ、より高速な推論とより効率的な事前学習を実現する。

原著者： Shaobin Zhuang, Yuang Ai, Jiaming Han, Xiaohui Li, Huaibo Huang, Xiangyu Yue, Xuefeng Hu, Kun Xu, Yali Wang, Hao Chen

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shaobin Zhuang, Yuang Ai, Jiaming Han, Xiaohui Li, Huaibo Huang, Xiangyu Yue, Xuefeng Hu, Kun Xu, Yali Wang, Hao Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが物語を書こうとしているが、1 文字ずつ書くことを強いられていると想像してください。1 文字を書き終えるたびに、立ち止まり、考え、「次の 1 文字は何だろう？」と尋ねなければなりません。これが現在のほとんどの AI 言語モデルの動作原理です。彼らは非常に賢いのですが、「一歩ずつ」のリズムに縛られており、そのため速度が遅く、自然に結びつく単語のグループ（「コーヒーのカップ」や「むかしむかし」など）についての思考が制限されています。

この論文は、AI が文章を生成する方法に関する新しい考え方であるBitLMを紹介しています。AI に 1 文字（または 1 語）ずつ選ぶことを強いるのではなく、BitLM はブロック単位で単語を同時に生成することを可能にします。その際、バイナリコードとノイズ除去を用いた巧妙なトリックが使われています。

以下に、簡単な比喩を用いて解説します。

1. 従来の方法：「語彙の宝くじ」

現在、AI モデルは巨大なスクラブルのタイルの壁（語彙）の前に立つ人のように振る舞います。次の単語を書くために、モデルはタイルを眺め、すべてのタイルの確率を計算し、ちょうど 1 つを選び出さなければなりません。

問題点： これは遅いです。まるで、レンガを 1 枚ずつ積み上げ、セメントが乾くのを待ち、「次のレンガはどれか？」と尋ねながら家を建てようとしているようなものです。
限界： 各単語を孤立した選択として扱い、単語が自然なペアやグループとして現れることが多いという事実を無視しています。

2. BitLM の方法：「ノイズ除去の彫刻家」

BitLM は「宝くじ」的なアプローチを完全にやめることでゲームを変えます。単語のリストから選ぶ代わりに、BitLM はバイナリコード（0 と 1 の列、あるいはこの場合は -1 と +1 の列）で思考します。

AI の役割を「単語を選ぶこと」ではなく、霧から像を彫り出すことだと考えてください。

バイナリコード： 辞書にあるすべての単語が、18 個のスイッチ（バイナリコード）で構成された一意の短い ID を持っていると考えます。
プロセス：
1. セットアップ： AI はこれまでの物語（「文脈」）を眺めます。
2. 霧：次の単語を選ぶ代わりに、AI は純粋な静電ノイズ（雪の降ったテレビ画面のようなもの）のブロックから始めます。
3. 彫刻： AI は「拡散ヘッド」（特殊なツール）を使って、そのノイズをゆっくりと除去していきます。「これまでの物語を踏まえると、次の数語のパターンはどのようなものか？」と問いかけます。
4. 解明： ノイズが除去されるにつれて、バイナリスイッチが整然と配置され、明確なパターンが現れます。そのパターンはその後、実際の単語に変換されます。

3. 超能力：ブロック単位での生成

BitLM の魔法は、1 語ずつノイズを除去するだけではない点にあります。それは単語のブロック全体（例：4 語）を一度に除去します。

比喩： あなたが壁画を描いていると想像してください。
- 従来の AI： 小さな点を 1 つ描き、一歩下がり、考え、次の点を描き、一歩下がる。
- BitLM： 壁の 4 フィートの区画を見つめます。頭の中にその区画全体のラフなスケッチがあります。その後、その 4 フィートの区画全体にスプレー塗装を行い、画像がはっきりするまで詳細を洗練させます。
なぜ機能するか： AI はブロック全体を見ているため、「カップ」と「コーヒー」が完璧に結びつくべきだと判断できます。「カップ」を推測し、次に「of」を推測し、最後に「コーヒー」を個別に推測するのではなく、です。

4. ルールの維持：「因果的」なガードレール

「もし 4 語を同時に書くとしたら、不正をしているのではないか？未来を覗いているのではないか？」と疑問に思うかもしれません。
論文によれば、いいえです。BitLM は「ブロック因果的」なルールを使用します。

比喩： リレー競争を想像してください。最初の走者（ブロック 1）が走り終え、バトンを 2 番目の走者（ブロック 2）に渡します。2 番目の走者は自分の区間全体について素早く走り、判断を下すことができますが、まだ3 番目の走者が何をしているかは見ることができません。彼が知っているのは、1 番目の走者が何をしたかだけです。
これにより、AI は物語の論理的な流れ（左から右へ）を維持しつつ、単一のステップではなくチャンク（塊）を処理するため、はるかに高速に動作します。

5. 論文が実際に発見したこと

著者たちは、この新しい手法（BitLM）をさまざまなサイズのモデル（小規模から大規模まで）でテストしました。

スケーラビリティ： モデルを大きくするにつれて、標準的な AI モデルと同様に、タスクの遂行能力が向上しました。
機能性： 彼らは要約タスク（長いニュース記事を短い要約に凝縮する）でこれをテストしました。結果は有望でした。モデルは意味の通る要約を書くことを学習し、この「バイナリノイズ除去」手法がテキスト生成の viable な方法であることを証明しました。
課題： まだ完璧ではありません。要約の質は、最高峰の従来のモデルにはやや及びませんでした。しかし、論文はこれが始まりに過ぎないと主張しています。この概念が機能することを証明しており、優れた AI を構築するために古い「1 語ずつ」の宝くじシステムが必要ではないことを示しています。

まとめ

BitLMは、AI が単語を 1 つずつ選ぶのをやめさせる新しいアーキテクチャです。代わりに、テキスト生成を静電ノイズのブロックを除去して、単語のグループを一度に明らかにするようなものとして扱います。物語の論理的な流れを維持しつつ、AI が並列処理を行えるようにするため、はるかに高速で、単語がグループとしてどのように結びつくかを理解する効率が向上する可能性があります。

BitLM の技術的概要：ビット単位連続拡散によるマルチトークン言語生成の解明

問題定義

現在の大規模言語モデル（LLM）は、「次のトークン」のパラダイムのもとで動作し、語彙レベルの softmax によってテキストを 1 つずつトークン生成する。この自己回帰（AR）アプローチは大きな成功を収めてきたが、推論時に根本的な逐次処理のボトルネックを課している。自然言語は本質的にマルチトークン単位（句、n-グラム）で構造化されているにもかかわらず、標準的なインターフェースは原子論的かつカテゴリカルな決定を 1 つずつ強制している。

このボトルネックを緩和しようとする既存の試み、例えばスペキュレイティブデコーディングやブロック単位並列デコーディングなどは、しばしば基盤となる語彙 softmax インターフェースをそのまま残し、並列性をネイティブな特性ではなく外部の最適化として扱っている。一方、非自己回帰モデルや純粋な拡散モデルは、効果的な言語モデリングに不可欠な因果構造を犠牲にすることが多い。本論文は、語彙 softmax は歴史的なインターフェースの選択であり根本的な要件ではないと主張し、出力空間の幾何学構造を変更することで、因果依存関係を損なうことなくより効率的な事前学習と高速な推論を可能にすると提唱している。

手法：BitLM

BitLM は、標準的な語彙 softmax を固定長二値空間における条件付きノイズ除去に置き換える新たなアーキテクチャを提案する。このモデルは、因果 LLM バックボーンと軽量な拡散ヘッドを組み合わせ、ブロック内で複数のトークンを並列に実現する。

1. 二値トークンインターフェース

BitLM はトークン ID を直接予測するのではなく、サイズ $V$ の語彙から各トークン $y_i$ を長さ $B = \lceil \log_2 V \rceil$ の固定長二値コードにマッピングする。

マッピング: トークン ID は「アナログビット」に類似した二値ベクトル $\{-1, 1\}^B$ に変換され、ここで $0 \to -1$ 、 $1 \to 1$ となる。
埋め込み: これらの二値コードは、位置ごとの MLP を介して次元 $B$ からバックボーンの隠れ次元 $d$ に引き上げられ、標準的なトークン埋め込みを置き換える。

2. ブロック因果分解

モデルはサイズ $m$ のブロック単位でテキストを生成する。これはブロック因果アテンションマスクを採用する：

同じブロック内のトークンは互いにアテンション可能であり（同時実現を可能にする）、
ブロック $n$ のトークンはブロック $1 $から$ n-1$ のトークンのみにアテンション可能である（ブロック間の因果依存関係を保持する）。
これにより、モデルは標準的な AR モデルの因果的帰納バイアスを維持しつつ、並列性の度合い（ $m$ ）を変化させることができる。

3. 条件付き拡散ヘッド

各ターゲットブロック $n$ に対して、モデルは生成を、直前のブロック（ $n-1$ ）の隠れ状態を条件としたノイズ除去問題として扱う：

ノイズ過程: クリーンな二値ブロック $A_0$ が線形補間を介してガウスノイズで汚染され、タイムステップ $t \in [0, 1]$ におけるノイズ状態 $A_t$ が作成される。
ノイズ除去: 軽量な拡散ヘッドが、ノイズ入力 $A_t$ 、タイムステップ $t$ 、および文脈条件 $C_{n-1}$ （バックボーンからの隠れ状態）を与えられた状態で、クリーンなブロック $\hat{A}_0$ を予測する。
学習目的: モデルは、予測されたクリーンブロックと真のクリーンブロック（ $x_0$ 予測）間の $L_2$ 損失を最小化するように学習される。
推論: 生成は、ガウスノイズでブロックを初期化し、 $K$ ステップにわたって反復的にノイズ除去を行うことで進行する。最後に、ハードサイン射影（ $\text{sign}(\cdot)$ ）が連続出力を離散二値超立方体にマッピングし、それが再びトークン ID にデコードされる。

4. アーキテクチャ詳細

バックボーン: Qwen-3（因果トランスフォーマー）のアーキテクチャに従う。
拡散ヘッド: BitDance のアーキテクチャに従う（軽量で、条件付けに適応的レイヤー正規化を使用）。
学習: FineWeb（350B トークン）で事前学習され、XSum で微調整された。

主要な貢献

二値コード定式化: 語彙レベルの予測をコンパクトな二値空間におけるノイズ除去に置き換える言語モデリングフレームワークを導入し、トークン生成をカテゴリカル選択ではなく反復的なコミットメントとして再定義する。
ネイティブなブロック因果並列性: ブロック内でマルチトークンの同時実現を自然に可能にしつつ、ブロック間の因果依存関係を保持するアーキテクチャを提案する。スペキュレイティブデコーディングとは異なり、この並列性は生成インターフェースのネイティブな帰結であり、事後のデコーディングトリックではない。
幾何学的視点: 記号出力空間の幾何学構造（単体対二値超立方体）がデコーディング様式を根本的に変えるという視点を進展させ、大語彙 softmax が言語モデリングにおける唯一の実用的な到達点ではないことを示唆する。

実験結果

著者は、0.6B から 8B のパラメータ規模を持つ BitLM を評価した。

スケーラビリティ: FineWeb における事前学習損失はモデルサイズが増加するにつれて一貫して減少し、二値拡散インターフェースが効果的にスケーリングすることを示している。
推論設定: XSum 要約タスクにおける最適性能は、15 ステップのノイズ除去と、クラスターフリーガイダンススケール 9.0 で達成された。
XSum 性能:
- 微調整後、拡散ヘッド付きの 8B BitLM は、ROUGE-1/2/L スコアで26.05 / 6.44 / 20.12を達成した。
- この性能は Lead-3 ベースラインおよび事前学習済み BitLM を上回り、モデルが非自明な要約マッピングを学習していることを示している。
- しかし、結果は強力なポインタジェネレータベースライン（例：PTGEN+COV）には及ばなかった。著者はこれらの結果を「有望だが予備的なもの」と特徴付け、高度に正確な語当的実現を必要とするタスクに対して二値定式化がまだ完全に最適化されていないことを指摘している。

意義と主張

本論文は、BitLM が「1 つずつトークン生成する」パラダイムが根本的な要件ではなくインターフェースの選択であることを実証していると主張する。因果推論（LLM バックボーンが処理）と記号実現（拡散ヘッドが処理）を分離することで、BitLM は新たな設計次元を提供する：記号出力空間の幾何学構造である。

著者は、BitLM が現在すべての指標において最先端の softmax ベースモデルを上回るとは主張していない。代わりに、以下を主張している：

出力幾何学構造の変更により、因果構造を犠牲にすることなくネイティブな並列生成が可能になる。
成功した事前学習と微調整の実績により、二値拡散インターフェースは下流のテキスト生成に対する実用的な代替手段である。
このアプローチは、学習された二値コード、適応的ブロックサイズ、並列生成の効率性と高品質な言語モデリングを組み合わせるハイブリッドアーキテクチャに関する将来の研究への道を開く。

この研究は、次世代アーキテクチャへの一歩として提示されており、「大語彙 softmax」は効率性と表現力を解き放つために置き換えることができる歴史的遺物であることを示唆している。