Neither Parallel Nor Sequential: How DiffusionGemma Actually Commits Tokens
DiffusionGemma 26Bを計装することにより、本研究は、そのトークン確定プロセスが純粋に並列でも厳密に逐次的でもなく、むしろ大規模な同時バッチを形成するレジーム依存的な部分的な左から右へのバイアスであることを明らかにしており、これは知覚されるデコーディング順序が固定されたアーキテクチャの特性ではなく、多くの場合、測定の粒度の産物であることを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
巨大で混沌としたアートスタジオを想像してください。そこでは、一人のロボットが大きなキャンバスに絵を描こうとしているか、あるいは物語を書こうとしています。
（「自己回帰型（Autoregressive）」と呼ばれる）従来の方法では、ロボットは本を読む時のように、厳格に左から右へと一文字ずつ進みます。一つの単語を書き終えてから、次の単語へと進むのです。
新しい「拡散型（Diffusion）」の方法では、ロボットは空白のマス目で埋め尽くされたキャンバスからスタートします。ロボットは一度に全体像を見渡し、多くのマス目を同時に埋めていくはずです。ここで研究者たちが投げかけた大きな疑問は、**「この新しいロボットは、本当にキャンバス全体を一度に描いているのか？ それとも、こっそり左に戻って、結局は一単語ずつ描いているだけなのではないか？」**ということです。
この論文の著者たちは、ロボットがどのように描いているかを正確に観察するために、ロボットの脳内に小さなカメラを設置することにしました。彼らは「DiffusionGemma」という特定のモデルを調査しました。
以下に、その結果を分かりやすく説明します。
1. 「一度に全部」ではないが、「一つずつ」でもない
ロボットは、魔法のように一瞬で絵を完成させるわけでも、人間が本を読む時のように厳格に左から右へと進むわけでもありません。
代わりに、ロボットは大きく、乱雑なバッチ（塊）単位で描いています。
- 例え話： 先生が20編のエッセイの束を採点している場面を想像してください。厳格な「左から右へ」のロボットなら、エッセイ1を採点し、次にエッセイ2、次にエッセイ3……と進みます。
- DiffusionGemmaがやっていること： ロボットは、まず手近なエッセイの束（例えば15編）を掴み、それらを同時に採点して置いていきます。次にまた別の束を掴み、それらを採点します。
- 結果： その「一塊（バッチ）」の中では、ロボットはどちらのエッセイを先に採点したかなど気にしません。それは「バッチ」としての作業です。このバッチ処理を行うため、順序は少し乱雑に見えますが、バッチが進むにつれて、わずかに左から右へと進んでいく傾向が見られます。
2. 「16ブロック」の神話
以前、人々はこのロボットは（16両編成の列車のように）完璧な16単語ずつのブロック単位で動いていると考えていました。
- 調査結果： 研究者たちは、4、8、16、32、64単語というグループごとにロボットの動きをテストしました。
- 真実： ロボットが16という数字で突然完璧なパターンに切り替わることはありませんでした。グループのサイズが大きくなるにつれて、パターンはより滑らかになり、より「左から右へ」という性質が強まっただけでした。16という数字はロボットにとって特別なルールではなく、研究者がデータを観察するために選んだ単なる数値に過ぎませんでした。ロボットの動きは、もっと流動的なのです。
3. 「JSON」という例外
ロボットは、何をさせられるかによって振る舞いが変わります。
- 物語、コード、数学の場合： 先ほどの「乱雑なバッチ」による左から右へのパターンに従います。
- 構造化データ（JSONなど）の場合： ほとんどランダムな散布のように振る舞います。特定のキーと値を持つフォームを埋めるよう指示されると、ロボットは順番など全く気にしません。左から右へ進むというバイアスもなく、好きな場所に好きなように埋めていきます。
4. 「自信」のチェック
ロボットには「自信メーター」があります（これは、単語を確定させる前に、その単語に対してどれくらい確信を持っているかを測るものです）。
- 数学の問題において： ロボットが非常に高い自信（低いエントロピー）を持っている場合、通常は正解しています。自信がない場合は、間違いやすくなります。ここでの自信メーターはうまく機能しています。
- 事実に関する質問において： 自信メーターは役に立ちません。ロボットは、非常に自信満々であっても、事実を間違えることがあります。それは、たとえ自信があっても、フランスの首都が「ロンドン」だと100％言い切ってしまう学生のようなものです。
5. 「早期終了」の驚き
ロボットには、タスクを完了させるために最大48ステップ（思考のラウンド）までの予算（猶予）が与えられていました。
- 現実： ロボットが予算をフルに使い切ることはほとんどありません。通常は、わずか3ステップから17ステップという極めて短い時間で、一気に仕上げてしまいます。ロボットは、時間が尽きるずっと前、すでに極めて高い自信を得た段階で、非常に素早く答えを確定させてしまうのです。
6. 旧型のロボットよりも優れているのか？
研究者がこの新しい拡散型ロボットを、従来の「左から右へ」進むロボット（Gemma-4）と比較したところ、数学、事実、JSONのタスクにおいて、正解を得る能力は同等であることが分かりました。新しいロボットは、単に少し異なる、少し乱雑な方法でそこに到達しているだけなのです。
まとめ
この論文は、DiffusionGemmaは純粋な並列処理でもなければ、純粋な逐次処理でもないと結論付けています。それはハイブリッドな存在です。
- 大きく、同時並行的なバッチで動作します。
- 遠くから眺めると、わずかな左から右への傾向が見られますが、それはあくまで傾向です。
- 早期に終了し、自信を感じたらすぐに思考を停止します。
- 「自信」は数学においては成功の予測因子になりますが、事実に関しては不十分です。
著者たちは、これらのモデルが「完璧なブロック」や「完璧な直線」として動いていると決めつけるのをやめるべきだと強調しています。それらは、チームで動く画家たちのようです。時には重なり合い、時には早く作業を終え、仕事の内容によっては順番を完全に無視することもあります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。