Diffusion LLMs can think EoS-by-EoS

拡散 LLM は、本来意味を持たないと考えられていた終端トークン(EoS)の表現を隠れた計算スペースとして利用して「EoS ごとに思考」し、複雑な推論タスクの解決能力を高めることが、行動実験と因果介入によって実証されました。

Sarah Breckner, Sebastian Schuster

公開日 2026-03-06
📖 1 分で読めます☕ さくっと読める

Each language version is independently generated for its own context, not a direct translation.

この論文は、新しいタイプの AI(拡散型 LLM)が、実は**「答えを書く前に、見えない場所で頭の中で深く考えている」**という驚くべき発見について書かれています。

わかりやすく、日常の例え話を使って説明しましょう。

🎨 絵を描く AI と「余白」の秘密

まず、従来の AI(自動生成型)は、**「一語ずつ、順番に文章を書いていく」**タイプだと想像してください。まるで、右から左へ一筆書きで絵を描くようなものです。

一方、この論文で研究されている**「拡散型 AI」は、「真っ白なキャンバス全体に、まずノイズ(雑音)を塗り、そこから徐々に絵を浮かび上がらせていく」**タイプです。

🧠 発見:「終わりの記号」が「思考のノート」に!?

研究者たちはある奇妙な現象に気づきました。
AI に「12 + 52 + 64 - 7 は?」と聞いて、答え(「121」)だけを出させようとしたとき、あえて「答えの長さよりも遥かに長いスペース」を AI に与えると、正解率がグッと上がるのです。

でも、答えは「121」だけで十分なのに、なぜ長いスペースが必要なのでしょう?
AI は長いスペースの分だけ、「EoS(End of Sequence:文章の終わり)」という記号を並べて埋め尽くします。通常、この「EoS」は単なる「おしまい」の合図で、中身は空っぽだと思われています。

しかし、この論文は**「実は AI は、この『EoS』の列を、見えない『思考のノート(スクラッチパッド)』として使っている」**と主張しています。

🕵️‍♂️ 3 つの実験で証明されたこと

研究者たちは、この仮説を確かめるために 3 つの面白い実験を行いました。

  1. 「余白」を増やせば賢くなる?

    • AI に「答えの長さ」よりも「余分な EoS(おしまい記号)」を多く含めるように指示しました。
    • 結果: 余白(EoS)が増えるほど、AI の計算能力が向上しました。まるで、**「ノート用紙の枚数が増えれば、複雑な計算も解きやすくなる」**ような現象です。
  2. 「思考ノート」を交換するとどうなる?

    • これが最も面白い実験です。AI に「問題 A」を解かせた時の「EoS の中身(思考の痕跡)」を抜き取り、別の「問題 B」を解かせようとしている AI の「EoS の中身」に**貼り付け(パッチング)**ました。
    • 結果: AI の答えは、元の「問題 B」の答えではなく、「問題 A」の答えに変わってしまいました!
    • これは、**「EoS という見えないノートに、計算結果が書き込まれていた」**ことを意味します。単なる「おしまい」の記号ではなく、重要な情報が隠されていたのです。
  3. 「大声で考える」vs「黙って考える」

    • 従来の AI は「考えます。12+52 は 64 です。64+64 は 128 です…」と声に出して(テキストで)思考過程を説明するのが得意です(これを CoT:Chain of Thought と言います)。
    • しかし、拡散型 AI は、**「声に出さず、EoS という見えないノートに思考を記して、黙って答えを出す」**方が、短いスペースでより高い性能を発揮することがわかりました。

💡 要するに何?

この論文が伝えているのは、**「AI は、答えを書くために必要な文字数以上に、あえて『何もないスペース(EoS)』を確保することで、そのスペースを『頭の中の思考の場』として活用している」**という驚くべき事実です。

  • 従来の AI: 考えながら喋る(思考過程をテキストで出力する)。
  • この新しい AI: 黙って頭の中で考え、その思考の痕跡を「EoS」という見えないメモに隠している。

まるで、**「テストの解答用紙の余白に、先生に見られないように計算式を書き込んで、最後に答えだけ書く」**ようなイメージです。

🌟 なぜこれが重要なのか?

これまでは「AI が賢くなるには、もっと長い説明(思考過程)を出力させる必要がある」と考えられていました。しかし、この研究は**「AI には、人間には見えない『隠れた思考スペース』を使うという別の賢さのあり方がある」**ことを示しました。

これにより、AI をより効率的に、そして複雑な問題(パズルや数学など)を解くために、**「あえて無駄なスペース(EoS)を与えてやる」**という新しいテクニックが生まれる可能性があります。

一言でまとめると:
「AI は、答えを書く前に、『おしまい』という記号を並べた見えないノートで、ひそかに深く考えているんだ!」というのが、この論文の核心です。