🤖 AI

Subliminal Clocks: Latent Time Modelling in Diffusion Language Models

本論文は、拡散言語モデルが明示的なタイムステップ条件付けを欠いているにもかかわらず、その残差ストリーム内にデコード可能なデノイジング進行の潜在表現を内部的に符号化しており、それがモデルの確信度とエントロピーを系統的に制御するために操作可能であることを実証するものである。ここで、活性化変数hの添字について、nはトークン位置、tはデノイジングのタイムステップを表す。また、KLダイバージェンスは、推定タイムステップと真のタイムステップの差 \hat{t}-t に線形に比例するものではなく、より複雑な非線形関係を示すことが示された。

原著者： Maximo Rulli (Sapienza University of Rome), Thomas Fontanari (Sapienza University of Rome), Simone Petruzzi (Sapienza University of Rome), Federico Alvetreti (Sapienza University of Rome), Giorgio Str

公開日 2026-07-03

📖 1 分で読めます☕ さくっと読める

CC0 1.0

原著者： Maximo Rulli (Sapienza University of Rome), Thomas Fontanari (Sapienza University of Rome), Simone Petruzzi (Sapienza University of Rome), Federico Alvetreti (Sapienza University of Rome), Giorgio Strano (Sapienza University of Rome), Donato Crisostomi (Sapienza University of Rome), Giorgos Nikolaou (EPFL), Tommaso Mencattini (EPFL), Andrea Santilli (Independent researcher), Emanuele Rodolà (Sapienza University of Rome), Simone Scardapane (Sapienza University of Rome), Alessio Devoto (Independent researcher)

原論文は CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) のもとパブリックドメインに提供されています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

拡散言語モデル（DLM）を、暗い部屋の中で働く熟練の彫刻家として想像してみてください。左から右へと一語ずつ物語を構築していく伝統的なライターとは異なり、この彫刻家は、粘土（[MASK]トークンで表される）に完全に覆われた石の塊からスタートします。彼らの仕事は、その粘土を削り取り、隠された言葉を一層ずつ露わにし、最終的な彫像を完成させることです。

この論文が解き明かした大きな謎は、**「彫刻家は、粘土がどれくらい残っているかを知っているのか？」**ということです。

伝統的な文章生成モデルでは、コンピュータは自分が何単語書いたかを正確に把握しています。しかし、この「彫き出し」を行うモデルにおいて、研究者たちは、モデルが明示的に数を数えるよう教えられていないにもかかわらず、内部に「時計」や進捗の感覚を持っているのかどうかを問いかけました。

研究者たちの発見を、分かりやすく解説します：

1. 「潜在的な時計」

研究者たちは、モデルに「作業は50%完了です」と伝えられていなくても、モデルが密かに自分の進捗を記録していることを発見しました。それは、時計を持っていない彫刻家が、手に持った石の重みを感じ取り、「自分は半分まで来た」と直感的に理解するようなものです。

彼らはモデルの脳内（具体的には、モデルの内部思考経路である「レジデュアル・ストリーム」）に、隠された信号を発見しました。この信号は**潜在的な時計（latent clock）**として機能します。これは、どれだけの「粘土」（マスクされたトークン）が取り除かれ、どれだけが残っているかをモデルに正確に伝えます。

ここで重要なのは、モデルの内部状態を表す変数 $h$ のインデックスの解釈です。 $h$ は、特定のトークン位置 $n$ （文章中の単語の順序）と、特定の拡散ステップ $t$ （ノイズ除去プロセスの進捗段階）における活性化状態を指します。つまり、モデルは「文章のどこ（ $n$ ）で」「どのくらいノイズ除去が進んだか（ $t$ ）」という2次元の座標軸上で、進捗情報をエンコードしているのです。

2. 心を読む（プロービング）

この時計が存在することを証明するために、研究者たちはシンプルな「デコーダー（プローブ）」を作成しました。彼らはプロセスの異なる段階におけるモデルの内部思考を観察しました。

結果： デコーダーは、モデルの内部時計を正確に読み取ることができました。モデルの活性化状態を見るだけで、デコーダーは、モデルが開始直後（粘土が多い状態）なのか、中間なのか、あるいは終了間際（粘土がほとんどない状態）なのかを判別できました。
比喩： それは、人の姿勢を見るだけで、その人がマラソンを開始したばかりなのか、それともゴールラインを目前にしているのかを、本人が一言も発さずとも即座に判断できるようなものです。

3. 時計をハッキングする（ステアリング）

最もエキサイティングな部分は、研究者が単に時計を「読んだ」だけでなく、それを「作り変えた」ことです。彼らは、モデルの脳内に「時間」や「進捗」に対応する特定の方向を見つけ出しました。

実験： 彼らは、モデルの内部時計を人工的に前方に押し進めたり、後方に押し戻したりしました。
- 前方に押し進める： モデルに「もうすぐ終わりですよ！」と伝えました（実際にはそうでなくても）。すると、モデルは即座に自信を持ち、迷いが少なくなり（エントロピーが低下）、終了の準備ができているかのように振る舞いました。
- 後方に押し戻す： モデルに「まだ始まったばかりですよ！」と伝えました（実際には終盤であっても）。すると、モデルは混乱し、自信を失い、自分の選択に対して疑心暗鬼になり始めました。
教訓： これは、時計が単なる受動的な観察結果ではなく、制御メカニズムであることを証明しています。モデルの時間の感覚を変えると、その振る舞いも変わるのです。また、モデルの出力分布と真の分布との間のKLダイバージェンスは、操作された時間 $\hat{t}$ と実際の時間 $t$ の差に対して線形に比例するのではなく、より複雑な非線形な関係を示すことが確認されました。

4. 時間の形状

研究者たちは、この「時計」の幾何学的な構造についても調査しました。彼らは、モデルが時間を混沌とした雲のようなものとして表現しているのではなく、非常に整然とした滑らかな曲線（放物線のよう）として整理していることを発見しました。

比喩： モデルの時間に対する理解は、ジェットコースターのトラックのようなものです。デノイジング（ノイズ除去）のプロセスが進むにつれて、モデルの内部状態はこのトラック上を滑らかに移動していきます。研究者たちは、「どの程度まで進んだか」に関する情報のほとんどが、この単一の低次元のトラック上に収まっていることを突き止めました。

5. 自己修正メカニズム

最も興味深い発見の一つは、モデルが間違いを修正できるほど賢いということです。

もし研究者が、モデルの初期レイヤー（思考プロセスの「始まり」の部分）で時計をいじった場合、モデルは情報が深いレイヤーへと進む過程で、しばしば自らを「修正」することが分かりました。「待てよ、私は終了間際だと言われたが、実際にはまだ真ん中だ」と気づき、内部状態を真実に合わせて調整するのです。
しかし、もし非常に最終的なレイヤーで時計をいじった場合、モデルは修正できず、その挙動は永続的に変化してしまいました。

まとめ

この論文は、拡散言語モデルには「あとどれくらい作業が残っているか」という、隠された内部的な感覚があることを明らかにしています。

彼らには時計がある： モデルは内部の脳状態（トークン位置 $n$ と拡散ステップ $t$ の組み合わせ）の中に、自らの進捗をエンコードしています。
私たちはそれを読むことができる： この進捗を正確に測定できます。
私たちはそれを制御できる： この内部時計を微調整することで、モデルをより自信を持たせたり、逆に自信を失わせたりすることができます。
それは構造化されている： この「時間」は、モデルの脳内で、非常に整然とした予測可能な幾何学的形状として整理されています。

本質的に、このモデルは、たとえ誰も距離を教えてくれなくても、トンネルの中を歩く人が光まであとどれくらい離れているかを正確に把握しているような存在なのです。研究者たちは、その知識を保持している脳の部分を見つけ出し、そのダイヤルを回すことで、旅路に対する感じ方を変えられることを示しました。

技術要約：サブリミナル・クロック：拡散言語モデルにおける潜在的な時間モデリング

問題提起

拡散言語モデル（DLM）は、逐次的にトークンを予測するのではなく、マスクされたトークンを段階的にデノイジング（除去）することでテキストを生成する、自己回帰型モデルに代わる有望な選択肢として浮上しています。明示的なタイムステップ変数 $t$ に基づいて条件付けられる標準的な拡散モデルとは異なり、DLMは通常、推論中に明示的なタイムステップ入力を受け取りません。これは、彼らの内部メカニズムに関する根本的な問いを投げかけます：DLMは内部的にデノイジング過程の進捗を表現しているのか？もしそうであれば、その情報はどのようにエンコードされ、利用されているのか？

未マスクされたトークンの割合（ $\tau_t$ ）は、デノイジングの進捗を示す観測可能なプロキシ（代理指標）となりますが、モデルの内部表現（残差ストリーム）がこの進捗に対応する潜在的な信号をエンコードしているのか、また、この信号を操作することが生成に因果的な影響を与えるのかについては、依然として不明なままです。

手法

著者らは、2つの大規模なマスク型拡散モデルである LLaDA-1.5 と Dream を用いて、この現象を調査しています。彼らのアプローチは、プロービング、因果的ステアリング、および幾何学的解析を通じてアドレスされる3つの研究課題（RQ）で構成されています。

1. 潜在的時間のプロービング (RQ1)

デノイジングの進捗がエンコードされているかを判断するために、著者らは残差ストリームの隠れ状態に対して MLPプローブ を学習させます。

入力: 特定のレイヤー $l$ およびトークン位置 $j$ からの隠れ状態 $h_{t,l,n}^j$ 。ここで、 $t$ はデノイジングのタイムステップ、 $n$ はバッチ内のサンプルインデックスを表します。
ターゲット: 実験的なデノイジングの進捗 $\tau_t$ （ステップ $t$ における未マスク・トークンの割合）。
セットアップ: プローブは、信号の局在性をテストするために、各レイヤーおよび異なるトークン集合（[MASK]、non-[[MASK]]、および全トークン）に対して個別に学習されます。

2. 因果的ステアリング (RQ2)

特定された信号の因果的な重要性をテストするために、著者らは 平均活性化ベクトル・ステアリング を採用しています。

信号抽出: 各デノイジングステップ $t$ およびレイヤー $l$ について、事例全体で隠れ状態を平均化することにより、平均活性化ベクトル $\mu_{t,l}$ を算出します。
介入: 推論中、現在のレイヤーの活性化を、摂動を加えたバージョンに置き換えます： $\tilde{h}_{t,l}^j = h_{t,l}^j - \mu_{t,l} + \mu_{\hat{t},l}$ 。ここで $\hat{t}$ はターゲットとなるデノイジングステップです。これにより、モデルの内部状態を異なる進捗レベルの表現へとシフトさせます。
コントロール: これらの標的化された摂動を、一致したノルムを持つ経験的共分散行列からサンプリングされたランダムな摂動と比較します。
指標: エントロピー、確信度（最大確率）、および元のトークン分布とステアリングされた分布の間の KLダイバージェンス に対するダウンストリームの影響を測定します。

3. 幾何学的特性化 (RQ3)

著者らは、回収された信号の構造を分析します。

次元性: 平均ベクトルに対して主成分分析（PCA）を行い、 $\tau$ 表現の有効次元数を決定します。
レイヤー間アライメント: 同一のデノイジングステップにおける異なるレイヤー間の平均ベクトルのコサイン類似度を計算し、統一されたモデルレベルの表現が存在するかどうかを評価します。
レイヤー内コンポーネント: 信号が特定のレイヤーコンポーネント（自己注意、MLPゲート、MLPアッププロジェクションなど）の中でどのように表現されているかを調査します。

主な結果

1. 潜在的なデノイジング信号の存在

プローブの精度: MLPプローブは、ほとんどのレイヤーにおいて $R^2 > 0.5$ を達成し、残差ストリームの活性化から $\tau_t$ を高い信頼度で予測できます。信号は [MASK] と non-[MASK] の両方に存在しますが、[MASK] トークンにおいてより強力です。
結論: DLMは、明示的なタイムステップの条件付けがないにもかかわらず、現在のデノイジングステップに関連する信号を内部的にエンコードしています。

2. 生成への因果的影響

予測可能な変調: モデルをより高い $\hat{t}$ （より進んだ状態）へとステアリングすると、モデルの確信度が増加し、エントロピーが減少します。逆に、より低い $\hat{t}$ へとステアリングすると、確信度が低下し、エントロピーが増加します。
KLダイバージェンス: クリーンな分布とステアリングされた分布の間のダイバージェンスは、距離 $|\hat{t} - t|$ に対して単調に増加しますが、線形なスケーリングを示すわけではありません。
特異性: これらの効果は $\tau$ の方向に対して特異的です。同じ大きさのランダムな摂動は、エントロピーや確信度に一貫した傾向を生じさせません。
深層による補正: 摂動が初期レイヤーで注入された場合、計算がより深いレイヤーへと進むにつれてモデルはそれらを段階的に補正し、信号をクリーンな値へと復元します。しかし、極端なステアリング（例： $\hat{t}=100$ ）は補正が困難であり、生成の崩壊（早期のEOSトークン）を招く可能性があります。

3. 構造化された低次元幾何学

低次元性: 平均ベクトルの分散は、非常に少数の主成分（多くの場合 $<3$ ）によって捉えられ、第1主成分が分散の90%以上を説明します。
多様体構造: デノイジングステップに沿った平均ベクトルの軌跡は、放物線に似た構造化された低次元多様体を形成します。この幾何学はLLaDAにおいてレイヤー間で一貫しており、Dreamにおいては特定のブロック内に整理されています。
レイヤー間の一貫性: LLaDAでは、ほとんどのレイヤーが同一の $\tau$ ステップに対して高度に相関した表現を維持しており、共有されたモデルレベルの基底の存在を示唆しています。Dreamでは、表現は明確な計算ブロックへと整理されています。
コンポーネントの逆相関: レイヤー内において、自己注意の出力とMLPの出力（具体的にはpost-MLPおよびpost-attentionベクトル）は強い 逆相関 を示します。これらは共通の方向を共有していますが、反対方向を向いており、モデルが処理中に信号を「打ち消す」または「洗練させる」メカニズムを持っていることを示唆しています。

意義と主張

本論文は、明示的なタイムステップ入力が欠如しているにもかかわらず、拡散言語モデルがデノイジングの進捗を表す潜在的な「時計（クロック）」を内部的にモデル化しているという、最初の体系的な証拠を提供したと主張しています。

メカニズムの洞察: 本研究は、未マスクされたトークンの割合が単なる外部のメトリックではなく、モデルの残差ストリーム内で能動的に追跡・表現されていることを明らかにしました。
制御可能性: 特定された信号は因果的に関連しています。これをステアリングすることで、モデルの確信度やエントロピーを予測通りに変調できることが示されており、モデルの「進捗の概念」が操作可能な部分空間であることを証明しています。
構造的規則性: レイヤー間で共有される低次元の放物線状の多様体の発見は、DLMがデノイジング時間を、自己回帰モデルで見られる他の概念の線形表現とは異なる、高度に構造化された幾何学的な方法で処理していることを示唆しています。
補正メカニズム: 初期レイヤーでの摂動がより深いレイヤーによって補正されるという観察は、デノイジングの軌跡の完全性を維持するための堅牢な内部メカニズムが存在することを示唆しています。

著者らは、この信号は機能的に関連しており構造的に整理されているものの、この表現を計算または更新する具体的な回路については、今後の課題であると結論付けています。また、この信号はトークン分布（例：EOS確率への影響）と絡み合っており、純粋にコンテンツに依存しないカウンターではないことにも注意を促しています。