技術要約：言語モデルの反復自己給餌プローブは何を測定しているのか

問題提起

言語モデル（LM）の出力を再び入力へと供給することで、自己一貫性、反復的な洗練、エージェント的ループといった動的システムを作り出す「自己給餌プローブ」という手法が、新たなクラスとして台頭している。これらの手法は定型的ではあるが、根本的な問いが未解決のまま残されている。それは、これら自己給餌プローブのダイナミクスは、実際に何を測定しているのか？ という点である。

本論文は、現在のこうしたプローブによる読み取り値が、2つの異なる情報の源泉を混同していると主張する：

1. 構成決定的な量（Construction-determined quantities）： プローブのメカニズム（ループ構造、再サンプリング規則、および結合方法）のみから生じる特性。
2. モデル決定的な量（Model-determined-quantities）： 言語モデル自体に固有の特性。

これらを区別する方法を持たない限り、研究者は測定装置のアーティファクト（人工物）をモデルの特性であると誤認するリスクを負うことになる。著者は、ある特定の「相転移」を小数点以下3桁の精度で測定したものの、それがモデルではなく、完全にプローブの構成に由来するものであることを発見した事例を報告している。

メソドロジー

構成（The Construction）

著者は、プローブとモデルの間の混同を分離するために、特定の構成を採用している：

• 状態（State）： 周期境界を持つ $N$ 個のトークン・セルの環。
• ダイナミクス（Dynamics）： インプレース（in-place）での再サンプリング。各ステップにおいて、サイト $x_i$ は、温度 $T$ におけるモデルのウィンドウ化された条件付き確率 $p(x_i | x_{i \pm r})$ から再サンプリングされる。中心のトークンは、自身のウィンドウからマスクされる。
• 結合（Coupling）： 2つの環（$x$ と $\tilde{x}$）を**共通乱数（Common Random Numbers: CRN）**を用いて進める。これらは、初期状態 $t=0$ で1つのトークンが反転している点を除いて同一である。両者は同じ一様乱数のストリームと、同じ訪問順序を使用する。
• 帰無仮説（Null Hypothesis）： CRNの下では、もし2つの環が同一のウィンドウを持っていれば、それらは全く同じトークンを抽出する（共有の一様分布に対する逆累積分布関数サンプリング）。したがって、損傷のない双子は、偏差が正確にゼロとなる。いかなる偏差も、注入された反転に厳密に起因する。

測定量

• $\lambda_{ca}$（トークンスペースにおけるリアプノフ指数）： 飽和に達するまでの、相違するサイト数（$d_t$）の指数関数的な成長率。
• $D_{norm}$： 独立したノイズフロアによって正規化された、損傷の飽和レベル。
• アトラクター・シェア（Attractor Share）： 定常状態に達した環における、支配的なトークンの占有率。

検証戦略

この計器は、既知の答えを持つシステム、具体的には Domany–Kinzel 確率的セルオートマトン による再現を通じて校正される。著者は、この実装が、言語モデルに適用する前に、基本的なセルオートマトンに対して独立した予測とビット単位で一致する結果を生成することを検証している。

主要な貢献

1. 検証された計器

著者は、プローブの幾何学とモデルの挙動を区別する、校正済みのツールを提供している。この計器は、Domany–Kinzel の損傷場を正確に再現し、初等的なセルオートマトンの既知の遷移行列を回復することによって検証された。

2. 「製造された」相転移の特定

著者は、プローブのダイナミクスにおいて、臨界温度 $T_c \in [0.4343, 0.4391]$ で鋭い吸収状態への転移を発見した。

• 性質： この転移はプローブの特性であり、モデルの特性ではない。
• メカニズム： これは、自己回帰的構成（特に Pythia-410m のようなモデル）における argmax 写像の吸引固定点から生じるものであり、低温度において格子を単一のトークン（例：改行）へと崩壊させる。
• 証拠： この転移は、構成を変更した場合（例：このような固定点を持たない Masked-LM 構成を使用する場合）には消失するが、19種類の異なるモデルとスケールラダー（70倍のバリエーション）にわたって持続する。

3. ディスクリミネーター・テスト（識別テスト）

論文は、構成決定的な読み取り値とモデル決定的な読み取り値を分離するための厳格なテストを導入している：

• テスト： 一方の要因（構成またはモデル）を固定したまま、もう一方の要因を変化させる。
• 基準： もし構成が変わると読み取り値が動き、モデルが変わっても固定されたままであれば、それは構成決定的なものである。もしモデルが変わると読み取り値が動き、構成が変わっても固定されたままであれば、それはモデル決定的なものである。
• 適用：
  • 構成決定的なもの： 損傷のライトコーン（キネマティック）および $\lambda_{ca}$ の半径スケーリング（モデル不変）。
  • モデル決定的なもの： アトラクター・シェアであり、これは異なる構成間でもモデルを一貫してランク付けする。
  • 発達的（Developmental）： $\lambda_{ca}$ は単一モデルの訓練軌跡を追跡する（再現可能な点でゼロを横切る）が、異なるモデルファミリー間の区別には失敗する。

4. 推定値のゲーティングと撤回された判定

著者は、推定値が（飽和した予測、未定義値をゼロとして扱った場合、あるいは相関のあるレプリカなど）変動の余地がない量に適用されたために、自信を持って誤った数値を算出した、4つの撤回された判定事例を報告している。これらを防ぐために、著者は「ガード」（動的範囲チェック、ノイズゲート、タイ（同値）を考慮したランキングなど）のパッケージを公開している。

結果

• プローブのアーティファクト： 自己回帰モデルで見られる「相転移」は、プローブの幾何学（具体的には argmax 写像の固定点）によるアーティファクトである。これは再現可能であるが、モデルの能力に関する情報は持たない。
• モデルの感度：
  • $\lambda_{ca}$： 発達的な転移（訓練中にゼロを横切る）を示すものの、異なるアーキテクチャやスケール間ではモデル不変である。したがって、異なるモデル間を比較するための信頼できる指標とはならない。
  • アトラクター・シェア： この指標は、異なる構成（半径、温度）においてもモデルファミリー（例：RWKV 対 Attention モデル）を正常に区別し、頑健である。
• アブレーションへの反応： 内部コンポーネント（例：Attention ブロック）を取り除くとダイナミクスが変化し、この計器がモデルを読み取っていることが確認された。ただし、その反応は非単調であり、参照側の初期状態に依存するため、単純な因果関係ではなく複雑な統計的関係を示している。
• 予測力： アトラクター・シェアは指示遂行の失敗を予測するが、発達的転移（$\lambda_{ca}$）は予測しない。逆に、$\lambda_{ca}$（多様性を通じて）はグリーディな退化を予測するが、アトラクター・シェアは予測しない。

意義と主張

本論文は、反復自己給餌プローブは、構成とモデルの両方を測定しており、それらは目視だけでは区別できないと主張している。

• 主張の謙虚さ： 著者は、これが解釈可能性（Interpretability）の結果ではないことを明示している。彼らは $\lambda_{ca}$ が特定の内部メカニズムを局在化すると主張しているのではない。むしろ、貢献は測定にある。すなわち、これらのプローブが何を読み取り、何を読み取らないのか、そして両者をどのように区別するかを定義することである。
• 核心的な洞察： ある種の比較（例：単一モデルの訓練追跡）には有効な計器であっても、別の種類の比較（例：異なるモデルファミリーの比較）においては空虚なものになり得る。
• 方法論的転換： 著者は、自己給餌ループから得られる量については、それを言語モデルの特性として解釈する前に、「ディスクリミネーター・テスト」（構成とモデルの変化を検証すること）にさらすべきであると主張している。
• 再現性： すべてのコード、データ、および図のスクリプトは、図がそれを生成したコードよりも長く存続することがないよう、厳格なトレーサビリティ（SHA-256 ハッシュによる）を伴って公開されている。

結論として、論文は「計器がそれ自体を測定している」という「簡潔な要約」は誤りであると述べている。計器は確かにモデルを読み取っているが、同時にプローブをも同等の精度で読み取っている。これらを区別できないことの代償は、プローブのアーティファクト（製造された相転移のようなもの）をモデルの特性として誤認することである。