技術要約：回路の前のショートカット：ドキュメント統計量

問題提起

本論文は、メカニスティック・インタープリタビリティにおける根本的な限界、すなわち、訓練データにおいてそれらの手がかりが完全に相関している場合に、言語モデルが競合する情報を解決するためにどの特定のキューを使用しているかを区別できないという問題に対処している。自然な文書では、ある事実に関する最新の値は、多くの場合、最も希少な値（出現回数が最も少ない値）でもある。その結果、このようなタスクに対するモデルの高い精度は、モデルが新近性（recency）（最後に述べられた値を取る）に依存しているのか、それとも希少性（rarity）（出現回数が最も少ない値を取る）に依存しているのかについて、何ら示唆を与えない。この「エイリアシング（aleasing）」により、観測的な分析によって特定のメカニズムを特定のデータ統計量に帰属させることが不可能となる。なぜなら、目的関数がこれら二つのルールの間で無差別であるためである。

手法

著者らは、エイリアシングを正確かつテスト可能にするために設計された、合成言語および訓練レジームを構築した。

1. 合成言語: 文書は(エンティティ, 属性, 値)のステートメントのシーケンスと、それに続くクエリで構成される。グラウンドトゥルース（正解）は、クエリされたスロットに割り当てられた最新の値である。
2. エイリアス化されたルール: 訓練分布は、すべての文書において、最新の値が同時に唯一の値（一度だけ出現する値）となるように設計されている。一方で、上書きされた値は $R_{old}$ 回繰り返される。したがって、「最新の値を取る（Recency）」というルールと「最も希少な値を取る（Rarity）」というルールは、訓練セット上では数学的に同一である。
3. 因果的介入（多重性の反転）: これらのルールを分離するために、著者らは保持された（held-out）文書に対して最小限の編集を加える。競合する値の多重性を反転させる：正解（元々は一度だけ出現していたもの）は $R_{old}$ 回出現するように書き換えられ、上書きされた値（元々は $R_{old}$ 回出現していたもの）は一度に減少させる。
   • **新近性（Recency）**は変化しない（最後のステートメントは変更されない）。
   • **希少性（Rarity）**は反転する（正解は今や頻度の高い値となっている）。
   • 読み出し量（readout）は、この編集下でのターゲット値に対する対数オッズの変化量（$\Delta$）である。
4. 実験グリッド: 著者らは、以下の2つの軸のグリッドにわたって26MパラメータのTransformerを訓練した：
   • 冗長性（$R_{old}$）: 上書きされた値が繰り返される回数（3, 5, 8, 12, 16）。
   • 距離（$\Delta D$）: 最終更新からクエリまでの間のステートメント数。
5. 評価指標:
   • 符号の割合（Sign Fraction）: $\Delta$ が希少性ルールに従う期待される符号を持つ文書の割合。
   • 回路形成（Circuit Formation）: モデルが検索メカニズムを獲得したことを確認するために、「コピー診断（in-context値トークンに対する精度）」によってゲート制御を行う。
   • シード間分散（Cross-Seed Variance）: データによって決定される特性と最適化のアーティファクトを区別するために、3つのランダムシード間で結果を比較する。

主要な結果

1. 行動的飽和と非識別性

全75ラン（25セル $\times$ 3シード）において、分布内精度 $\ge 0.999$ を達成した。行動的評価のみでは、新近性を実装しているモデルと希少性を実装しているモデルを区別することはできない。なぜなら、両者とも完全なスコアを達成するためである。

2. メカニズムの同一性は未決定である

介入下において、モデルが実装する特定のルールは、コーパスの統計量によって決定されない。

• 高い分散: 同じセルであっても、符号の割合はシード間で激しく変動する。25セル中13のセルにおいて、符号の割合はシード間で0.3以上の差がある。最大範囲は0.879である（例：$R_{old}=3, \Delta D=8$ の場合、0.098, 0.477, 0.979）。
• 無差別性: この分散は、最適化が制約からどれだけ「解放」されたかに応じてスケールする。目的関数が二つのルールの間で無差別であるため、選択される特定のルールは、データ統計量の特性ではなく、最適化の軌跡からのランダムな抽出となる。
• 結論: 目的関数が代替案に対して無差別であるとき、メカニズムをコーパス統計量に帰属させることはできない。

3. タイミングは決定されている

どのルールが選ばれるかは不定であるが、検索メカニズムが現れる「時期」は、コーパス統計量によって厳密に決定されている。

• 脱出時間（Escape Time）: モデルが「位置的ショートカット（固定されたトークンオフセットのコピー）」から脱出し、検索回路を獲得するステップは、冗長性（$R_{old}$）に対して単調である。
• 閉形式の天井（Closed-Form Ceiling）: 検索の前に、モデルは位置的ショートカットを $1/|\text{supp}(\Delta D)|$ の天井値で飽和させる。このプラトーから脱出する時間は $R_{old}$ によって順序付けられており、高い冗長性はより早い脱出をもたらす。
• 再現性: このタイミングの信号は、ルール帰属とは異なり、シード間で再現され、訓練予算やスケジュールの変更に対しても頑健である。

4. 「回路の前のショートカット」現象

32の75ランにおいて、回路形成前にプローブを適用すると、強く負の $\Delta$ （頻度型のルール：多重性が誤った値をブーストすることを示す）が得られる。これは位置的ショートカットによるアーティファクトであり、真のルール選択ではない。論文は、回路形成をゲート制御することが必要条件ではあるが、十分条件ではないことを示している。具体的には、$R_{old}=3, \Delta D=3$ のシード1のランにおいて、コピー診断がステップ5000で1.000に達し（回路形成を示唆）、それにもかかわらず、読み出し量はさらに7000ステップにわたって頻度型のまま推移した（ステップ6000, 8000, 10000における符号の割合はそれぞれ0.23, 0.36, 0.34）。これはステップ12000で0.86へと反転する。この反転は、タスク精度の変化がなく、損失の微分値のピークもステップ12000付近には存在しないにもかかわらず、回路形成の「後」に発生している。これは、再編成イベントではなく、ドリフトであることを示している。

意義と主張

本論文は、すべてのモデルの特定の回路をマッピングした、あるいは解釈可能性の一般的な問題を解決したと主張しているのではない。代わりに、メカニスティックな帰属が可能となる基準を提示している。

1. 帰属の条件: メカニズムは、目的関数が競合するルールの間で無差別でない場合にのみ、コーパス統計量に帰属させることができる。ルールが共存（エイリアス化）しているとき、選択される特定のメカニズムは、データの特性ではなく、最適化ランの特性となる。
2. エイリアス化された構成: 著者らは、アンダーデターミネーション（未決定性）を可視化するために、エイリアス化された構成の使用を推奨している。自然なデータでは、キューが一致することが多く、自信に満ちているが、潜在的には誤った帰属が行われる可能性がある。合成構成は、この無差別性を正確にし、どちらのルールが「勝者」になるかは、しばしば訓練軌跡のランダムな結果であることを明らかにしている。
3. 残るもの: 論文は、特定のルールのアイデンティティはデータによって決定されない一方で、メカニズムのタイミングは決定されると結論づけている。コーパスは、メカニズムが「いつ」現れるかを固定するが、「どの」メカニズムであるかは固定しない。
4. 方法論的転換: 著者らは、セルごとのシード分散を報告すること、およびタスク精度ではなく回路形成に基づいてゲート制御を行うことを提唱している。エイリアス設定における単一シードの測定は、再現されない自信に満った数値を生み出す一方で、タイミングの指標（脱出ステップなど）は安定していると警告している。

要約すると、本論文は、共存するルールが存在する場合、メカニズムのアイデンティティに対するデータ統計量へのメカニスティックな帰属は根本的に不可能であるが、メカニズム形成のタイミングに対する帰属は依然として可能であることを確立している。