技術要約：密な教師あり学習だけでは不十分である：ループ型言語モデルにおける「読み出しの盲点（Readout Blind Spot）」

1. 問題提起

ループ型言語モデル（LLM）は、同一のTransformerブロックを再帰的な深さ（recurrent depth）にわたって再利用することで、テスト時の計算量を動的な制御ノブ（例：容易な予測に対しては早期終了する）として機能させる。このアーキテクチャにおいて、隠れ状態 $H_k$ は二重の役割を果たす。すなわち、予測のためのデコード対象（「読み出し（readout）」インターフェース）であると同時に、将来の計算のための入力（「再帰的（recurrent）」状態）としても機能する。

特定された中心的な問題は、**可視性と活動性のミスマッチ（visibility–activity mismatch）である。密な教師あり学習（各ループでクロスエントロピー損失を適用すること）は、中間状態が予測に使用可能であることを保証するが、再帰的な遷移の中で活動しているすべての変数を必ずしも制御するわけではない。具体的には、本論文は隠れ状態のスケール（隠れベクトルの動径方向の大きさ）**について調査している。

スケール不変な読み出し（RMSNormやLayerNormなど）を持つ標準的なpre-norm残差ループでは、読み出しが隠れ状態を正規化するため、即時的なクロスエントロピー損失は入力の動径スケールに対して無感度となる。しかし、再帰パス（スキップ接続と残差更新）は、このスケールを保持し更新し続ける。その結果、モデルはすべてのループで学習可能であるにもかかわらず、隠れ状態のノルムが数千、あるいは数万へと制御不能にドリフトし、「読み出しの盲点」と呼ばれる、密な教師あり学習が活動的な再帰変数（スケール）を制約できない失敗モードが生じる。

2. 手法とメカニズム

理論的メカニズム

著者らは、以下の2つのレマ（補題）を通じて、この失敗モードを定式化している。

1. 可視性レマ（Visibility Lemma）： 読み出し $r$ がスケール不変（すなわち、$r(\alpha H) = r(H), \alpha > 0$）である場合、即時的なクロスエントロピー損失 $L$ の動径方向の微分はほぼゼロになる（$\langle \nabla_H L, H \rangle \approx 0$）。損失は、隠れ状態のスケールを「見る」ことも修正することもできない。
2. 活動性レマ（Activity Lemma）： pre-norm残差更新において、スケールは「活動的」である。更新関数 $F(su) = su + b(u)$（ここで$s$はスケール、$u$は方向）は、残差ブランチ$b(u)$ が主要なオーダーでスケールを更新することを許容する。たとえ読み出しがスケールを隠蔽したとしても、再帰はこれを保持し、増幅させる可能性がある。

これにより、局所的なミスマッチが生じる。損失信号は、再帰的更新の学習された動径方向の速度に対抗することができず、スケールのドリフトを招く。

実験設定

著者らは、WikiText-103データセットを用い、共有デコーダスタックを $K=4$ 回再帰的に適用する自己回帰型ループTransformerを訓練した。モデルサイズは44Mおよび129Mパラメータの2種類を用いた。

• コア・アブレーション： 損失の配置（Terminal-only CE vs. Per-loop CE）と読み出しのタイプ（正規化されたRMSNorm vs. Raw/Unnormalized）を組み合わせた $2 \times 2$ デザイン。
• コントロール（対照実験）：
  • ノルム罰則（Norm Penalty）： 読み出しを変更せずにスケールを可視化するために、明示的な補助損失項 $\lambda \sum \|H_k\|^2$ を追加する。
  • 最終のみの正規化（Final-only Norm）： 中間ループでは生の（unnormalized）読み出しを使用し、最終出力には正規化された読み出しを使用する。
  • 再帰的スケール・クランプ（Recurrent Scale Clamp）： 蓄積されたスケールの増大が予測に寄与しているかをテストするため、隠れ状態を初期のループ1の大きさに手動でリスケールする。
• 評価： 最終ループの隠れ状態ノルム、パープレキシティ（PPL）、および可変深度における「計算品質のフロンティア（PPL vs. スループット）」を測定した。

3. 主な貢献

1. 「読み出しの盲点」の特定： 本論文は、スケール不変な読み出しを使用した場合、密なクロスエントロピー教師あり学習は予測インターフェースを訓練するものの、活動的な再帰変数（特にスケール）を制御できないという特定の失敗モードを定義した。
2. メカニズムの検証： アブレーションと診断を通じて、著者らは以下を実証した。
   • 正規化された読み出しを用いたPer-loop CEは、大規模なノルムのドリフト（例：44Mモデルでノルムが39,000以上に達する）を引き起こす。
   • 生の（Raw）読み出しや明示的なノルム罰則を用いると、Per-loop CEを使用している場合でも、これらのノルムは数十の範囲に収まる。
   • このドリフトはトークンレベルでヘビーテイル（裾が重い）な性質を持ち、単なる平均的なシフトではない。
3. 設計指針： 著者らはシンプルな設計ルールを提案している。再帰的なスケール制御には、隠れ状態のスケールを損失に対して可視化するか（生の読み出しやノルム罰則を通じて）、あるいは再帰パスからスケールを除去する（ループ間の正規化を通じて）必要がある。 密なCEだけでは不十分である。
4. 可変深度における性能： スケール制御されたモデル（生の読み出しまたはノルム罰則を使用）は、利用可能な早期終了を維持しつつ、一致する推論深度において、スケール不変なベースラインよりも低いパープレキシティを達成した。ベースラインは「K不変性（K-invariance）」（ループが増えても性能が向上しない現象）を示すことが多く、これはスケールのドリフトによって角度方向の更新（$1/s_k$）が縮小し、実質的に正規化された状態が凍結されてしまうためである。

4. 結果

• ノルムのドリフト： Per-loop CEとRMSNorm読み出しを用いた44Mおよび129Mモデルにおいて、最終的な隠れ状態ノルムはそれぞれ39,207および56,051までドリフトした。対照的に、生の読み出しまたはノルム罰則を用いたモデルでは、ノルムは17〜83の範囲に保たれた。
• 勾配の診断： 正規化された読み出しに対する動径方向の勾配の割合はほぼゼロ（$\sim 10^{-9}$）であったが、生の読み出しは有意な動径方向の感度（$\sim 10^{-2}$）を示した。
• パープレキシティと深度：
  • RMSNormベースライン： モデルはほぼK不変であった。$K=1$ で停止しても $K=4$ と同等のパープレキシティが得られた。これは高い見かけ上のスピードアップをもたらすが、有用な深度の活用ができていないことを示している。
  • スケール制御されたバリアント： これらのモデルは、深度が増すにつれて（$K=1$ から $K=4$）顕著なパープレキシティの改善を示した。これらは、RMSNormベースラインと比較して、同じスループットにおいてより低いパープレキシティを実現し、優れたPPL-スループット・フロンティアを占めた。
• スケール・クランプ： 学習済みモデルのスケールを人工的にクランプした結果、クロスエントロピーへの影響は無視できる程度であり、蓄積されたスケールの増大自体が予測情報の主要な源泉ではなく、制御不能な再帰の副産物であることを示唆している。

5. 意義と主張

本論文は、「読み出しの盲点」がループ型および適応型深度モデルにおける根本的なアーキテクチャ上の考慮事項であることを主張している。その意義は、単に密な教師あり学習を適用することから、教師あり信号が再帰の中で更新される特定の変数に対して**可視（visible）**であるようにすることへと、焦点を移した点にある。

• 実用的な示唆： 正規化された読み出しを使用している実務家に対し、出力インターフェースを変更することなくスケールを制御するために、明示的なノルム罰則を「ドロップイン」のベースラインとして追加することを推奨している。
• 理論的洞察： 本研究は、密な教師あり学習はインターフェース（読み出し）を訓練するが、インターフェースが状態の大きさをマスクしている場合、再帰的な状態ダイナミクス（再帰）を自動的には制御しないことを明らかにしている。
• 範囲の限定： 著者らは、結論が特定の条件下（WikiText-103、44M/129Mモデル、教師強制評価）に基づいていること、およびこのメカニズムが局所的なものであることを謙虚に述べている。彼らは、ループモデルのすべての安定性の問題を解決すると主張しているのではなく、スケール不変な読み出しループにおける、スケールが制約不足であるという問題に特化して取り組んでいる。

結論として、適応型深度のループモデルには、訓練された出口（Per-loop lossによる）と、活動的な再帰スケールを制御するメカニズム（可視化または除去による）の両方が必要であり、これらは直交する設計要件である。