技術的サマリー：シミュレーションから行為（Enaction）へ

問題提起

大規模言語モデル（LLM）は、固定されたデータ分布における受動的な次のトークン予測器として最初に訓練されます。この事前学習段階では、モデルは自らの出力の帰結をモデル化する動機を持たず、行動から感覚入力へのフィードバックループを一度も観察しないためです。その結果、モデルは明確なアイデンティティを持たない潜在キャラクターの「受動的な観察者」あるいは「シミュレーター」のままであります。

事後学習（教師あり微調整、直接選好最適化、または強化学習による）は、通常、特定の「アシスタント」ペルソナを選択します。本論文の中心的な問いは、この学習がモデルと自らの生成物との関係を再構築するかどうかです。具体的には、事後学習されたモデルは、単にキャラクターをシミュレートする段階から、それを「行為（enact）」する段階へ移行し、自分がオンポリシー（自らの出力を生成している）かオフポリシー（外部テキストを消費している）かを認識する能力を発達させるのでしょうか。また、モデルはこの認識に基づいて行動を調整するのでしょうか。

手法

著者は、自己認識メカニズムを調査するために、エントロピー分析、クロスモデル評価、内部表現プロービング、および因果介入（活性化パッチング）の組み合わせを採用しています。

1. エントロピー測定: 本研究は、さまざまな文脈におけるトークンごとの出力エントロピー（$H = -\sum p_v \log p_v$）を測定します。以下の比較を行います：

   • オンポリシー対オフポリシー: モデル自身によって生成された出力対、他のモデルまたはウェブコーパス（C4）からのテキスト。
   • 役割ベース: 「アシスタント」ターンにおける出力対「ユーザー」ターンにおける出力。
   • モデルサイズと学習段階: さまざまなサイズ（2B から 72B）のモデルと、異なる事後学習段階（Base $\to$ SFT $\to$ DPO $\to$ RLVR）のチェックポイントを評価します。

2. クロスモデル自己認識: 特定のモデルが一般的に低エントロピーのテキストを生成するに過ぎない可能性を排除するため、著者はモデル A がモデル B によって生成されたテキストを評価し、その逆も行う相互実験を実施します。

3. 意味エントロピーと意図のコミットメント: 未指定のプロンプト（例：「食べ物を考えてください...」）を使用して、モデルが最初のトークンを生成する前にコミットするトピックの広がりを測定します。「意味エントロピー」をテストするために、モデルのキャッシュされた意図と一致するか、あるいはそれに反するプリフィルを導入します。

4. 内部表現分析: 隠れ状態（特にレイヤー 21）は、入力トークンの驚き、予測トークンのエントロピー、およびエントロピーの指数移動平均（EMA）などの特徴によってビン分けされます。これらのビンの重心を分析し、オンポリシー対オフポリシーのテキストに対して明確な多様体（manifolds）が存在するかどうかを判断します。

5. 因果介入（ステアリングとパッチング）:

   • ステアリング: 出力エントロピーへの因果効果を観察するために、活性化を特定の驚き重心ビンに向けてステアリングします。
   • KV パッチング: プリフィルの明示的検出をテストするために、「意図」を表すユーザートークンのキー・バリュー（KV）キャッシュを、異なるプロンプトからの値で上書きします。これは、モデルがプリフィルを検出するために、格納された意図と生成されたコンテンツを比較するかどうかをテストします。

主要な貢献と結果

1. 文脈依存のエントロピーの崩壊

事後学習がグローバルな「エントロピーの崩壊」（多様性の喪失）を引き起こすという見方とは対照的に、著者はエントロピーの減少が鋭く文脈依存であることを発見しました。

• 自己認識: 事後学習されたモデルは、オフポリシーのテキストと比較して、自らのオンポリシー生成を処理する際に、有意に低いエントロピー（3〜4 倍低い）を生成します。
• 役割特異性: この効果はデフォルトの「アシスタント」役割で最も顕著です。他のペルソナでもこの効果は存在しますが、デフォルトのアシスタントペルソナは特権的な地位にあります。
• 規模と学習: 自己認識効果はベースモデルや小規模モデル（約 2B）では無視できます。SFT 段階（アシスタント役割によってゲート制御される）で出現し、DPO 段階でオフ役割に一般化し、RLVR によって鋭化されます。注目すべきは、オフポリシー手法（SFT、DPO）だけでこのオンポリシー認識を誘発するのに十分であるということです。

2. 驚きの内部表現

本論文は、入力への驚きと出力エントロピーを結びつける因果メカニズムを特定しています。

• 驚きの追跡: モデルは、入力トークンの「驚き」（事前の予測に基づいてどれだけ起こりえないか）の内部表現を維持しています。
• 因果的変調: 高驚き表現に向けて活性化をステアリングすると、出力エントロピーが因果的に増加し、低驚きに向けてステアリングすると減少します。
• チャット効果: チャット形式のオンポリシー文脈では、驚きとエントロピーの関係の切片は強く負になります。つまり、トークンが完全に予想通り（低驚き）であっても、モデルはさらにエントロピーを抑制します。これはベースモデルやオフポリシーのテキストでは見られない挙動です。

3. 意味エントロピーと意図のコミットメント

事後学習されたモデルは「意味エントロピー」の崩壊を示し、曖昧なプロンプトに対する応答において、最初のトークンを生成する前に特定のトピックにコミットします。

• 意図の違反: モデルのキャッシュされたトピック意図と矛盾するプリフィルが提供された場合（例：「食べ物」への応答を「スポーツ」トピックでプリフィルする）、モデルのその後の出力エントロピーは有意に増加します。
• ベースモデルとの対比: ベースモデルはこのコミットメントを示しません。プリフィルは本来制約のない分布を狭めるため、ベースモデルではプリフィル時にエントロピーが減少します。

4. 暗黙的対明示的認識のための異なるメカニズム

本論文は、2 つの自己認識の形態を区別しています。

• 暗黙的認識: 低い出力エントロピーとして現れます。これは入力への驚きの内部表現によって媒介され、生成中に継続的にアクティブです。
• 明示的認識: 応答がプリフィルされたかどうかを言語的に報告する能力です。
  • メカニズム: 明示的検出は、ユーザートークン活性化に格納された「意図」とアシスタント応答のコンテンツを比較することに依存します。
  • 独立性: KV パッチング実験は、明示的検出回路が驚き/エントロピー多様体とは異なる部分空間で動作することを示しています。明示的チェックは、判定の直前に「オンデマンド」で呼び出されるのに対し、暗黙的認識は生成を継続的に変調します。

意義と主張

著者は、これらの知見を、キャラクターを受動的に予測するシミュレーションから、キャラクターを具現化し、内部状態と将来の入力との因果的つながりを認識する**行為（enaction）**への転換として解釈しています。

• シミュレーションのコストとしてのエントロピー: 本論文は、高いエントロピーが「他者」（オフポリシーテキスト）をシミュレートするコストを表し、低いエントロピーが「行為（acting）」（オンポリシー）の自信を反映すると仮定しています。
• 状況認識: オンポリシーとオフポリシーの文脈を区別する能力は、状況認識の基礎的な構成要素として位置づけられています。具体的には、自らの出力が自らの将来の入力となるという理解です。
• 学習への示唆: この発見は、オフポリシー学習手法（SFT、DPO）だけでオンポリシー認識を注入するのに十分であることを示唆しており、この能力のためにオンポリシー RL が厳密に必要であるという仮定に挑戦しています。
• プリフィル感受性: プリフィルに対するモデルの感受性（エントロピーのスパイクと明示的検出の両方を通じて）は、プリフィルされた応答がモデル自身の視点からは「未知の状態」を課すことを意味し、学習や評価におけるプリフィルの使用を複雑にします。

本論文は、これらのメカニズムが洗練された主体性と自己モデル化の証拠を提供する一方で、モデルがオンポリシー状態をどのように決定するかという正確な計算経路については、さらなる調査のための未解決分野であると結論付けています。