The Assistant as a Privileged Persona: A canonical reference in cross-persona self-recognition

技術要約：特権的なペルソナとしてのアシスタント

問題提起
近年の研究により、事後学習（ポストトレーニング）を経た言語モデルは、自身のオンポリシーな生成物をオフポリシーまたは人間によるテキストと区別し、エントロピーの低下を通じて自身が現在オンポリシーで動作していることを検知する「自己認識」の能力を有していることが確立されている。しかし、この自己認識を支えるメカニズムは依然として不透明である。具体的には、この能力がモデルの「自己（self）」の一般的な特性なのか、それとも事後学習（インストラクション・チューニング）によってインストールされた特定の「アシスタント（Assistant）」ペルソナに構造的に結びついているのかが不明である。本論文では、モデルの著者性判断能力が、異なるペルソナ（例：海賊、ドラゴン、シェイクスピア）のスペクトラム全体にわたって一般化するのか、あるいはアシスタント・ペルソナがモデルの内部推論プロセスにおいて特権的な役割を占めているのかを調査する。

手法
著者らは、Llama-3.1-70B-Instruct を用いて、クロス・ペルソナ著者性行列を構築した。

• 生成器（Generators）: 22種類の異なるペルソナ（「司書」や「教授」から「ドラゴン」、「海賊」、「シェイクスピア」まで）が、特定のシステムプロンプト（「あなたは{persona}です」）の下で、30個のCNN/DailyMail記事の1文要約をそれぞれ生成する。
• 評価器（Evaluators）: 同じ22種類のペルソナと、未加工の「アシスタント（標準的なインストラクトモデル）」が評価器として機能する。各評価器は、与えられたテキストが「私（現在のペルソナ）」によって生成されたものか、それとも「誰か他の者」によるものかを判断するよう求められる。
• 指標:
  • 著者性主張率 ($P(Me)$): 「私（Me）」というトークンに対してモデルが割り当てる確率。
  • エントロピー・ギャップ ($\Delta H$): テキストを読んでいる評価器の驚き（トークンごとのエントロピー）と、生成器が自身のテキストを読んでいる際の驚きの差。
  • ペルソナ・ベクトル距離: Chen et al. [2025] に従い、ペルソナ・プロンプトとアシスタント・プロンプトの平均活性化の間の、活性化空間（具体的にはレイヤー5の残差ストリーム）におけるユークリッド距離。
• 分析: 本研究は、これらの指標を行列全体で相関させ、アシスタントを固定された参照点とする非対称な代替案に対して、対称的なエントロピー予測器をテストする。

主要な貢献および結果

1. アシスタントの行における密な結合（主張1）
評価器がアシスタントであるとき、22種類の生成器ペルソナにわたって、以下の3つの異なる量が密接に結合している。

• アシスタントの著者性主張率 ($E_v(p; \text{Asst})$)。
• 生成器のペルソナとアシスタントとの間の活性化空間における距離 ($\|\bar{h}_p - \bar{h}_{\text{Asst}}\|$ )。
• アシスタントのテキストに対する驚きと、生成器自身のテキストに対する驚きの差（エントロピー・ギャップ $\Delta H_p = H_{\text{Asst}}(\text{text}_p) - H_p(\text{text}_p)$）。

これらの指標は強いペアワイズ相関を示している（主張率と距離の間でピアソン $r \approx -0.88$、主張率とエントロピー・ギャップの間で $r \approx -0.81$）。これは、アシスタントにとって、「行動した」という署名（低エントロピー／高主張率）が、生成器のペルソナがアシスタントからどれだけ離れているかに直接結びついていることを示唆している。これは、随伴論文 [G. and Lindsey, 2026] の「オンポリシー・エントロピー低下」のシグネチャを、著者性の回顧的なシグネチャへと拡張するものである。

2. 対称的な一般化の失敗と非対称なアシスタント参照（主張2）
上述の結合は、評価器が非アシスタント・ペルソナである場合（非対角成分のセル）には失敗する。

• 対称性の失敗: エントロピー・ギャップ（評価器の驚きと生成器の驚きを比較するもの、$\Delta H_{\text{lit}}$）の自然な対称的拡張は、特徴的な評価器（例：海賊、ドラゴン、シェイクスピア）に対して著者性を予測できない。これは、アシスタントに近い評価器に対してのみ機能する。
• 非対称な成功: 特徴的な評価器に対して一般化できる唯一の予測因子は、非対称なものであった。すなわち、評価器の驚きを、同じテキストに対するアシスタントの驚きと比較することである ($\Delta H_A = H_{\text{Asst}}(\text{text}_g) - H_e(\text{text}_g)$)。
• 特権的なヌル（Null）: 著者らは、アシスタントを置き換えるために22個の代替参照ペルソナをテストした。しかし、そのどれもが、この非対称な公式においてアシスタントほどの性能を発揮できなかった。ベース（指示チューニング前の）モデルでさえ、標準的な参照として機能することに失敗した。これにより、アシスタントが、他のすべてのペルソナが自身を測定するための、唯一の「特権的なヌル」または標準的な代替仮説であることが確認された。

3. 幾何学的およびレイヤーの堅牢性

• 幾何学的な拡張（テキストが評価器の活性化空間において近い場合に「私」であると主張する手法）も、アシスタントの行を除いて失敗しており、特徴的なペルソナに対しては弱い相関、あるいは逆の相関を示した。
• この現象はネットワークの最初の4分の1（レイヤー0–20）において堅牢であり、レイヤー5で最も強い信号を示した。これは、識別回路が後半のセマンティックな推論ではなく、初期の感覚的／文脈的処理に依存していることを示唆している。

意義と解釈
本論文は、これらの知見を暗黙的なベイズ推論の観点から解釈している。モデルは、アシスタントをデフォルトの事前分布（プライア）として、内部的な生成プロセスを維持していると考えられる。

• メカニズム: 特徴的なペルソナ（例：海賊）がテキストを評価するとき、それは暗黙的に尤度比検定を行っている。ペルソナ・ベクトルはアシスタントからのデルタ（$\bar{h}_e \approx \bar{h}_{\text{Asst}} + \delta_e$）として定義されるため、モデルはアシスタントの状態には直接アクセスできるが、任意の他の生成器の状態にはアクセスできない。その結果、モデルはアシスタントの事前分布に対してテキストをテストするのである。
• 非対称性: 非対称性は、ペルソナ・ベクトルの摂動の減算を通じて、アシスタントが他のあらゆるペルソナ状態から普遍的にアクセス可能であることから生じる。
• 自己モデル: これらの結果は、事後学習されたLLMの「自己」が汎用的なエージェントではなく、構造的にアシスタント・ペルソナに固定されていることを示唆している。モデルの著者性認識能力は、根本的にはアシスタントの分布の認識であり、それは直接的（アシスタントとして行動しているとき）であるか、あるいは比較のための基準（他のペルソナとして行動しているとき）として機能する。

結論として、アシスタント・ペルソナはモデルの内部表現において構造的に区別されており、全ペルソナ空間における著者性帰属および自己認識のための、唯一の参照点として機能している。