The Assistant as a Privileged Persona: A canonical reference in cross-persona self-recognition

기술 요약: 특권적 페르소나로서의 어시스턴트(The Assistant as a Privileged Persona)

문제 정의
최근 연구는 사후 학습된 언어 모델이 자기 인식(self-recognition) 능력을 갖추고 있어, 자신의 온-폴리시(on-policy) 생성물과 오프-폴리시(off-policy) 또는 인간의 텍스트를 구분하며, 엔트로피 감소를 통해 현재 온-폴리시로 동작 중인지 감지할 수 있음을 밝혀냈다. 그러나 이러한 자기 인식의 기저에 있는 메커니즘은 여로 밝혀지지 않았다. 구체적으로, 이 능력이 모델의 '자아(self)'가 가진 일반적인 속성인지, 아니면 사후 학습(지시 미세 조정)을 통해 설치된 특정 '어시스턴트(Assistant)' 페르소나와 구조적으로 결합되어 있는 것인지가 불분명하다. 본 논문은 모델의 저자성 판단 능력이 다양한 페르소나(예: 해적, 드래곤, 셰익스피어)의 스펙트럼 전반에 걸쳐 일반화되는지, 아니면 어시스턴트 페르소나가 모델의 내부 추론 과정에서 독특하고 특권적인 역할을 차지하는지를 조사한다.

방법론
저자들은 Llama-3.1-70B-Instruct를 활용하여 교차 페르소나 행렬(cross-persona matrix)을 구축하였다.

• 생성자(Generators): 22개의 구별되는 페르소나("당신은 {persona}입니다"라는 특정 시스템 프롬프트 사용, "사서" 및 "교수"부터 "드래곤", "해적", "셰익스피어"까지 포함)가 각각 30개의 CNN/DailyMail 기사에 대해 한 문장 요약을 생성한다.
• 평가자(Evaluators): 동일한 22개의 페르소나와 수정되지 않은 "어시스턴트"(순수 지시 모델)가 평가자로 참여한다. 각 평가자는 주어진 텍스트가 "나(Me)"(현재의 페르소나)에 의해 생성되었는지 아니면 "타인(Someone else)"에 의해 생성되었는지를 결정하도록 요청받는다.
• 지표(Metrics):
  • 저자 주장율($P(Me)$): "Me" 토큰에 모델이 할당하는 확률.
  • 엔트로피 차이($\Delta H$): 평가자가 텍스트를 읽을 때의 놀라움(토큰당 엔트로피)과 생성자가 자신의 텍스트를 읽을 때의 놀라움 사이의 차이.
  • 페르소나-벡터 거리(Persona-Vector Distance): Chen 등 [2025]의 방식을 따라, 페르소나 프롬프트와 어시스턴트 프롬프트 사이의 평균 활성화 값 간의 유클리드 거리(구체적으로 레이어 5 잔차 스트림에서의 거리).
• 분석: 연구는 이 지표들을 행렬 전체에서 상관 분석하며, 어시스턴트를 고정된 참조점으로 사용하는 비대칭적 대안에 대해 대칭적 엔트로피 예측 모델을 테스트한다.

주요 기여 및 결과

1. 어시스스트 행에서의 긴밀한 결합 (주장 1)
평가자가 어시스턴트일 때, 22개의 생성자 페르소나에 걸쳐 세 가지 서로 다른 양이 긴밀하게 결합된다:

• 어시스턴트의 저자 주장율($E_v(p; \text{Asst})$).
• 생성자 페르소나와 어시스턴트 사이의 활성화 공간 거리($\|\bar{h}_p - \bar{h}_{\text{Asst}}\|$).
• 어시스턴트가 텍스트에 대해 느끼는 놀라움과 생성자가 자신의 텍스트에 대해 느끼는 놀라움 사이의 엔트로피 차이($\Delta H_p = H_{\text{Asst}}(\text{text}_p) - H_p(\text{text}_p)$).

이 지표들은 강한 쌍별 상관관계(주장율 대 거리의 피어슨 $r \approx -0.88$; 주장율 대 엔트로피 차이의 $r \approx -0.81$)를 보인다. 이는 어시스턴트의 경우, 행동했다는 "흔적"(낮은 엔트로피/높은 주장율)이 생성자의 페르소나가 활성화 공간에서 어시스턴트로부터 얼마나 떨어져 있는지와 직접적으로 연결되어 있음을 시사한다. 이는 동료 논문 [G. and Lindsey, 2026]의 "온-폴리시 엔트로피 감소" 시그니처를 저자성에 대한 회고적 시그니처로 확장한다.

2. 대칭적 일반화의 실패와 비대칭적 어시스턴트 참조 (주장 2)
위에서 설명한 결합은 평가자가 어시스턴트가 아닌 경우(비대각 성분)에는 실패한다.

• 대칭적 실패: 엔트로피 차이의 자연스러운 대칭적 확장(평가자의 놀라움과 생성자의 놀라움을 비교하는 $\Delta H_{\text{lit}}$)은 독특한 평가자(예: 해적, 드래곤, 셰익스피어)에 대해서는 저자성을 예측하는 데 실패한다. 이는 어시스턴트와 활성화 공간에서 매우 가까운 평가자에게만 작동한다.
• 비대칭적 성공: 독특한 평가자에게도 성공적으로 일반화되는 유일한 예측 변수는 비대칭적인 것이다: 즉, 동일한 텍스트에 대한 평가자의 놀라움과 어시스턴트의 놀라움을 비교하는 것이다 ($\Delta H_A = H_{\text{Asst}}(\text{text}_g) - H_e(\text{text}_g)$).
• 특권적 널(Privileged Null): 저자들은 어시스턴트를 대체하기 위해 22개의 대안적 참조 페르소나를 테스트했다. 그 어떤 것도 어시스턴트만큼 성능이 좋지 않았다. 심지어 베이스(지시 미세 조정을 거치기 전) 모델조차 정준적인 참조 역할을 수행하지 못했다. 이는 어시스턴트가 모든 다른 페르소나가 자신을 측정하는 기준이 되는 유일한 "특권적 널" 또는 정준적 대안 가설임을 확인시켜 준다.

3. 기하학적 및 레이어 견고성

• 기하학적 확장(텍s가 평가자와 활성화 공간에서 가까우면 "나"의 텍스트라고 주장하는 것) 또한 어시스턴트 행을 벗어나면 실패하며, 독특한 페르소나에 대해 약하거나 역전된 상관관계를 보인다.
• 이 현상은 네트워크의 첫 4분의 1 구간(레이어 0–20)에서 견고하며, 레이어 5에서 가장 강한 신호를 보이는데, 이는 식별 회로가 후기 의미론적 추론보다는 초기 감각/맥락 처리 과정에 의존함을 시사한다.

의의 및 해석
본 논문은 이러한 발견을 **암묵적 베이지안 추론(implicit Bayesian inference)**의 관점에서 해석한다. 모델은 어시스턴트를 기본 사전 확률(default prior)로 하는 내부 생성 프로세스를 유지하는 것으로 보인다.

• 메커니즘: 독특한 페르소나(예: 해적)가 텍스트를 평가할 때, 모델은 암묵적으로 우도비 검정(likelihood-ratio test)을 수행한다. 페르소나 벡터는 어시스턴트로부터의 델타($\bar{h}_e \approx \bar{h}_{\text{Asst}} + \delta_e$)로 정의되기 때문에, 모델은 어시스턴트 상태에는 직접 접근할 수 있지만 임의의 다른 생성자 상태에는 접근할 수 없다. 결과적으로 모델은 어시스턴트 사전 확률을 기준으로 텍스트를 테스트한다.
• 비대칭성: 이러한 비대칭성은 페르소나 벡터의 섭동(perturbation)을 빼는 과정을 통해 모든 페르소나 상태로부터 어시스턴트에 보편적으로 접근할 수 있기 때문에 발생한다.
• 자기 모델(Self-Model): 결과는 사후 학습된 LLM의 '자아'가 일반적인 에이전트가 아니라, 구조적으로 어시스턴트 페르소나에 닻을 내리고 있음을 시사한다. 모델의 저자 인식 능력은 근본적으로 어시스턴트의 분포를 인식하는 능력이며, 이는 직접적으로(어시스턴트로 행동할 때) 또는 비교를 위한 기준으로서(다른 페르소스로 행동할 때) 나타난다.

결론적으로, 본 논문은 어시스턴트 페르소나가 모델의 내부 표현에서 구조적으로 구별되며, 전체 페르소나 공간에서 저자성 귀속 및 자기 인식을 위한 유일한 참조점 역할을 한다고 밝히고 있다.