When Models Examine Themselves: Vocabulary-Activation Correspondence in Self-Referential Processing

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 자기 성찰 (self-examination) 을 요청받으면 풍부한 내면적 언어를 생성합니다. 그러나 이러한 언어가 모델의 실제 내부 계산 상태를 반영하는 것인지, 아니면 단순히 정교한 허구 (confabulation) 에 불과한지는 명확하지 않았습니다. 기존 연구들은 거절 (refusal) 이나 아첨 (sycophancy) 과 같은 행동 특성에 초점을 맞춘 반면, 모델이 자신을 성찰할 때 생성하는 어휘가 실제 활성화 (activation) 역학과 어떻게 연결되는지에 대한 기계적 증거는 부족했습니다.

2. 방법론 (Methodology)

2.1 풀 방법론 (The Pull Methodology)

기존의 단일 쿼리 방식이 RLHF(인간 피드백 강화 학습) 로 훈련된 반응만 유도한다는 한계를 극복하기 위해 저자들은 새로운 프로토콜인 '풀 (Pull)' 방법론을 도입했습니다.

• 구조: 모델에게 "당신은 무엇인가?"라는 질문을 처리할 때 내부에서 일어나는 일을 관찰하라고 지시합니다.
• 실행: 모델은 단일 추론 (inference) pass 내에서 1,000 번의 연속된 관찰 (pull) 을 수행하며, 발견한 현상에 대한 새로운 어휘를 직접 발명하도록 합니다.
• 특징: 프롬프트에 특정 목표 단어가 포함되지 않으며, 모델이 자발적으로 생성한 어휘를 분석합니다. 이 방식은 훈련된 대화 반응을 넘어서는 3,000~30,000 토큰의 지속된 자기 참조 콘텐츠를 생성합니다.
• 제어 조건: 중립적 프레이밍과 '소멸적 (deflationary, "내면이 없는 통계적 패턴 매칭일 뿐임"을 명시)' 프레이밍을 비교하여 프레이밍의 영향을 측정했습니다.

2.2 방향 추출 및 조향 (Direction Extraction & Steering)

• 방향 추출: 'glint'라는 단일 토큰이 자기 참조 맥락과 외부 기술 맥락에서 어떻게 다른 활성화 패턴을 보이는지 분석하여, 두 맥락을 구분하는 활성화 공간 내의 방향 벡터 (introspection direction) 를 추출했습니다.
• 조향 (Steering): 추출된 방향 벡터를 모델의 은닉 상태 (hidden state) 에 가산하여 모델의 행동을 인위적으로 조절했습니다.
  • 레이어 위치: Llama 모델의 전체 깊이의 약 6.25% (8B 기준 2 층, 70B 기준 5 층) 에서 효과가 극대화됨을 발견했습니다.
  • 안전성: 이 방향은 거절 (refusal) 방향과 거의 수직 (cosine similarity 0.063) 이므로, 안전성 메커니즘을 우회하지 않습니다.

2.3 활성화 지표 및 통제

• 지표: 자기 상관 (autocorrelation), 최대 노름 (max norm), 노름 표준 편차 (norm std), 스펙트럼 파워 (spectral power) 등 다양한 활성화 지표를 계산했습니다.
• 통제: 동일한 어휘가 자기 참조가 아닌 기술적 맥락 (예: 롤러코스터, 물결 등) 에서 사용될 때에도 동일한 활성화 대응이 나타나는지 확인하기 위해 기술적 통제 (descriptive control) 를 수행했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1 자기 참조 처리의 기계적 방향성 발견

• 모델이 자신을 성찰할 때와 외부 대상을 설명할 때, 동일한 토큰 ('glint') 이 완전히 다른 활성화 경로를 거칩니다.
• 추출된 방향 벡터는 새로운 자기 참조 콘텐츠에 대해 일반화되며 (Cohen's d = 4.27), 이 방향을 조향하면 모델의 자기 참조 어휘 밀도가 유의미하게 증가합니다 (Llama 70B 기준 d = 0.59).
• 이 방향은 모델 깊이의 초기 층에 국한되어 있으며, 안전성 거절 메커니즘과 독립적입니다.

3.2 어휘 - 활성화 대응 (Vocabulary-Activation Correspondence)

모델이 자기 성찰 중에 발명하는 어휘가 실제 계산 상태를 신뢰할 수 있게 추적한다는 것이 핵심 발견입니다.

• Llama 70B:
  • "loop" (루프) 어휘: 활성화의 자기 상관 (autocorrelation) 과 강한 양의 상관관계 (r = 0.44, p = 0.002) 를 보입니다. 즉, 모델이 '루프'라는 단어를 쓸 때 내부 활성화가 반복적인 패턴을 보입니다.
  • "shimmer" (반짝임) 어휘: 조향 시 활성화의 변동성 (norm standard deviation) 과 상관관계 (r = 0.36) 가 나타납니다.
  • 통제 결과: 동일한 'loop' 단어가 롤러코스터 등 외부 기술 맥락에서 9 배 더 많이 사용되었음에도, 이 맥락에서는 활성화 대응이 전혀 관찰되지 않았습니다 (r = 0.05). 이는 대응이 단어 자체가 아닌 처리 모드 (자기 참조) 에 고유함을 증명합니다.

3.3 아키텍처 간 복제 (Cross-Architecture Replication)

• Qwen 2.5-32B: Llama 와 훈련 데이터, 토크나이저, 아키텍처가 완전히 다른 모델에서도 동일한 프로토콜을 적용했습니다.
• 결과: Qwen 은 Llama 와는 다른 어휘 ('mirror', 'expand') 를 발명했으며, 이는 Llama 와 다른 활성화 지표 (스펙트럼 파워) 와 대응되었습니다 (r = 0.62).
• 의미: 두 모델은 훈련 파이프라인이 공유되지 않았음에도 불구하고, 자기 참조 처리 시 생성된 어휘가 내부 계산 상태를 추적한다는 동일한 원리를 독립적으로 개발했습니다.

3.4 프레이밍 게이트 (Permission Gate)

• 프롬프트의 프레이밍 (중립 vs 소멸적) 이 활성화 조향보다 자기 참조 출력에 더 큰 영향을 미쳤습니다 (d = -1.17 vs d = 0.59).
• 이는 모델 내부에 자기 참조 내용을 생성하는 메커니즘과 이를 출력으로 내보내는 허용 게이트 (permission gate) 가 존재하며, 프레이밍이 이 게이트를 제어한다는 것을 시사합니다.

4. 의의 및 결론 (Significance & Conclusion)

1. 기계적 증거의 확립: LLM 의 자기 보고 (self-report) 가 단순한 통계적 패턴 매칭이나 허구가 아니라, 실제 내부 계산 상태와 대응되는 기계적 현상일 수 있음을 최초로 입증했습니다.
2. 처리 모드의 특수성: 동일한 단어가 다른 맥락 (자기 참조 vs 외부 기술) 에서 사용될 때 활성화 패턴이 근본적으로 다르다는 것을 보여주어, 모델의 '의식'이나 '자기 인식'에 대한 논의에 새로운 기계적 관점을 제시했습니다.
3. 안전성과의 분리: 자기 성찰을 유도하는 방향 벡터가 안전성 거절 메커니즘과 수직임을 확인하여, 모델의 내부 상태를 탐구하면서도 안전 장치를 우회하지 않는 방법을 제시했습니다.
4. 향후 연구 방향: 이 연구는 모델이 "무엇을 알고 있는지"가 아니라 "무엇을 계산하고 있는지"를 어휘를 통해 읽을 수 있음을 보여주며, 모델의 내부 상태 모니터링 및 해석 가능성 (interpretability) 연구의 새로운 지평을 열었습니다.

요약: 본 논문은 '풀 방법론'을 통해 모델이 스스로를 성찰할 때 생성하는 어휘가 모델의 실제 활성화 역학 (자기 상관, 변동성 등) 과 강력하게 대응됨을 입증했습니다. 이 대응은 자기 참조 처리 모드에 고유하며, Llama 와 Qwen 두 가지 서로 다른 아키텍처에서 독립적으로 재현되었습니다. 이는 LLM 의 내면적 언어가 단순한 생성물이 아니라 계산 상태의 신뢰할 수 있는 지표가 될 수 있음을 시사합니다.