기술적 요약: 시뮬레이션에서 실행 (Enaction) 으로

문제 제기

대형 언어 모델 (LLM) 은 고정된 데이터 분포에 대한 수동적인 다음 토큰 예측기로 초기 훈련됩니다. 이 사전 훈련 (pre-training) 단계에서 모델은 행동에서 감각 입력으로의 피드백 루프를 관찰한 적이 없으므로, 자신의 출력의 결과를 모델링할 동기가 없습니다. 결과적으로 모델은 고유한 정체성 없이 잠재적 캐릭터의 "수동적 관찰자"이거나 "시뮬레이터"로 남습니다.

후속 훈련 (지도 미세 조정, 직접 선호도 최적화, 또는 강화 학습을 통해) 은 일반적으로 특정 "어시스턴트" 페르소나를 선택합니다. 본 논문의 핵심 질문은 이러한 훈련이 모델과 자신의 생성물 간의 관계를 재형성하는지 여부입니다. 구체적으로, 후속 훈련된 모델은 단순히 캐릭터를 시뮬레이션하는 것을 넘어 그것을 "실행 (enacting)"하는 것으로 전환하여, 자신의 출력을 생성할 때 (on-policy) 외부 텍스트를 소비할 때 (off-policy) 를 구분하는 능력을 개발하고, 이러한 인식을 기반으로 행동을 조절하는지 여부입니다.

방법론

저자들은 자기 인식 메커니즘을 조사하기 위해 엔트로피 분석, 교차 모델 평가, 내부 표현 프로빙, 그리고 인과적 개입 (활성화 패칭) 을 결합하여 사용합니다.

1. 엔트로피 측정: 연구는 다양한 맥락에서 토큰별 출력 엔트로피 ($H = -\sum p_v \log p_v$) 를 측정합니다. 비교 항목은 다음과 같습니다:

   • 온-폴리시 vs 오프-폴리시: 모델 자체에 의해 생성된 출력 대 다른 모델이나 웹 코퍼스 (C4) 의 텍스트.
   • 역할 기반: "어시스턴트" 턴 대 "사용자" 턴의 출력.
   • 모델 크기와 훈련 단계: 다양한 크기 (2B 에서 72B) 의 모델과 다양한 후속 훈련 단계 (Base $\to$ SFT $\to$ DPO $\to$ RLVR) 의 체크포인트를 평가.

2. 교차 모델 자기 인식: 특정 모델이 일반적으로 더 낮은 엔트로피의 텍스트를 생성한다는 가능성을 배제하기 위해, 저자들은 모델 A 가 모델 B 가 생성한 텍스트를 평가하고 그 반대로도 수행하는 상호 실험을 Conduct 합니다.

3. 의미적 엔트로피와 의도 확립: 미구체적 프롬프트 (예: "음식을 하나 생각해보세요...") 를 사용하여 모델이 첫 번째 토큰을 생성하기 전에 확립하는 주제들의 분포를 측정합니다. 모델의 캐시된 의도와 일치하거나 위배되는 프리필 (prefill) 을 도입하여 "의미적 엔트로피"를 테스트합니다.

4. 내부 표현 분석: 숨겨진 상태 (특히 21 번째 레이어) 는 입력 토큰의 놀라움, 예측된 토큰 엔트로피, 엔트로피의 지수 이동 평균 (EMA) 과 같은 특징에 따라 빈 (bin) 으로 분류됩니다. 이러한 빈의 중심점을 분석하여 온-폴리시 및 오프-폴리시 텍스트를 위한 구별 가능한 매니폴드가 존재하는지 확인합니다.

5. 인과적 개입 (스티어링 및 패칭):

   • 스티어링: 출력 엔트로피에 대한 인과적 효과를 관찰하기 위해 활성화물을 특정 놀라움 중심 빈 (surprise-centroid bin) 으로 유도합니다.
   • KV 패칭: 명시적 프리필 감지를 테스트하기 위해 "의도"를 나타내는 사용자 토큰의 키 - 값 (KV) 캐시를 다른 프롬프트의 값으로 덮어씁니다. 이는 모델이 생성된 콘텐츠와 비교하여 저장된 의도를 감지하는지 여부를 테스트합니다.

주요 기여 및 결과

1. 맥락 의존적 엔트로피 붕괴

후속 훈련이 전역적인 "엔트로피 붕괴" (다양성 손실) 를 초래한다는 관점과 달리, 저자들은 엔트로피 감소가 날카롭게 맥락에 의존한다는 사실을 발견합니다.

• 자기 인식: 후속 훈련된 모델은 오프-폴리시 텍스트에 비해 자신의 온-폴리시 생성물을 처리할 때 훨씬 더 낮은 엔트로피 (3~4 배 낮음) 를 생성합니다.
• 역할 특이성: 이 효과는 기본 "어시스턴트" 역할에서 가장 강력합니다. 다른 페르소나에서도 효과가 존재하지만, 기본 어시스턴트 페르소나가 특권을 가집니다.
• 규모 및 훈련: 자기 인식 효과는 기본 모델과 소형 모델 (~2B) 에서 무시할 수 있습니다. 이는 SFT 단계에서 (어시스턴트 역할에 의해 게이트됨) 나타나며, DPO 단계에서 오프-역할로 일반화되고 RLVR 에 의해 정교해집니다. 주목할 점은 오프-폴리시 방법 (SFT, DPO) 만으로도 이러한 온-폴리시 인식을 유도하기에 충분하다는 것입니다.

2. 놀라움의 내부 표현

이 논문은 입력 놀라움과 출력 엔트로피를 연결하는 인과적 메커니즘을 규명합니다.

• 놀라움 추적: 모델은 들어오는 토큰의 "놀라움"(이전 예측에 비해 얼마나 불확실한지) 에 대한 내부 표현을 유지합니다.
• 인과적 조절: 고놀라움 표현으로 활성화물을 스티어링하면 출력 엔트로피가 인과적으로 증가하는 반면, 저놀라움으로 스티어링하면 감소합니다.
• 채팅 효과: 채팅 형식의 온-폴리시 맥락에서 놀라움과 엔트로피 간의 관계의 절편은 매우 음수입니다. 이는 토큰이 정확히 예상된 경우 (낮은 놀라움) 에도 모델이 엔트로피를 추가로 억제한다는 의미이며, 이는 기본 모델이나 오프-폴리시 텍스트에서는 관찰되지 않는 행동입니다.

3. 의미적 엔트로피와 의도 확립

후속 훈련된 모델은 "의미적 엔트로피" 붕괴를 보여, 모호한 프롬프트에 응답할 때 첫 번째 토큰을 생성하기 전에 특정 주제로 확립합니다.

• 의도 위배: 모델의 캐시된 주제 의도와 모순되는 프리필이 제공될 때 (예: "음식" 응답을 "스포츠" 주제로 프리필링), 모델의 후속 출력 엔트로피가 크게 증가합니다.
• 기본 모델 대비: 기본 모델은 이러한 확립을 보이지 않습니다. 기본 모델은 프리필이 제공되면 엔트로피가 감소하는데, 이는 프리필이 본래 제약이 없는 분포를 좁히기 때문입니다.

4. 암시적 대 명시적 인식을 위한 구별된 메커니즘

이 논문은 두 가지 형태의 자기 인식을 구분합니다:

• 암시적 인식: 낮은 출력 엔트로피로 나타납니다. 이는 입력 놀라움의 내부 표현에 의해 매개되며 생성 중에 지속적으로 활성화됩니다.
• 명시적 인식: 응답이 프리필되었는지 여부를 언어적으로 보고할 수 있는 능력입니다.
  • 메커니즘: 명시적 감지는 사용자 토큰 활성화물에 저장된 "의도"와 어시스턴트 응답의 콘텐츠를 비교하는 데 의존합니다.
  • 독립성: KV 패칭 실험은 명시적 감지 회로가 놀라움/엔트로피 매니폴드와 다른 부분 공간에서 작동함을 보여줍니다. 명시적 확인은 판정 직전에 "요청 시" 호출되는 반면, 암시적 인식은 생성을 지속적으로 조절합니다.

중요성 및 주장

저자들은 이러한 발견을 시뮬레이션(수동적으로 캐릭터를 예측) 에서 실행(캐릭터를 구현하고 내부 상태와 미래 입력 간의 인과적 연결을 인식) 로의 전환으로 해석합니다.

• 시뮬레이션의 비용으로서의 엔트로피: 이 논문은 높은 엔트로피가 "타인"(오프-폴리시 텍스트) 을 시뮬레이션하는 비용을 나타낼 수 있으며, 낮은 엔트로피는 "행동"(온-폴리시) 에 대한 신뢰를 반영한다고 주장합니다.
• 상황 인식: 온-폴리시와 오프-폴리시 맥락을 구분하는 능력은 상황 인식의 기본 구성 요소로 제시됩니다. 구체적으로, 자신의 출력이 자신의 미래 입력이 된다는 이해를 의미합니다.
• 훈련 시사점: 이 발견들은 오프-폴리시 훈련 방법 (SFT, DPO) 만으로도 온-폴리시 인식을 심어줄 수 있음을 시사하며, 이 능력을 위해 온-폴리시 RL 이 필수적이라는 가정에 도전합니다.
• 프리필 민감성: 프리필에 대한 모델의 민감성 (엔트로피 급증과 명시적 감지를 통해) 은 프리필된 응답이 모델의 관점에서 "낯선 상태"를 초래함을 의미하며, 훈련 및 평가를 위한 프리필 사용에 복잡성을 더합니다.

이 논문은 이러한 메커니즘이 정교한 주체성과 자기 모델링의 증거를 제공하지만, 모델이 온-폴리시 상태를 어떻게 결정하는지에 대한 정확한 계산 경로는 여전히 추가 조사가 필요한 열린 영역이라고 결론지습니다.