Where Do Models Find Happiness? Emotion Vectors in Open-Source LLMs

기술 요약: "모델은 어디에서 행복을 찾는가? 오픈 소스 LLM의 감정 벡터"

문제 제기
Sofroniew 등(2026)의 최근 연구는 독점 모델인 Claude Sonnet 4.5의 내부 활성화 공간 내에서 "감정 벡터(emotion vectors)"를 식별했다. 이 벡터들은 감정 개념을 인코딩하고, 모델의 행동에 인과적인 영향을 미치며, 인간의 심리학적 프레임워크(구체적으로 러셀의 가치-각성 원형 모델)를 반영하는 기하학적 구조를 보인다는 것이 밝혀졌다. 그러나 이러한 발견이 Claude만의 고유한 학습 과정에 의한 것인지, 아니면 대규모 언어 모델(LLM)의 일반적인 속성인지는 불분명했다. 또한, 네트워크 깊이에 따른 이러한 표현의 진화와 추출 방법론(특히 사용된 스토리 코퍼스)의 영향에 대해서도 탐구되지 않았다. 본 논문은 세 가지 핵심 질문을 다룬다: (1) 감정 벡터는 오픈 웨이트 모델에서도 일반화될 수 있는가? (2) 가치(valence) 기하학의 출현은 모델 레이어에 따라 어떻게 변하는가? (3) 스토리 코퍼스의 선택이 이러한 벡터의 추출에 어떤 영향을 미치는가?

방법론
저자들은 두 가지 오픈 웨이트 모델인 APERTUS-8B(가중치, 데이터, 코드가 모두 공개된 32개 레이어 트랜스포머)와 GEMMA-4-E4B(42개 레이어 트랜스포머)에 대해 감정 벡터 분석을 재현하고 확장하였다.

1. 데이터셋 구축: Sofroniew 등(2026)을 따라, 저자들은 171개의 서로 다른 감정 각각에 대해 1,539개의 이야기를 포함하는 합성 데이터셋을 생성했다. 결정적으로, 저자들은 APERTUS-8B가 생성한 코퍼스와 GEMMA-4-E4B가 생성한 코퍼스라는 두 개의 독립적인 코퍼스를 생성했다. 각 감정에 대해, 모델은 타겟 감정을 직접 명시하지 않고 간접적인 단서(행동, 신체적 감각, 대화)에 의존하여 캐릭터가 해당 감정을 경험하는 이야기를 쓰도록 프롬프트되었다. 또한 베이스라인 역할을 할 고정된 40개의 중립적인 이야기도 생성되었다.
2. 대조 벡터 추출(Contrast Vector Extraction): 각 감정과 레이어에 대해, 저자들은 잔차 스트림(residual stream) 활성화를 추출했다. 감정 특유의 신호를 일반적인 언어적 특징으로부터 분리하기 위해, 다음의 2단계 과정을 수행했다:
   • 활성화를 토큰과 이야기 전반에 걸쳐 평균화하여 원시 벡터(raw vector)를 형성한다.
   • 40개의 중립적 이야기에서 도출된 주성분(상위 $K$개, 중립적 분산의 50%를 설명함)에 대한 원시 벡터의 투영을 차감함으로써 "감정 불가지론적(emotion-agnostic)" 하위 공간을 투영 제거한다.
3. 분석:
   • PCA 및 상관관계: 대조 행렬에 주성분 분석(PCA)을 적용했다. 첫 두 주성분(PC1, PC2)을 NRC 렉시콘의 인간 가치 및 각성 점수와 상관 분석했다.
   • 교차 레이어 유사도: 레이어 간 표현 유사도를 측정하기 위해 중심 커널 정렬(Centered Kernel Alignment, CKA)을 사용했다.
   • 방향 안정성: 가치 방향 벡터(인간의 평가와 가장 높은 상관관계를 보이는 축) 사이의 코사인 유사도를 인접한 레이어 간에 계산하여 안정성을 추적했다.

주요 기여 및 결과

• 감정 벡터의 일반화: 본 연구는 두 오픈 웨이트 모델 모두에서 가치 기하학을 성공적으로 복구함으로써, 감정 벡터가 Claude에만 국한된 것이 아님을 입증했다.

  • APERTUS-8B: (Gemma가 생성한 이야기를 사용하여) 피크 PC1–가치 상관관계 $r = 0.76$을 달eric했다.
  • GEMMA-4-E4B: (Gemma가 생성한 이야기를 사용하여) 피크 PC1–가치 상관관계 $r = 0.83$을 달성했다.
  • 이러한 피크 수치는 Claude Sonnet 4.5에서 보고된 $r = 0.81$에 근접하거나 이를 상회하며, 다양한 아키텍처에 걸친 이 현상의 일반성을 확인시켜 준다.

• 상이한 출현 궤적: 두 모델 모두 유사한 피크 상관관계에 도달했지만, 가치 표현이 나타나는 깊이는 크게 달랐다.

  • GEMMA-4-E4B: 조기 인코딩(early encoding) 후 붕괴되는 양상을 보였다. 가치 상관관계는 레이어 16(약 38% 깊이) 부근에서 정점을 찍은 후 후반 레이어에서 0으로 떨어졌다. CKA 분석은 모든 레이어에 걸쳐 매끄러운 그래디언트를 보여주었으며, 이는 특정 가치 축이 퇴화하더라도 표현 공간 자체는 안정적으로 유지됨을 시사한다.
  • APERTUS-8B: 후기 출현(late emergence) 양상을 보였다. 가치 상관관계는 네트워크 전반부에서는 0에 가까웠으나, 레이어 18 이후 급격히 상승하여 상위 레이어(레이어 23–31에서 정점)에서 안정화되었다. CKA 분석은 중간 레이어에서 뚜렷한 "상전이(phase transition)"를 드러냈으며, 이는 표현 공간의 재구성을 의미한다.

• 코퍼스 의존적 각성: 각성(PC2)의 추출은 스토리 코퍼스에 매우 민감했다.

  • 두 모델 모두 Gemma 생성 스토리로 평가했을 때 ($r$ 최대 0.45) Apertus 생성 스토리로 평가했을 때 ($r \le 0.21$)보다 훨씬 강력한 PC2–각성 정렬을 보였다.
  • 이는 각성과 관련된 언어적 단서가 생성된 코퍼스 사이에 불균등하게 분포되어 있음을 시사하며, 자극 코퍼스의 선택이 단순한 구현 세부 사항이 아닌 실질적인 방법론적 요소임을 보여준다.

• 안정적인 공간, 불안정한 축: 저자들은 전체적인 표현 공간의 안정성(CKA)과 특정 가치 축의 안정성 사이의 단절을 관찰했다. GEMMA-4-E4B의 경우, 가치 상관관계가 붕괴되는 지점에서도 공간은 유사하게 유지되었는데, 이는 가치 정보가 보존되지만 변화하는 축을 따라 인코딩됨을 의미한다.

의의 및 주장
본 논문은 서로 다른 계산 경로를 통해서도 유사한 고수준의 감정 표현이 발생할 수 있다고 주장한다. 연구 결과는 다음과 같은 시사점을 준다:

1. 보편성: 감정 벡터는 특정 모델의 학습 결과물이 아니라 LLM의 일반적인 속성이다.
2. 해석 가능성 함의: 감정 인코딩의 "위치"와 "방법"은 아키텍처마다 다르다. 이러한 벡터를 모니터링하거나 조종(steering)하려면 주의 깊은 레이어 선택이 필요하며, 최적의 개입 레이어는 모델 간에 다르다(Gemma는 초기, Apertus는 후기).
3. 방법론적 엄밀성: 감정 벡터의 추출은 입력 코퍼스에 민감하다. 본 연구는 코퍼스 선택이 특정 감정 차원(특히 각성)의 회복 가능성에 상당한 영향을 미칠 수 있음을 강조하며, 강건한 분석을 위해 다양한 자극 세트가 필요함을 역설한다.

저자들은 최고 수준의 기하학적 구조는 일관되지만, 이러한 표현의 발달 궤적은 모델마다 다르다고 결론지었으며, 이는 오픈 웨이트 모델에 대한 표적 조종 개입 및 안전 모니터링에 중요한 함의를 갖는다.