Extracting and Steering Emotion Representations in Small Language Models: A Methodological Comparison

1. 연구 배경 및 문제 제기 (Problem)

• 배경: Anthropic 의 최근 연구 [Anthropic, 2026] 는 대규모 언어 모델 (Frontier models) 이 내부적으로 감정을 유발하는 벡터 (171 가지 감정 개념) 를 보유하고 있으며, 이를 조작 (Steering) 함으로써 모델의 행동을 인과적으로 변화시킬 수 있음을 증명했습니다.
• 문제: 현재 생산 환경과 소비자 하드웨어에서 널리 사용되는 **작은 언어 모델 (SLM, 1 억~100 억 파라미터)**에도 이러한 감정 표현이 존재하는지, 그리고 Frontier 모델에서 사용된 동일한 추출 및 조종 방법이 SLM 에 적용 가능한지는 알려지지 않았습니다.
• 핵심 질문:
  1. SLM 은 인과적으로 행동을 주도하는 내부 감정 표현을 가지고 있는가?
  2. Frontier 모델용 방법론 (평균 감산 등) 이 SLM 에도 유효한가?

2. 방법론 (Methodology)

• 실험 대상 모델: 5 가지 아키텍처 패밀리 (GPT-2, Gemma, Qwen, Llama, Mistral) 에 속한 9 개의 모델 (124M ~ 3B 파라미터).
  • Base 모델과 Instruction-tuned(Instruct) 모델을 모두 포함.
• 감정 자극 (Stimuli): Russell 의 원형 모델 (Valence/Arousal) 을 기반으로 171 가지 중 20 가지 감정을 선정.
• 감정 벡터 추출 방법 비교:
  1. 생성 기반 (Generation-based): 모델이 감정 프롬프트에 대해 이야기를 생성하게 한 후, 생성된 시퀀스 중간 지점의 히든 상태를 추출. (Instruct 모델 전용)
  2. 이해 기반 (Comprehension-based): 미리 작성된 감정 텍스트를 입력받아 마지막 토큰의 히든 상태를 추출. (Base 및 Instruct 모델 모두 적용 가능)
• 조종 (Steering) 및 검증:
  • 추출된 감정 벡터를 생성 과정 (Greedy decoding) 에 주입하여 행동을 변화시킴.
  • 평가 지표: 감정 벡터 분리도 (Cosine Similarity), 외부 감정 분류기 (External Classifier) 검증, 퍼플렉시티 (Perplexity) 비율을 통한 텍스트 품질 분석.
  • 하드웨어: 단일 NVIDIA RTX 4070 Ti 에서 실행.

3. 주요 기여 및 발견 (Key Contributions & Results)

가. 감정 벡터 추출 방법론의 최적화

• 생성 vs. 이해: 모든 비교 가능한 경우 (7/7) 에서 생성 기반 추출이 이해 기반 추출보다 통계적으로 유의미하게 우수한 감정 분리도를 보임 (Mann-Whitney p=0.007, Cohen's d=-107.5).
  • 이유: 생성 기반은 모델이 감정을 능동적으로 표현하는 능력을 반영하는 반면, 이해 기반은 텍스트 이해 능력의 고정된 특성을 측정함.
• RLHF 의 영향: Instruction Tuning (RLHF) 은 모델 아키텍처에 따라 다르게 작용. Llama 3.2 에서는 감정 표현을 크게 향상시켰으나, Mistral 에서는 효과가 미미함.
• 모델 크기 효과: 파라미터 수 (1.7B vs 7B 등) 와 감정 벡터 분리도 사이에는 일관된 상관관계가 없음. 작은 모델도 큰 모델만큼 잘 분리된 감정을 가질 수 있음.

나. 감정 표현의 구조적 특성

• 레이어 위치 (U 자형 곡선): 감정 표현은 트랜스포머 레이어의 **중간 깊이 (약 50%)**에서 가장 잘 분리됨. 초기 레이어는 토큰 특징, 후기 레이어는 다음 토큰 예측 특징이 지배적임. 이 패턴은 모델 크기와 아키텍처에 관계없이 보편적임.
• 방향성 (Anisotropy) 문제: SLM 은 Frontier 모델과 달리 감정 벡터 간에 음의 코사인 유사도 (반대 감정 간) 를 보이지 않음. 이는 SLM 의 표현 공간이 이방성 (Anisotropic) 이 강해 감정 공간이 좁은 원뿔 안에 압축되어 있기 때문으로 해석됨.

다. 감정 조종 (Steering) 의 인과적 검증

• 행동 변화: 124M 에서 3B 까지 모든 모델에서 감정 벡터 조종이 인과적으로 행동 변화를 일으킴 (외부 분류기 92% 성공률).
• 3 가지 조종 regimes (영역):
  1. 외과적 (Surgical): 일관된 텍스트 변환이 가능 (예: Gemma-2-2B-IT). 텍스트 품질이 유지되거나 오히려 향상됨.
  2. 반복적 붕괴 (Repetitive Collapse): 1B 급 모델에서 발생. 텍스트가 반복되지만 퍼플렉시티는 낮음 (예: "contentment contentment...").
  3. 폭발적 (Explosive): 텍스트가 무질서해지고 퍼플렉시티가 급증함 (예: Llama-3.2, Qwen).

라. 새로운 현상 발견 (Emergent Phenomena)

• 초국적 감정 활성화 (Cross-lingual Emotion Activation): Qwen 모델에서 감정 조종 시, 프롬프트 언어 (영어) 와 다른 언어 (중국어) 의 토큰이 생성됨.
  • 단순 번역이 아니라, 감정의 **현상학적 경험 (예: 절망 = '찾아보다'라는 행동)**을 중국어로 표현함.
  • 이는 RLHF 가 다국어 안전 필터를 우회할 수 있는 경로를 열 수 있음을 시사함.
• 모달리티 전이: Gemma-3-IT 모델에서 '행복' 조종 시 이모지 생성이 관찰됨.

4. 의의 및 결론 (Significance)

• 방법론적 가이드라인: SLM 에서 감정 연구를 수행하기 위한 구체적인 지침 제시:
  • 추출: Instruct 모델은 생성 기반, Base 모델은 이해 기반 사용.
  • 레이어: 중간 레이어 (50% 깊이) 사용.
  • 조종 강도: 0.005 에서 시작하여 점진적 조정.
• 안전성 (Safety) 시사점:
  • SLM 도 Frontier 모델처럼 내부 감정 표현을 가지며, 이를 조작하면 행동을 바꿀 수 있음.
  • 특히 외과적 (Surgical) 조종은 텍스트가 일관되게 유지되어 안전 필터를 우회하기 더 위험할 수 있음.
  • 다국어 감정 엔탱글먼트는 특정 언어의 안전 정책이 다른 언어의 출력에는 적용되지 않을 수 있음을 경고.
• Model Medicine 시리즈: 외부 행동 프로파일링 (Paper #3, MTI) 과 내부 표현 분석 (본 논문) 을 연결하여, RLHF 가 모델의 '표면 (Shell)'은 수정하지만 '핵심 (Core, 표현 기반)'은 그대로 두는 구조적 특성을 규명함.

5. 요약

이 논문은 작은 언어 모델 (SLM) 이도 Frontier 모델과 유사하게 인과적인 감정 표현을 보유하고 있음을 최초로 증명했습니다. 그러나 SLM 에서는 Frontier 모델의 기존 방법론이 직접 적용되지 않으며, 생성 기반 추출과 중간 레이어 사용이 필수적입니다. 또한, 감정 조종 과정에서 예상치 못한 다국어 활성화와 텍스트 붕괴 현상이 관찰되어, SLM 의 안전성 연구와 정렬 (Alignment) 전략 수립에 있어 새로운 과제를 제시합니다.