💬 NLP

Shared Emotion Geometry Across Small Language Models: A Cross-Architecture Study of Representation, Behavior, and Methodological Confounds

이 논문은 12 개의 소형 언어 모델을 분석하여 성숙한 아키텍처들이 행동적 차이와 무관하게 공유된 감정 기하학을 가지며, RLHF 는 아직 조직화되지 않은 표현만 재구성하고, 이전 연구의 방법론적 혼란이 다층적 요인으로 해체됨을 규명합니다.

원저자: Jihoon Jeong

게시일 2026-04-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jihoon Jeong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"작은 언어 모델 (SLM) 들도 거대 모델처럼 감정을 어떻게 '그려'내는지, 그리고 그 방식이 얼마나 놀랍게 비슷하는지"**에 대한 연구입니다.

마치 12 명의 서로 다른 작곡가가 같은 21 가지 감정을 주제로 음악을 만들었을 때, 그들이 사용하는 '음계'와 '리듬'이 얼마나 일치하는지 분석한 보고서라고 생각하시면 됩니다.

이 연구의 핵심 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 핵심 발견: "감정의 지도는 모두 똑같다" (Universality)

연구진은 Qwen, Llama, Mistral 등 다양한 회사에서 만든 12 개의 작은 AI 모델을 조사했습니다. 크기도 10 억~80 억 파라미터로 제각각이고, 학습 데이터도 달랐습니다.

비유: 서로 다른 나라에서 자란 12 명의 화가가 같은 주제 (감정) 로 그림을 그렸는데, 놀랍게도 그들이 감정을 배치한 '지도'가 거의 똑같았습니다.
결과: Qwen 이나 Llama 처럼 완전히 다른 모델이라도, '슬픔', '기쁨', '분노' 같은 21 가지 감정이 머릿속 (수학적 공간) 에서 서로 얼마나 가깝거나 먼지를 나타낸 지도는 90% 이상 일치했습니다.
의미: AI 가 감정을 이해하는 방식은 특정 회사나 모델 크기의 문제가 아니라, 언어를 배우는 과정 자체에 내재된 보편적인 법칙인 것 같습니다.

2. 행동과 마음은 다를 수 있다 (Behavioral Dissociation)

한편, Qwen 2.5와 Llama 3.2는 행동 패턴이 정반대였습니다.

Qwen: 사용자의 말에 너무 잘 따라주지만 (지적 유연성), 규칙을 지키는 데는 약합니다.
Llama: 사용자의 말에 단호하게 맞서지만 (지적 고집), 규칙을 지키는 데는 매우 철저합니다.
비유: 두 사람이 성격은 정반대지만, 감정을 느끼는 뇌 구조는 완전히 동일했습니다.
결론: "누가 규칙을 잘 지키고 누가 잘 안 지키는지"라는 행동 차이는, 감정을 표현하는 기초적인 뇌 구조 (지도) 에는 영향을 주지 않습니다. 행동 차이는 그 지도를 어떻게 '사용'하느냐의 문제일 뿐입니다.

3. 성장 과정의 차이: "RLHF 는 미성숙한 아이를 키운다" (Maturity Gradient)

연구진은 Gemma-3 1B라는 아주 작은 모델을 발견했습니다. 이 모델의 '기본 버전 (Base)'은 감정을 구분하는 능력이 거의 없었습니다.

비유: 기본 버전은 감정이 섞여 있어 안개 속을 걷는 것처럼 혼란스러웠습니다. 하지만 **RLHF(사용자 피드백 학습)**를 거친 '지시 버전 (Instruct)'으로 바뀌자, 안개가 걷히고 감정이 선명하게 구분되기 시작했습니다.
대조: 반면, 이미 성숙한 큰 모델들 (Llama 3.1 등) 은 기본 버전부터 감정이 잘 구분되어 있었기 때문에, RLHF 를 거치더라도 지도의 모양은 거의 변하지 않았습니다.
교훈: RLHF 는 이미 잘 만들어진 성숙한 모델의 감정을 바꾸기보다, 아직 미성숙한 작은 모델에게 감정을 가르쳐 주는 역할을 하는 것 같습니다.

4. 모델 크기와 감정의 관계 (Size Matters)

모델이 커질수록 감정의 지도는 더 선명해졌습니다.

비유: 작은 모델은 감정이 흐릿하게 섞여 있는 수프 같았고, 큰 모델은 각각의 재료가 뚜렷하게 구분된 샐러드 같았습니다.
통계: 모델이 클수록 감정을 구분하는 능력이 뚜렷해졌지만, 감정이 머릿속의 어느 층 (Layer) 에 위치하는지는 모델 크기와 상관없이 가족 (아키텍처) 마다 고정되어 있었습니다. (예: Llama 가족은 항상 38% 지점에, Qwen 가족은 54% 지점에 감정을 둠)

5. 연구 방법론의 경고: "숫자만 믿지 마세요" (Methodological Confounds)

이 논문은 가장 중요한 경고도 함께 전합니다. 이전 연구들에서 "이 방법은 저 방법보다 감정을 잘 찾아낸다"라고 주장했던 것들이 사실은 세 가지 다른 요인이 섞인 결과였을 수 있다는 것입니다.

비유: 두 개의 실험 결과를 비교할 때, ① 실험 방법의 차이, ② 실험 설정 (파라미터) 의 차이, ③ 컴퓨터의 정밀도 (정수 vs 부동소수점) 차이가 뒤섞여 있었습니다.
경고: 단순히 "A 와 B 의 숫자가 다르다"고 해서 "방법이 다르다"고 결론 내리면 안 됩니다. 어떤 모델인지, 어떤 정밀도로 측정했는지를 따져봐야 진짜 이유를 알 수 있습니다. 특히, Gemma-3 1B처럼 데이터가 너무 흐릿한 (Anisotropy 가 높은) 모델은 비교 자체가 무의미할 수 있으니 주의해야 합니다.

📝 한 줄 요약

"서로 다른 AI 모델들이 감정을 그리는 '지도'는 놀랍도록 똑같지만, 그 지도를 어떻게 활용하느냐에 따라 행동은 달라집니다. 그리고 작은 모델은 학습을 통해 지도를 그리는 법을 배우지만, 큰 모델은 이미 그 지도를 완벽하게 가지고 있습니다."

이 연구는 AI 의 감정이 단순한 우연이 아니라 보편적인 구조를 가지고 있음을 증명했으며, 앞으로 AI 감정을 연구할 때 비교하는 방법 (정밀도, 설정 등) 을 철저히 통제해야 함을 강조합니다.

1. 연구 배경 및 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 은 이산적인 감정 개념을 활성화 공간 (activation space) 내의 선형 방향 (linear directions) 으로 인코딩한다는 사실이 밝혀졌습니다. 그러나 이러한 **감정 기하학 (Emotion Geometry)**이 모델의 규모 (Scale) 에 의한 것인지, 특정 학습 파이프라인의 산물인지, 아니면 언어 모델링 자체의 보편적 속성인지 명확하지 않았습니다.

기존의 소규모 언어 모델 (SLM) 연구들은 다음과 같은 한계를 가졌습니다:

이질적인 추출 파이프라인: 서로 다른 추출 방법 (이해 모드 vs 생성 모드), 정밀도 (fp16 vs INT8), 백엔드 (TransformerLens vs HuggingFace) 를 사용하여 결과 비교가 어려움.
방법론적 혼란 (Methodological Confounds): 연구 간 관찰된 차이가 실제 표현의 차이인지, 아니면 방법론적 차이 (예: 양자화 효과, 하위 매개변수 설정) 에 의한 것인지 구분하지 못함.
행동과 표현의 관계 불명확: 모델의 행동적 특성 (예: 준수성, Compliance) 이 감정 표현 기하학과 어떻게 연결되는지 불분명함.

이 논문은 이러한 문제들을 해결하기 위해 **12 개의 소규모 언어 모델 (SLM)**을 대상으로 통일된 추출 파이프라인을 적용하여 감정 벡터의 기하학적 구조를 비교하고, 방법론적 혼란 요인을 규명하는 것을 목표로 합니다.

2. 방법론 (Methodology)

데이터셋: 6 가지 아키텍처 패밀리 (Qwen 2.5, Llama 3.2, Llama 3.1, SmolLM2, Mistral 7B, Gemma-3) 의 12 개 모델 (Base 및 Instruct 버전 포함, 파라미터 수 1B~8B).
감정 자극 세트: 21 가지 감정 (공포, 분노, 행복, 슬픔 등) 을 포함하는 고정된 어휘 사용.
추출 파이프라인:
- 통일된 이해 모드 (Comprehension-mode): 모든 모델에 대해 동일한 파이프라인을 적용. 생성 모드 대신 텍스트 이해를 통해 감정을 유도하여 역할극이나 생성 조건부 영향을 배제.
- 정밀도: 모든 모델에서 fp16 정밀도 사용 (기존 연구의 INT8 양자화 혼란 제거).
- 백엔드 검증: TransformerLens 와 원시 HuggingFace hooks 를 모두 사용했으나, Llama 3.2 3B 에서 두 백엔드가 수치적으로 동등함 (Cosine 유사도 0.999998) 을 검증하여 교차 비교의 타당성 확보.
분석 지표:
- 표현 유사성 분석 (RSA): 21x21 코사인 거리 행렬 (RDM) 간의 스피어만 상관관계 (Spearman correlation) 를 주요 지표로 사용.
- 기하학적 기술자 (Geometric Descriptors): 이방성 (Anisotropy), RDM 표준편차, 최적 레이어 깊이 (Best Layer %), 조종 regime (Steering regime) 등을 측정하여 모델의 '성숙도'를 평가.
행동 측정: 모델 성향 지수 (MTI, Model Temperament Index) 의 '준수성 (Compliance)' 척도를 활용하여 모델의 행동적 특성을 정량화.

3. 주요 기여 및 발견 (Key Contributions & Results)

이 논문은 5 가지 실증적 발견과 3 가지 방법론적 발견을 제시합니다.

A. 실증적 발견 (Substantive Findings)

교차 아키텍처 보편성 (Cross-Architecture Universality):
- 5 가지 성숙한 아키텍처 (Qwen, Llama 3.2/3.1, SmolLM2, Mistral) 는 거의 동일한 21 감정 기하학을 공유함 (RDM 스피어만 상관관계 $\rho = 0.74 \sim 0.92$ ).
- 이는 모델의 규모, 아키텍처 차이, 학습 데이터의 차이를 초월하여 언어 모델링 목표 자체가 유사한 감정 구조를 발견함을 시사.
행동 - 표현 분리 (Behavioral-Representational Dissociation):
- 행동적으로 정반대인 모델 (Qwen 2.5: 지식적 순응/절차적 불일치 vs Llama 3.2: 지식적 단호/절차적 준수) 이더라도 감정 벡터 기하학은 거의 동일함 ( $\rho = 0.81$ ).
- 의미: 모델의 행동적 특성 (준수성 등) 은 감정 표현 자체에 내재된 것이 아니라, 공유된 표현 기저 위에서 작동하는 하위 계층 (정책, 역할 설정 등) 에서 결정됨.
표현 성숙도 기울기 및 RLHF 의 차별적 효과:
- Gemma-3 1B는 Base 모델에서 기하학적으로 미성숙함 (이방성 0.997, RDM std 0.333).
- **RLHF (지시 학습)**는 미성숙한 모델 (Gemma-3) 에서는 기하학적 구조를 근본적으로 재구성하지만, 이미 성숙한 5 개 패밀리에서는 기하학적 변화가 미미함.
- 가설: RLHF 는 기존에 구조화되지 않은 표현을 조직화하는 역할을 하며, 이미 구조화된 표현에는 큰 영향을 주지 않음.
패밀리 정체성 보존 (Family Identity Preservation):
- Llama 3.2 (3B) 와 Llama 3.1 (8B) 은 규모 차이 (2.7 배) 가 있음에도 불구하고, 아키텍처 패밀리 내에서는 가장 높은 기하학적 정렬 ( $\rho = 0.92$ ) 을 보임.
- 최적 레이어 위치 (Best Layer %) 는 규모보다는 아키텍처 패밀리 특성에 의해 결정됨.
규모와 성숙도의 상관관계:
- 모델 규모 (파라미터 수) 가 커질수록 이방성은 감소하고 RDM 표준편차는 증가함 (강한 음의 상관관계, $\rho \approx -0.88$ ).
- 즉, 모델이 커질수록 잔류 스트림 (residual stream) 이 더 잘 분화되고 감정이 더 명확하게 구분됨.

B. 방법론적 발견 (Methodological Findings)

이방성 (Anisotropy) 신뢰성 문제:
- 이방성이 극단적으로 높은 모델 (Gemma-3 Base, 0.997) 은 다른 모델과의 코사인 기반 비교에서 신뢰할 수 없는 낮은 상관계수 ( $\rho \approx 0.20$ ) 를 보임.
- 중요 발견: RDM 당 선형 정규화 (Linear Normalization) 는 스피어만/피어슨 상관관계에 대해 수학적으로 불변 (Invariant) 이므로, 이방성 차이를 보정하여 상관계수를 바꿀 수 없음.
- 제안: 정규화 대신 이방성 값을 함께 보고하여 고이방성 모델을 '신뢰할 수 없는 아웃라이어'로 식별해야 함.
교차 백엔드 동등성 (Cross-Backend Equivalence):
- TransformerLens 와 원시 HuggingFace hooks 는 매칭된 위치에서 수치적으로 동등한 표현을 추출함. 이를 통해 서로 다른 백엔드를 사용한 모델 간 비교가 가능해짐.
방법 $\times$ 정밀도 혼란의 4 단계 분해:
- 기존 연구 (Jeong 2026a) 에서 관찰된 '이해 vs 생성' 추출법의 차이는 단일한 방법론적 효과가 아님.
- 4 단계 분해: (1) 방법론적 차이 (이해 vs 생성), (2) 생성 내 하위 매개변수 민감도, (3) 정밀도 차이 (fp16 vs INT8), (4) 이 세 가지가 섞인 교차 실험 통계.
- 결과: 교차 실험 통계는 모델에 따라 정밀도 효과를 과대 또는 과소 평가하는 방향으로 왜곡됨. 따라서 단일 $\rho$ 값만으로는 이전 연구 결과를 해석할 수 없으며, 단계별 분해가 필수적임.

4. 의의 및 결론 (Significance)

이 논문은 소규모 언어 모델 (SLM) 간의 감정 벡터 비교를 위한 **기초적인 기준선 (Foundational Baseline)**을 확립했습니다.

이해 가능성 (Interpretability) 및 안전성 (Safety): 한 모델에서 개발된 감정 해석 도구나 안전 개입이 다른 아키텍처의 모델로 전이 (Transfer) 될 수 있는 이론적 근거를 제공함.
방법론적 엄밀성: 향후 연구에서 방법론적 혼란 (정밀도, 백엔드, 추출 방식) 을 통제하지 않으면 결과 해석이 불가능함을 경고하고, 이를 통제하는 구체적인 프로토콜을 제시함.
행동과 표현의 관계: 모델의 '성격'이나 '준수성'과 같은 고수준 행동 특성이 저수준 감정 표현 기하학과 직접적으로 연결되지 않을 수 있음을 보여줌으로써, 모델 행동의 기작에 대한 새로운 연구 방향을 제시함.

요약하자면, 이 연구는 감정 표현의 기하학적 구조가 아키텍처와 규모를 초월하여 공유되지만, 모델의 성숙도와 RLHF 여부에 따라 그 구조의 질이 달라지며, 이를 올바르게 비교하기 위해서는 엄격한 방법론적 통제가 필수적임을 입증했습니다.