기술 요약: Emotions Where Art Thou (감정은 어디에 있는가)

문제 제기

대규모 언어 모델(LLM)은 감성 분석 및 감정적 텍텍스트 생성에서 능숙함을 보여주지만, 감정을 표현하고 처리하는 내부 메커니즘은 여전히 미개척 영역으로 남아 있다. 기존 문헌은 주로 출력 행동(분류 정확도 또는 생성 품질)에 집중하거나, 감정을 내부적인 잠재 표현이 아닌 외부적인 레이블로 취급한다. 감정적 표현의 기하학적 구조, 즉 감정이 일관된 저차원 매니폴드(manifold) 내에 인코딩되어 있는지, 이러한 표현들이 서로 다른 데이터셋과 언어 간에 어떻게 정렬되는지, 그리고 의미적 내용을 저해하지 않으로 인과적으로 조작될 수 있는지에 대한 이해가 부족하다.

방법론

저자들은 디코더 전용 LLM(특히 LLaMA 3.1, OLMo v2, Ministral)의 감정적 잠재 공간을 조사하기 위해 기하학적 분석, 교차 도메인 정렬, 인과적 개입을 결합한 다각적인 접근 방식을 채택한다.

1. 감정적 부서 추출 (Centered-SVD):
   저자들은 문장 수준의 은닉 상태(hidden states)에 대해 중심화된 특이값 분해(Centered Singular Value Decomposition, SVD)를 활용한다. 토큰 활성화 값을 평균 풀링(mean-pooling)하여 문장 표현을 생성한 후, 이를 중심화하고 분해한다. 이는 직교하는 변동 방향들을 격리하며, 감정적 내용이 지배적인 구조적 차이일 때 주요 성분들이 주요 정동 축(affective axes)을 포착한다는 가설을 바탕으로 한다.

2. 교차 데이터셋 및 교차 언어 정렬:
   보편성을 테스트하기 위해, 연구는 합성 데이터셋(중립 문장을 특정 감정으로 재작성한 데이터)에서 유도된 감정 부서와 5개 언어(영어, 스페인어, 독일어, 힌디어, 이탈리아어, 프랑스어)에 걸친 8개의 다양한 인간 작성 데이터셋을 정렬한다.

• 정렬 지표: 감정 중심점(centroid)의 코사인 유사도와 합성 공간에서 실제 공간으로 매핑하기 위한 선형 회귀(최소제곱 적합)를 사용한다.
• 기하학적 보존: 저자들은 정렬 과정에서 감정 간의 쌍별 거리가 얼마나 잘 보존되는지 측정하기 위해 스트레스 지표(Stress-1, Stress-2, Sammon)와 왜곡 지표(평균 왜곡, $\ell_2$-왜곡, $\sigma$-왜곡)를 도입하여, 전역적 스케일링(global rescaling)과 비등방성 변형(anisotropic deformation)을 구분한다.

3. 신경 인코딩 분석 (ML-AURA):
   ML-AURA 프레임워크를 사용하여 저자들은 뉴런 선택성(neuron selectivity)을 분석한다. 뉴런은 임계값 기반 탐지기로 취급되며, 특정 감정을 구별하는 능력(one-vs-all)은 정밀도-재현율 곡선 아래 면적(AUC-PR)을 통해 측정된다. 이를 통해 감정 인코딩이 특정 뉴런에 국한되어 있는지, 아니면 네트워크 전체에 분산되어 있는지 결정한다.

4. 인과적 스티어링 (개입 모듈):
   내부적 감정 인식을 조작하기 위해 학습된 개입 모듈이 사용된다. 이 모듈은 SVD로 유도된 감정 부서 내에서 작동하며, 선택된 레이어의 은닉 상태에 변화(shift)를 적용한다. 학습 목표는 다음을 결합한다:

• 토큰 손실 ($L_{token}$): 크로스 엔트로피와 마진 손실을 사용하여 타겟 감정 토큰을 향한 분류를 강제한다.
• 의미 보존 손실 ($L_{sem}$): 원래의 은닉 상태와 변화된 은닉 상태 사이의 거리(코사인 및 $\ell_2$)를 최소화하여 핵심적인 의미 내용이 온전하게 유지되도록 한다.

주요 결과

1. 보편적 감정 매니폴드의 존재

본 연구는 방향성 있게 인코딩되고 레이어 전반에 걸쳐 안정적인 저차원 감정 부서가 존재함을 확인했다.

• 기하학적 일관성: 모델들은 실제 감정 방향과 합성 감정 방향 사이에 높은 중심점 코사인 유사도(0.83–0.93)를 보인다.
• 교차 언어 일반화: 감정 구조는 8개의 데이터셋과 5개 언어에 걸쳐 낮은 정렬 왜곡과 함께 일반화된다. 지시 미세 조정(instruction-tuned)된 변형 모델들은 일반적으로 베이스 모델보다 높은 코사인 유사도와 낮은 회귀 오차를 보이는데, 이는 합성 매니폴드에 더 밀접하게 정렬되어 있음을 시사한다.
• 왜곡 분석: 전역적 정렬은 강력하지만, 국소적 기하학적 일관성은 다양하게 나타난다. OLMo v2는 LLaMA나 Ministral에 비해 특히 지시 미세 조정된 변형에서 더 높은 스트레스와 왜곡을 보이며, 이는 보다 취약한 감정 매니폴드를 시사한다. 그러나 왜곡이 높은 경우에도 상당 부분의 레이어 세트가 일관된 기하학을 보존한다.

2. 내부 구조 및 "모델 심리학"

• 분산된 인코딩: 국소주의 이론과 달리, 감정 정보는 특정 뉴런이나 후기 레이어에 국한되지 않는다. ML-AURA 분석 결과, 높은 비율의 뉴런(예: Ekman 감정에 대해 평균 약 75%)이 선택성을 보였으며, 슬픔(sadness)과 놀람(surprise)이 가장 널리 퍼져 있는 것으로 나타났다. 이는 감정이 분산된 다목적 구성 요소들로부터 출현한다는 구성주의적 관점을 뒷받침한다.
• 해석 가능한 축: 감정 부서의 주요 주성분(PC)들은 명시적인 감독 없이도 확립된 심리학적 차원들과 일치한다:
  • PC1: 쾌락/불쾌(Valence) 차원을 닮아 있다.
  • PC2: 지배/통제(Dominance/Control)(굴복 대 자율)를 반영한다.
  • PC3: 접근-회피(Approach-Avoidance) 동기에 매핑된다.
  • PC4: **각성/긴급성(Arousal/Urgency)**에 대응한다.
• 안정성: 주요 축을 따른 감정의 순위는 레이어를 가로질러 매우 안정적으로 유지된다(상위 PC들에 대해 Spearman 상관계수 > 0.80).

3. 감정 인식의 제어 가능성

학습된 스티어링 모듈은 의미를 보존하면서 모델의 내부 감정 상태를 성공적으로 조작한다.

• 성능: 스티어링 후 타겟 감정에 대한 정확도는 영어 및 비영어 데이터셋 전반에서 빈번하게 80~90%를 상회한다. 기본 감정(슬픔, 분노, 공포, 중립)은 가장 강력한 제어력을 보이는 반면, 미묘한 범주(질투, 흥분)는 특히 힌디어와 같은 저자원 언어에서 변동성이 더 크게 나타난다.
• 의미 보존: 의미 유사도 손실이 낮게 유지됨으로써, 개입이 텍스트의 핵심적인 의미를 바꾸지 않고 정동적 해석만을 변화시킨다는 점이 확인되었다.

의의 및 주장

본 논문은 LLM 내부에 **일관되고 조작 가능한 정동적 기하학(affective geometry)**이 존재함을 밝혀냈다고 주장한다. 주요 기여는 다음과 같다:

1. 방향성 인코딩: 감정 표현이 무작위가 아니라, 깊이에 따라 안정적이고 언어적 영역 간에 전이 가능한 저차원 부서 내에 방향성 있게 인코딩되어 있음을 입증했다.
2. 창발적 구조: 명시적인 감정 감독 없이도 사전 학습 과정에서 구조화된 감정 매니폴드가 자연스럽게 출현하며, 이것이 고전적 심리학적 분류 체계(예: Valence-Arousal-Dominance)와 일치함을 보여주었다.
3. 인과적 제어: 학습된 개입 모듈을 통해 내부 감정 인식을 높은 정밀도로 조종할 수 있음을 입증함으로써, 감정 부서가 단순히 해석 가능한 것뿐만 아니라 기능적으로 제어 가능하다는 것을 증명했다.

저자들은 LLM이 구조화된 잠재 정동 매니폴드를 내재화하고 있다고 결론짓는다. 저자원 언어에서의 어휘적 희소성과 특정 모델(예: OLMo v2)에서의 매니폴드 취약성이라는 한계가 존재하지만, 본 연구 결과는 LLM이 감정을 어떻게 표현하고 조절하는지에 대한 기초적인 설명을 제공하며, 더욱 안전하고 해석 가능한 정동 AI(affective AI) 배포를 위한 경로를 제시한다.