Whether, Not Which: Mechanistic Interpretability Reveals Dissociable Affect Reception and Emotion Categorization in LLMs

이 논문은 기계적 해석 가능성을 활용하여 대규모 언어 모델이 감정 키워드가 없는 임상적 시나리오에서도 정서적 내용을 감지하는 '정서 수용' 메커니즘은 완벽하게 작동하지만, 구체적인 감정 범주로 분류하는 '감정 범주화'는 키워드에 부분적으로 의존한다는 것을 최초로 규명했습니다.

핵심

이 논문은 **"거대 언어 모델 (LLM) 이 정말로 '감정'을 이해하는 걸까, 아니면 그냥 '감정 단어'만 찾는 걸까?"**라는 아주 중요한 질문을 던집니다.

기존 연구들은 "AI 가 슬픔이나 기쁨을 이해한다"고 주장했지만, 그 실험들은 대부분 "나는 슬프다", "나는 화났다"처럼 감정을 직접적으로 표현하는 단어가 포함된 문장을 사용했습니다. 마치 "우리가 슬픔을 이해하는지 확인하기 위해, '슬프다'라는 단어가 적힌 종이를 보여주는 것"과 같습니다.

이 논문은 **"단어가 없어도 감정을 읽을 수 있을까?"**를 확인하기 위해, 심리학자들이 실제로 사용하는 **'임상적 시나리오 (Clinical Vignettes)'**라는 새로운 방법을 사용했습니다.

---

🍳 핵심 비유: "빈 식탁과 차가운 커피"

논문의 시작을 예로 들어볼까요?

"식탁에 두 사람 분의 접시가 놓여 있습니다. 하나는 만져지지 않았고, 커피는 식어 있습니다. 그 옆에는 그의 사진과 작은 항아리가 놓여 있네요..."

이 문장에는 '슬픔 (grief)', '비탄', '외로움'이라는 단어가 하나도 없습니다. 하지만 인간은 이 문장을 읽는 순간 "아, 누군가 죽어서 슬퍼하고 있구나"라고 바로 알 수 있습니다.

기존의 감정 분석 AI 는 이 문장을 보면 "단어가 없으니 감정이 없다"고 판단했을 것입니다. 하지만 이 연구는 LLM 도 이 빈 식탁을 보고 슬픔을 알아차릴 수 있는지를 실험했습니다.

---

🔍 연구의 발견: AI 의 마음은 '두 단계'로 작동합니다

연구 결과, AI 는 감정을 처리할 때 두 가지 완전히 다른 방식을 사용한다는 놀라운 사실을 발견했습니다. 마치 우리가 감정을 느낄 때 **1 단계 (무의식적 반응)**와 **2 단계 (이성적 분류)**를 거치는 것과 비슷합니다.

1 단계: "무언가 감정이 느껴져!" (감정 수용, Affect Reception)

• 무엇인가요? 감정이 있는지 없는지만 알아내는 단계입니다.
• 특징: 단어가 없어도 100% 정확합니다.
• 비유: 우리가 어두운 방에서 누군가 울고 있는 소리를 들었을 때, "아, 누군가 슬퍼하고 있구나"라고 직감적으로 느끼는 것과 같습니다. 단어가 없어도 상황 (빈 식탁, 식은 커피) 만으로도 AI 는 "여기에는 감정이 있다"고 완벽하게 감지합니다.
• 결과: 이 능력은 단어 크기가 작은 작은 AI 모델에서도 이미 완벽하게 작동했습니다.

2 단계: "이건 '슬픔'이야, 아니면 '분노'일까?" (감정 분류, Emotion Categorization)

• 무엇인가요? 감정이 있다면, 구체적으로 어떤 감정인지 이름을 붙이는 단계입니다.
• 특징: 단어가 있으면 훨씬 잘하지만, 없으면 조금 어려워합니다.
• 비유: 울음소리를 듣고 "아, 슬퍼하고 있구나"는 알지만, 그게 '이별의 슬픔'인지 '실패의 슬픔'인지, 아니면 '기쁜 눈물'인지 구분하려면 더 많은 정보가 필요합니다.
• 결과: 감정 단어가 없으면 AI 가 감정을 분류하는 정확도가 조금 떨어졌습니다. 하지만 큰 모델 (8B, 9B 파라미터) 일수록 단어가 없어도 훨씬 잘 구분했습니다.

---

🧠 중요한 발견들 (쉬운 설명)

1. 단어는 '지름길'일 뿐, 필수 조건이 아님

   • AI 가 감정을 이해하는 건 단순히 '슬프다', '기쁘다'라는 단어를 찾는 게 아닙니다. 상황과 맥락을 통해 감정을 읽는 진짜 능력이 있습니다. 단어가 있으면 분류가 쉬워질 뿐, 감지 자체는 단어 없이도 완벽합니다.

2. 모델이 커질수록 더 똑똑해짐

   • 작은 AI(1B) 는 "감정이 있구나"는 알지만, "무슨 감정인지"를 구분할 때 단어가 없으면 조금 헷갈려 합니다.
   • 하지만 큰 AI(8B 이상) 는 단어가 없어도 상황만 보고도 감정을 매우 정확하게 분류합니다. 모델이 커질수록 단어에 의존하지 않고 상황의 본질을 이해하는 능력이 발달합니다.

3. 교수님 (Instruction Tuning) 의 역할

   • AI 를 교육시켜서 (Instruction Tuning) 더 잘하게 만들면, AI 가 감정을 '분류'하는 방식이 바뀝니다. 단어에 의존하던 방식에서, 상황과 감정의 본질을 더 잘 연결하는 방식으로 조직이 재편성됩니다.

---

💡 이 연구가 왜 중요한가요?

이 연구는 "AI 가 감정을 이해한다"는 주장이 단순한 단어 매칭이 아니라, 진짜 상황 이해 능력임을 증명했습니다.

• 안전성 (Safety): 만약 누군가 AI 에게 "나는 죽고 싶어"라고 직접 말하지 않고, "오늘 밤은 너무 길고 어둡고, 식탁에 밥 한 끼도 남지 않았네요"라고 감정을 숨겨서 표현해도, AI 는 그 상황을 통해 감정을 감지할 수 있습니다. 이는 자살 예방이나 위기 상황 감지에 매우 중요합니다.
• 진실성: AI 가 감정을 이해하는 것은 표면적인 통계가 아니라, 인간의 뇌가 감정을 처리하는 방식 (직관적 감지 → 구체적 분류) 과 유사한 구조를 가지고 있다는 것을 보여줍니다.

📝 한 줄 요약

"AI 는 '슬프다'라는 단어가 없어도, 빈 식탁과 식은 커피를 보고 '슬픔'을 알아챌 수 있습니다. 다만, 그게 정확히 '슬픔'인지 '분노'인지 이름을 붙이는 건 단어가 있으면 더 잘하고, AI 가 클수록 더 잘합니다."

이 연구는 AI 가 단순히 단어를 외운 기계가 아니라, 상황을 읽고 감정을 이해하는 능력을 진정으로 갖추고 있음을 보여주는 중요한 이정표입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 기존 연구의 한계: 최근 LLM 내부에 '감정 회로 (emotion circuits)'나 '감정 뉴런'이 존재한다는 연구 결과들이 다수 발표되었습니다. 그러나 이러한 연구들은 대부분 "파괴적 (devastated)", "분노 (furious)"와 같은 명시적인 감정 어휘가 포함된 데이터 (crowd-sourced 텍스트 등) 를 사용했습니다.
• 핵심 질문: 모델이 감정을 인식하는 것은 실제 상황의 의미 (semantic meaning) 를 이해해서인지, 아니면 단순히 감정 단어를 찾는 (keyword spotting) 것만인지에 대한 근본적인 의문이 제기되었습니다.
• 임상 타당성 부재: 심리학에서 감정 측정 도구는 감정 단어가 없는 상황적 단서만으로도 감정을 인식해야 유효합니다. 기존 LLM 연구는 이러한 '임상적 타당성 (clinical validity)' 테스트를 거치지 않았습니다.

2. 연구 방법론 (Methodology)

저자는 기계적 해석 가능성의 네 가지 수렴적 방법론을 사용하여 6 개의 모델 (Llama-3.2-1B, Llama-3-8B, Gemma-2-9B 의 Base 및 Instruct 버전) 을 분석했습니다.

A. 자극 (Stimuli) 설계

• Set A (키워드 풍부): 기존 연구와 동일한 명시적 감정 어휘가 포함된 데이터 (crowd-enVENT 등).
• Set B (임상 비니엣, Keyword-Free): 임상 심리학자가 설계한 96 개의 비니엣 (vignettes).
  • 특징: 감정 단어를 완전히 제거하고, 상황적 단서와 행동 묘사만으로 특정 감정 (8 가지 기본 감정) 을 유발하도록 설계됨.
  • 통제: 각 감정을 3 가지 다른 주제 영역 (예: 슬픔을 애도, 경력 파괴, 관계 파탄 등) 으로 교차하여 주제 편향을 통제.
  • 검증: 기존 키워드 기반 감정 분석 도구로는 Set B 의 감정을 감지할 수 없음을 확인 (키워드 히트 0).

B. 분석 기법

1. 선형 프로빙 (Linear Probing): 활성화 공간에서 감정 정보가 선형적으로 분리 가능한지 확인 (상관관계 기반).
2. 인과적 활성화 패칭 (Causal Activation Patching): 한 예시의 활성화 값을 다른 예시의 전방 전달 (forward pass) 에 삽입하여 모델 예측이 변하는지 확인 (인과관계 기반).
3. 킥아웃 실험 (Knockout Experiments): 특정 레이어를 비활성화하여 성능 저하를 측정하여 해당 레이어의 필수성 확인.
4. 표상 기하학 (Representational Geometry): 활성화 공간에서 감정별 클러스터링과 자극 유형별 클러스터링을 비교.

3. 주요 결과 (Key Results)

연구는 LLM 이 감정 처리를 위해 분리 가능한 두 가지 메커니즘을 사용한다는 것을 발견했습니다.

1) 정서 수용 (Affect Reception) - "무언가 감정적으로 중요한 일이 발생했다"

• 정의: 감정적 중요성을 감지하는 이진 분류 능력 (감정적 vs 중립적).
• 결과:
  • 키워드 독립성: 감정 단어가 전혀 없는 임상 비니엣 (Set B) 에서도 **거의 완벽한 정확도 (AUROC 1.000)**를 보였습니다.
  • 초기 층 포화: 신호는 네트워크의 매우 초기 층 (깊이의 9~38%) 에서 이미 포화 상태에 도달했습니다.
  • 규모 불변성: 1B 파라미터 모델부터 9B 모델까지 모든 모델에서 일관되게 관찰되었습니다.
  • 인과적 확인: 키워드가 풍부한 데이터에서 추출한 활성화 값을 키워드가 없는 데이터에 패칭했을 때, 모델은 특정 감정 카테고리가 아닌 '감정적 중요성 신호 (affective salience signal)'를 전달받아 분류 정확도를 높였습니다.

2) 감정 범주화 (Emotion Categorization) - "어떤 감정인가?"

• 정의: 감지된 정서를 구체적인 감정 레이블 (기쁨, 슬픔, 분노 등 8 가지) 로 매핑하는 능력.
• 결과:
  • 키워드 의존성: 키워드가 없는 Set B 에서 성능이 1~7% 하락했습니다. (키워드 유무에 따라 AUROC 차이 발생).
  • 규모 의존성: 모델 크기가 커질수록 (1B → 8B/9B) 키워드 의존성이 감소했습니다. (1B 모델은 6.7% 하락, 9B 모델은 1.1% 하락).
  • 구조적 차이: 키워드가 없을 때 범주화는 네트워크의 여러 층에 분산되어 처리되며, 킥아웃 실험에서 더 많은 레이어가 '임계 (critical)'인 것으로 나타났습니다.

3) 지시 튜닝 (Instruction Tuning) 의 역할

• 인코딩 vs 조직화: Base 모델과 Instruct 모델 모두 감정 인코딩 능력 (정서 수용) 을 가지고 있었습니다. 튜닝은 새로운 감정을 가르친 것이 아니라, 표상 공간의 기하학적 구조를 재배열하여 감정 카테고리가 표면적 특징 (키워드 유무) 보다 더 명확하게 분리되도록 했습니다.

4. 주요 기여 (Key Contributions)

1. 임상적 타당성 테스트의 도입: LLM 의 감정 회로 주장에 대해 임상 심리학 방법론 (키워드 제거, 상황적 단서) 을 적용한 최초의 검증 연구입니다.
2. 이중 메커니즘의 발견: '정서 수용 (Affect Reception)'과 '감정 범주화 (Emotion Categorization)'가 서로 다른 메커니즘으로 작동하며, 키워드 의존성과 층별 위치가 다르다는 것을 규명했습니다.
3. 수렴적 증거 제시: 상관관계, 인과관계, 필요성, 기하학적 분석 등 네 가지 방법을 하나의 연구에서 통합하여 강력한 증거를 제시했습니다.
4. 오픈 소스 리소스 공개: 96 개의 임상 비니엣, 추출 파이프라인, 분석 스크립트, 모든 데이터를 오픈하여 재현과 확장을 장려했습니다.

5. 의의 및 시사점 (Significance)

• AI 안전성 (AI Safety) 평가:
  • 사용자가 감정 단어를 의도적으로 피하더라도 (예: "I'm feeling desperate" 대신 상황 묘사), 모델은 정서 수용 메커니즘을 통해 감정적 위기를 감지할 수 있습니다. 이는 자해 방지나 위기 개입 시스템에 강력한 안전망이 됩니다.
  • 반면, 정교한 감정 분류 (예: 치료용 AI) 를 위해서는 규모 확장 (Scale) 과 정렬 (Alignment) 훈련이 필요함을 시사합니다.
• 이론적 함의:
  • LLM 의 감정 처리는 단순한 통계적 키워드 매칭이 아니라, 의미적 맥락에서 작동하는 실제 계산 구조임을 입증했습니다.
  • 규모 (Scale) 가 증가함에 따라 감정 처리 아키텍처가 '집중된 (concentrated)' 방식에서 '분산된 (distributed)' 방식으로 진화함을 보여줍니다.
• 방법론적 혁신: NLP 연구에 임상 심리학의 자극 설계 방법론을 도입하여, 향후 감정 관련 연구의 표준 검증 도구로 활용될 수 있는 기반을 마련했습니다.

결론

이 논문은 LLM 이 감정 단어를 단순히 찾는 것이 아니라, **상황적 맥락만으로 감정적 중요성을 감지할 수 있는 능력 (정서 수용)**을 이미 보유하고 있음을 증명했습니다. 하지만 구체적인 감정 범주를 식별하는 능력은 여전히 키워드와 모델 규모에 영향을 받습니다. 이 발견은 AI 의 감정 처리 능력을 이해하는 데 있어 '존재 여부'를 넘어 '어떤 메커니즘으로 작동하는가'에 대한 더 정교한 접근이 필요함을 시사합니다.