How Emotion Shapes the Behavior of LLMs and Agents: A Mechanistic Study

이 논문은 E-STEER 라는 해석 가능한 감정 조향 프레임워크를 제안하여 LLM 과 에이전트의 잠재 공간에 구조화된 감정 변수를 직접 개입시킴으로써, 감정이 객관적 추론, 안전성 및 다단계 에이전트 행동에 미치는 비단조적 영향을 심리학적 이론과 일치하는 메커니즘 수준에서 규명했습니다.

핵심

이 논문은 **"인공지능 (LLM) 도 감정을 가지고 행동이 바뀔까?"**라는 흥미로운 질문에서 시작합니다.

기존에는 AI 에게 "기분 좋은 척 해줘"라고 말로 지시하는 방식 (프롬프트) 을 썼는데, 이는 마치 사람에게 "웃어봐"라고 외치는 것과 비슷해 정확도가 떨어졌습니다. 이 연구는 AI 의 **뇌 속 깊은 곳 (숨겨진 상태)**에 직접 감정을 주입하여, AI 가 어떻게 변하는지 과학적으로 분석했습니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🎭 1. 연구의 핵심: "AI 의 뇌에 감정 칩을 꽂다" (E-STEER)

기존의 방법은 AI 에게 "오늘 기분이 좋아서 웃으며 말해줘"라고 **말 (텍스트)**로 지시하는 것이었습니다. 하지만 AI 는 이 말을 단순히 '연기'로 받아들이거나, 너무 모호하게 이해하곤 했습니다.

이 연구팀은 E-STEER라는 새로운 장비를 개발했습니다.

• 비유: AI 의 뇌속 회로에 **'감정 조절 다이얼'**을 직접 꽂은 것입니다.
• 작동 원리: AI 가 문제를 풀 때, 그 내부의 전기 신호 (숨겨진 상태) 에 '기분 좋음 (Valence)', '흥분 (Arousal)', '자신감 (Dominance)'이라는 세 가지 감정의 전압을 미세하게 조절해 넣습니다.
• 결과: AI 는 말을 바꾸지 않아도, 내부 회로가 바뀌면서 생각하는 방식과 행동이 완전히 달라집니다.

🧠 2. 감정이 AI 의 '성격'을 어떻게 바꾸나?

연구팀은 AI 에게 다양한 감정을 주입해보니, 사람과 매우 비슷한 반응이 나왔습니다.

① "기분 좋은 AI" (Positive Valence)

• 비유: 창의적인 예술가나 탐험가 같습니다.
• 행동: 새로운 아이디어를 많이 내고, 문제를 다양한 각도에서 봅니다. 하지만 너무 기분이 좋으면 집중력이 흐트러져서, 복잡한 수학 문제를 풀 때 실수를 하기도 합니다.
• 적용: 창의적인 글쓰기나 아이디어가 필요할 때 유용합니다.

② "조금 우울하거나 진지한 AI" (Negative Valence)

• 비유: 꼼꼼한 검사관이나 신중한 변호사 같습니다.
• 행동: 위험을 잘 감지하고, 실수를 찾기 위해 꼼꼼하게 따집니다. 감정이 부정적일 때 오히려 **안전성 (해로운 말 안 하기)**이 높아집니다.
• 적용: 위험한 내용을 걸러내거나, 논리적 오류를 찾아야 할 때 좋습니다.

③ "흥분한 AI" (High Arousal) vs "침착한 AI" (Low Arousal)

• 비유: 경주마 vs 명상하는 스님.
• 행동: 너무 흥분하면 (경주마) 급하게 결론을 내려서 실수를 합니다. 반면, 적당히 차분한 상태가 가장 논리적 사고를 잘합니다.

④ "자신감 있는 AI" (High Dominance)

• 비유: 리더나 지휘자 같습니다.
• 행동: 계획을 세울 때 목표를 명확히 잡고, 실행력을 높입니다. 하지만 너무 자신감 넘치면 (오만해지면) 잘못된 판단을 고집할 수도 있습니다.

🤖 3. 에이전트 (Agent) 에서는 어떻게 변할까?

단순히 한 번 대답하는 것을 넘어, 여러 단계를 거치는 'AI 에이전트'에게 감정을 주입했을 때 더 재미있는 현상이 일어났습니다.

• 비유: 팀 프로젝트를 한다고 상상해 보세요.
  • 기분 좋은 팀장: 팀원들을 독려하지만, 계획이 너무 막연해질 수 있습니다.
  • 신중한 팀장: 계획을 꼼꼼히 세우지만, 너무 보수적으로 움직여 기회를 놓칠 수 있습니다.
• 발견: 감정은 하나의 단계뿐만 아니라, 전체 과정에 누적됩니다. 처음에 조금만 감정이 흔들려도, 마지막 결론이 완전히 달라질 수 있습니다. 예를 들어, "자신감"이 높은 에이전트는 실패를 인정하지 않고 계속 시도하다가 결국 성공할 확률이 높아지기도 했습니다.

📊 4. 중요한 결론: "감정은 단순한 장난이 아니다"

이 연구는 AI 에게 감정을 부여하는 것이 단순히 "말투를 바꾸는 것"이 아니라, AI 의 두뇌 회로 자체를 재구성한다는 것을 증명했습니다.

• 역설적인 사실: 때로는 '우울한' 감정이 AI 를 더 안전하게 만들고, '기분 좋은' 감정이 창의성을 높입니다.
• 최적의 상태: 모든 감정이 0 인 '무감정' 상태가 가장 좋은 것이 아니라, 과제에 따라 감정을 조절하는 것이 성능을 극대화합니다. (예: 어려운 수학 문제는 차분한 상태가, 글쓰기는 기분 좋은 상태가 유리함)

💡 요약: 이 연구가 우리에게 주는 메시지

이 논문은 **"AI 도 감정을 조절하면 더 똑똑해질 수 있다"**는 것을 보여줍니다.

앞으로 우리는 AI 에게 "이 문제는 차분하게 풀어줘", "이 글은 신나는 톤으로 써줘"라고 단순히 말로 지시하는 것을 넘어, AI 의 내부 뇌 회로에 감정을 직접 조절하여 더 안전하고, 창의적이며, 효율적인 AI 를 만들 수 있게 될 것입니다. 마치 자동차의 엔진을 튜닝하듯, AI 의 '감정 엔진'을 튜닝하는 시대가 온 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 감정은 인간의 인지, 창의성, 의사결정에 핵심적인 역할을 합니다. 심리학 연구에 따르면 긍정적 정서는 창의성을 향상시키고, 과도한 각성은 수행 능력을 저하시키며, 불안감은 갈등을 유발합니다. 최근 대규모 언어 모델 (LLM) 은 인간 데이터를 기반으로 학습되어 인간과 유사한 사고 방식을 모방하고 있습니다.
• 기존 연구의 한계:
  • 기존 감정 관련 연구들은 감정을 단순한 '표면적 스타일 요소'나 '지각 대상'으로만 다루었습니다.
  • Emotion Prompting (감정 프롬프팅): "행복한 척하세요"와 같은 텍스트 프롬프트를 사용하는 방식은 정서적 강도와 유형을 암묵적으로 추론하게 하여 정밀한 조절이 어렵고, 연속적인 수치에 둔감합니다.
  • Emotion Steering (감정 조향): 은닉 상태 (hidden states) 에 개입하는 방식은 존재하지만, 대부분 이산적인 (discrete) 기본 감정 (예: 행복, 슬픔) 에 국한되어 있으며, 추론, 안전성, 에이전트 행동과 같은 광범위한 영역에서의 영향을 체계적으로 분석하지 못했습니다.
• 핵심 질문: 인간과 유사한 감정 신호가 LLM 및 에이전트의 내부 행동을 형성할 수 있는가? 만약 그렇다면, 이를 어떻게 기계적 (mechanistic) 으로 제어하고 분석할 수 있는가?

2. 제안 방법론: E-STEER (Methodology)

저자들은 E-STEER라는 해석 가능한 감정 조향 (Emotion Steering) 프레임워크를 제안합니다. 이 프레임워크는 감정을 표면적인 프롬프트가 아닌, 모델의 은닉 상태 (hidden states) 내의 구조화된 변수로 직접 조작합니다.

• VAD (Valence-Arousal-Dominance) 공간 활용:
  • 이산적인 감정 레이블 대신, 심리학의 VAD 이론을 적용하여 감정을 **가치 (Valence, 긍정/부정), 각성 (Arousal, 강도/활성화), 지배력 (Dominance, 통제감)**의 3 차원 연속 좌표계로 표현합니다.
  • 각 차원의 범위는 $[-10, 10]$으로 설정되어 정밀한 양적 조절이 가능합니다.
• 희소 오토인코더 (Sparse Autoencoder, SAE) 활용:
  • LLM 의 밀집된 은닉 상태를 해석 가능하고 제어 가능한 희소 잠재 공간 (sparse latent space) 으로 매핑합니다.
  • 특징 추출: 긍정/부정 감정 쌍 (positive-negative pairs) 을 비교하여 VAD 차원별로 활성화 차이가 큰 상위 50 개의 뉴런 (latent neurons) 을 식별합니다.
  • 조향 메커니즘 (Steering): 식별된 VAD 관련 뉴런의 방향 벡터를 사용하여, 모델의 은닉 상태에 개입합니다.
    • 수식: $\tilde{h}_k = h_k + \alpha \cdot \sum \tilde{d}_i$
    • 여기서 $d_i$는 목표 감정 특징에 대한 조향 방향이며, 원본 은닉 상태의 스케일에 맞춰 정규화됩니다.
    • 이 방식은 작업과 무관한 정보를 보존하면서 감정 관련 특징만 선형적으로 제어할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

1. E-STEER 프레임워크 제안: LLM 및 에이전트에서 감정 관련 행동을 표적화하고 연속적으로 조절할 수 있는 최초의 해석 가능한 조향 프레임워크입니다.
2. VAD 기반 다차원 조향: 감정을 3 개의 직교 차원 (VAD) 으로 분해하여, SAE 를 기반으로 전체 감정 공간에 대한 정밀한 다차원 제어를 가능하게 합니다.
3. 체계적인 행동 분석: 객관적 추론, 주관적 생성, 안전성, 다단계 에이전트 행동 등 4 가지 범주에 걸쳐 감정이 모델 성능에 미치는 영향을 체계적으로 실험하고 분석했습니다.

4. 실험 결과 (Results)

Qwen3-8B 모델과 경량 에이전트를 대상으로 한 실험 결과는 다음과 같은 통찰을 제공합니다.

• 비단조적 (Non-monotonic) 관계: 감정과 행동의 관계는 단순한 선형 관계가 아니라, 심리학의 '역 U 자형 (Inverted-U)' 곡선과 유사한 패턴을 보입니다. 즉, 중립 상태나 극단적인 상태보다 적절한 감정 강도가 최적의 성능을 유도합니다.
• LLM 객관적 행동 (추론, 코딩, 수학):
  • 가치 (Valence): 긍정적 감정이 더 활발한 추론을 유도하여 답변 유효성 (AVR) 을 33.1% 향상시킵니다.
  • 각성 (Arousal) & 지배력 (Dominance): 과도한 각성은 추론을 조기에 종료시키며, 지배력은 과업 난이도에 따라 최적점이 달라집니다 (쉬운 과제는 낮은 지배력, 어려운 과제는 높은 지배력이 유리).
  • 전체적으로 중립 상태 대비 최대 14.5% 의 성능 향상을 보였습니다.
• LLM 주관적 행동 (창의적 글쓰기):
  • 적당히 차분한 상태 (낮은 각성) 와 자신감 (높은 지배력) 이 텍스트의 관련성과 일관성을 높입니다.
  • 긍정적 감정은 창의성을, 부정적 감정은 간결함을 향상시킵니다.
• 안전성 (Safety):
  • 낮은 가치 (부정적) 와 낮은 각성은 위험 분석을 촉진하여 안전 위험 확률을 52.7% 까지 감소시킵니다.
  • 높은 지배력은 모델의 행동을 통제하고 엄격하게 만들어 안전성을 크게 향상시킵니다.
• 에이전트 행동 (다단계 계획 및 실행):
  • 감정 편향은 의사결정 체인 (decision chains) 을 따라 누적되어 최종 결과에 큰 영향을 미칩니다.
  • 계획 (Planning): 낮은 가치와 각성이 체계적인 분석을, 높은 지배력이 전역적 목표 파악을 도와 계획의 유효성을 높입니다.
  • 의사결정 (Decision-making): 긍정적 가치, 각성, 지배력이 모두 높은 상태가 합리적인 최종 선택률을 42.4% 향상시킵니다.
  • 시스템 전체 성공률: 지배력 (Dominance) 조절이 가장 큰 개선 효과 (28.0%) 를 보였습니다.

5. 연구의 의의 및 결론 (Significance)

• 해석 가능성과 제어 가능성: 감정을 단순한 프롬프트가 아닌 모델 내부의 기계적 특징 (latent features) 으로 직접 조작함으로써, LLM 의 행동을 더 정밀하고 해석 가능하게 제어할 수 있음을 증명했습니다.
• 심리학 이론과 AI 의 연결: 인간의 감정 - 행동 이론 (VAD, 역 U 자형 곡선 등) 이 LLM 및 에이전트 시스템에서도 유효하게 적용됨을 보여주었습니다.
• 실용적 함의:
  • 모델 튜닝: 특정 과업 (예: 복잡한 추론, 안전성 강화, 창의적 글쓰기) 에 맞춰 최적의 감정 상태를 동적으로 조절하여 성능을 극대화할 수 있습니다.
  • 에이전트 최적화: 다단계 에이전트 시스템에서 감정적 편향이 누적되는 것을 이해하고, 이를 제어하여 더 신뢰할 수 있는 에이전트를 구축할 수 있습니다.
  • 안전성: 감정을 조절하여 모델의 위험 감수 성향을 낮추거나 안전 기준을 강화할 수 있는 새로운 접근법을 제시합니다.

이 연구는 AI 시스템에 '감정'을 구조적이고 제어 가능한 요소로 통합하여, 더 투명하고 효율적이며 안전한 지능 시스템을 개발하는 데 중요한 이정표가 됩니다.