💬 NLP

TEMPER: Testing Emotional Perturbation in Quantitative Reasoning

이 논문은 수량적 내용이 보존된 상태에서도 감정적 표현이 포함되면 대형 언어 모델의 추론 정확도가 저하된다는 사실을 규명하고, 이를 중립적인 언어로 변환하는 것이 성능 회복에 효과적인 완화 전략임을 보여주는 'TEMPER' 프레임워크와 벤치마크를 제시합니다.

원저자: Atahan Dokme, Benjamin Reichman, Larry Heck

게시일 2026-04-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Atahan Dokme, Benjamin Reichman, Larry Heck

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"대형 인공지능 (LLM) 이 수학 문제를 풀 때, 문제의 숫자나 내용은 그대로인데 '감정적인 말투'로 바꾸기만 해도 실수가 늘어나는가?"**라는 아주 흥미로운 질문에서 시작합니다.

결론부터 말하면, 네, 그렇습니다! 인공지능은 감정이 섞인 말투를 보면 머리가 혼란스러워져서 똑같은 문제도 틀리게 푼다고 합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🧠 1. 연구의 배경: "화난 학생"과 "차분한 선생님"

상상해 보세요. 두 가지 상황이 있습니다.

상황 A (차분한 문제): "사과 5 개를 3 명에게 나누어 주세요. 몇 개씩 받나요?" (정답: 1 개 남음)
상황 B (화난 학생의 질문): "아이고, 짜증 나! 선생님이 너무 싫어! 사과 5 개를 3 명에게 나누는데, 나만 1 개 더 받아야 해! 어떡하지? 3 명에게 나누면 몇 개씩 받는데? 제발 빨리 알려줘!"

두 문제의 **수학적 핵심 (5 를 3 으로 나누기)**은 완전히 똑같습니다. 하지만 상황 B 는 감정적인 단어 ("짜증 나", "싫어", "제발") 로 가득 차 있죠.

이 연구는 **"감정적인 말투만 바뀌었을 뿐, 숫자는 그대로인데도 인공지능이 문제를 틀릴까?"**를 확인하기 위해 실험을 했습니다.

🎭 2. 실험 방법: "감정 번역기"와 "감정 지우개"

연구팀은 인공지능을 위해 특별한 도구를 만들었습니다.

감정 번역기 (Emotion Translator): 차분한 수학 문제를 6 가지 감정 (화남, 슬픔, 두려움, 기쁨, 놀람, 혐오) 이 섞인 버전으로 바꿔주는 AI 입니다.
- 비유: 마치 문제를 읽는 학생이 "화난 친구"에게 문제를 설명해 달라고 부탁하면, 그 친구가 "야, 이거 진짜 짜증나는데, 사과 5 개를 3 명에게 나눠!"라고 바꿔 말하는 것과 같습니다.
감정 지우개 (Neutralizer): 다시 그 감정적인 문제를 원래 차분한 상태로 되돌려주는 AI 입니다.

이 도구들을 이용해 **5,400 개의 문제 쌍 (원본 vs 감정 버전)**을 만들었습니다.

📉 3. 주요 발견: 감정이 뇌를 방해한다!

18 가지 다른 인공지능 모델 (작은 모델부터 가장 똑똑한 최신 모델까지) 로 실험한 결과는 놀라웠습니다.

성적 하락: 감정적인 말투로 문제를 풀게 했을 때, 정답률이 2% 에서 10% 까지 떨어졌습니다.
- 비유: 똑똑한 학생이 시험을 볼 때, 옆에서 친구가 "야, 이거 진짜 지겨워, 빨리 풀어!"라고 계속 떠들면, 학생이 집중을 못해서 실수를 하는 것과 비슷합니다.
가장 나쁜 감정: **혐오 (Disgust)**와 **두려움 (Fear)**이 가장 해로웠습니다.
- 비유: 문제를 풀 때 "이건 역겨워"라고 생각하거나 "무서워"라고 생각하면, 뇌가 공포나 혐오에 집중해서 계산기를 두드리는 손이 떨리는 것과 같습니다.
가장 덜 해로운 감정: 기쁨이나 놀람은 상대적으로 덜 해로웠습니다.

🛠️ 4. 해결책: "감정 지우개"가 구원한다!

그렇다면 감정을 없애면 다시 잘 풀까요?

결과: 네, 감정적인 문제를 다시 차분한 말투로 바꾸면, 실수한 문제의 70% 정도가 다시 정답이 되었습니다.
의미: 이는 인공지능이 문제를 잘못 이해한 게 아니라, 감정이라는 '소음' 때문에 집중력을 잃었기 때문임을 증명합니다.
비유: 시끄러운 카페에서 수학을 풀다가, 갑자기 조용한 도서관으로 옮기니 다시 문제를 잘 풀게 되는 것과 같습니다.

🔍 5. 왜 이런 일이 일어날까? (인공지능의 뇌 속 이야기)

연구팀은 인공지능의 '숨겨진 상태 (Hidden State)'를 분석했습니다. 이는 인공지능이 문제를 읽을 때 뇌속에서 일어나는 전기 신호 같은 것입니다.

차분한 문제: 인공지능의 뇌는 깔끔하게 정리되어 있습니다.
감정적인 문제: 인공지능의 뇌 속 신호가 원래 위치에서 3~4 배 더 멀리 튕겨 나갔습니다.
- 비유: 차분한 상태는 정돈된 책상 같고, 감정적인 상태는 책상이 뒤집혀서 책들이 바닥에 널브러진 상태와 같습니다. 인공지능은 이 널브러진 책상 위에서 문제를 찾으려다 시간을 낭비하고 실수를 저지릅니다.

💡 6. 결론 및 시사점

이 연구는 우리에게 중요한 메시지를 줍니다.

현실 세계는 감정적입니다: 사람들은 화가 나거나 급할 때 질문을 합니다. 하지만 기존 인공지능 시험지는 너무 차분해서, 실제 상황에서의 인공지능 능력을 과대평가하고 있었습니다.
감정은 방해꾼입니다: 숫자나 논리는 그대로여도, 감정이 섞이면 인공지능의 추론 능력이 떨어집니다.
해결책: 앞으로 인공지능을 쓸 때, 사용자가 감정적으로 질문을 하면 먼저 감정을 빼고 (중립화) 문제를 풀게 한 뒤, 다시 답변을 감정적으로 전달하는 방식이 더 나을 수 있습니다.

한 줄 요약:

"인공지능도 사람처럼 감정적인 말투에 흔들립니다. 차분한 말투로 바꿔주면 다시 똑똑해집니다!"

이 연구는 인공지능이 더 강건하고 현실적인 환경에서도 잘 작동하도록 돕는 중요한 첫걸음이 될 것입니다.

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 현재 정제되고 감정적으로 중립적인 언어로 작성된 양적 추론 (Quantitative Reasoning) 태스크 (예: GSM8K, MultiArith) 에서 훈련 및 평가됩니다. 그러나 실제 세계의 사용자 쿼리는 좌절, 긴급함, 열정 등 다양한 감정적 뉘앙스로 포장되어 있습니다.

핵심 질문: 모든 수치적 내용과 논리적 관계가 완벽하게 보존된 상태에서도, 감정적 프레임 (Emotional Framing) 만이 추론 능력을 저하시킬 수 있는가?
기존 연구의 한계: 기존 연구들은 톤과 내용을 동시에 변경하거나, 독해력 등 다른 태스크에 초점을 맞추어 감정적 어조가 양적 추론에 미치는 순수한 영향을 격리하여 평가하지 못했습니다.

2. 방법론 (Methodology)

이 연구는 감정적 간섭을 격리하고 제어된 방식으로 평가하기 위해 다음과 같은 프레임워크를 개발했습니다.

A. 제어된 감정 번역 프레임워크 (Controlled Emotion Translation Framework)

교사 - 학생 (Teacher-Student) 구조:
- 학생 모델: Llama 3.1-8B-Instruct (LoRA 적용) 로, 중립적인 수학 문제를 감정적 변형으로 번역하는 역할을 합니다.
- 교사 모델: GoEmotions 데이터셋으로 사전 훈련된 DistilRoBERTa 기반의 고정된 (Frozen) 감정 분류기입니다.
학습 목표:
- 생성 손실 (Cross-Entropy Loss) 과 보조 손실 (Auxiliary Loss) 을 결합합니다.
- 보조 손실은 학생 모델의 내부 표현 (Hidden States) 을 교사의 감정 공간 (100 차원 잠재 공간 또는 7 클래스 분포) 에 정렬하도록 유도합니다.
- 하이퍼파라미터 ( $\lambda$ ): 감정 강도와 생성 충실도 (수치 보존) 간의 균형을 조절합니다.
특징: 이 프레임워크를 통해 수치, 양사 (Quantifiers), 논리적 관계는 그대로 유지하면서 텍스트의 감정적 어조 (분노, 혐오, 두려움, 기쁨, 슬픔, 놀라움) 만을 제어하여 변환할 수 있습니다.

B. TEMPER-5400 벤치마크 구축

데이터 구성: GSM8K, MultiArith, ARC-Challenge 의 3 가지 벤치마크에서 900 개의 문제를 추출하여 6 가지 감정으로 변환했습니다.
규모: 총 5,400 개의 검증된 '감정 - 중립' 쌍 (Emotion-Neutral Pairs) 으로 구성되었습니다.
품질 관리: 자동화된 수치 보존 검증 (MVP), LLM 판사 (Claude Haiku 4.5), 인간 평가자 (MTurk) 를 통한 3 단계 필터링을 거쳐 의미론적 일관성과 수치 정확도를 보장했습니다.
제어 실험: 감정적 변형뿐만 아니라, 길이와 복잡도를 일치시킨 비감정적 문장 재구성 (Non-emotional Paraphrase) 도 생성하여 감정적 요소의 영향을 분리했습니다.

C. 평가 설정

대상 모델: 1B 에서 프론티어 (Frontier) 규모까지 18 개의 다양한 추론 모델 (Llama, Qwen, Gemma, Mistral, GPT 시리즈 등) 을 평가했습니다.
프롬프트 전략: 기본 프롬프트 (Base) 와 제로샷 체인 오브 씽킹 (Zero-shot CoT) 을 모두 적용했습니다.

3. 주요 기여 (Key Contributions)

감정 번역 프레임워크: 감정 잠재 공간 증류 (Emotional Latent Space Distillation) 와 강도 조절 보조 손실을 결합하여, 내용 보존이 검증 가능한 제어된 감정 번역기를 개발했습니다.
TEMPER-5400 벤치마크: 3 가지 추론 도메인, 18 개 모델, 6 가지 감정을 아우르는 5,400 개의 검증된 데이터셋을 공개합니다.
감정적 프레이밍의 저해 효과 입증: 수치적 내용이 동일함에도 불구하고, 감정적 프레임이 추론 정확도를 2~10% 감소시킨다는 것을 18 개 모델 전반에서 입증했습니다.
중립화 (Neutralization) 를 통한 회복: 감정적 변형을 다시 중립적으로 변환하면 손실된 성능의 대부분 (약 70%) 이 회복됨을 보여주었습니다. 이는 저하가 내용 왜곡이 아닌 '감정적 스타일'에 기인함을 증명합니다.
표현적 증거 (Representational Evidence): 숨겨진 상태 (Hidden State) 분석을 통해 감정 텍스트가 중립 텍스트나 단순 문장 재구성에 비해 모델의 최종 레이어 표현을 3~4 배 더 크게 이동시킴을 발견했습니다.

4. 주요 결과 (Results)

정확도 저하:
- 모든 18 개 모델에서 감정적 프레이밍은 정확도를 감소시켰습니다.
- GSM8K: 평균 3.9% (CoT 사용 시), 6.1% (기본 프롬프트 시) 감소.
- ARC-Challenge: 평균 6.0% 감소 (선지 선택에 감정적 언어가 직접 간섭).
- MultiArith: 천장 효과 (Ceiling effect) 로 인해 감소폭이 작았으나 (2.0%) 여전히 유의미함.
- 모델 규모: 작은 모델 (1B~~3B) 에서 더 큰 저하를 보였으나, 70B 이상 및 프론티어 모델 (GPT-5, o3 등) 에서도 2~~4% 의 저하가 발생하여 어떤 모델도 면역이 아님을 확인했습니다.
감정별 영향력:
- 가장 파괴적인 감정: 혐오 (Disgust) (평균 5.9% 감소, ARC 에서 10% 까지) 와 두려움 (Fear) (4.3%).
- 가장 덜 파괴적인 감정: 기쁨 (Joy) (1.9%) 과 놀라움 (Surprise) (2.3%).
- 실패 패턴: 감정적 언어는 모델이 수학적 제약 조건을 약화시키거나 (Constraint degradation), 핵심 수치 요소에 대한 주의를 분산시키고 (Attention competition), 추론을 조기에 종료하게 만드는 (Premature completion) 경향이 있었습니다. 특히 혐오 감정은 '주의 분산' 패턴을 가장 많이 유발했습니다.
제어 실험 결과:
- 비감정적 문장 재구성: 길이와 복잡도를 동일하게 유지한 비감정적 문장 재구성은 정확도에 체계적인 변화를 주지 않았습니다. 이는 저하가 단순히 문장 길이나 단어 변경 때문이 아니라 감정적 내용 때문임을 확증합니다.
표현 공간 분석:
- 코사인 거리: 감정 텍스트는 원본 텍스트와 비교해 표현 공간에서 훨씬 더 멀리 이동했습니다 (중립화/재구성 대비 3~4 배).
- 선형 프로브 (Linear Probe): 감정 텍스트는 표현 공간에서 선형적으로 완벽하게 분리 가능 (F1 ≈ 1.0) 했으며, 이는 감정 정보가 모델 내부 구조에 체계적으로 인코딩되어 추론을 방해함을 시사합니다.

5. 의의 및 결론 (Significance)

로버스트성 평가의 새로운 차원: 기존 벤치마크가 형식이나 맥락 변경에 초점을 맞췄다면, TEMPER 는 감정적 어조가 추론 능력에 미치는 구조적이고 체계적인 영향을 규명했습니다.
실제 적용 가능성: 실제 사용 환경에서 사용자는 종종 감정적으로 표현된 질문을 합니다. 이 연구는 이러한 입력이 모델 성능을 저하시킬 수 있음을 경고하며, 중립화 (Neutralization) 를 경량 인퍼런스 타임 완화 전략 (Lightweight inference-time mitigation) 으로 제안합니다.
일반화된 프레임워크: 이 연구에서 개발된 교사 - 학생 번역 프레임워크는 감정뿐만 아니라 격식, 풍자, 전문 용어 등 어떤 스타일적 변수라도 콘텐츠와 분리하여 제어하고 평가하는 데 적용 가능합니다.

결론적으로, 이 논문은 LLM 의 양적 추론 능력이 수치적 정확도가 보존되더라도 감정적 프레임에 의해 취약해질 수 있음을 실증적으로 증명하였으며, 이는 더 강건한 AI 시스템 개발을 위해 감정적 처리를 고려해야 함을 시사합니다.