Categorical Emotions or Appraisals - Which Emotion Model Explains Argument Convincingness Better?

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **"누군가의 주장을 설득력 있게 만드는 진짜 비결은 무엇일까?"**라는 질문에 답하기 위해 쓴 연구입니다.

우리가 어떤 사람의 말을 들을 때, 그 말이 얼마나 설득력 있는지 (convincingness) 는 단순히 논리 (Logos) 나 말하는 사람의 신뢰도 (Ethos) 만으로 결정되지 않습니다. 여기서 중요한 것이 바로 **감정 (Pathos)**입니다.

이 연구는 "감정"을 어떻게 분석하느냐에 따라 설득력 예측의 정확도가 어떻게 달라지는지 비교했습니다. 두 가지 접근법을 비유로 설명해 드릴게요.

🍔 두 가지 다른 메뉴: "카테고리 감정" vs "평가 이론 (Appraisal)"

연구자들은 설득력을 예측할 때 두 가지 다른 '감정 분석 도구'를 사용해 봤습니다.

1. 카테고리 감정 (Categorical Emotions) = "감정 라벨링"

이 방법은 감정을 단순한 라벨로 분류합니다.

비유: 식당 메뉴판에 있는 "매운맛", "달콤한맛", "신맛" 같은 라벨을 붙이는 것과 같습니다.
예시: "이 주장을 들으니 분노가 났어", "이 주장은 기쁨을 줘."
특징: 감정의 종류만 알면 되지, 왜 그런 감정이 들었는지는 중요하지 않습니다.

2. 평가 이론 (Appraisal Theories) = "감정의 원인 분석"

이 방법은 감정이 왜 생겼는지 그 심리적 과정과 이유를 분석합니다.

비유: 음식이 왜 매운지, 왜 달콤한지 재료와 조리 과정을 분석하는 것과 같습니다. "이 음식은 내 건강에 해로울 것 같아서 (결과), 화가 났다"거나 "이 주장은 내 신념과 맞지 않아서 (기준 위반), 불쾌하다"는 식입니다.
핵심: "이 주장이 나에게 어떤 영향을 미쳤는지", "내가 어떻게 평가했는지"를 15 가지 항목 (예: pleasantness/쾌락, control/통제감, urgency/긴급성 등) 으로 세밀하게 쪼개어 봅니다.

🧪 실험 내용: AI 에게 주장을 평가하게 하기

연구진은 최신 AI 모델 (LLM) 들에게 800 개의 주장을 주고 "이 주장이 얼마나 설득력 있을까?"라고 물었습니다. 이때 AI 에게 다음과 같은 정보를 추가로 주입해 보았습니다.

기본형: 주장 텍스트만 줌.
감정 라벨형: "이 주장을 들으면 분노가 난다"는 정보만 줌.
평가 이론형: "이 주장은 갑자기 느껴지고, 불쾌하며, 내 신념과 충돌한다"는 15 가지 세부 평가 정보를 줌.

🏆 실험 결과: 승자는?

결과는 매우 명확했습니다.

감정 라벨 (분노, 기쁨 등) 을 알려주면: AI 가 설득력을 더 잘 예측했습니다. (기초 점수에서 약간 상승)
평가 이론 (원인과 과정) 을 알려주면: AI 의 예측 능력이 훨씬 더 크게 향상되었습니다.

왜 그럴까요?
단순히 "분노"라는 라벨만 알려주는 것보다, "왜 분노가 났는지 (예: 내 권리가 침해당했기 때문, 예상치 못했기 때문)"를 알려주는 것이 AI 가 사람의 마음을 더 잘 이해하게 해 주기 때문입니다.

비유하자면:

라벨형: "이 영화는 슬프다." (그냥 슬픔이라는 결과만 알려줌)

평가형: "이 영화는 주인공이 잃어버린 것을 되찾지 못해 (원인), 불공평하다고 느껴 (평가), 슬픔을 느낀다." (감정의 흐름과 이유 설명)

후자를 들은 AI 가 "아, 이 영화가 왜 사람들에게 더 깊은 울림 (설득력) 을 주는지"를 훨씬 더 잘 이해한 것입니다.

💡 중요한 발견과 교훈

감정은 주관적이다: 같은 주장이라도 내 가치관, 경험, 목표에 따라 다르게 느껴집니다. 그래서 "왜" 그렇게 느껴지는지 (평가) 를 아는 것이 "무엇"을 느끼는지 (감정) 를 아는 것보다 중요합니다.
AI 는 아직 미숙하다: AI 가 직접 "이 주장에서 어떤 감정이 들까?"를 예측하는 것은 여전히 어렵습니다. 하지만 **사람이 이미 평가한 정보 (정답)**를 AI 에게 주면, AI 는 그 정보를 바탕으로 설득력을 아주 잘 예측합니다.
함께 예측하면 안 된다?: AI 에게 "감정과 설득력을 동시에 맞춰봐"라고 하면 오히려 성능이 떨어졌습니다. 감정을 먼저 분석하고, 그 결과를 바탕으로 설득력을 판단하는 순서 (파이프라인 방식) 가 더 효과적이었습니다.

🚀 결론: 이 연구가 우리에게 주는 메시지

이 논문의 결론은 간단합니다.
"사람을 설득하려면, 단순히 감정을 자극하는 말 (라벨) 을 쓰는 것보다, 상대방이 그 말을 어떻게 받아들이고 평가할지 (평가 이론) 를 깊이 이해하는 것이 더 중요합니다."

컴퓨터 과학자들은 이제부터 AI 가 주장을 분석할 때, 단순한 감정 단어가 아니라 그 감정이 생긴 심리적 이유와 맥락을 더 중요하게 고려해야 한다는 것을 알게 되었습니다. 이는 더 똑똑하고 인간적인 AI 를 만드는 데 중요한 발걸음이 될 것입니다.

Each language version is independently generated for its own context, not a direct translation.

1. 연구 배경 및 문제 제기 (Problem)

논증의 설득력 (Convincingness): 논증의 설득력은 논리적 구조 (Logos), 화자의 신뢰도 (Ethos) 뿐만 아니라 수용자가 느끼는 감정 (Pathos) 에 크게 의존합니다.
기존 연구의 한계: 기존 자연어 처리 (NLP) 연구에서는 논증의 설득력 예측을 위해 감정을 이산적인 범주 (Categorical Emotions, 예: 분노, 기쁨, 슬픔 등) 나 이진 변수로 주로 다루었습니다.
주요 문제: 논증에 의해 유발된 감정은 수용자의 목표, 기준, 사전 지식, 입장 등에 따라 주관적 인지 평가 (Subjective Cognitive Assessment) 를 거쳐 형성됩니다. 따라서 단순한 감정 범주보다는 감정을 유발하는 인지적 평가 과정 (Appraisal) 을 분석하는 것이 설득력 예측에 더 적합할 수 있다는 가설이 제기되었습니다.
연구 질문 (RQ):
1. 설득력 예측을 개선하는 데 어떤 감정 모델 (범주형 감정 vs. 평가 이론) 이 더 효과적인가?
2. 감정/평가와 설득력을 동시 (Joint) 에 예측하는 것이 파이프라인 (Pipeline, 단계별) 방식보다 성능을 향상시키는가?

2. 방법론 (Methodology)

2.1 데이터셋: ContArgA

소스: UKP-ConvArgv1 및 IBM-Rank-30k 데이터셋에서 추출된 800 개의 논증.
특징: 수용자 (수신자) 의 관점에서 주관적 평가를 시뮬레이션하기 위해 역할극 (Role-playing) 방식을 사용했습니다.
주석 (Annotation): 각 논증에 대해 5 명의 참여자가 다음을 표기했습니다.
- 설득력 (Convincingness): 1~5 점 척도.
- 감정 (Emotion): 11 가지 이산 감정 범주 (분노, 혐오, 두려움, 죄책감, 기쁨, 자부심, 안도, 슬픔, 수치심, 놀라움, 신뢰).
- 평가 (Appraisal): 15 가지 평가 차원 (예: 갑작스러움, 친숙함, 쾌락성, 불쾌성, 결과의 중요성, 결과 관리 가능성, 인지적 노력 등) 을 1~5 점 척도로 평가.

2.2 실험 설정 (Prompting Experiments)

모델: 3 개의 대형 언어 모델 (LLM) 사용 (Mistral-Small-2407, LLaMA3.3:70B, Gemma-3-27B-IT).
프롬프트 전략: Zero-shot prompting만 사용 (Few-shot, Chain-of-thought, Fine-tuning 제외). 복잡한 프롬프트 기법의 영향을 배제하고 모델의 본질적 능력을 평가하기 위함.
실험 구성:
1. Baseline (CVC): 논증 텍스트만 입력받아 설득력 예측.
2. Pipeline (Emo→CVC, Appr→CVC): Gold (정답) 라벨로 주석된 감정 또는 평가 정보를 프롬프트에 포함시켜 설득력 예측. (단방향 정보 흐름)
3. Joint (Emo↔CVC, Appr↔CVC): 설득력 예측과 함께 감정/평가 변수를 동시에 예측하도록 요청. (양방향 정보 흐름)

3. 주요 결과 (Key Results)

3.1 설득력 예측 성능 (RQ1)

범주형 감정 (Emotion) 의 효과: Gold 감정 정보를 제공하면 모든 모델에서 설득력 예측 성능이 향상되었습니다 (Spearman's $\rho$ 기준).
평가 이론 (Appraisal) 의 효과: Gold 평가 정보를 제공했을 때, Mistral과 Llama 모델에서 감정 정보 제공보다 더 큰 성능 향상을 보였습니다.
- Llama 모델의 경우 Baseline(.27) 에서 평가 정보 제공 시 .42 로 가장 큰 개선 (+.15) 을 기록했습니다.
- Gemma 모델은 평가 정보를 제공했을 때 오히려 성능이 저하되는 경향을 보였습니다.
결론: 감정 범주보다 평가 차원 (Appraisal dimensions) 이 설득력 예측에 더 강력한 설명력을 가짐을 확인했습니다. 이는 감정의 인지적 기저가 설득력 판단에 더 직접적으로 관여함을 시사합니다.

3.2 단일 작업 vs. 동시 예측 (RQ2)

동시 예측 (Joint) 의 비효율성: 감정/평가와 설득력을 동시에 예측하는 Joint 설정은 파이프라인 (Pipeline) 설정보다 성능이 낮았습니다.
- 대부분의 모델에서 Joint 설정은 Baseline 보다 성능이 떨어졌거나, Llama 의 경우에만 미미한 개선만 있었습니다.
- 이는 LLM 이 Zero-shot 환경에서 복잡한 다중 작업 (Multi-task) 을 수행할 때, 감정/평가와 설득력 간의 복잡한 상호작용을 효과적으로 학습하지 못했음을 의미합니다.

3.3 감정 및 평가 예측 자체의 성능

감정 분류: 모든 모델이 감정 분류 작업에서 낮은 성능 (평균 F1 점수 약 0.12~0.14) 을 보였습니다. 특히 부정적 감정 (분노, 두려움) 은 재현율 (Recall) 이 높지만 정밀도 (Precision) 가 낮았습니다.
평가 예측: 평가 차원 예측 역시 전반적으로 낮은 성능을 보였으나, '쾌락성 (Pleasantness)'과 '불쾌성 (Unpleasantness)' 차원에서 상대적으로 높은 상관관계를 보였습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

첫 체계적 비교: 논증의 설득력 예측을 위해 범주형 감정 모델과 평가 이론 (Appraisal Theory) 을 체계적으로 비교한 최초의 연구입니다.
평가 이론의 우월성 입증: 논증의 설득력은 수용자의 주관적 인지 평가 (평가 이론) 에 더 밀접하게 연관되어 있으며, 이를 모델링하는 것이 단순한 감정 라벨링보다 예측 성능을 높이는 데 효과적임을 증명했습니다.
이론적 통찰: 아리스토텔레스의 'Pathos' 개념을 계산적 관점에서 재해석하여, 감정의 '무엇 (What)'보다 감정이 유발된 '왜 (Why, 인지적 평가)'가 설득력 분석에 더 중요함을 보여줍니다.
실용적 시사점: 자동화된 논증 분석 시스템에서 설득력을 높이기 위해 감정 분류기보다는 인지적 평가 변수를 예측하는 모델을 개발하거나 이를 프롬프트에 포함시키는 것이 더 효과적임을 제안합니다.

5. 한계점 및 향후 과제 (Limitations & Future Work)

Zero-shot 한계: Fine-tuning 이나 Few-shot 학습을 적용하지 않아 LLM 의 잠재적 능력을 완전히 활용하지 못했을 수 있음.
데이터 제한: 짧은 독립적인 논증 (ContArgA) 만 사용했으므로, 토론이나 소셜 미디어와 같은 맥락적 (Contextual) 인 논증 환경에서의 일반화 가능성은 검증 필요.
언어적 편향: 영어 데이터만 사용되어 문화적/언어적 차이를 반영하지 못함.
윤리적 고려: 감정과 인지적 평가를 기반으로 설득력을 예측하는 기술이 조작적 논증 (Manipulative arguments) 생성에 악용될 수 있는 위험성 존재.

요약

이 논문은 논증의 설득력을 예측할 때, 단순한 감정 범주 (예: "이 논증은 분노를 유발한다") 보다 감정을 유발하는 인지적 평가 (예: "이 논증은 수용자의 가치관과 충돌하고, 통제 불가능한 부정적 결과를 가져온다고 평가된다") 를 고려하는 것이 더 효과적임을 실험적으로 증명했습니다. 또한, 현재 LLM 은 이러한 복잡한 인지적 평가와 설득력 간의 관계를 동시에 학습하기보다는, Gold 표준의 평가 정보를 입력으로 받을 때 더 나은 성능을 보인다는 점을 발견했습니다. 이는 계산적 논증 (Computational Argumentation) 분야에서 감정 분석의 패러다임을 '감정 분류'에서 '인지적 평가 모델링'으로 전환해야 함을 시사합니다.