💬 NLP

Social Meaning in Large Language Models: Structure, Magnitude, and Pragmatic Prompting

이 논문은 대규모 언어 모델이 인간의 사회적 추론 구조는 잘 모방하지만 강도 보정에서는 편차를 보이며, 화자의 지식과 의도를 추론하도록 유도하는 화용론적 프롬프트가 이러한 보정 오차를 줄이는 데 가장 효과적임을 제시합니다.

원저자: Roland Mühlenbernd

게시일 2026-04-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Roland Mühlenbernd

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎯 핵심 요약: "방향은 맞는데, 볼륨 조절이 안 되는 AI"

이 연구는 AI 가 인간의 사회적 판단을 할 때 두 가지 중요한 문제를 발견했습니다.

구조적 정합성 (Structure): "누가 더 예의 바르고, 누가 더 유능해 보이는가?"라는 방향은 인간과 똑같이 맞춥니다.
크기 보정 (Magnitude): 하지만 그 감정의 강도는 인간보다 훨씬 과장되거나 약하게 표현합니다. 마치 라디오 볼륨을 조절할 줄 모르는 상태입니다.

🕵️‍♂️ 실험 상황: "자전거 가격 이야기"

연구진은 AI 에게 다음과 같은 상황을 시켰습니다.

상황: 제이미가 자전거를 샀는데, 가격이 얼마인지 물었습니다.

정확한 말: "500 달러입니다."

대략적인 말: "약 500 달러쯤 됩니다."

이때 상대방이 누구인지에 따라 AI 의 반응이 달라져야 합니다.

상황 A (보험사): 보험금 청구 중이라 정확한 숫자가 필요합니다. (정확한 말 = 유능함, 대략적인 말 = 무능함)
상황 B (친구): 친구가 그냥 궁금해서 물어본 거라 대략적인 숫자도 괜찮습니다. (정확한 말 = 깐깐함, 대략적인 말 = 친근함)

인간은 이 미세한 차이를 아주 잘 알아챕니다. 하지만 AI 는 방향은 맞췄지만, 그 감정의 강도를 인간보다 훨씬 극단적으로 표현했습니다.

📏 새로운 측정 도구: "ESR 과 CDS"

기존 연구들은 AI 가 "맞았는지 틀렸는지"만 확인했습니다. 하지만 이 연구는 **"얼마나 틀렸는지 (강도)"**를 측정하는 새로운 자를 만들었습니다.

ESR (효과 크기 비율): 인간이 느끼는 감정의 강도를 100 점으로 쳤을 때, AI 가 몇 점을 줄였나?
- 비유: 인간이 "조금 짜증났다 (3 점)"고 느꼈는데, AI 가 "미친 듯이 화났다 (9 점)"고 표현하면 ESR 이 3 배가 됩니다.
CDS (보정 편차 점수): AI 의 볼륨 조절이 인간과 얼마나 어긋났는지 총합을 낸 점수입니다. 점수가 낮을수록 인간과 비슷합니다.

🛠️ 해결책: "프롬프트 (지시문) 로 AI 의 뇌를 다스리기"

연구진은 AI 에게 "더 똑똑하게 생각해보라"는 두 가지 방법을 알려주며 실험했습니다.

1. "대안 생각하기" (ALT)

방법: "그 말을 할 때 다른 말도 있었을 텐데, 왜 그 말을 선택했을까?"라고 생각하게 합니다.
결과: 실패. 오히려 AI 가 "아, 다른 말을 안 했네? 그럼 이 사람은 정말 무능해!"라고 과도하게 판단하게 만들었습니다.
비유: "그 친구가 웃지 않았네? 다른 표정도 많았을 텐데 왜 웃지 않았지?"라고 생각하다가, "아! 그 친구는 나를 싫어해!"라고 과장되게 결론 내리는 것과 같습니다.

2. "화자의 지식과 동기 생각하기" (KMA)

방법: "그 사람이 그 말을 한 이유는 뭘까? 아는 게 없어서 그런 건가, 아니면 의도가 있는 건가?"라고 생각하게 합니다.
결과: 성공. AI 가 "아, 그 사람은 정확한 숫자를 몰라서 대략적으로 말했을 수도 있겠네"라고 유연하게 생각하게 되어, 인간의 판단에 훨씬 가까워졌습니다.
비유: "그 친구가 웃지 않았네? 아, 아마 피곤해서 웃을 수 없었나 보다"라고 상황을 고려해 감정을 조절하는 것과 같습니다.

3. "두 가지 모두 합치기" (COM)

방법: 위 두 가지를 모두 시켰습니다.
결과: 가장 안정적. 모든 AI 모델에서 가장 좋은 결과를 냈지만, 여전히 완벽하지는 않았습니다.

🤖 모델별 특징: "AI 의 성격 차이"

세 가지 최신 AI 모델 (GPT, Claude, Gemini) 을 비교했을 때 놀라운 차이가 있었습니다.

GPT: 인간과 가장 비슷합니다. 볼륨 조절이 잘 되어 있어 "적당히" 판단합니다.
Claude: 상황에 따라 들쑥날쑥합니다. 지시문을 잘 받으면 인간과 비슷해지지만, 그렇지 않으면 엉뚱한 방향으로 갈 수 있습니다.
Gemini: 볼륨이 너무 큽니다. 인간이 "약간 불쾌하다"고 느낄 때, Gemini 는 "매우 불쾌하다"고 과장해서 표현합니다. 특히 "대안 생각하기" 지시를 주면 더 과격해집니다.

💡 결론: "방향은 알지만, 감정의 깊이는 모른다"

이 논문의 핵심 메시지는 다음과 같습니다.

"AI 는 인간의 사회적 인식을 '방향'으로는 완벽하게 따라 하지만, 그 '강도'나 '미묘한 뉘앙스'는 여전히 과장하거나 왜곡합니다."

AI 가 인간처럼 사회적 상황을 이해하려면, 단순히 "정답"을 맞추는 것을 넘어 **"화자가 왜 그 말을 했는지 (지식과 동기)"**를 추론하는 과정이 필수적입니다. 하지만 아직 AI 는 이 과정을 완벽하게 수행하지 못해, 인간의 감정을 과장되게 해석하는 경향이 있습니다.

한 줄 요약:

AI 는 "누가 예의 바르다"는 건 알지만, "얼마나 예의 바르다"는 강도를 조절하는 법을 아직 배우는 중입니다. 우리가 AI 에게 "상대방의 마음을 헤아려 봐"라고 가르쳐야만, 더 인간적인 AI 가 될 수 있습니다.

이 논문은 대규모 언어 모델 (LLM) 이 인간의 사회적 의미 (social meaning) 를 질적 (qualitative) 으로뿐만 아니라 양적 (quantitative) 으로도 얼마나 정확하게 모방하는지, 그리고 화용론 (pragmatics) 이론에 기반한 프롬프트 전략이 이 모방을 개선할 수 있는지를 탐구합니다.

저자 Roland Mühlenbernd 는 LLM 이 인간의 사회적 추론의 '구조 (structure)'는 잘 포착하지만 그 '강도 (magnitude)'를 왜곡하는 경향이 있음을 발견했으며, 이를 해결하기 위한 새로운 평가 지표와 프롬프트 기법을 제안했습니다.

다음은 이 논문의 상세한 기술적 요약입니다.

1. 연구 문제 (Problem)

질적 vs. 양적 일치: 기존 LLM 평가는 모델이 인간의 사회적 추론 방향 (예: "정확한 표현이 더 유능해 보인다") 을 맞히는지에 초점을 맞추었습니다. 그러나 인간의 사회적 평가는 본질적으로 등급화 (graded) 되어 있으며, 맥락과 언어적 형태의 미세한 상호작용에 따라 추론의 강도가 달라집니다.
구조 - 강도 분리 (Structure-Magnitude Dissociation): LLM 은 인간의 추론 방향은 올바르게 재현하지만, 그 효과의 크기 (magnitude) 를 과대평가하거나 과소평가하는 경우가 많습니다. 기존 연구들은 이를 기술적 부수 발견으로만 언급했을 뿐, 이를 체계적으로 정량화할 수 있는 지표가 부족했습니다.
개입의 필요성: 화용론 이론 (대안적 표현에 대한 추론, 화자의 지식 상태 및 의도 추론) 을 프롬프트에 적용하여 LLM 의 사회적 추론 정확도를 개선할 수 있는지, 그리고 어떤 전략이 효과적인지 검증할 필요가 있습니다.

2. 방법론 (Methodology)

2.1. 실험 설계 및 데이터

벤치마크: Solt et al. (2025) 의 실험 1 을 기반으로, 숫자의 정밀도 (numerical precision) 가 화자의 사회적 속성 (유능함, 친근함 등) 평가에 미치는 영향을 분석했습니다.
실험 조건:
- 언어적 형태: 정밀한 표현 (예: "500 달러") vs. 대략적인 표현 (예: "약 500 달러").
- 맥락: 고정밀 요구 상황 (HP, 예: 보험 청구) vs. 저정밀 요구 상황 (LP, 예: 친구와의 대화).
- 평가 항목: 유능함, 지식, 준비성, 도움됨, 친근함, pedantic(교조적) 등 6 가지 사회적 차원.
모델: GPT-4o-mini, Claude-sonnet-4, Gemini-2.5-pro 등 3 개의 최첨단 LLM 을 평가했습니다.
프롬프트 조건 (4 가지):
1. MIN (Minimal): 인간 실험과 동일한 기본 지시.
2. ALT (Alternative-Aware): 화자가 선택한 표현 외에 다른 대안적 표현들을 고려하도록 유도 (화용론적 '대안 추론' 활성화).
3. KMA (Knowledge-and-Motives-Aware): 화자의 지식 상태와 의사소동 동기를 고려하도록 유도 (화자의 의도 추론 활성화).
4. COM (Combined): ALT 와 KMA 를 모두 결합.

2.2. 새로운 평가 지표 (Key Contributions)

논문은 구조적 충실도와 강도 보정 (magnitude calibration) 을 구분하기 위해 두 가지 새로운 지표를 도입했습니다.

Effect Size Ratio (ESR):
- 정의: $ESR = |\Delta M| / |\Delta H|$ (모델 효과 크기 / 인간 효과 크기)
- 의미: $ESR=1 $은 완벽한 일치,$ >1$은 과대평가 (exaggeration), $<1$ 은 과소평가 (attenuation) 를 의미합니다.
Calibration Deviation Score (CDS):
- 정의: 모든 유의미한 효과에 대한 ESR 과 1 의 차이의 평균 ( $CDS = \frac{1}{n}\sum |ESR_i - 1|$ ).
- 의미: 값이 낮을수록 인간과 효과 크기의 보정이 잘 되어 있음을 나타냅니다.

기존 지표 (Spearman $\rho$ , CCC, RMSE) 와 함께 구조적 일치도 (Directional Agreement Score, Interaction Sensitivity Score) 를 측정하여 종합적으로 평가했습니다.

3. 주요 결과 (Results)

3.1. 구조적 일치 vs. 강도 왜곡

구조적 일치: 모든 모델과 조건에서 DAS 와 ISS 가 1.0으로, LLM 이 인간의 사회적 추론 방향 (주효과 및 상호작용 효과의 부호) 을 완벽하게 재현함을 확인했습니다.
강도 보정 실패: CCC 와 RMSE, CDS 분석 결과, 모델들은 인간 데이터의 순서 (ranking) 는 유지하지만 실제 점수 크기를 왜곡했습니다.
- GPT: 인간 데이터와 가장 잘 보정됨 (CDS: 0.3~0.4).
- Claude: 중간 수준이나 프롬프트에 따라 민감하게 반응.
- Gemini: 심각한 과대평가 경향 (CDS: 1.48~~2.09), 특히 상호작용 효과에서 인간 효과의 2~~3 배까지 과대평가.

3.2. 프롬프트 전략의 효과

KMA (지식 및 동기 인식): 과대평가 경향이 있는 모델 (Claude, Gemini) 에서 강도 왜곡을 가장 일관되게 감소시켰습니다. 화자의 지식 불확실성을 명시적으로 고려하게 함으로써 사회적 추론의 과잉을 완화했습니다.
ALT (대안 인식): 결과가 혼재되었습니다. GPT 에서는 미미한 개선을 보였으나, Gemini 에서는 오히려 과대평가를 심화시켰습니다. 이는 화자의 지식 상태에 대한 근거 없이 대안만 강조하면 대비 효과 (contrast effect) 가 과도하게 작동할 수 있음을 시사합니다.
COM (결합): 세 모델 모두에서 MIN 대비 모든 보정 민감 지표 (CCC, RMSE, CDS) 를 개선한 유일한 조건이었습니다. 이는 화용론적 추론의 두 요소 (대안 추론 + 화자 상태 추론) 가 동시에 작동할 때 가장 강력한 보정 효과를 낸다는 것을 의미합니다.
- 단점: Gemini 와 Claude 의 경우, COM 조건이 KMA 단독 조건보다 미세한 보정 (특히 상호작용 효과) 에서 약간 떨어지는 경우가 있어, 두 요소의 결합이 항상 가법적 (additive) 인 것은 아님을 보여줍니다.

4. 논의 및 의의 (Discussion & Significance)

구조와 강도의 분리: LLM 은 훈련 데이터에서 방향성 있는 화용론적 지식을 학습하지만, 인간의 사회적 추론이 가진 확률적이고 등급화된 (graded) 강도 특성을 충실히 인코딩하지는 못합니다.
아키텍처 의존성: 보정 실패의 정도는 모델 아키텍처 (GPT vs. Gemini) 에 따라 크게 달랐으며, 이는 폐쇄형 모델의 학습 목표나 미세 조정 방식의 차이를 반영할 수 있습니다.
화용론적 프롬프트의 한계와 가능성:
- 화자의 지식 상태와 동기를 명시적으로 고려하게 하는 것 (KMA) 이 과잉 추론을 억제하는 데 효과적입니다.
- 그러나 대안적 표현만 강조하는 것 (ALT) 은 오히려 왜곡을 악화시킬 수 있습니다.
- 결론적으로, 인간과 유사한 사회적 추론을 위해서는 대안과 화자 상태를 동시에 고려하는 통합적 접근 (COM) 이 필요하며, 이것이 현재로서는 가장 효과적인 개입 전략입니다.
평가 방법론의 발전: 기존의 방향성 일치 (directional agreement) 위주 평가에서 벗어나, ESR 과 CDS와 같은 강도 보정 지표를 도입함으로써 LLM 의 사회적 추론 능력을 더 정밀하게 진단할 수 있는 틀을 마련했습니다.

5. 결론

이 연구는 LLM 이 인간의 사회적 추론 구조는 잘 모방하지만 그 강도 (magnitude) 를 왜곡한다는 것을 정량적으로 입증했습니다. 화용론 이론에 기반한 프롬프트, 특히 화자의 지식 상태와 대안적 표현을 동시에 고려하게 하는 전략은 이러한 왜곡을 부분적으로 교정할 수 있음을 보였습니다. 그러나 여전히 아키텍처별 차이가 존재하며, 완전한 인간 수준의 보정을 위해서는 훈련 단계의 개입이나 더 정교한 계산적 구현이 필요할 것으로 보입니다. 이 논문은 LLM 의 사회적 추론 능력을 평가할 때 '방향성'과 '강도'를 분리하여 평가해야 함을 강력히 주장합니다.