Humans and LLMs Diverge on Probabilistic Inferences

이 논문은 인간이 제한된 정보를 바탕으로 확률적 추론을 수행하는 반면, 최신 추론 LLM 은 인간의 확률적 판단 분포를 재현하지 못하고 일관된 추론 패턴을 보이며 인간과 근본적으로 다른 양상을 나타낸다는 것을 'ProbCOPA' 데이터셋을 통해 규명했습니다.

핵심

🎯 연구의 핵심: "100 점 아니면 0 점"이 아닌, "그냥 그럴싸한 정도"를 묻다

우리는 매일매일 불완전한 정보로 결정을 내립니다.

• 상황: 고속도로에 사고가 났다.
• 인간의 생각: "아마 교통 체증이 심해지겠지." (100% 확실하진 않지만, 가능성이 매우 높음)
• AI 의 문제: 최신 AI 는 논리나 수학 문제에서는 천재처럼 잘하지만, 이런 **'확률적이고 애매모호한 상황'**에서는 인간과 다르게 반응합니다.

연구진은 PROBCOPA라는 새로운 데이터셋을 만들어, 210 개의 이런 '애매한 상황'을 인간과 AI 에게 물어봤습니다.

---

🧐 주요 발견 3 가지

1. 인간은 '회색 지대'를 좋아하지만, AI 는 '흑백'만 본다

• 인간: "사고가 났으니 교통 체증이 심해질까?"라고 물으면, 사람들은 **"아주 높음 (90 점)"**부터 "보통 (50 점)", **"아주 낮음 (10 점)"**까지 다양한 점수를 줍니다. 어떤 사람은 "아마도"라고 생각하고 60 점을 주고, 어떤 사람은 "절대 아니야"라고 20 점을 줍니다. 모든 사람의 의견이 조금씩 다릅니다.
• AI: AI 는 중간 점수 (50 점) 를 거의 주지 않습니다. "아주 확실해 (95 점)" 혹은 **"절대 아니야 (5 점)"**처럼 극단적인 판단만 내립니다. 마치 "회색"을 보지 못하고 "검은색"과 "흰색"만 보는 안경을 쓴 것 같습니다.

💡 비유:
인간은 "오늘 비 올 확률이 60% 일 수도 있고 70% 일 수도 있어"라고 유연하게 생각합니다. 하지만 AI 는 "비 올 확률이 100% 다!" 혹은 "비 안 올 거야 0% 다!"라고 단정적으로 말합니다.

2. AI 는 '다양한 의견'을 흉내 내지 못한다

• 인간: 같은 질문에 대해 사람마다 다른 답을 내놓는 것이 자연스럽습니다. (어떤 이는 걱정하고, 어떤 이는 안심이 됩니다.)
• AI: 같은 질문을 30 번 물어봐도, AI 는 거의 똑같은 답을 반복합니다. AI 가 "생각하는 과정 (Reasoning Chain)"을 보여줘도, 그 안에서도 인간처럼 다양한 시나리오를 고려하는 듯하지만, 최종 결론은 항상 똑같습니다.

💡 비유:
인간이 "이 영화 어때?"라고 물으면, "재미있었어", "조금 지루했어", "배우가 좋았어" 등 서로 다른 의견이 나옵니다. 하지만 AI 는 같은 영화를 30 번 봐도 **"이 영화는 100 점입니다"**라고 기계적으로 반복합니다. AI 는 '혼란스러움'이나 '의견 차이'를 표현하는 법을 모릅니다.

3. AI 는 '어려운 문제'일수록 더 길게 생각하지만, 답은 변하지 않는다

• 연구진은 AI 가 인간이 의견이 갈리는 (어려운) 문제를 다룰 때, **더 긴 생각 과정 (추론)**을 거치는지 확인했습니다.
• 결과: 맞습니다. 인간이 "어라? 이거 뭐지?"라고 고민할 때, AI 도 더 긴 말을 하며 고민합니다. 하지만 그 긴 생각 끝에 나온 답은 여전히 극단적이고 확신에 찬 것입니다.

💡 비유:
인간이 복잡한 길을 찾을 때 지도를 보며 "음, 여기가 맞을까? 저길 갈까?" 하며 여러 가지 가능성을 고민합니다. AI 도 길고 긴 설명을 하며 "여기, 여기, 저기..."라고 나열하지만, 결국 **"이 길이 정답이다!"**라고 한 줄로 확정해 버립니다.

---

📝 결론: 왜 이 연구가 중요할까?

이 연구는 **"AI 가 논리 문제만 잘하는 게 아니라, 인간의 '불확실함'과 '다양한 의견'을 이해하는 능력에서도 아직 부족하다"**는 것을 보여줍니다.

• 현재 AI: "정답"이 있는 수학 문제나 코딩은 잘하지만, "어쩌다 보니 그럴 수도 있고, 아닐 수도 있어"라는 인간의 일상적인 판단에는 서툴러요.
• 미래 과제: AI 가 인간과 더 자연스럽게 대화하려면, 중간 정도의 확률을 인정하고, 사람마다 다른 의견을 존중하는 방식으로 발전해야 합니다.

한 줄 요약:

"AI 는 논리 천재지만, '아마도'와 '어쩌면'이라는 인간의 회색 지대를 아직 제대로 이해하지 못합니다."

기술 요약

논문 요약: 인간과 LLM 의 확률적 추론에서의 이질성 (Humans and LLMs Diverge on Probabilistic Inferences)

이 논문은 인간과 대형 언어 모델 (LLM) 이 불완전한 정보를 바탕으로 확률적 결론을 도출하는 방식의 차이를 분석합니다. 논리는 수학이나 논리적 추론이 명확한 정답을 요구하는 반면, 일상생활의 추론은 불확실성을 내포하며 확률적으로 이루어진다는 점에 주목합니다.

1. 연구 배경 및 문제 정의

• 문제: 인간의 추론은 종종 엄격한 논리적 함의 (entailment) 가 아닌, 전제에 기반하여 '가능성'이 높은 결론을 도출하는 확률적 추론을 포함합니다. 예를 들어, "고속도로에서 사고가 발생했다"는 전제에서 "교통이 평소보다 나빠졌다"는 결론은 논리적으로 필연적이지는 않지만, 확률적으로 매우 유력합니다.
• 현황: 최근의 '추론 LLM(Reasoning LLMs)'은 수학적, 논리적 작업에서 뛰어난 성능을 보이지만, 이러한 개방적이고 비결정적 (non-deterministic) 인 추론 상황에서의 행동 양상은 아직 충분히 연구되지 않았습니다.
• 핵심 질문: 인간과 LLM 은 이러한 확률적 추론을 어떻게 평가하며, 그 판단 분포는 얼마나 유사한가?

2. 방법론 (Methodology)

2.1 PROBCOPA 데이터셋 구축

• 데이터 구성: 기존 NLI(자연어 추론) 데이터셋의 한계를 극복하기 위해 저자들은 PROBCOPA라는 새로운 데이터셋을 구축했습니다.
  • 기반: COPA(Choice of Plausible Alternatives) 데이터셋의 1,000 개 항목 중 105 개를 무작위 추출했습니다.
  • 변환: COPA 의 각 항목 (전제 + 두 가지 대안) 을 두 개의 독립적인 NLI 형식 (전제 P, 가설 H) 으로 분할하여 총 210 개의 확률적 추론 항목을 생성했습니다.
  • 특징: 각 항목은 논리적으로 필연적이지 않지만, 전제에 기반하여 다양한 확률적 가능성 (Likelihood) 을 가집니다.
• 인간 주석 (Annotation):
  • 328 명의 원어민 (미국, 영국, 캐나다) 을 대상으로 Prolific 을 통해 실험을 진행했습니다.
  • 각 항목당 2530 명의 참가자가 0100 점 사이의 슬라이더를 사용하여 가설의 발생 확률을 평가했습니다.
  • 참가자들은 척도 사용법을 교육받았으며, 주의력 검사 (attention check) 를 통과한 데이터만 최종 분석에 사용되었습니다.

2.2 실험 설계

• 모델 평가: 8 가지 최신 추론 LLM(Gemini-3, GPT-5, Claude Sonnet-4.5, Qwen3, Kimi-K2, GLM-4.6, DeepSeek-R1, Grok-4.1 Fast) 을 테스트했습니다.
• 평가 방식:
  • 모델에게 동일한 0~100 점 척도와 인간에게 제공된 가이드를 제공하여, 각 항목에 대한 확률 점수를 언어로 표현 (verbalized) 하도록 요청했습니다.
  • 각 항목당 30 번의 샘플링을 수행하여 분포를 분석했습니다.
• 비교 지표:
  • 분산 (Spread): 응답의 분산 정도를 측정하기 위해 **미분 엔트로피 (Differential Entropy)**를 사용했습니다.
  • 유사도 (Similarity): 인간과 모델 응답 분포 간의 차이를 측정하기 위해 **워터슈타인 거리 (Wasserstein Distance)**를 사용했습니다.
  • 기저선 (Baseline): 인간 간 일관성을 확인하기 위해 동일한 항목을 새로운 참가자 그룹에게 다시 주석하여 인간 - 인간 비교 기저선을 설정했습니다.

3. 주요 결과 (Key Results)

3.1 인간의 응답 특성

• 등급화된 확률적 판단: 인간의 응답은 전체적으로 3 개의 모드 (매우 낮음, 매우 높음, 균형) 를 보이지만, 그 사이에도 상당량의 점수가 분포하여 등급화된 (graded) 확률적 판단을 수행함을 확인했습니다.
• 단일 모드 분포: 개별 항목에 대한 인간 응답은 대부분 단일 모드 (unimodal) 를 따르며, 이는 해석의 질적 차이보다는 불확실성의 정도에 따른 변동임을 시사합니다.
• 중간 확률에 대한 합의 부재: 인간 주석자들은 '중간 확률 (약 50 점)'에 대해 집단적으로 합의하는 경우가 거의 없었습니다. 즉, 확률이 명확하지 않은 경우 응답이 양극단으로 쏠리는 경향이 있었습니다.
• 불일치와 응답 시간: 인간 응답 간 불일치 (높은 엔트로피) 가 큰 항목일수록 참가자의 응답 시간이 길어지는 양의 상관관계가 있었습니다. 이는 불일치가 노이즈가 아니라 항목의 난이도 때문임을 시사합니다.

3.2 LLM 과 인간의 이질성

• 중간 확률 회피 (Overconfidence): LLM 은 인간과 달리 응답 분포에서 중간 확률 (50 점 부근) 을 거의 나타내지 않았습니다. 모델들은 대부분 매우 낮거나 매우 높은 확률 점수로 편향되어 있어, 불확실한 상황에서도 과도한 자신감 (overconfidence) 을 보이는 경향이 있습니다.
• 응답 변이성 부족: 인간은 항목에 따라 다양한 응답 분포를 보이지만, LLM 은 거의 **결정론적 (deterministic)**인 응답을 생성합니다. 온도 (temperature) 를 높여도 인간 수준의 응답 변이성을 재현하지 못하며, 오히려 무작위 토큰 생성으로 이어지는 경우가 많았습니다.
• 분포 정합성: 모델과 인간의 응답 분포는 확률이 매우 높거나 낮은 항목에서는 유사하지만, 불확실성이 높은 (중간 범위) 항목에서는 정합성이 급격히 떨어집니다. 인간 - 인간 비교에서는 이러한 경향이 나타나지 않았습니다.
• 추론 체인 (Reasoning Chain) 분석:
  • 모델은 인간이 불일치하는 항목 (높은 엔트로피) 일수록 더 긴 추론 체인을 생성했습니다.
  • 그러나 모델의 추론 체인 길이와 인간의 응답 시간 사이에는 약한 상관관계만 존재했습니다.
  • 모델들은 대체로 '대안 시나리오 (alternative scenarios)'를 명시적으로 고려하여 결론을 도출하는 공통된 추론 패턴을 보였습니다.

4. 주요 기여 (Contributions)

1. PROBCOPA 데이터셋 공개: 210 개의 수작업으로 제작된 영어 확률적 추론 항목과 각 항목당 25~30 개의 인간 주석을 포함한 새로운 데이터셋을 공개했습니다.
2. 인간 - LLM 추론 차이 규명: LLM 이 확률적 추론에서 인간과 근본적으로 다른 분포 (중간 확률 회피, 낮은 변이성) 를 보임을 실증적으로 증명했습니다.
3. 추론 패턴 분석: LLM 이 확률적 추론을 수행할 때 사용하는 공통된 추론 패턴 (대안 고려) 을 식별하고, 이것이 인간의 인지 과정과 어떻게 다른지 분석했습니다.

5. 의의 및 결론

• 연구 의의: 현재 LLM 평가가 주로 결정론적 (정답이 있는) 태스크에 집중되어 있음을 지적하며, 불확실성이 내재된 개방형 추론 상황에서의 모델 평가 필요성을 강조합니다.
• 실용적 함의: LLM 이 의료, 법률, 금융 등 인간의 판단이 중요한 분야에서 활용될 때, 모델의 과도한 자신감과 인간과 다른 불확실성 처리 방식은 심각한 오해를 초래할 수 있음을 경고합니다.
• 향후 방향: LLM 이 인간의 확률적 추론 방식을 더 잘 모방할 수 있도록, 불확실성 정량화 (Uncertainty Quantification) 및 인간과 유사한 응답 변이성을 생성하는 모델 개발이 필요함을 시사합니다.

요약하자면, 이 연구는 LLM 이 논리적 추론에서는 뛰어나지만, 불확실성이 존재하는 일상적 추론에서는 인간의 '유연하고 분산된' 판단 방식을 재현하지 못하고, 오히려 과도하게 확신에 찬 편향된 응답을 생성한다는 중요한 통찰을 제공합니다.