Implicit Probabilistic Reasoning Does Not Reflect Explicit Answers in Large Language Models

1. 문제 제기 (Problem Statement)

대형 언어 모델 (LLM) 의 확률적 추론 능력을 평가하는 기존의 표준 방법은 다중 선택형 질문 (MCQ, Multiple Choice Questions) 을 통해 모델이 명시적으로 정답을 선택하는지 확인하는 것입니다. 그러나 이러한 '명시적 추론 (Explicit Reasoning)' 평가 방식은 다음과 같은 한계를 가집니다.

• 평가 편향: 정답의 순서나 번호 체계에 따라 모델의 성능이 크게 달라질 수 있습니다.
• 데이터 오염: 모델이 평가 데이터 자체를 학습했을 가능성 (데이터 오염) 이 있어 실제 추론 능력을 과장할 수 있습니다.
• 생성 능력과의 괴리: LLM 의 핵심 기능은 텍스트 생성 (Next-token prediction) 입니다. MCQ 에서 정답을 맞출 수 있더라도, 실제 텍스트를 생성할 때 해당 확률 정보를 올바르게 통합하지 못하면 오류가 발생할 수 있습니다.

이 논문은 명시적 답변 (MCQ 선택) 과 암시적 추론 (텍스트 생성 과정에서의 확률 분포) 사이의 불일치가 존재하며, 기존 평가 방식이 이 중요한 결함을 놓치고 있음을 지적합니다.

2. 방법론 (Methodology)

저자들은 LLM 의 확률 처리 능력을 평가하기 위해 암시적 확률 추론 (Implicit Probabilistic Reasoning) 이라는 새로운 패러다임을 도입했습니다.

• 명시적 추론 (Explicit): 기존 MCQ 방식. 모델에게 시나리오와 선택지를 제시하고 정답을 고르게 함.
• 암시적 추론 (Implicit): 텍스트 완성 (Text Completion) 방식.
  • MCQ 를 텍스트 완성 시나리오로 재구성합니다 (예: "주사위를 두 번 던졌을 때, 합이 7 이 될 확률은?" 대신 "주사위를 두 번 던졌다. 두 주사위의 합은 <토큰> 이다"라고 입력).
  • 모델이 다음 토큰을 생성할 때 할당하는 로짓 (Logits) 및 확률 분포를 직접 분석합니다.
  • 모델이 생성하려는 결과 (예: '7', 'anxiety' 등) 에 대한 확률 분포가 실제 진리 (Ground Truth) 와 일치하는지, 혹은 최대 가능도 (Maximum Likelihood) 를 올바르게 반영하는지 측정합니다.

평가 시나리오:
주사위 (Dice), 동전 (Coins), 선호도 (Preference), 추상적 선택 (Choice), 통계적 진단 (Statistics) 등 5 가지 범주의 시나리오를 구성하여 다양한 확률적 상황 (부분 관측, 독립/종속 사건, 편향된 분포 등) 을 테스트했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 평가 패러다임 제안: LLM 의 텍스트 생성 메커니즘 (Next-token prediction) 에 기반한 암시적 확률 추론 평가 프레임워크를 제안했습니다.
2. 명시적 vs 암시적 성능의 불일치 발견: 모델이 MCQ 에서 정답을 맞출 수 있어도, 실제 텍스트 생성 시에는 확률 정보를 올바르게 통합하지 못해 잘못된 결과를 생성할 수 있음을 증명했습니다.
3. 암시적 추론의 편향 요인 규명:
   • 이전 사건의 영향: 독립적인 이전 사건 (예: 이전 주사위 눈) 이 현재 사건의 확률 분포에 불필요하게 영향을 미침.
   • 레이블 및 순서 편향: 결과의 라벨 (A, B, C) 이나 제시 순서가 모델의 확률 할당을 왜곡시킴.
   • 부분 관측의 오해: 불완전한 정보가 주어졌을 때 베이지안 업데이트를 제대로 수행하지 못함.

4. 실험 결과 (Key Results)

다양한 모델 (Llama-3.3-70B, Qwen, Mistral, DeepSeek 등) 을 대상으로 한 실험에서 다음과 같은 결과가 도출되었습니다.

• Result 1: 낮은 확률 사건의 선호 (Unlikely Outcomes):

  • MCQ 에서는 정답률이 높았으나, 텍스트 완성 시나리오에서는 실제 확률이 낮은 결과 (예: 의료 진단에서 희귀 질환) 를 높은 확률로 예측하는 경우가 빈번했습니다.
  • 사례 연구: 의료 통계 데이터를 바탕으로 환자의 질병 확률을 계산하는 MCQ 에서는 모델이 99.96% 의 확률로 정답을 맞췄으나, 텍스트 완성 시나리오에서는 통계적으로 더 가능성 있는 '번아웃 (Burnout)'보다 확률이 낮은 '불안 (Anxiety)'을 99.08% 의 확률로 예측하며 잘못된 진단을 내렸습니다.

• Result 2: 독립 사건의 무력한 간섭:

  • 두 사건이 통계적으로 독립임에도 불구하고, 이전 사건의 결과 (예: 주사위 1) 가 다음 사건의 확률 분포에 편향을 일으켰습니다. 모델은 독립적인 사건을 무시하지 못하고 이전 결과에 과도하게 반응하여 분포가 왜곡되었습니다.

• Result 3: 순서 및 라벨 편향:

  • 모든 결과가 동등한 확률 (Equiprobable) 일 때, 모델은 문맥에서 가장 먼저 언급된 옵션을 선호하는 경향이 강하게 나타났습니다.
  • 또한, 'Heads/Tails'와 같은 의미 있는 라벨보다 'A/B'와 같은 추상적 라벨에서도 순서에 따른 편향이 발생했습니다.

• 분포 정합성 (Distributional Alignment):

  • 체비셰프 거리 (Chebyshev distance) 등을 통해 측정된 결과, 모델이 예측한 확률 분포와 실제 진리 분포 간의 오차가 매우 컸으며, 이는 모델이 생성하는 텍스트가 제공된 증거와 일치하지 않을 수 있음을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기존 벤치마크의 한계 지적: 현재의 MCQ 기반 평가는 LLM 의 '질문 답변 능력'만 측정할 뿐, 실제 응용 환경에서 중요한 '텍스트 생성 내의 확률적 일관성'을 평가하지 못한다는 점을 강조합니다.
• 실제 적용의 위험성: 의료 진단, 금융 예측, 리스크 관리 등 불확실성이 존재하는 실제 응용 분야에서 LLM 이 암시적 추론 오류를 범할 경우, 통계적으로 타당하지 않은 결론을 내리고 이를 근거로 잘못된 텍스트를 생성할 수 있습니다.
• 향후 연구 방향: LLM 의 내부 확률 분포를 직접 평가하고, 불필요한 정보 (독립 사건 등) 를 필터링하는 능력, 그리고 텍스트 생성 시 확률적 일관성을 유지하는 능력을 개선하기 위한 연구가 시급함을 주장합니다.

요약하자면, 이 논문은 "LLM 이 확률 문제를 정답으로 말할 수는 있지만, 그 확률 정보를 바탕으로 텍스트를 생성할 때는 종종 논리적 오류를 범한다" 는 사실을 드러내며, LLM 평가 체계에 암시적 추론 (Implicit Reasoning) 지표의 도입이 필수적임을 강조합니다.