Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident, Especially When They are Wrong

기술 요약: 객관식 문제: 추론은 대규모 언어 모델 (LLM) 을 더 자신 있게 만들며, 특히 틀렸을 때 더욱 그렇다

문제 제기
대규모 언어 모델 (LLM) 의 평가는 종종 객관식 문제 (MCQ) 벤치마크에 의존합니다. 정확도는 표준 지표이지만, 모델이 응답에 대해 갖는 자신감을 포착하지는 못합니다. 자신감은 종종 선택된 토큰에 할당된 확률 (logprobs) 을 사용하여 추정됩니다. 답변 전략, 특히 체인 오브 씽킹 (CoT) 프롬프팅과 직접 답변 사용이 이러한 자신감 추정에 어떻게 영향을 미치는지 이해하는 데에는 중요한 격차가 존재합니다. 추론 단계가 실제로 자신감의 보정 (calibration) 을 개선하는지, 아니면 특히 오답에 대한 자신감 점수의 신뢰성과 관련하여 체계적인 편향을 도입하는지는 명확하지 않습니다.

방법론
저자들은 MMLU(Massive Multitask Language Understanding) 벤치마크를 사용하여 7 개의 LLM(Meta 의 LLaMA3.1-8B 및 LLaMA3.2-11B, Mistral-7B, Google 의 Gemma-2-9B, 01.AI 의 Yi-1.5-9B, OpenAI 의 GPT-4o-mini 및 GPT-4o 포함) 에 대해 포괄적인 평가를 수행했습니다. MMLU 는 57 개의 서로 다른 과목과 15,000 개 이상의 질문을 다룹니다.

연구는 각 모델에 대해 두 가지 프롬프팅 조건을 비교했습니다:

1. 직접 프롬프팅: 모델이 중간 텍스트 없이 구조화된 형식으로 답변 문자만 출력하도록 지시합니다.
2. 체인 오브 씽킹 (CoT) 프롬프팅: 모델이 동일한 구조화된 형식으로 답변 문자를 출력하기 전에 "단계별로 생각하라"(최소 세 가지 추론 단계 제공) 고 지시합니다.

연구자들은 선택된 옵션의 로그 확률을 분석하여 자신감을 추정했습니다. 통계적 유의성을 판단하기 위해 짝지은 t-검정 (paired t-tests) 을 사용했으며, 자신감과 정답성 간의 관계를 정량화하기 위해 기대 보정 오차 (ECE) 와 브라이어 점수 (Brier scores) 와 같은 표준 보정 지표를 활용했습니다. 분석은 정답 여부 (정답 vs 오답) 와 과목 카테고리에 따라 세분화되었습니다.

주요 결과
평가에서 다섯 가지 주요 발견이 도출되었습니다:

1. 추론에 따른 자신감 증가: 테스트된 모든 모델은 직접 답변에 비해 CoT 프롬프팅을 사용할 때 체계적으로 더 높은 자신감 (할당된 확률이 더 높음) 을 보였습니다. 이 증가는 통계적으로 유의미했습니다 ($p < 1 \times 10^{-10}$).
2. 오류에 대한 불균형한 자신감: 모델들은 일반적으로 정답일 때 더 자신 있었지만, 자신감 증가의 크기는 선택된 답변이 틀렸을 때 체계적으로 더 컸습니다. CoT 프롬프팅은 특히 오답에 대해 높은 자신감 예측을 증폭시켰습니다.
3. 보정 저하: CoT 프롬프팅 사용은 표준 보정 지표를 악화시켰습니다. 7 개 모델 중 5 개 모델에서 CoT 하에 기대 보정 오차 (ECE) 가 증가했습니다. 마찬가지로 여러 모델에서 브라이어 점수가 증가하여 선택된 옵션에 할당된 더 높은 확률이 더 잘 보정된 예측으로 이어지지 않았음을 나타냈습니다.
4. 주제 전반의 일관성: 자신감 과대평가 현상은 실질적으로 모든 57 개 MMLU 카테고리에서 발생했습니다. 그러나 사실 기반 과목에 비해 추론이 필요한 과목 (예: 과학) 에서 그 효과가 더 두드러졌지만, 정확도가 개선되지 않거나 감소한 사실 기반 과목에서도 오답에 대한 자신감이 크게 상승했습니다.
5. 과신 메커니즘: 연구는 과신 효과가 CoT 가 다른 옵션을 선택하기 때문이 아니라 추론 과정 자체에 의해 주도됨을 관찰했습니다. 두 프롬프트 모두 동일한 옵션을 선택한 질문으로 분석을 제한한 제거 (ablation) 연구에서도 모든 모델에서 CoT 하에 ECE 가 여전히 증가했습니다.

의의 및 함의
이 논문은 추론 과정이 토큰 확률을 변경한다고 결론지었습니다. 이는 최종 답변 예측이 질문과 모델이 생성한 추론에 공동으로 의존하기 때문일 가능성이 높습니다. 이는 정답성과 반드시 상관관계가 없는 과대평가된 자신감 추정을 초래합니다.

저자들은 LLM 평가에 대한 중요한 함의를 강조합니다: CoT 프롬프팅을 활용하는 MCQ 환경에서는 평가 또는 메타인지 메커니즘의 기반으로 로그 확률 기반 자신감 추정을 극도의 주의 하에 사용해야 합니다. 이 현상은 "설명하는 것이 믿는 것이다"라는 인간 행동을 반영하지만, LLM 에서는 이 메커니즘이 모델이 잘못된 결론에 대해 매우 자신 있게 되는 상태로 이어질 수 있습니다. 연구는 CoT 가 많은 복잡한 작업에서 정확도를 향상시키지만, 동시에 자신감 지표의 신뢰성을 저하시켜 오류가 있는 출력을 더 설득력 있게 만들고 덜 검토받게 할 수 있다고 제안합니다.

저자들은 상대적으로 작은 오픈 가중치 모델 (OpenAI 모델 제외) 에 초점을 맞췄다는 점과 단일 벤치마크에 의존했다는 점을 제한 사항으로 지적했습니다. 향후 연구에서는 응답 길이와 CoT 깊이를 고려한 견고한 자신감 추정 방법을 탐구하고, 이러한 메타인지 행동을 더 잘 이해하기 위해 체계적인 인간-LLM 비교 연구를 수행할 것을 요청합니다.