기술 요약: 대규모 언어 모델의 신뢰도 보정

문제 제기

대규모 언어 모델 (LLM) 이 안내자, 교사, 조언자로서 갖는 유용성은 "할루시네이션"(신뢰성 있게 거짓을 보고하는 현상) 에 의해 근본적으로 훼손됩니다. 이상적인 LLM 은 오직 진실된 정보만을 제공해야 하지만, 회복 불가능한 불확실성과 실제 진실 (ground truth) 에 대한 제한된 접근성으로 인해 이는 비현실적입니다. 더 달성 가능한 목표는 잘 보정된 신뢰도로, LLM 이 자신의 한계를 조건으로 하여 정확할 확률을 성실하게 보고하는 것입니다. 이러한 보정이 없으면 사용자는 높은 신뢰도를 가진 정확한 출력과 높은 신뢰도를 가진 오류를 구별할 수 없어 심각한 인식론적 위험이 발생합니다.

기존 문헌은 인간의 판단이 과신과 "어렵고 쉬운" 효과 (어려운 과제에서는 과신, 쉬운 과제에서는 과소신) 에 시달린다고 나타냅니다. LLM 이 유사한 편향을 보일지, 아니면 심층 신경망에서 관찰된 바와 같이 신뢰도 신호가 단순히 정확도의 노이즈가 있는 지표인지 여부는 아직 명확하지 않습니다. furthermore, 보정 연구에서 과제 난이도를 평가하는 기존 방법들은 주관적인 인간 평가, LLM 을 심사자 (LLM-as-a-judge) 로 활용하거나, 맥락 확장 (context scaling) 에 의존하는데, 이 모두 편향을 도입하거나 난이도의 연속적인 측정을 제공하지 못합니다.

방법론

저자들은 11 개의 인기 있는 오픈 소스 및 클로즈드 소스 LLM 의 신뢰도 보정을 다섯 가지 서로 다른 추론 과제와 새로 개발된 테스트를 통해 평가하는 사전 등록 연구를 수행했습니다.

평가된 모델

이 연구는 다섯 가지 "추론" 모델 (DeepSeek-R1, Gemini 2.5 Pro, GPT-o3, Claude Sonnet 4, Claude Sonnet 3.7) 과 여섯 가지 "챗" 모델 (DeepSeek-V3, Gemini 2.5 Flash, GPT-4o, Claude Haiku 3, Llama 3.1 8B, Llama 3.1 70B) 을 비교했습니다.

질문 세트

다양한 영역에 걸친 보정을 테스트하기 위해 다섯 가지 확립된 데이터 세트를 사용했습니다:

1. BoolQ: 참/거짓 일반 상식 질문.
2. SciQ: 과학 관련 객관식 질문.
3. LSAT-AR: 다단계 추론이 필요한 논리적 추론.
4. SAT-EN: 미묘한 텍스트 추론이 필요한 독해.
5. HaluEval: 할루시네이션 탐지 과제로, 모델들이 미리 생성된 답변 (절반은 진실, 절반은 할루시네이션) 을 평가했습니다.

LifeEval: 새로운 벤치마크

과제 난이도의 영향을 다른 변수들로부터 분리하기 위해, 저자들은 LifeEval을 개발했습니다. 이 과제는 모델에게 성별과 최소 나이를 기반으로 한 사람의 사망 나이를 예측하고, 그 추정치가 실제 값으로부터 특정 반경 (1, 5, 10, 또는 20 년) 내에 있을 확률을 명시하도록 요구합니다.

• 난이도 조작: 질문의 본질을 일정하게 유지하면서 반경과 최소 나이를 외부적으로 변형시켜 난이도를 통제합니다.
• 실제 진실 (Ground Truth): 미국 사회보장청 (SSA) 의 기간 수명표를 사용하여 실제 확률을 계산함으로써, 명시된 신뢰도와 경험적 확률 간의 정밀한 비교가 가능했습니다.
• 지표: 과제 난이도는 $1 - \text{최대 달성 가능 점수 (MAS)}$로 정의되며, 여기서 MAS 는 주어진 질문에 대한 정확도의 이론적 상한선입니다.

실험 프로토콜

• 프롬프팅: 모델들은 답변과 수치적 신뢰도 점수 (0.0 에서 1.0) 를 JSON 으로 출력하도록 지시받았습니다. 대부분의 과제에서 체인 오브 씽킹 (chain-of-thought) 프롬프팅이 사용되었습니다.
• 채점: 객관식 질문의 경우, 가장 높은 확률을 할당받은 옵션이 실제 진실과 일치하면 응답이 정답으로 간주되었습니다.
• 지표:
  • 기대 보정 오차 (ECE): 예측된 신뢰도와 이진 구간 (bins) 을 통한 경험적 정확도 간의 불일치를 측정합니다.
  • 과신: $\text{평균 신뢰도} - \text{평균 정확도}$로 계산됩니다.
  • 어렵고 쉬운 효과: 과제 난이도와 과신 간의 회귀 계수를 통해 측정됩니다.

주요 결과

1. 일반적인 과신

모든 질문 세트에서 LLM 은 평균적으로 과신하는 경향이 있었습니다. 모델들은 선호하는 답변에 대해 평균 **88%**의 신뢰도를 보고했으나, 실제 정확도는 **79%**였습니다. 이 9% 의 격차는 "자신이 옳다고 너무 확신하는" 체계적인 경향을 나타냅니다.

2. 어렵고 쉬운 효과

이 연구는 인간 심리학에서 잘 문서화된 어렵고 쉬운 효과가 LLM 에도 존재함을 확인했습니다:

• 어려운 과제: 과신은 어려운 과제 (예: LSAT-AR, HaluEval) 에서 가장 큽니다.
• 쉬운 과제: 모델들은 더 쉬운 과제 (예: SciQ, SAT-EN) 에서 상당한 과소신을 보입니다.
• LifeEval 결과: 과제 난이도가 증가할수록 (반경이 작아질수록) 과신이 증가했습니다. 반대로 과제가 쉬워질수록 (반경이 커질수록) 모델들은 과소신하게 되었습니다. 가장 어려운 LifeEval 과제 (1 년 반경) 의 경우, 모델들은 9.6% 의 실제 확률에 대해 34.2% 의 신뢰도를 보고했습니다. 가장 쉬운 과제 (20 년 반경) 의 경우, 92.0% 의 실제 확률에 대해 80.5% 의 신뢰도를 보고했습니다.

3. 추론 모델 vs 챗 모델

• 미묘함: 추론 모델은 더 미묘한 신뢰도 추정을 제공했습니다. 그들의 신뢰도 점수 중 **61.1%**만이 5% 의 배수로 반올림되었는데, 이는 챗 모델의 **91.4%**에 비해 낮은 수치입니다.
• 상관관계: 추론 모델은 명시된 신뢰도와 실제 확률 간의 상관관계 (평균 0.94) 가 챗 모델 (0.48) 에 비해 더 강하게 나타났습니다.
• 보정: 추론 모델이 전반적으로 더 잘 보정되었음에도 불구하고, 여전히 어렵고 쉬운 효과를 보였습니다.

4. 오염 분석

LifeEval 에 대한 사후 분석 결과, 일부 모델 (특히 DeepSeek-R1, Gemini 2.5-Pro, GPT-o3) 은 실제 진실 생성에 사용된 SSA 수명표를 암기했다는 "강력한 증거"를 높은 비율로 보였습니다. 암기 증거가 없는 응답으로 분석을 제한했을 때, 어렵고 쉬운 효과와 과신 경향은 지속되었으며, 이는 발견된 바가 단순히 데이터 누출의 산물이 아님을 확인시켜 주었습니다.

주요 기여

1. AI 에서의 어렵고 쉬운 효과에 대한 경험적 증거: 이 논문은 LLM 신뢰도에서 어렵고 쉬운 효과를 체계적으로 문서화한 첫 사례로, 난이도가 증가함에 따라 과신이 증가하고 쉬운 과제에서는 과소신이 나타난다는 것을 보여줍니다.
2. LifeEval 벤치마크: LifeEval 의 도입은 과제 난이도의 연속적이고 외부적인 측정을 통해 모델 보정을 평가하는 새로운 프레임워크를 제공하며, 기존 난이도 평가 방법의 주관성을 극복했습니다.
3. 모델 유형의 차별화: 이 연구는 "추론" 모델이 표준 "챗" 모델보다 더 미묘하고 잘 보정된 신뢰도 추정을 제공하지만, 어느 것도 완벽하게 보정되지는 않는다는 점을 강조합니다.
4. 과신의 정량화: 이 연구는 평균 과신 격차 (9%) 를 정량화하고, 모델들이 자신의 오류 가능성을 인식하는 데 어려움을 겪는 특정 과제 (논리적 추론, 할루시네이션 탐지) 를 식별했습니다.

중요성과 주장

이 논문은 AI 신뢰도에서 어렵고 쉬운 효과의 존재가 인간의 판단을 반영한다고 주장하며, LLM 의 신뢰도는 인간 인지처럼 "정확도의 노이즈가 있는 신호"일 수 있음을 시사합니다. 이는 자율 시스템의 배포에 중요한 함의를 가집니다:

• 신뢰와 안전: 사용자가 모델의 명시된 신뢰도가 정확도를 나타낸다고 신뢰할 수 없다면, 오류가 있는 출력을 신뢰하거나 정확한 것을 의심할 수 있습니다.
• RLHF 의 한계: 저자들은 인간 사용자가 확신에 찬 확신을 표현하는 모델을 선호할 경우, 인간 피드백을 통한 강화 학습 (RLHF) 이 의도치 않게 과신을 증가시킬 수 있다고 지적합니다.
• 앞으로의 방향: 저자들은 인간 편향 제거에 효과적인 전략들—예를 들어, 왜 답변이 틀릴 수 있는지 성찰하도록 장려하는 것—을 LLM 에 적용할 수 있다고 제안합니다. 추론 모델의 우수한 성능은 자기 비판과 성찰을 장려하는 프롬프트나 훈련 체계가 보정을 개선할 수 있음을 시사합니다.

이 논문은 LLM 이 개선되고 있지만, 그 신뢰도는 과제 난이도에 충분히 민감하지 않아 신뢰할 수 있는 자율 행동의 장벽이 되고 있다고 결론지었습니다. 향후 연구는 과신의 형태 (과대평가 대 과정밀) 를 구분하고 이러한 편향을 완화하는 방법을 개발하는 데 초점을 맞춰야 합니다.