When Can We Trust LLM Graders? Calibrating Confidence for Automated Assessment

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 자동 채점 분야에서 유망한 도구로 부상하고 있지만, 그 출력의 신뢰성은 여전히 의문시됩니다. 기존 연구들은 LLM 이 인간 평가자와 일치하지 않거나 복잡한 문제에서 계산 오류를 범하는 등 정확도 문제가 있음을 보여줍니다.

• 핵심 문제: 단순히 채점 정확도를 높이는 것보다, **"언제 LLM 이 올바른 채점을 할 가능성이 높은지"**를 예측하는 것이 더 실용적입니다.
• 목표: LLM 의 신뢰도 (Confidence) 를 보정 (Calibration) 하여, 높은 신뢰도를 가진 예측은 자동으로 처리하고, 불확실한 경우는 인간 검토자에게 할당하는 선택적 자동화 (Selective Automation) 시스템을 구축하는 것입니다.
• 도전 과제: 현대 신경망과 LLM 은 종종 과도한 자신감 (Overconfidence) 을 보이며, 신뢰도 점수가 실제 정확도와 일치하지 않는 보정 불량 (Poor Calibration) 문제가 존재합니다.

2. 방법론 (Methodology)

2.1 실험 설정

• 데이터셋: 교육 분야 3 개 데이터셋 사용
  • RiceChem: 긴 답변이 필요한 화학 문제 (8,392 개 응답).
  • SciEntsBank: 짧은 답변 과학 질문 (10,804 개 응답).
  • Beetle: 전자공학 및 회로 관련 짧은 답변 (3,559 개 응답).
• 모델: 규모가 다른 7 개의 LLM 평가 (4B~120B 파라미터)
  • 소형: Llama-8B, Qwen-4B, GPT-OSS-20B
  • 대형: GPT-OSS-120B, Llama-70B, Qwen-80B (Thinking/Instruct 모드)

2.2 신뢰도 추정 방법 비교

세 가지 주요 신뢰도 추정 기법을 비교 분석했습니다.

1. 자기 보고 신뢰도 (Self-Reported Confidence):
   • 모델에게 채점 결정과 함께 숫자 형태의 신뢰도 점수 (1~10) 를 직접 생성하도록 프롬프트합니다.
   • 비용: 1 회 추론 (가장 저렴).
2. 자기 일관성 (Self-Consistency):
   • 동일한 입력에 대해 여러 번 (n=5) 샘플링을 수행하고, 다수결 투표 (Majority Vote) 비율을 신뢰도로 간주합니다.
   • 비용: 5 회 추론 (비용 5 배 증가).
3. 토큰 확률 (Token Probability):
   • 모델이 출력한 JSON 의 'verdict' 필드에 해당하는 'yes'/'no' 토큰들의 소프트맥스 확률 합을 신뢰도로 사용합니다.
   • 비용: 1 회 추론.

2.3 평가 지표

• 기대 보정 오차 (ECE): 신뢰도 구간별 평균 오차. 낮을수록 보정이 잘 됨.
• 브라이어 점수 (Brier Score): 신뢰도와 실제 정답 간 제곱 오차.
• AUC-ROC: 신뢰도가 높은 예측이 정확할 확률 (분별력).
• 리스크 하의 커버리지 (Coverage at Risk): 특정 정확도 임계값을 유지하며 자동화할 수 있는 예측의 비율.

3. 주요 결과 (Key Results)

3.1 자기 보고 신뢰도의 우월성 (Finding 1)

• 결과: 모든 조건 (3 개 데이터셋 × 2 개 모델 규모) 에서 **자기 보고 신뢰도 (Self-Reported Confidence)**가 가장 낮은 ECE(평균 0.166) 를 기록하며 가장 잘 보정되었습니다.
• 비교: 자기 일관성 (Self-Consistency) 은 ECE 가 평균 0.229 로 더 나빴으며, 5 배의 추론 비용이 들었음에도 불구하고 성능이 38% 더 낮았습니다.
• 통계적 유의성: 짝수 부트스트랩 (Paired Bootstrap) 분석에서 자기 보고 방식이 모든 데이터셋에서 통계적으로 유의미하게 우세했습니다.

3.2 모델 규모와 정확도/보정의 관계 (Finding 2)

• 정확도: 모델 규모가 커질수록 (Small → Large) 채점 정확도는 일관되게 향상되었습니다.
• 보정: 모델 규모가 커진다고 해서 보정 성능이 항상 비례하여 좋아지는 것은 아닙니다. 보정 개선은 데이터셋과 방법에 따라 다릅니다.
  • 예: SciEntsBank 에서 자기 보고 방식은 ECE 가 0.208 에서 0.121 로 크게 개선되었으나, RiceChem 은 미미한 개선만 있었습니다.
  • 최고 성능: GPT-OSS-120B 가 자기 보고 방식을 사용할 때 평균 ECE 0.100, AUC 0.668 로 가장 우수한 보정과 분별력을 보였습니다.

3.3 신뢰도 분포의 편향 (Finding 3)

• 상향 편향 (Top-Skewed): 모든 방법에서 신뢰도 점수가 매우 높은 값 (0.8 이상) 에 집중되어 있었습니다.
  • 자기 보고 및 토큰 확률: 86% 의 예측이 0.8 이상.
  • 자기 일관성: 89.5% 가 5/5 (1.0) 일치.
• 실제적 함의: 이는 "신뢰도 바닥 (Confidence Floor)" 현상을 의미합니다. 따라서 임계값 (Threshold) 을 설정할 때 직관적인 중간값 (예: 0.5) 이 아니라, 각 모델/방법의 실제 관측 분포를 기준으로 설정해야 합니다.

4. 기여 및 의의 (Contributions & Significance)

1. 실용적인 가이드라인 제시: LLM 채점 시스템에서 신뢰도를 높이기 위해 복잡한 샘플링 기반 방법 (자기 일관성) 대신, 단순히 모델에게 "자신의 신뢰도를 말하라"고 요청하는 것이 비용 대비 가장 효과적이고 보정된 결과를 제공함을 입증했습니다.
2. 선택적 자동화 전략: 높은 신뢰도 예측은 자동화하고, 낮은 신뢰도 (불확실) 예측은 인간에게 넘기는 Human-AI 협업 모델을 위한 신뢰성 있는 기준을 마련했습니다.
3. 모델별 통찰:
   • GPT-OSS-120B: 추론 깊이 (Reasoning Depth) 에 관계없이 매우 안정적인 보정 성능을 보여 배포에 적합함.
   • Qwen-80B: 'Thinking' 모드는 복잡한 화학 문제 (RiceChem) 에서는 정확도와 보정이 모두 향상되었으나, 간단한 과학 문제에서는 과신 (Overconfidence) 경향이 나타남.
4. 한계 인식: 엄격한 신뢰도 목표 (예: 5% 리스크) 를 설정할 경우, 자동화 가능한 예측의 비율은 전체의 11~20% 수준으로 제한적임을 지적하여, 완전 자동화보다는 인간 감독 하의 보조 도구로서의 역할을 강조했습니다.

5. 결론

이 논문은 LLM 기반 자동 채점의 신뢰성을 높이는 핵심은 "정확도 향상"이 아니라 **"언제 신뢰할 수 있는지 예측하는 능력 (보정)"**에 있음을 보여줍니다. 연구 결과, 자기 보고 신뢰도가 가장 실용적이고 비용 효율적인 해결책이며, 이를 통해 교육 현장에서 인간과 AI 가 협력하는 효율적인 평가 시스템을 구축할 수 있음을 시사합니다.