Confidence Estimation in Automatic Short Answer Grading with LLMs

"LLM 을 활용한 자동 단답형 채점에서의 신뢰도 추정" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 을 활용한 **자동 단답형 채점 (ASAG)**은 작업별 미세 조정 없이도 강력한 성능을 보이며 합성 피드백을 생성할 수 있습니다. 그러나 언어적 변이성, 모호한 채점 기준, 그리고 인간 채점자 간의 고유한 불일치로 인해 LLM 기반 채점은 완벽하지 않습니다.

Human-in-the-Loop (HITL) 교육 평가에서 시스템은 어떤 응답을 자동으로 채점할지, 어떤 응답을 인간 전문가에게 위임할지 결정해야 합니다. 이를 위해서는 신뢰할 수 있는 신뢰도 추정이 필요합니다. 현재 직면한 과제는 다음과 같습니다:

• 부족한 연구: 기존 신뢰도 추정 연구의 대부분은 생성형 LLM 이 아닌 사전 훈련된 언어 모델 (PLM) 에 초점을 맞추고 있습니다.
• 모델 중심 편향: 기존 방법들은 모호하거나 불충분하게 명시된 학생 응답에서 발생하는 **데이터셋 유래 불확실성 (aleatoric uncertainty)**을 무시하고 **모델 기반 신호 (인지적 불확실성)**에만 의존합니다.
• 신뢰성 부족: 신뢰도 점수는 종종 엄격한 신뢰성 분석 없이 단순 임계값 설정에 사용되어, 중요한 교육적 결정에서 과도한 자신감이나 오보정 (miscalibration) 을 초래합니다.

2. 방법론

저자들은 모델 기반 신뢰도 신호와 명시적인 데이터셋 유래 알레아토릭 불확실성 추정을 통합한 하이브리드 신뢰도 프레임워크를 제안합니다.

A. 모델 기반 신뢰도 신호 (인지적 불확실성)

이 연구는 LLM(특히 gpt-oss-20b) 으로부터 신뢰도를 추출하기 위한 세 가지 명확한 전략을 평가합니다:

1. 구두화 (Verbalizing): 모델이 채점 결정과 함께 신뢰도 점수 (확률) 를 명시적으로 출력하도록 프롬프트를 구성합니다.
2. 잠재 (Latent): 모델의 내부 확률 분포 (레이블 토큰에 대한 softmax) 를 사용하여 예측된 레이블 토큰의 정규화된 로그 가능도를 계산합니다.
3. 일관성 (Consistency): 다양한 온도 (0.2 에서 1.0) 에서 여러 번 예측을 샘플링하고 모델이 동일한 레이블을 반환하는 빈도 (안정성) 를 측정합니다.

참고: 모든 점수는 응답이 정답일수록 높은 값을 나타내도록 방향이 설정되어 있습니다.

B. 데이터셋 유래 불확실성 (알레아토릭 불확실성)

데이터에 내재된 모호성 (예: 의미적으로 유사하지만 인간 레이블이 상충하는 응답) 을 포착하기 위해, 저자들은 의미적 이질성을 통해 알레아토릭 불확실성을 운영화합니다:

1. 임베딩: 학생 응답을 all-MiniLM-L6-v2 를 사용하여 임베딩합니다.
2. 클러스터링: 응집 계층적 클러스터링 (Ward 링크) 이 의미적으로 유사한 응답들을 그룹화합니다.
3. 이질성 정량화: 각 클러스터에 대해 레이블 분포의 섀넌 엔트로피를 계산합니다. 높은 엔트로피는 의미적으로 유사한 응답이 인간 채점자로부터 다른 점수를 받음을 의미하며, 이는 높은 모호성을 나타냅니다.
4. 할당: 테스트 응답은 가장 가까운 클러스터 중심의 엔트로피 값을 할당받습니다.

C. 신뢰도 융합

모델 기반 신호 ($s_{verb}, s_{lat}, s_{cons}$) 와 알레아토릭 불확실성 대리 변수 ($s_{alea}$) 가 특징 벡터로 결합됩니다.

• 분류기: 이러한 특징을 정답 채점 확률로 매핑하기 위해 랜덤 포레스트 분류기가 훈련됩니다.
• 보정: 예측된 확률이 경험적 빈도와 일치하도록 **플랫 스케일링 (Platt scaling)**을 통해 (5 교차 검증을 통해) 사후 보정이 수행됩니다.
• 베이스라인: 데이터셋 유래 불확실성의 기여도를 분리하기 위해 "알레아토릭 없이 (without aleatoric)" 하이브리드 변형도 훈련됩니다.

D. 평가 지표

• 선택적 예측: **ROC 곡선 (AUROC)**과 **정확도 - 거절 곡선 (AUARC)**을 통해 측정됩니다. 이는 낮은 신뢰도 오류를 필터링하는 능력을 평가합니다.
• 신뢰성: 신뢰성 다이어그램, 브라이어 점수, 기대 보정 오차 (ECE), **최대 보정 오차 (MCE)**를 통해 측정됩니다. 이는 예측된 신뢰도 $p$가 실제로 $p$% 정확도에 해당하는지 평가합니다.

3. 주요 기여

1. 체계적 비교: LLM 을 활용한 ASAG 에 대해 구두화, 잠재, 일관성 기반 신뢰도 전략을 비교한 최초의 체계적 연구입니다.
2. 하이브리드 프레임워크: 모델 기반 신뢰도와 의미적 이질성을 융합하여 알레아토릭 불확실성을 추정하는 새로운 방법을 제안함으로써, 모델만 의존하는 접근법의 한계를 해결합니다.
3. 실증적 검증: 하이브리드 신뢰도 점수가 선택적 채점 정확도와 보정 신뢰성 모두에서 단일 소스 방법보다 훨씬 우수한 성능을 보임을 입증하여, HITL 평가를 위한 원칙적인 기반을 제공합니다.

4. 실험 결과

실험은 약 11,000 개의 과학 단답형으로 구성된 SciEntsBank 데이터셋에서 수행되었습니다.

• 선택적 예측 성능:

  • 단일 소스: 잠재 신뢰도가 가장 낮은 성능 (최저 AUROC) 을 보였습니다. 구두화와 일관성은 중간 정도의 성능을 보였습니다.
  • 하이브리드: 알레아토릭 불확실성을 통합한 하이브리드 모델이 **최고의 AUROC (0.885)**와 **AUARC (0.876)**를 달성했습니다.
  • 영향: 40% 거절률 (가장 낮은 신뢰도 40% 를 필터링) 에서 하이브리드 모델은 나머지 응답에 대해 90.0% 의 정확도를 달성했으며, 이는 선택을 하지 않았을 때의 70.4% 와 비교됩니다. 알레아토릭 불확실성이 없는 하이브리드 모델도 경쟁력이 있었으나 일관되게 낮아, 데이터 모호성 모델링의 가치를 입증했습니다.

• 신뢰성 및 보정:

  • 단일 소스: 구두화는 과도한 자신감 (높은 MCE) 을 보였습니다. 잠재는 보정이 잘 되지 않았습니다. 일관성은 평균 오차는 낮았으나 최대 오차는 높아 (국소적 실패) 문제가 있었습니다.
  • 하이브리드: 알레아토릭 불확실성을 포함한 하이브리드 모델이 **최저의 브라이어 점수 (0.138)**와 **최저의 MCE (0.100)**를 달성했습니다. 신뢰성 다이어그램에서 대각선을 밀접하게 추적하여 신뢰도 점수가 매우 신뢰할 수 있음을 나타냈습니다.

5. 중요성 및 결론

• 모델 신호를 넘어: 이 논문은 ASAG 에 있어 모델 기반 신뢰도만으로는 부족함을 확립합니다. 학생 응답의 모호성 (알레아토릭 불확실성) 은 명시적으로 모델링되어야 하는 고유한 오류 원인입니다.
• 안전한 AI 배포: 잘 보정된 신뢰도 점수를 제공함으로써 제안된 프레임워크는 안전한 인간-AI 협업을 가능하게 합니다. 교육자들은 높은 신뢰도 응답에 대해서는 시스템이 자동으로 채점하도록 신뢰할 수 있으며, 모호한 사례는 인간 검토를 위해 플래그를 표시할 수 있습니다.
• 실용적 의사결정 지원: 정확도 - 거절 곡선 (ARC) 의 사용은 임의의 임계값 선택을 넘어, 교육자들이 수동 검토 비용과 채점 정확도 사이의 균형을 잡을 수 있는 실용적인 도구를 제공합니다.

요약하자면, 이 연구는 의미적 데이터 이질성과 LLM 신뢰도 신호를 통합함으로써 더 견고하고 신뢰할 수 있으며 해석 가능한 채점 시스템을 구축하여 실제 배포에 적합하게 함으로써 AI 지원 교육 분야를 발전시켰습니다.