Pushing the Boundaries of Multiple Choice Evaluation to One Hundred Options

1. 연구 배경 및 문제 제기 (Problem)

• 기존 MCQA 의 한계: 대규모 언어 모델 (LLM) 평가의 표준인 다중 선택 질문 (MCQA) 은 일반적으로 4~5 개의 옵션 (N=4, 5) 을 사용합니다. 그러나 옵션 수가 적을 경우, 모델이 진정한 지식을 바탕으로 답하는 것이 아니라 단축 전략 (shortcut strategies) 을 사용하여 높은 정확도를 달성할 수 있습니다.
  • 단축 전략의 예: 부분적 제거, 확률적 추측, 포맷팅 단서 활용 등.
  • 이로 인해 모델의 실제 역량이 과대평가 (competence inflation) 될 수 있으며, 벤치마크의 천정 효과 (ceiling effect) 로 인해 모델 간 성능 차이를 구별하기 어렵습니다.
• 핵심 문제: 낮은 옵션 수 (Low-N) 에서의 높은 성능이 실제 배포 환경 (복잡하고 유사한 오답들이 많은 상황) 에서의 견고성을 보장하지 못합니다.

2. 제안 방법론 (Methodology)

이 논문은 100 개의 옵션 (N=100) 으로 확장된 대규모 옵션 평가 프로토콜을 제안합니다.

• 작업 태스크: 한국어 맞춤법 오류 탐지 (Orthography Error Detection).
  • 모델은 100 개의 문장 중 단 하나의 맞춤법 오류가 있는 문장을 찾아야 합니다.
  • 정답 (Target) 은 30 개의 고정된 오류 문장이며, 오답 (Distractor) 은 정답과 매우 유사하지만 맞춤법이 올바른 문장들로 구성됩니다.
• 데이터셋 구성:
  • 국립국어원 (NIKL) 의 750 개 문장을 기반으로 하며, 3 개의 한국어 맞춤법 검사기 (DAUM, SARAMIN, NARA) 의 만장일치 (unanimity) 를 기준으로 정답과 오답을 엄격하게 라벨링했습니다.
  • 난이도 14 단계로 분류하여 'Easy'(난이도 12) 와 'Full'(난이도 1~4) 두 가지 환경에서 실험을 수행했습니다.
• 평가 프로토콜:
  • 각 목표 문장 (Target) 에 대해 $N \in \{4, 10, 20, 50, 100\}$ 개의 옵션 크기를 설정합니다.
  • 각 $N$에 대해 $K=1,000$ 번의 독립적인 시도를 수행하여, 오답 풀의 구성과 정답의 위치를 무작위로 섞습니다. 이를 통해 위치 편향과 무작위 추측의 영향을 제거하고 모델의 본질적인 능력을 추정합니다.
• 새로운 지표 (Metrics):
  • 기회 정규화 정확도 (Chance-Normalized Accuracy, NA): $N$이 커질수록 무작위 추측 확률 ($1/N$) 이 감소하므로, 이를 보정하여 모델의 실제 능력을 측정합니다.
  • 버블 지수 (Bubble Index, BI): 저옵션 (N=4) 과 고옵션 (N=100) 환경에서의 정규화 정확도 차이를 측정합니다. BI 가 클수록 저옵션 환경에서의 성능이 과대평가되었음을 의미합니다.
  • 위치적 후퇴 (Positional Fallback): 모델이 불확실성이 높을 때 초기 옵션 (예: 1~10 번) 을 선택하는 경향을 정량화합니다 (Excess Primacy, $\Delta PFI_{10}$).

3. 주요 실험 결과 (Results)

선두주자 모델 (Gemini 계열) 과 다른 주요 한국어 특화 모델 (HyperCLOVA X-Think, EXAONE-4.0 등) 을 비교 평가했습니다.

• 성능의 급격한 하락:
  • Gemini 모델: N=4 에서 N=100 으로 확장되어도 성능이 거의 유지되거나 매우 완만하게 감소했습니다. (강력한 견고성)
  • 기타 모델 (HyperCLOVA X-Think, EXAONE-4.0): N=4 에서는 거의 완벽한 성능을 보였으나, N=100 환경 (특히 Full 환경) 에서 정확도가 약 70% 포인트 이상 급감했습니다.
    • 예: HyperCLOVA X-Think 는 Full 환경에서 N=4(92.5%) 에서 N=100(21.2%) 로 추락했습니다.
• 버블 지수 (BI) 분석:
  • 성능이 급락한 모델들은 높은 BI 값을 보였으며, 이는 저옵션 벤치마크가 모델의 실제 능력을 과장하고 있음을 시사합니다.
• 결정 정책의 변화 (Decision Policy):
  • Gemini: 불확실성이 높아져도 답변이 전체 옵션에 고르게 분포되어 있으며, 정답의 위치와 무관하게 일관된 성능을 유지했습니다.
  • 성능 저하 모델: 불확실성이 높아지면 초기 옵션 선택 (Early-option selection) 으로 회귀하는 경향을 보였습니다. 즉, 내용 분석을 포기하고 "앞쪽 번호를 찍는" 휴리스틱을 사용했습니다.
• 컨텍스트 길이 vs. 후보 순위 매기기:
  • 패딩 제어 실험: N=100 에서의 성능 저하가 단순히 프롬프트 길이 (Long-context) 문제인지, 아니면 후보 간 구분 (Ranking) 문제인지 확인하기 위해 의미 없는 텍스트를 추가하는 패딩 실험을 수행했습니다.
  • 결과: 대부분의 모델에서 패딩 유무에 따른 성능 변화는 미미했습니다. 이는 성능 저하의 주된 원인이 긴 문맥 처리 능력의 부족이 아니라, 밀집된 유사한 후보들 사이에서 정답을 찾아내는 순위 매기기의 어려움임을 증명했습니다.

4. 주요 기여 (Key Contributions)

1. 대규모 옵션 평가 프레임워크: N=100 으로 확장된 평가 프로토콜을 도입하여, 기존 벤치마크에서는 보이지 않았던 모델 간 성능 격차를 명확히 드러냈습니다.
2. 성능 과대평가 (Competence Inflation) 규명: 저옵션 환경에서의 높은 정확도가 단순한 단축 전략에 기인할 수 있음을 '버블 지수 (Bubble Index)'를 통해 정량화했습니다.
3. 실패 모드 식별: 모델이 고난이도 환경에서 내용 기반 추론을 포기하고 위치적 편향 (Positional Bias) 으로 회귀하는 두 가지 주요 실패 모드 (의미적 혼란, 위치적 후퇴) 를 발견하고 진단 도구를 제시했습니다.
4. 컨텍스트 길이 오해 해소: 성능 저하가 단순히 문맥 길이 때문이 아니라, '밀집된 간섭 (Dense Interference) 하에서의 후보 순위 매기기' 문제임을 실험적으로 증명했습니다.

5. 의의 및 결론 (Significance)

• 차세대 벤치마크의 방향성: 향후 LLM 평가는 광범위한 주제 커버리지를 넘어, 밀집된 유사한 오답들 사이에서의 신뢰성 (Reliability under dense interference) 을 테스트하는 스트레스 테스트를 포함해야 함을 주장합니다.
• 실제 배포 환경 반영: 실제 응용 분야 (예: 코드 디버깅, 사실성 검증) 는 수많은 유사한 후보가 존재하는 경우가 많으므로, N=100 과 같은 고옵션 평가는 모델의 실제 배포 가능성을 더 정확하게 예측할 수 있습니다.
• 모델 개발자 및 연구자: 단순히 정확도 (Accuracy) 만을 높이는 것이 아니라, 불확실성 하에서도 위치적 편향 없이 내용 기반의 결정 능력을 유지하는 모델 개발이 필요함을 시사합니다.

이 논문은 기존 MCQA 평가의 구조적 한계를 지적하고, 더 엄격하고 현실적인 평가 기준을 제시함으로써 LLM 의 진정한 역량을 측정하는 새로운 기준을 마련했습니다.