논문 요약: DON'T PASS@K: A BAYESIAN FRAMEWORK FOR LARGE LANGUAGE MODEL EVALUATION (ICLR 2026)

이 논문은 대규모 언어 모델 (LLM) 의 추론 성능을 평가하는 데 널리 사용되는 Pass@k 지표의 한계를 지적하고, 이를 대체할 수 있는 통계적으로 엄밀한 베이지안 평가 프레임워크를 제안합니다. 저자들은 제한된 샘플 수 (계산 자원) 에서 발생하는 불안정한 순위와 오해를 불러일으킬 수 있는 결과를 해결하기 위해, 모델의 성공 확률에 대한 사후 추정치 (posterior estimates) 와 신뢰 구간 (credible intervals) 을 기반으로 한 새로운 접근법을 제시합니다.

1. 문제 제기 (Problem)

현재 LLM 평가, 특히 수학 추론이나 코드 생성과 같은 작업에서 Pass@k (k 번 시도 중 하나라도 정답일 확률) 나 단순한 평균 정확도 (avg@N) 가 표준으로 사용되고 있습니다. 그러나 이러한 방법론에는 다음과 같은 치명적인 결함이 있습니다:

• 불안정한 순위 (Unstable Rankings): 샘플 수 (N) 가 적거나 비용이 많이 드는 벤치마크 (예: AIME, HMMT) 의 경우, Pass@k 는 높은 분산을 보여 모델 간 미세한 성능 차이를 왜곡하거나 순위가 쉽게 뒤바뀔 수 있습니다.
• 불확실성 부재: 관찰된 성능 차이가 통계적으로 유의미한지, 아니면 단순한 노이즈인지 판단할 수 있는 명확한 기준이 없습니다.
• 계산 비효율성: 안정적인 순위를 얻기 위해 많은 수의 시도를 수행해야 하므로 계산 비용이 급증합니다.
• 이진 평가의 한계: 정답/오답 (0/1) 이나 부분 점수, 포맷 오류, 거절 등 다양한 결과 유형을 통합적으로 평가하기 어렵습니다.

2. 방법론 (Methodology)

저자는 평가 자체를 통계적 추론 문제로 재정의하고 다음과 같은 베이지안 프레임워크를 제안합니다.

A. 범주형 모델링 및 디리클레 사전 (Categorical Modeling & Dirichlet Prior)

• 각 문제의 결과를 단순한 0/1 이 아닌 범주형 (Categorical) 데이터로 모델링합니다 (예: 정답, 부분 정답, 포맷 오류, 거절 등).
• 각 범주의 확률 분포에 디리클레 (Dirichlet) 사전 분포를 적용합니다. 이는 사전 정보 (과거 데이터 등) 를 통합할 수 있게 하며, 모든 결과에 대해 폐쇄형 (closed-form) 사후 평균과 불확실성 (분산) 을 제공합니다.

B. 베이지안 추정자 (Bayes@N)

• 평균 (Posterior Mean, $\mu$): 모델의 실제 성공 확률에 대한 최적 추정치입니다. 균일한 사전 (Uniform Prior) 하에서 이는 단순 평균 정확도 (avg@N) 와 순위가 동일하게 유지되지만, 불확실성을 명시적으로 포함합니다.
• 신뢰 구간 (Credible Intervals, CI): 사후 분포의 분산을 기반으로 계산됩니다. 두 모델의 신뢰 구간이 겹치지 않을 때만 성능 차이가 통계적으로 유의미하다고 판단합니다.
• 알고리즘: 알고리즘 1 에서 제시된 대로, 결과 행렬을 카운팅하여 $\mu$와 $\sigma$를 직접 계산하며, 몬테카를로 시뮬레이션이나 부트스트랩 없이도 불확실성을 빠르게 추정할 수 있습니다.

C. 우선순위 결정 규칙

• 중첩된 구간: 두 모델의 신뢰 구간이 겹치면 (Overlap), 통계적으로 구별할 수 없으므로 동점 (Tie) 으로 처리하거나 추가 샘플이 필요하다고 판단합니다.
• 비균일 사전 (Non-uniform Priors): 이전 버전의 모델 데이터나 관련 작업의 데이터를 사전 정보 ($R_0$) 로 활용하여, 적은 샘플로도 더 빠르게 정확한 순위를 도출할 수 있도록 합니다.

3. 주요 기여 (Key Contributions)

1. 통합된 베이지안 평가 프레임워크: 이진 평가와 등급 (graded) 평가를 통합하며, 임의의 가중치 규칙 (rubric) 에 대해 폐쇄형 사후 평균과 신뢰 구간을 제공합니다.
2. 계산 효율적이고 불확실성을 고려한 프로토콜: 단순한 점수 보고 대신 신뢰 구간을 제시하고, 구간이 겹치지 않을 때만 차이를 선언하는 명확한 규칙을 제안합니다. 이는 리더보드 변동성을 줄이고 과도한 해석을 방지합니다.
3. 실증적 검증: 합성 데이터 (biased coin simulation) 와 실제 수학 추론 벤치마크 (AIME'24/25, HMMT'25, BrUMO'25) 에서 기존 Pass@k 및 그 변형 (Pass^k, G-Pass 등) 보다 훨씬 빠른 수렴 속도와 높은 순위 안정성을 입증했습니다.
4. 오픈소스 도구 (Scorio): 제안된 프레임워크를 구현한 Python 패키지를 공개하여 연구자들이 쉽게 적용할 수 있도록 했습니다.

4. 실험 결과 (Results)

• 수렴 속도 (Convergence):
  • 시뮬레이션과 실제 벤치마크에서 Bayes@N은 Pass@k 계열 방법론보다 훨씬 적은 샘플 수 (N) 로 '골드 스탠더드' (N=80 일 때의 순위) 와 일치하는 순위를 달성했습니다.
  • 예를 들어, HMMT'25 와 BrUMO'25 에서 Pass@k 는 평균 약 69.5/48.5 번의 시도가 필요했던 반면, Bayes@N 은 각각 약 44.2/27.1 번의 시도만으로 수렴했습니다.
  • AIME'25 의 경우 Pass@k 는 80 번 시도 내에서도 수렴하지 못했으나, Bayes@N 은 신뢰 구간을 통해 불확실성을 정량화했습니다.
• 순위 안정성:
  • 모델 수가 증가할수록 (11 개 → 20 개) Pass@k 기반 평가는 수렴하지 않거나 순위가 불안정해지는 경향이 강했으나, Bayes@N 은 신뢰 구간을 통해 이러한 불안정성을 명확히 식별하고 신뢰할 수 있는 비교를 가능하게 했습니다.
• 규칙 인식 평가 (Rubric-Aware Evaluation):
  • 정답 여부뿐만 아니라 포맷 준수, 확신도 (confidence), 효율성 등을 고려한 다양한 평가 규칙 (Schema) 을 적용했을 때, Bayes@N 은 이러한 다차원 정보를 통합하여 모델의 강점과 약점을 더 정교하게 드러냈습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 LLM 평가의 패러다임을 **"점수 중심"에서 "불확실성 관리 중심"**으로 전환할 것을 제안합니다.

• 자원 효율성: 제한된 계산 자원으로도 통계적으로 신뢰할 수 있는 모델 비교가 가능해져, 연구 및 산업 현장에서의 평가 비용을 크게 절감할 수 있습니다.
• 신뢰성: "작은 성능 차이"가 통계적으로 유의미한지 여부를 신뢰 구간을 통해 객관적으로 판단함으로써, 리더보드에서의 불필요한 순위 변동 (churn) 과 오해를 방지합니다.
• 확장성: 이 프레임워크는 이진 분류뿐만 아니라 복잡한 추론, 부분 점수, 주관적 평가 등 다양한 평가 시나리오에 적용 가능하며, 사전 정보를 활용하여 지속적인 학습과 평가가 가능합니다.

저자들은 Pass@k 를 대체하여 사후 기반 (posterior-based) 이고 불확실성을 명시한 평가 프로토콜이 LLM 평가의 새로운 표준이 되어야 한다고 강조합니다.