Efficient Sequential Evaluation of Large Language Models

문제 정의
본 논문은 고정된 벤치마크($N$개의 질문으로 구성됨)에서 새롭게 개발된 대규모 언어 모델(LLM)을 효율적으로 평가하는 과제를 다룹니다. 목표는 모델의 평균 정답률(능력)을 수용 가능한 불확실성 내에서 추정하되, 쿼리(질문 답변) 횟수를 최소화하는 것입니다. 표준적인 고정 시간 신뢰 구간과 달리, 저자들은 **신뢰 시퀀스(Confidence Sequence, CS)**를 구축하는 것을 목표로 합니다. 이는 시간의 흐름에 따라 유효한 커버리지를 유지하는(anytime-valid) 일련의 신뢰 집합을 생성합니다. 이를 통해 평가는 증거의 강도에 따라 중단 시점을 조정하여, 충분히 정밀해지는 즉시 쿼리를 중단할 수 있습니다. 이 설정은 동일한 벤치마크에 대한 이전 LLM들의 과거 성능 데이터를 활용하여, 새로운 모델이 각 질문에 정답을 맞힐 확률을 예측함으로써 능동적이고 적응적인 쿼리 전략을 안내합니다.

방법론
저자들은 **테스트 초마틴게일(test supermartingales)**을 기반으로 한 CS 구축과 적응형 쿼리 규칙을 결합하여 설계된 프레임워크를 제안합니다.

1. 테스트 초마틴게일을 통한 CS 구축:
   저자들은 테스트 초마틴게일 군을 역전시켜 CS를 형성합니다. 후보 값 $m$(잠재적인 평균 정답률)에 대해, 테스트 초마틴게일은 $m \neq \theta^*$($\theta^*$는 실제 평균)일 때 $m$에 반하는 증거를 축적합니다. 시간 $t$에서의 CS는 초마틴게일 값이 거절 임계값($1/\alpha$)을 넘지 않는 모든 $m$의 집합으로 구성됩니다.
   두 가지 특정 초마진게일 구축 방식가 조사되었습니다:

• 역 정보 투영(Reverse Information Projection, RIPr): 이 접근 방식은 널 클래스(null class, 평균이 $m$인 분포들) 내에서 실제 분포와 쿨백-라이블러(KL) 발산 측면에서 가장 가까운 "가장 불리한" 분포를 식별합니다. 실제 분포와 이 투영 간의 우도 비(likelihood ratio)가 e-value 역할을 합니다. 오라클 설정(실제 정답 확률을 아는 경우)에서, 이 방법은 성장 최적(growth-optimal)임이 입증되었습니다.
• 베팅을 통한 테스트(Testing-by-Betting): 이 접근 방식은 타겟 파라미터의 추정치에 베팅을 거는 베팅 게임으로 문제를 프레임화합니다. 대상 $m$이 틀렸을 경우 자산 프로세스(wealth process)가 성장합니다. 저자들은 로그 자산 성장(log-wealth growth)에 대한 이차 하한을 사용하는 계산적으로 더 가벼운 변형을 제안합니다.

2. 적응형 쿼리 규칙:
   CS 폭을 빠르게 줄이기 위해, 저자들은 테스트 초마틴게일의 기대 로그 증분(켈리 기준, Kelly criterion)을 최대화하는 쿼리 규칙을 설계합니다.

• 오라클 설정: 알려진 실제 확률을 가정할 때, 저자들은 **성장 지향적 맥스민 기준(growth-oriented maxmin criterion)**을 제안합니다. 이 규칙은 현재 CS의 엔드포인트(구간의 하한 및 상한)에 대해 최악의 경우 1단계 기대 로그 증분을 최대화하는 쿼리 분포를 선택합니다.
• 실제 설정: 실제 확률은 알 수 없으므로, 저자들은 과거 데이터에 적합된 베이지안 요인 모델(Bayesian factor model)로부터 도출된 예측치를 사용합니다. 이들은 e-value 구축과 쿼리 규칙 모두에서 실제 파라미터를 이 예측치로 대체합니다(플러그인 접근법).

3. 혼합 쿼리 전략(Mixture Querying Strategies):
   순수 성장 지향적 쿼리가 예측 오류나 쿼리 분포의 "스파이키함(spikiness, 낮은 최소 확률)"에 민가할 수 있음을 인식하여, 저자들은 혼합 쿼리 규칙을 제안합니다. 이는 다음을 결합합니다:

• 성장 지향적 샘플링 (CS를 축소하기 위함)
• 예측 정교화 (플러그인 예측의 정확도를 개선하기 위함)
• 균등 탐색 (쿼리 확률의 하한을 보장하고 스파이키함을 완화하기 위함)
  이러한 혼합은 시간 계획적(time-scheduled)이거나 데이터 의존적(예측의 불확실성과 안정성에 따라 가중치를 조정)일 수 있습니다.

주요 기여

• 오라클 최적성: 오라클 설정에서, 저자들은 RIPr 기반 구축이 유효한 조건부 e-value들 중 오라클 성장 최적성을 달로는 것을 입증합니다. 또한, 베팅을 통한 테스트 방식의 경우, 특정 성장 지향적 샘플링 규칙이 기존 연구의 분산 감소 샘플링 규칙과 일치함을 보여줍니다.
• 수축(Shrinkage)에 대한 이론적 분석: 본 논문은 실제(플러그인) 설정에서 발생하는 CS의 수축 동작을 분석합니다. 저자들은 CS 수축을 늦추는 두 가지 핵심 요인을 식별합니다:
  1. 누적된 예측 불일치(Accumulated Prediction Mismatch): RIPr의 경우 KL-발산 항으로, 베팅 방식의 경우 평균 제곱 오차(MSE) 항으로 정량화됩니다. 분석 결과 RIPr가 베팅 방식보다 예측 불일치에 더 민감하다는 것을 시사합니다.
  2. 쿼리 분포의 스파이키함(Spikiness of the Querying Distribution): 쿼리 확률의 낮은 하한($h$)은 유효한 베팅 범위를 제한함으로써 베팅 기반 CS의 성장을 크게 저해하는 반면, RIPr는 이 특정 제약에 직접적인 영향을 덜 받습니다.
• 실험적 발견: 다양한 능력 체계(예: 역사적 데이터와 유사한 모델 vs. 다른 계열의 모델)를 가진 합성 데이터셋을 통한 실험을 통해 저자들은 다음을 발견했습니다:
  • 보편적으로 최선인 쿼리 규칙은 존재하지 않으며, 성능은 데이터셋의 구조와 예측의 품질에 따라 달라집니다.
  • 베팅을 통한 테스트 방식이 일반적으로 RIPr보다 예측 불일치에 대해 더 견고합니다.
  • 놀랍게도, 가장 단순한 규칙인 **균등 샘플링(uniform sampling)**이 복잡한 적응형 규칙들에 맞서 경쟁력 있는 성능을 보이는 경우가 많았습니다. 특히 예측 정교화가 어렵거나 모델이 역사적 데이터와 크게 다를 때 그러합니다.

의의 및 주장
본 논문은 언제든 유효한 불확실성 보증을 갖춘 순차적 LLM 평가를 위한 원칙적인 방법을 제공한다고 주장합니다. 역사적 데이터를 활용함으로써, 저자들은 통계적 타당성을 유지하면서 평가 비용(쿼리 횟수)을 줄이는 것을 목표로 합니다.

저자들은 자신들의 이론적 경계가 최적 설계를 특징짓는 날카로운(sharp) 특성이라기보다는 "진단적(diagnostic)"인 것으로 겸손하게 규정하며, 이것이 샘플링 규칙의 미세한 속성을 완전히 반영하지 못할 수도 있지만 예측 불일치와 최소 쿼리 확률의 효과는 포착한다고 언급했습니다. 저자들은 성장 지향적 쿼리, 예측 정교화, 그리고 균등 탐색 사이의 트레이드오프를 강조합니다. 균등 샘플링이 특정 영역에서 적응형 규칙보다 우수할 수 있다는 관찰은, 적응형 쿼리의 복잡성이 항상 그에 비례하는 이득을 가져다주는 것은 아니라는 점을 시사하며, 이는 적응성이 항상 우월하다는 가설에 도전하는 발견입니다.

이 연구는 예측 기반 추론(prediction-powered inference)에 관한 선행 연구의 순차적 대응물로서, 스트림으로부터의 수동적 샘플링이 아닌 고정된 벤치마크로부터의 능동적 쿼리로 범위를 확장합니다. 향후 연구로는 더 효과적인 쿼리 규칙 개발(잠재적으로 강화 학습을 통해)과 베이지안 요인 모델을 넘어선 대안적 예측 방법 탐구가 제시되었습니다.