CELEUS: Certifiable and Efficient LLM Evaluation via E-Processes

기술 요약: CELEUS

문제 정의

대규모 언어 모델(LLM)의 평가는 성능 지표를 추정하기 위해 샘플을 순차적으로 큐레이션하는 방식에 점점 더 의존하고 있습니다. 그러나 표준적인 평가 관행은 이론적 엄밀함과 실제 적용 사이의 심각한 간극에 직면해 있습니다. 신뢰 구간(CI)을 순차적으로 업데이트하는 기존 방식들은 종-종 anytime-valid(언제든 유효한) 성질을 갖추지 못합니다. 이는 평가자가 신뢰 구간을 반복적으로 업데이트하며 중단 시점(예: 구간 너비가 목표 정밀도에 도달했을 때)을 결정할 때, 동일한 데이터를 선택 전략 수립과 불확실성 정량화에 모두 사용함으로써 발생하는 "이중 사용(double dipping)" 현상 때문에 명목 신뢰 확률(예: 95%)이 실패할 수 있음을 의미합니다. 또한, 단순히 더 많은 샘플을 수집하는 것만으로는 추정치가 의사결정을 내리기에 충분히 정밀하다는 것을 보증할 수 없으며, 통계적으로 근거 있는 중단 기준을 제시하지 못합니다.

Cer-Eval과 같은 현재의 접근 방식은 적응적 파티셔닝(adaptive partitioning)을 통해 이를 해결하려고 시도하지만, 파티션이 데이터로부터 적응적으로 학습될 때 유지되지 않는 고정 파티션 가정에 의존하므로 잠재적인 커버리지 손실을 초반합니다. 또한, 효율적인 평가는 정답 라벨이나 인간의 판단을 얻는 데 드는 높은 비용으로 인해 어려움을 겪고 있으며, 이에 따라 통계적 타당성을 유지하면서도 평가되는 샘플 수를 최소화하는 전략이 필요합니다.

본 논문은 E-processes를 활용하여 이론적 보장과 실무적 효율성 사이의 간극을 메우는 프레임워크인 CELEUS(Certifiable and Efficient LLM Evaluation via E-Processes)를 제안합니다.

핵심 프레임워크

1. Anytime-Valid 신뢰 구간: CELEUS는 모든 중단 시간(stopping time)에서도 보장이 유지되는 E-processes를 사용하여 신뢰 구간을 구축합니다. 전통적인 방식과 달리, E-processes는 평가 점수가 유계(bounded)라는 가정(정규화 또는 클리핑을 통해 보장됨)에만 의존하므로 적응적 중단 규칙에 대해 강건합니다.
2. 순차적 절차: 이 방법은 유한한 데이터 풀 $D_N$ 상에서 작동합니다. 각 라운드 $t$에서 미평가 샘플을 선택하고, 실제 리스크를 관찰하며, 신뢰 구간을 업데이트합니다. 프로세스는 신뢰 구간의 너비가 목표 정밀도 $\epsilon$에 도달하면 중단됩니다.

주요 기술 구성 요소

비균등 샘플링 환경에서도 효율성을 보장하기 위해, CELEUS는 두 가지 주요 요소를 사용하여 추론 신호를 구축합니다.

• 불확실성 유도 샘플링(Uncertainty-Guided Sampling): 균등 무작위 샘플링 대신, CELEUS는 추정 분산을 줄일 것으로 기대되는 샘플을 우선시합니다. 샘플링 확률 $q_t$는 관측된 리스크와 대리 점수(surrogate score) 사이의 차이의 크기에 비례하도록 설계되었습니다. 이는 이론적으로 도출된 분산 최적 샘플링 규칙과 일치합니다.
• 대리 모델 보조 근사(Surrogate-Assisted Approximations): 미평가 샘플에 대해, CELEUS는 더 작은 사전 학습된 대리 모델(예: 7~8B 모델)의 점수를 사용하여 실제 리스크를 근사합니다. 이를 통해 전체 샘플을 대상 모델로 평가하지 않고도 전체 풀로부터 정보를 추출할 수 있습니다.

신호 구축

프레임워크는 유한 풀 리스크 $R_N$에 대해 **조건부 불편(conditionally unbiased)**한 라운드별 신호 $\hat{S}_t$를 구축합니다. 이 신호는 다음을 결합합니다:

1. 풀 리스크에 대한 대리 모델 완성 추정치(관측된 리스크와 대리 점수를 사용하여 계산).
2. 새로 평가된 샘플의 잔차(실제 리스크와 대리 점수의 차이)에 대한 역확률 가중치 보정(inverse-probability-weighted correction).

이 조건부 불편성은 유효한 E-processes 구축을 가능하게 하는 핵심 메커니즘입니다. 그런 다음 프레임워크는 전체 풀 크기 $N$에 의존하는 Hoeffding 스타일의 보정을 사용하여 신뢰 구간을 유한 풀 리스크 $R_N$에서 모집단 리스크 $R$로 확장합니다.

이론적 보장

• Anytime-Valid 커버리지: 결과 신뢰 구간은 어떤 중단 시간에서도 적어도 $1-\alpha$의 확률로 실제 모집단 리스크를 커버합니다.
• 수축률(Shrinkage Rate): 신뢰 구간의 너비는 로그 인자를 제외하면 $O(\sqrt{\log t \log \log t / t})$의 근-파라메트릭(near-parametric) 속도로 수축합니다.
• 분산 감소: 본 논문은 제안된 불확실성 유도 샘플링과 대리 모델 보조 방식이 신호의 조건부 분산을 감소시켜 신뢰 구간의 수축을 직접적으로 가속화함을 증명합니다.

주요 기여

1. 엄밀성과 실무의 간극 해소: CELEUS는 통계적으로 엄밀하면서도(anytime-valid) 실무적으로 효율적인(efficient) 최초의 LLM 평가 프레임워크를 제공하여, Cer-Eval과 같은 기존 적응형 방식의 커버리지 실패 문제를 해결합니다.
2. 새로운 신호 구축: 비균등 및 적응적 샘플링 하에서도 유효한 E-process 구축을 가능하게 하는, 대리 모델 보조 근사와 역확률 가중치를 통합한 조건부 불편 신호를 도입했습니다.
3. 이론적 분석: 저자들은 추정치의 불편성, anytime-valid 신뢰 구간의 타당성, 그리고 제안된 샘플링 전략의 분산 최적 특성에 대한 증명을 제공합니다. 또한 신뢰 구간 너비의 수렴 속도를 규명합니다.
4. 실험적 검증: 광범에한 실험을 통해 CELEUS가 명목 커버리지를 유지하면서도 베이스라인(예: E-processes를 사용하는 균등 샘플링)보다 54~62% 적은 평가 샘플로 목표 정밀도에 도달함을 입증했습니다. 또한, 특정 태스크에 대한 미세 조정 없이 작은 대리 모델(78B 파라미터)을 사용하는 것이 비-대리 모델 변형 대비 효율성을 1023% 추가로 향상시킴을 보여주었습니다.

결과

실험은 세 가지 벤치마크(SST-2, AG News, MMLU)와 다양한 대상 모델(예: Llama-3-70B, DeepSeek-67B, Mixtral-8×7B) 및 대리-대상 쌍을 대상으로 수행되었습니다.

• 커버리지: Cer-Eval이 커버리지를 유지하는 데 실패했던 진단 설정(명목 5% 대비 미커버리지율 16.1%)에서, CELEUS와 다른 E-process 기반 방식들은 명목 수준 이하의 미커버리지율(0.021–0.030)을 유지했습니다.
• 효율성: CELEUS는 훨씬 적은 라벨을 사용하여 목표 정밀도($\epsilon=0.05$)에 도달했습니다. 예를 들어, MMLU에서 베이스라인(EVALUE)이 8,144개를 요구할 때 CELEUS는 3,242개만을 요구하여 60%의 감소를 달랐습니다.
• 대리 모델의 영향: 대리 모델 보조 변형은 일관되게 대리 모델이 없는 버전보다 우수한 성능을 보였으며, 이는 작은 사전 학습된 모델을 활용하는 것이 추정 신호의 분산을 효과적으로 줄인다는 것을 입증합니다.

의의 및 주장

본 논문은 CELEUS가 단순한 점 추정을 넘어 인증된 신뢰 구간을 제공함으로써, 충분한 샘플이 평가되었는지 결정하기 위한 통계적 근거가 있는 기준을 제공한다고 주장합니다. Anytime-validity를 보장함으로써, 평가자가 제1종 오류(Type I error)를 부풀리지 않고도 진행 상황을 모니터링하고 조기에 중단할 수 있게 합니다.

저자들은 이 방법이 특히 비싼 인간 주석이나 강력한 LLM 판정사가 필요한 시나리오에서 매우 가치 있다고 강조하며, 필요한 평가 횟수를 획기적으로 줄여준다고 설명합니다. 또한, 이 방법이 평가의 통계적 불확실성은 다루지만, 다른 배포 위험(예: 안전성, 편향)을 해결하거나 벤치마크 자체가 실제 환경을 대표하도록 보장하는 것은 아님을 명시합니다. 대리 모델 스코어링의 계산 비용은 인정되나, 대상 모델의 평가 횟수를 줄임으로써 얻는 이득에 비하면 무시할 만한 수준임을 보여줍니다.

저자들이 제안하는 향후 연구 방향에는 분포 변화(distribution-shift)를 인식하는 평가 시나리오로의 프레임워크 확장이 포함됩니다.