기술 요약: 근사 Neyman 할당을 통한 대규모 언어 모델의 능동적 테스트

문제 제기

대규모 언어 모델 (LLM) 과 멀티모달 모델의 평가는 반복적이고 비용이 많이 드는 병목 현상이 되어가고 있습니다. 모델이 사전 학습, 사후 학습, 테스트 시간 패러다임을 통해 확장됨에 따라 추론당 계산 비용이 증가합니다. 동시에, 목표 작업의 복잡성은 종종 표준 주석가의 능력을 초과하여 라벨링을 위해 비용이 많이 드는 도메인 전문가가 필요합니다.

기존의 능동적 테스트 (active testing) 접근법은 데이터의 작고 정보량이 풍부한 부분 집합으로부터 전체 풀 (full-pool) 성능을 추정하는 것을 목표로 하며, 주로 분류 작업을 위해 설계되었습니다. 이러한 방법들은 일반적으로 다음에 의존합니다:

1. 분류식 엔트로피: 불확실성 신호로 토큰 수준의 예측 엔트로피 (PE) 를 사용합니다.
2. LURE 추정기: 재학습 데이터 선택기 또는 내부 모델 활성화/로짓 (logits) 에 대한 접근이 필요한 중요도 가중 추정기 (종종 블랙박스 API 환경에서는 사용할 수 없음).

저자들은 이러한 기존 파이프라인이 현대의 생성 작업에서는 실패한다고 지적합니다.

• 의미 대 표면적 불확실성: 토큰 수준의 PE 는 의미에 대한 불확실성과 표면적 형태 (개사) 에 대한 불확실성을 혼동합니다. 다른 표현을 가진 의미적으로 동등한 생성물은 진정한 난이도를 반영하지 않으면서 엔트로피를 부풀립니다.
• 과신: 현대 LLM 은 체계적으로 과신하여 토큰 수준의 엔트로피를 좁은 저엔트로피 밴드로 축소시켜 획득 신호를 약화시킵니다.
• 추정기 불안정성: LURE 추정기의 중요도 가중 메커니즘은 대리 모델과 목표 모델 간의 불일치를 증폭시켜 감소가 아닌 분산을 초래합니다.

방법론

본 논문은 생성 및 멀티모달 작업을 위해 맞춤화된 새로운 학습이 필요 없는 (training-free) 그리고 이론적으로 편향되지 않은 능동적 테스트 프레임워크를 제안합니다. 알고리즘 1 에 상세히 기술된 이 방법은 네 단계로 작동합니다:

1. 대리 모델을 통한 신호 생성

목표 모델의 내부 상태에 의존하는 대신, 이 방법은 평가 풀 $D$의 각 입력에 대해 $k$개의 응답을 생성하기 위해 더 작고 저렴한 대리 모델 ($g$) 을 사용합니다.

• 의미 엔트로피 (Semantic Entropy, SE): 토큰 수준 대 의미 수준 문제를 해결하기 위해, 이 방법은 대리 모델의 생성물을 의미 동등성 클래스로 클러스터링합니다. 그런 다음 이러한 클래스의 확률에 대해 섀넌 엔트로피를 계산합니다. 이는 표현이 아닌 답변에 대한 불확실성을 포착합니다.
• 자기 일관성 점수 (Self-Consistency Score, SC): 대리 모델의 생성물 간의 일치를 측정하는 보조 신호입니다. 높은 SC 는 합의 (더 쉬운 사례) 를 나타내고, 낮은 SC 는 불일치를 나타냅니다.

2. 층화

평가 풀 $D$는 대리 모델의 의미 엔트로피를 기반으로 $H$개의 층 (strata) 으로 분할됩니다.

• $SE = 0$인 사례 (매우 확실한 경우) 에 대해 기본 층 ($D_0$) 이 생성됩니다.
• 나머지 사례 ($SE > 0$) 는 등분위수 (equal-quantile) 빈닝을 사용하여 빈에 배치됩니다.
• 이로써 목표 손실의 분산이 상대적으로 동질적일 것으로 예상되는 층이 생성됩니다.

3. 근사 Neyman 할당

전통적인 Neyman 할당은 층 크기 ($N_h$) 와 층 표준 편차 ($\sigma_h$) 에 비례하여 라벨을 할당함으로써 추정 분산을 최소화합니다. 그러나 전체 풀에 라벨을 지정하지 않는 한 $\sigma_h$는 알 수 없습니다.

• 대리 전략: 이 방법은 각 층 내의 대리 모델의 평균 자기 일관성 점수 ($p_h$) 를 사용하여 $\sigma_h$를 근사합니다.
• 할당 공식: 층 $h$에 대한 라벨 예산 $m_h$는 다음과 같이 할당됩니다:
  $$m_h \propto N_h \cdot \sqrt{p_h(1 - p_h) + \delta}$$
  여기서 $\delta$는 $p_h \to 1$일 때 붕괴를 방지하기 위한 평활 오프셋입니다. 이를 통해 이 방법은 목표 라벨이 필요 없이 대리 모델이 높은 불확실성 (낮은 자기 일관성) 을 나타내는 층에 더 많은 예산을 할당할 수 있습니다.

4. 추정

이 방법은 각 층에서 $m_h$개의 항목을 균일하게 샘플링하고 목표 모델을 사용하여 라벨을 지정합니다. 그런 다음 결과를 Horvitz–Thompson 추정기를 사용하여 집계하며, 이는 유한 풀 위험에 대해 이론적으로 편향되지 않은 것으로 입증되었습니다.

주요 기여

1. 첫 번째 편향되지 않은 생성형 능동적 테스트 파이프라인: 저자들의 지식 범위 내에서, 이는 학습이 필요 없고 API 전용 배포를 지원하는 생성형 언어 및 멀티모달 평가를 위해 이론적으로 편향되지 않고 라벨 효율적인 추정기를 제공하는 최초의 방법입니다.
2. 대리 모델 기반 의미 엔트로피: 샘플링 프로세스를 구조화하기 위해 대리 모델의 의미 엔트로피를 활용하는 새로운 알고리즘의 도입으로, 표면적 형태 변이와 의미적 불확실성을 효과적으로 분리합니다.
3. Proxy-Neyman 할당: 의미 엔트로피 신호와 분산 인식 예산 분배를 결합한 새로운 할당 전략으로, 선택기의 재학습이나 내부 모델 로짓 접근의 필요성을 제거합니다.

실증 결과

이 방법은 다양한 오픈 소스 (Qwen-3.5 시리즈) 와 독점 (GPT-5.4 시리즈) 모델 쌍을 사용하여 네 가지 벤치마크 (MMLU-Redux, MMLU-Pro, GPQA-Diamond, MMBench) 에서 평가되었습니다.

• 성능: 이 방법은 균일 샘플링 및 비례 할당보다 일관되게 우수한 성능을 발휘했습니다. 대표적 설정 ($M=70$) 에서 균일 샘플링 대비 평균 제곱 오차 (MSE) 를 최대 28% 감소시켰습니다.
• 오라클 근접성: 이 방법은 목표 분산에 대한 완전한 지식을 필요로 하는 이론적 최적인 Oracle-Neyman의 성능을 밀접하게 추적하여, 대리 모델 기반 대리가 효과적으로 분산 정보를 포착함을 보여줍니다.
• 예산 절감: 일치된 정밀도에서 이 방법은 벤치마크 전반에 걸쳐 전문가 라벨링 비용을 평균 22.9% 절감했습니다. 절감률은 MMBench 의 15.0% 에서 MMLU-Redux 의 28.0% 까지 다양했습니다.
• 절대 실험 (Ablation Studies):
  • 층화: 적응형 SE 층화 (영 (zero)-SE 클러스터 분리) 는 등폭, k-평균, 표준 분위수 빈닝보다 우수한 성능을 보였습니다.
  • 할당: Proxy-Neyman 전략은 균등, 비례, 파워 할당 규칙을 크게 능가하여 분산 인식 할당이 중요함을 확인시켰습니다.

중요성과 주장

본 논문은 생성형 모델에 대한 능동적 테스트가 토큰 수준 지표에서 의미 수준 지표로의 근본적인 전환이 필요하다고 주장합니다. 분류식 엔트로피에서 의미 엔트로피로 이동하고, 불안정한 중요도 가중 추정기를 층화 Horvitz–Thompson 추정으로 대체함으로써, 저자들은 재학습이나 블랙박스 내부 접근 없이도 거의 최적의 평가 효율성을 달성할 수 있음을 입증합니다.

이 연구는 복잡한 추론 작업을 위한 전문가 주석 비용의 증가라는 중요한 실용적 병목 현상을 해결합니다. 평가 정밀도를 유지하면서 필요한 전문가 라벨 수를 평균 약 23% 줄임으로써, 이 방법은 대규모 생성형 모델의 지속적인 평가를 위한 확장 가능한 솔루션을 제공합니다.

인정된 한계:

• 이 방법은 현재 검증 가능한 정답 (닫힌 또는 파싱 가능한 답 공간) 을 가진 벤치마크에 의존합니다. 평가 노이즈로 인해 개방형 생성으로 확장하는 것은 여전히 어렵습니다.
• 이 접근법은 목표보다 저렴하지만 목표 난이도와 상관관계가 있는 대리 모델에 대한 접근을 가정하며, 이는 적합한 대리 모델이 존재하지 않는 시나리오에서 배포를 제한할 수 있습니다.