Pre-Registering the Detectable Effect: A Paired-MDE Budget for 4-bit Quantization Benchmarks, with a Pilot Audit

기술적 요약: 4 비트 양자화 벤치마크에서 검출 가능한 효과의 사전 등록

문제 제기
대형 언어 모델 (LLM) 에 대한 학습 후 양자화 (특히 4 비트 NF4) 평가 관행은 종종 모델 - 벤치마크 셀당 단일 정확도 수치를 보고하는 데 의존합니다. 이러한 접근 방식은 근본적인 통계적 질문을 회피합니다: 평가 프로토콜이 신뢰할 수 있게 검출할 수 있는 가장 작은 양자화 효과는 무엇인가?

표준 벤치마크는 종종 $n=100$개 항목과 같은 작은 부분 표본을 겹치지 않는 하위 집합으로 나눕니다. 이러한 분할 간에 관찰된 분산은 종종 "벤치마크의 불신뢰성"이나 양자화 방법의 실패로 해석됩니다. 그러나 저자들은 이러한 분산의 상당 부분이 모델이나 양자화 방식의 속성이 아니라, 작은 $n$에 내재된 이항 표본 추출 노이즈에 불과하다고 주장합니다. 최소 검출 가능 효과 (MDE) 에 대한 사전 (ex-ante) 보장이 없으면, 양자화 방법이 성능을 "보존한다"는 주장은 검정력이 부족하여, 작은 집단 효과를 그것을 검출하지 못하는 능력과 혼동할 수 있습니다.

방법론
이 논문은 보수적인 쌍대 MDE 경계를 사용하여 벤치마크 신뢰성을 사전 등록 가능한 예산 라인으로 변환하는 프레임워크를 제안합니다.

1. 이론적 유도 (쌍대 MDE 경계):
   저자들은 FP16 대 NF4 비교 맥락에 고전적인 쌍대 이진 표본 크기 계산 (Miettinen, 1968) 을 적용합니다. 그들은 다음을 정의합니다:

   • $m$: 쌍대 항목 수 (단일 분할의 경우 $n$ 또는 $k$개 분할의 집계인 $kn$).
   • $\rho_d$: 항목별 불일치율 ($Pr(D_i \neq 0)$). 여기서 $D_i$는 항목 $i$에 대한 FP16 과 NF4 간의 정확도 차이입니다.
   • $\delta$: 집단 효과 크기 ($|E[D_i]|$).

   그들은 유의수준 $\alpha$와 검정력 $1-\beta$에서 MDE($\delta^*$) 에 대한 보수적인 상한을 유도합니다:
   $$\delta^*(m, \rho_d) \leq (z_{1-\alpha/2} + z_{1-\beta}) \sqrt{\frac{\rho_d}{m}}$$
   이 경계는 사전 등록되거나 보수적으로 제한된 최악의 불일치율 $\rho_d$를 가정하며, 분산을 $\rho_d/m$로 취급합니다. 이는 "예산" 라인 역할을 합니다: $\delta^*$보다 작은 효과는 특정 모델과 관계없이 설계에 의해 검출이 보장되지 않습니다.

2. 실증 파일럿 감사:
   저자들은 $4 \times 4$ 그리드에서 파일럿 감사를 수행합니다:

   • 모델: OPT-2.7B, Pythia-2.8B, Llama-2-7B, Mistral-7B.
   • 벤치마크: MMLU, ARC-Easy, WinoGrande, HellaSwag.
   • 설계: 각각 $n=100$개 항목인 $k=5$개의 겹치지 않는 분할 ($m=500$개 집계).
   • 프롬프트 민감도: 프롬프트 유발 분산을 측정하기 위해 세 가지 다른 프롬프트 템플릿 ($n=50$개씩) 을 사용한 MMLU 에 대한 병렬 연구.

3. 진단 지표:

   • 이항 참조: 관찰된 분할 간 표준 편차 ($\hat{\sigma}_{split}$) 를 이론적 이항 참조 $\sqrt{\hat{p}(1-\hat{p})/n}$와 비교합니다.
   • 양자화 신뢰성 지수 (QRI): 노이즈가 신호를 지배하는 셀을 플래그하기 위해 정의된 신호 - 대 - 노이즈 휴리스틱인 $|\hat{\Delta}| / \hat{\sigma}_{split}$ (프롬프트 분산을 포함한 결합 변형 포함) 입니다.

주요 결과

• 표본 추출 노이즈의 우세: $n=100$개 부분 표본에서 관찰된 32 개 중 25 개의 분할 간 표준 편차가 이항 참조의 $\pm 1.5$퍼센트 포인트 (pp) 이내에 있었습니다. 이는 보고된 "불신뢰성"의 상당 부분이 양자화 특유의 불안정성이 아닌 작은 표본 이항 노이즈임을 시사합니다.
• 검출 한계:
  • 계획 불일치율 $\rho_d = 0.10$을 가정할 때, 집계 MDE($m=500$) 는 약 4.0 pp 입니다.
  • $\rho_d = 0.05$를 가정할 때, MDE 는 약 2.8 pp 로 강화됩니다.
  • 관찰: 7B 모델에 대한 관찰된 모든 NF4–FP16 정확도 델타 (-0.4 에서 -0.8 pp 범위) 는 두 MDE 임계값 모두보다 낮았습니다.
  • 경계 사례: 경계에 근접한 유일한 셀은 WinoGrande 의 OPT-2.7B 였습니다 ($|\Delta| = 3.2$ pp). 이 효과는 $\rho_d=0.10$에서는 MDE 미만이지만 $\rho_d=0.05$에서는 MDE 이상입니다. 이는 이 특정 결과의 검출 가능성이 측정되지 않은 계획 값인 $\rho_d$에 전적으로 의존함을 보여줍니다.
• 프롬프트 분산 교란: MMLU 에서 프롬프트 템플릿 변형은 2~10 pp 의 정확도 변동을 초래했습니다. 이 범위는 관찰된 가장 큰 양자화 델타 (3.2 pp) 를 충족하거나 초과합니다. 결과적으로 프롬프트 템플릿을 고정하지 않는 양자화 감사는 템플릿 분산을 노이즈 바닥에 흡수하여 효과를 가리거나 조작할 수 있습니다.

기여

1. 보수적 쌍대 MDE 경계: 표본 크기와 사전 불일치율을 기반으로 검출 가능 예산을 사전 등록할 수 있는 폐쇄형 부등식 (식 2).
2. 실증 감사 및 이항 참조: 표준 부분 표본 크기 ($n=100$) 에서 분할 간 분산이 모델 특이적 노이즈가 아닌 이항 표본 추출로 대부분 설명된다는 것을 보여주는 파일럿 연구.
3. 양자화 신뢰성 지수 (QRI): 평가 노이즈가 양자화 신호를 지배하는 셀을 식별하기 위한 기술적 신호 - 대 - 노이즈 지표.
4. 사전 등록 템플릿: 벤치마크 실행 전에 MDE 목표, 불일치 사전 확률 및 쌍대 통계에 대해 약속하기 위한 연구자를 위한 5 줄 템플릿.

의의 및 주장
이 논문은 4 비트 양자화가 보편적으로 완벽하거나 특정 모델이 실패한다고 주장하지 않습니다. 대신, 양자화 모델과 정밀도 모델 간의 벤치마크 비교가 routine 하게 검정력이 부족하다고 주장합니다.

저자들은 MDE 를 명시적으로 함으로써 커뮤니티가 "작은 효과" 서사를 재구성할 수 있다고 주장합니다. 관찰된 델타가 사전 등록된 MDE 미만인 경우, 올바른 결론은 효과가 "작다"거나 "미미하다"는 것이 아니라, **"이 표본 크기에서는 검정력으로 구별 불가능하다"**는 것입니다.

이 연구는 의미 있는 정밀도 비교를 위한 두 가지 중요한 전제 조건을 강조합니다:

1. 표본 크기: 현재 부분 표본 크기 ($n=100$) 는 극도로 낮은 불일치율을 가정하지 않고는 1 퍼센트 포인트 미만의 효과를 해결하기에 부족합니다.
2. 프롬프트 통제: 프롬프트 템플릿 분산은 고정되거나 스윕되어야 합니다. 이는 양자화 효과 자체의 크기보다 클 수 있기 때문입니다.

이 작업은 임상 시험 예산과 유사한 사전 (ex-ante) 보장을 채택하여 진정한 양자화 영향의 부재와 평가 프로토콜의 검출 실패를 구분하도록 분야에 촉구하는 방법론적 개입입니다.