기술 요약: 샘플링이 오히려 해가 될 때: 테스트 타임 스케일링의 모달 천장(Modal Ceiling)과 상관관계 천장(Correlation Ceiling)

문제 정의

현재의 추론 시스템은 성능 향상을 위해 테스트 타임 스케일링(test-time scaling), 구체적으로는 반복 샘플링(단일 프롬프트에 대해 $n$개의 응답을 생성)을 흔히 채택한다. 성공을 판단하는 지배적인 지표는 커버리지(coverage)($pass@k$로 정의됨)이며, 이는$n$개의 샘 de 중 적어도 하나가 정답일 확률을 의미한다. 커버리지 곡선은 $n$이 증가함에 따라 꾸준히 상승하며, 이는 단순히 샘플링 예산을 늘리는 것이 지속적인 능력 향상을 가져다준다는 암시를 준다.

그러나 실제 배포된 시스템은 정답 여부를 인증할 수 있는 완벽한 검증자(verifier) 없이 단일 답변을 반환해야 한다. 이는 선택(selection)(예: 다수결 투표, 자기 일관성(self-consistency), 보상 모델 활용)을 필연적으로 요구한다. 본 논문은 여기서 중요한 괴리를 식별한다. 커버리지는 샘플링이 늘어남에 따라 계속 상승하지만, 선택 정확도(selection accuracy)는 정체되거나 심지어 하락한다는 것이다. 핵심 문제는 커뮤니티가 '정답을 생성하는 능력'과 '정답을 인식하고 선택하는 능력'을 혼동하고 있다는 점이다. 본 논문은 일정 지점을 넘어서면 추가적인 샘플링이 계산 비용만 늘릴 뿐, 최종 선택된 답변을 개선하지 못하거나 오히려 해를 끼칠 수 있다고 주장한다.

방법론

본 논문은 테스트 타임 샘플링을 독립적인 시행(independent draws)이 아닌, 설문 통계학의 클러스터 샘플링(cluster sampling) 관점에서 재구성한다.

1. 클러스터 샘플링 프레임워크: 단일 프롬프트와 그에 따른 $n$번의 반복 시도를 하나의 클러스터로 취급한다. 각 시도는 독립 동일 분포(i.i.d.) 변수가 아니라 교환 가능한(exchangeable) 이진 변수(정답/오답)로 모델링된다.
2. 내부 상관관계(Intraclass Correlation, $\rho$): 동일 문제에 대한 시도 간의 의존성을 $\rho$로 정량화한다.
   • 문제 간 상관관계($\rho_b$): 문제 난이도의 이질성에서 기인한다.
   • 문제 내 상관관계($\rho_w$): 모델의 내부 상태 또는 디코딩 설정에서 기인한다.
3. 유효 샘플 크기($n_{eff}$): 설계 효과($deff = 1 + (n-1)\rho$)를 사용하여, 독립적인 샘플의 유효 개수인 $n_{eff}$를 도출한다.
   $$n_{eff} = \frac{n}{1 + (n-1)\rho}$$
   이 값은 $n \to \infty$일 때 **상관관계 천장(correlation ceiling)**인 $1/\rho$로 수렴한다.
4. 지표의 분리: 분석은 세 가지 뚜렷한 목적을 명시적으로 분리한다.
   • 커버리지(Coverage): 적어도 하나의 정답을 생성할 확률.
   • 선택(Selection): 가장 빈도가 높은 답변(최빈값)이 정답일 확률.
   • 추정(Estimation): 벤치마크 평균 정확도를 추정하는 정밀도.

주요 기여

1. 상관관계 천장 (추정 한계)

본 논문은 벤치마크 정확도를 추정하기 위한 유효 샘플 수가 $1/\rho$를 초과할 수 없음을 입증한다.

• 메커니즘: $n$이 증가함에 따라, 추가 샘플의 한계 가치는 이차적으로($O(1/n^2)$) 감소한다.
• 결과: 막대한 예산(예: $10^4$개 샘플)을 투입하더라도, 만약 $\rho \approx 0.5$라면 획득되는 유효 정보는 독립적인 샘플 약 2개와 같다. 이는 왜 방대한 샘플링 노력에도 불구하고 벤치마크 정확도 추정치가 정체되는지를 설명한다.

2. 모달 천장 (선택 한계)

본 논문은 선택 방법(자기 일관성, 다수결 투표)에 대한, 상관관계 천장과는 별개인 독자적인 천장을 식별한다.

• 메커니즘: 선택은 답변 분포의 최빈값(mode)($a^*_q$)으로 수렴한다. 만약 가장 빈도가 높은 답변이 오답($a^*_q \neq c_q$)이라면, $n$을 늘리는 것은 오류를 해결하지 못하며, 단지 모델이 틀린 답에 대해 더 확신하게 만들 뿐이다.
• 결과: 선택 정확도는 모달 히트 레이트(modal-hit rate, $\pi_{mode}$), 즉 모델의 가장 빈번한 답변이 정답일 확률에 의해 제한된다.
• 안티 스케일링(Anti-Scaling): 최빈값이 오답이지만 정답이 샘플 풀 내에 존재하는 문제의 경우, $n$을 늘리면 커버리지는 1을 향해 상승하는 반면 선택 정확도는 0을 향해 떨어지는 현상이 발생한다. 이를 안티 스케일링이라 부른다.

3. 식별 격차 (Identifiability Gap)

본 논문은 식별 격차를 정답이 샘플 풀 안에 존재하지만(높은 커버리지), 가장 빈번한 답변은 아닌(낮은 선택) 문제들의 집합으로 정의한다.

• 이는 "풀 수는 있지만 선택할 수는 없는" 문제들을 나타낸다.
• 본 논문은 실제 로그에서 이 격차가 유의미함을 보여준다. 예를 들어, 커버리지는 1.00에 도달할 수 있지만 자기 일관성은 GSM8K에서 0.87, MATH에서 0.45 수준에서 정체될 수 있다.

4. 실제 로그를 통한 실증적 검증

저자들은 공개된 샘플링 로그를 사용하여 이론적 프레임워크를 검증한다.

• Brown et al. [2] (독립적 시행): GSM8K 및 MATH 데이터셋을 분석했다. 높은 문제 간 상관관계($\hat{\rho}_b \approx 0.4\text{--}0.6$)를 발견하여, 추정을 위한 상관관계 천장을 확인했다. 커버리지는 상승하여 1.0에 도달하는 반면, 자기 일관성은 정체되는 발산 현상을 관찰했다.
• Beeching et al. [20] (의존적 시행): 문제당 256개의 샘플을 사용하여 MATH-500을 분석했다. 문제 내 상관관계($\hat{\rho}_w$)는 0에 가깝지만, 답변 분포가 매우 집중되어 있음(중앙값 약 13개의 고유 값)을 발견했다. 이는 선택 천장이 런(run) 간의 드리프트가 아닌 **답변 모드 붕괴(answer mode collapse)**에 의해 발생함을 확인시켜 준다.

결과

• 커버리지 vs 선택: 커버리지는 난이도 이질성으로 인해 멱법칙(power-law) 상승을 따르며 하드 천장이 없다. 그러나 선택은 $\pi_{mode}$라는 명확한 벽에 부딪힌다.
• 수익 체감: $n$번째 샘플의 한계 가치는 급격히 감소한다. 추정을 위해서는 $n \approx 1/\rho$에서 예산을 제한해야 하며, 선택을 위해서는 유효한 서로 다른 답변의 개수에 맞춰 예산을 제한해야 한다.
• 대규모 $n$의 비효율성: 문제당 $10^4$번 샘플링하는 것은 벤치마크 추정을 위해 독립적인 샘플 약 2개의 통계적 정밀도만을 제공한다.
• 안티 스케일링: 모델의 최빈 답변이 틀린 시나리오에서는 $n$을 늘리는 것이 선택된 출력의 정확도를 능동적으로 저하시킨다.

의의 및 주장

본 논문은 새로운 알고리즘이 아닌 **인용 가능한 유도 과정(citable derivation)**을 제공하는 데 목적이 있다. 주요 의의는 다음과 같다.

1. 병목 구간의 재정의: 테스트 타임 스케일링의 초점을 "정답을 생성하는 것"에서 "정답을 인식하는 것"으로 전환한다. 병목은 샘플링 예산이 아니라, 분포 내에서 정답의 **식별 가능성(identifiability)**이다.
2. 오해 교정: 왜 "더 많은 샘플링"이 실제로는 선형적으로 확장되지 않는지를 설명하며, 이를 상관관계 천장(추정용)과 모달 천장(선택용) 때문이라고 규명한다.
3. 실행 가능한 지표: 샘플링 실행의 진정한 정보량을 드러내기 위해 명목상의 $n$ 대신 **유효 샘플 수($n_{eff}$)**를 함께 보고할 것을 제안한다.
4. 예산 할당: 계산 예산은 목표에 따라 달라져야 한다.
   • 추정(Estimation) 목적: $n \approx 1/\rho_b$에서 멈추고 남은 계산 자원을 더 많은 문제에 투입한다.
   • 선택(Selection) 목적: 다수결이 안정화되는 시점(보통 수십 개의 샘플 이내)에서 멈추고, $n$을 늘리기보다 탈상관화(decorrelation)(예: 온도 조절, 프롬프트 다양성)에 집중한다.
   • 커버리지(Coverage) 목적 (검증자가 있는 경우): 샘플링은 무한히 지속될 수 있다(내부적 천장이 없으므로).

결론적으로, 본 논문은 "모달 천장"과 "상관관계 천장"이 무분별한 테스트 타임 스케일링을 비효율적으로 만드는 근본적인 한계임을 밝힌다. 진정한 과제는 더 많은 샘플을 생성하는 것이 아니라, 모달 에러(modal error)로부터 정답을 더 잘 구별할 수 있는 시스템을 설계하는 것이다.