기술 요약: 생성적 평가에서 테스트 세트 오염이 미치는 영향의 정량화

문제 정의

테스트 세트 오염(벤치마크 데이터가 사전 학습 코퍼스에 의도치 않게 포함되는 현상)은 최첨단 AI 시스템의 신뢰할 수 있는 평가에 대한 심각한 위협이다. 판별적 평가(예: 객관식 질문, 분류)에 미치는 오염의 영향은 이미 잘 문서화되어 있으나, 생성적 평가(모델이 긴 형태의 솔루션을 생성해야 하는 경우)에 미치는 영향에 대해서는 연구가 부족한 실정이다. 생성 작업은 솔루션 길이, 샘플링 온도, 그리고 일관된 토큰 체인 요구 사항과 같은 고유한 복잡성을 도입하며, 이는 짧은 선택형 작업과는 다르게 암기(memorization)와 상호작용할 수 있다. 본 논문은 모델 생애 주기 전반에 걸쳐 이러한 효과를 정량적으로 평가하여, 생성적 설정에서의 오염이 견고한 일반화로 이어지는지 아니면 단지 취약한 암기로 이어지는지를 결정하고자 한다.

방법론

저자들은 생성된 솔루션을 요구하는 수학 문제 데이터셋인 MATH 벤치마크(Hendrycks et al., 2021b)에 초점을 맞춘 통제된 대규모 연구를 수행하였다.

1. 사전 학습 설정:

   • 모델: Qwen 3 아키텍처를 기반으로 한 수십 개의 인과적 언어 모델(causal language models)을 처음부터 사전 학습시켰다. 모델 크기는 34M에서 344M 파라미터 범위였다.
   • 오염 프로토콜: 고품질 웹 크롤링 데이터(FineWeb-Edu-Dedup)에 다양한 수($R$)의 MATH 테스트 세트 복제본을 혼합하여 사전 학습 코퍼스를 구성하였다. 복제본의 수는 0(오염되지 않음)에서 3,162개까지 로그 스케일로 변화하였다.
   • 연산 제어: 학습은 컴퓨팅 최적 규모(파라미터당 20 토큰)에서 수행되었으며, 중복되지 않은 새로운 데이터를 사용하여 "과잉 학습(overtraining)" 단계(최대 16배 컴퓨팅 최적 규모까지)로 확장되었다.
   • 미세 조정(Fine-tuning): 사전 학습 오염과 미세 조정 간의 상호작용을 관찰하기 위해 일부 모델에 MATH 학습(training) 세트에 대한 지도 미세 조정(SFT)을 수행하였다.

2. 평가 지표:

   • Math Verify: 생성된 솔루션이 정답(gold answer)과 수학적으로 동일한 비율. 저자들은 기존 EleutherAI LM Evaluation Harness에서 이 점수를 과소 보고했던 결정적인 버그를 발견하고 수정하였다(이를 통해 골드 레퍼런스 점수를 약 70%에서 100%로 높였다).
   • 교차 엔트로피 손실(Cross-Entropy Loss): 스케일링 법칙(scaling laws) 분석에 사용된 골드 레퍼런스 솔루션에 대한 손실값.
   • 강건성 검사(Robustness Checks): 암기인지 일반화인지를 구분하기 위해 테스트 세트의 재구문화(동일한 논리, 다른 표현) 및 변형(동일한 표현, 다른 숫자) 버전을 테스트하였다.

3. 추론 변수:

   • 실험은 샘플링 온도(0에서 1.5)에 걸쳐 수행되었으며, 솔루션 토큰 길이와 관련된 성능을 분석하였다.

주요 기여 및 결과

1. 스케일링 법칙과 "불가피한 오차(Irreducible Error)"의 돌파

본 연구는 성능(Math Verify 점수)이 오염 수준과 모델 크기 모두에 따라 증가함을 확인한다. 그러나 스케일링 법칙에서의 근본적인 돌파구가 발견되었다:

• 단일 복제본 효과: 테스트 세트를 단 **한 번만 포함(single replica)**하더라도 모델은 오염되지 않은 코퍼스로 학습했을 때의 추정된 불가피한 오차보다 낮은 교차 엔트로피 손실을 달성할 수 있다.
• 경제적 함의: 표준 스케일링 법칙 가정 하에서, 단 하나의 테스트 세트 복제본은 오염되지 않은 코퍼스에 비해 "무한한" 양의 사전 학습 연산을 시뮬레이션하여, 모델이 깨끗한 데이터의 이론적 성능 상한선을 우회할 수 있게 한다.

2. 암기 vs 일반화

오염에 의한 성능 향상은 일반화가 아니다.

• 축자적 암기(Verbatim Memorization): 재구문화되거나 변형된 문제로 테스트했을 때, 모든 모델 크기와 오염 수준에서 성능이 기본 수준으로 붕괴되었다.
• 결론: 성능 이득은 근본적인 수학적 추론의 습득이 아니라, 특정 테스트 시퀀스의 축자적 암기에 거의 전적으로 의존한다.

3. 추가 학습과의 상호작용

본 논문은 후속 학습에 대한 "용량-반응(dose-response)" 효과를 식별한다:

• 과잉 학습(Overtraining): 컴퓨팅 최적 지점 너머로 새로운 데이터로 학습하면 오염 효과가 희석된다. 고도로 오염된 모델의 경우, 과잉 학습은 실제 테스트 손실을 증가시키는데, 이는 새로운 데이터가 오염된 토큰의 비율을 줄여 암기된 신호를 약화시키기 때문이다.
• 지도 미세 조정(SFT): SFT는 오염 수준에 따라 상반된 효과를 보인다:
  • 낮은 오염: SFT는 테스트 성능을 향상시킨다.
  • 높은 오염: SFT는 테스트 성능을 저하시킨다. 저자들은 SFT가 모델에게 일반화를 강요하여 암기된 테스트 샘플을 "망각"하게 만든다고 추측한다. 고오염 모델에서는 암기된 신호가 성능의 주요 동력이었으므로, 이 망각은 순손실을 초래한다.

4. 암기의 추론 시점 영역(Inference-Time Regimes)

저자들은 샘플링 온도와 솔루션 길이가 암기를 어떻게 조절하는지 특성화하여 세 가지 뚜렷한 영역을 식별하였다:

• 지수적 결맞음 해제($E > 0$): 유의미한 오염이 없는 경우, 올바른 긴 시퀀스를 생성할 확률은 지수적으로 감소한다.
• 취약한 암기($E \approx 0, \alpha \le 1$): 중간 정도의 오염에서 모델은 시퀀스를 생성할 수 있지만, 길이가 길어짐에 따라 성공의 누적 확률은 결국 소멸한다.
• 결정론적 고착($E \approx 0, \alpha > 1$): 높은 오염 수준에서 모델은 다음 토큰의 확실성이 위험의 축적보다 더 빠르게 성장하는 영역에 진입하여, 긴 솔루션을 결정론적으로 생성할 수 있게 된다.
• "진실의 혈청(Truth Serum)" 효과: 높은 온도 샘플링($\tau > 1$)은 오염에 의한 이득을 견고한 일반화로부터 분리하는 "진실의 혈청" 역할을 한다. 이는 모델을 "결정론적 고착" 상태에서 즉각적으로 "취약한 암기" 상태로 되돌려 성능을 기본 수준으로 붕ert(collapse)시킬 수 있다.

5. 구현 수정

저자들은 Math Verify 스코어링 함수가 \boxed{} 표기법을 파싱하기 전에 제거하여 수학적 성능을 체계적으로 과소 보고했던 EleutherAI LM Evaluation Harness(v0.4.8 이전 버전)의 결정적인 버그를 발견하였다. 이를 수정함으로써 골드 레퍼런스 점수를 약 70%에서 100%로 높였다.

의의 및 주장

본 논문은 생성적 영역에서의 오염 메커니즘을 종합적으로 정량화한 첫 번째 연구라고 주장한다. 주요 의의는 다음과 같다:

1. 위협의 재정의: 생성적 오염은 판별적 오염과 유사하게 점수를 부풀리지만, 그 근저에 깔린 메커니즘은 다르다. 이는 견고한 추론이 아니라 취약한 축자적 암기의 긴 토큰 체인에 의존한다.
2. 경제적 규모: 단 하나의 테스트 세트 복제본이 "불가피한 오차" 장벽을 우회하게 한다는 발견은, 오염이 무한한 연산을 시뮬레이션할 수 있음을 시사하며, 벤치마크가 진정한 역량의 대리 지표(proxy)로서 갖는 기능을 근본적으로 무너뜨린다.
3. 실질적 레버: 연구는 샘플링 온도와 솔루션 길이가 암기와 일반화를 구분하는 핵심적인 레버임을 밝혀냈다. 높은 온도 샘플링과 긴 솔루션 길이는 오염된 모델의 취약성을 드러낸다.
4. 역설적 학습 역학: SFT가 고도로 오염된 모델의 성능을 저하시킬 수 있다는 발견은, 정렬 학습(alignment training) 후 테스트 정확도가 떨어지는 것이 부정적인 "정렬 세금(alignment tax)"이 아니라, 탈오염(decontamination)(테스트 세트 망각)의 긍정적인 신호일 수 있음을 시사한다.

저자들은 오염이 "역량의 환상"을 만들어내지만, 이는 특정 추론 시점 파라미터와 새로운 데이터에 대한 추가 학습을 통해 해체될 수 있는 매우 취약한 환상이라고 결론짓는다.