기술 요약: 합성 데이터 스케일링에서 소스 확장과 고정 소스 합성의 분리

문제 정의

합성 데이터는 대규모 언어 모델(LLM) 학습의 표준 구성 요소가 되었으며, 다운스트림 성능은 데이터셋 크기에 따라 예측 가능한 방식으로 스케일링됩니다. 그러나 기존의 스케일링 연구들은 합성 데이터셋을 확장하는 두 가지 뚜렷한 경로를 혼동하는 경향이 있습니다:

1. 소스 확장 (Source Expansion, SE): 새로운 시드 자료(예: 새로운 문서 또는 질문)를 추가하거나 더 강력한 생성기로 교체하여 정보 소스를 확대하는 것.
2. 고정 소스 합성 (Fixed-Source Synthesis, FSS): 소스(시드 질문 및 교사 모델)는 고정한 채 생성 예산(즉, 시드당 더 많은 응답 생성)을 늘리는 것.

기존 연구들은 주로 SE에 집중해 왔으며, FSS의 효용성에 대해서는 충분히 탐구되지 않았습니다. 본 논문은 FSS를 격리하여 그 스케일링 한계를 결정하고, 이를 위한 예측 가능한 스케일링 법칙을 도출하며, 동일한 총 샘플 예산 하에서 SE 및 다양한 합성 프로토콜과의 효능을 비교하는 것을 목표로 합니다.

방법론

저자들은 합성 데이터 파이프라인을 트리플 $(Q, T, p)$로 모델링합니다. 여기서 $Q$는 시드 질문 풀, $T$는 교사 모델, $p$는 합성 프로토콜입니다. 이들은 $(Q, T)$를 고정하고 거절 샘플링(Rejection Sampling, RS)을 통해 질문당 응답 예산 $r$만을 변화시킴으로써 FSS를 격리합니다.

실험 설정:

• 도메인: 수학 및 물리 (SuperGPQA 기반).
• 모델: 주요 교사 모델은 DeepSeek-V3.1 ($T_{DS}$); 주요 학생 모델은 Qwen2-7B-Instruct ($S_{Q7}$). 교차 쌍 체크에는 Qwen2.5-72B ($T_{Q72}$)와 Llama-3.1-8B ($S_{L8}$)를 사용함.
• 베이스라인 프로토콜: 온도(temperature) 1.2로 RS를 수행하여 시드 질문당 최대 32개의 정답 응답을 수집.
• 평가 지표: Mean@8 (온도 0.7에서 8개의 학생 출력을 샘플링했을 때의 평균 정답 비율).
• 규모: 본 연구에는 약 20억 개의 교사 추론 토큰과 500회 이상의 학생 미세 조정 실행이 포함됨.

연구 질문 (RQs):

1. RQ1 (FSS 스케일링): $(Q, T)$가 고정되었을 때, FSS가 학생의 정확도를 향상시키는가? 그리고 그 이득은 $r$에 따라 어떻게 스케일링되는가?
2. RQ2 (SE vs. FSS): 일치된 총 샘플 예산 하에서, SE(시드 추가)를 통한 이득과 FSS(응답 $r$ 증가)를 통한 이득을 비교하면 어떠한가?
3. RQ3 (프로토콜 효능): FSS 내에서, 고급 합성 프로토콜(다양성, 선택, 재작성)이 일반적인 RS보다 우수한 성능을 보이는가?

핵심 기여 및 결과

1. FSS 스케일링 법칙 및 수확 감소 (RQ1)

저자들은 특징(feature)이 이진적(학습됨 또는 학습되지 않음)으로 커버된다는 "양자 관점(quanta view)"에 기초하여 FSS를 위한 특정 스형(scaling form)을 도출합니다. 데이터 크기를 축으로 하는 표준 스케일링 법칙과 달리, FSS는 고정된 소스를 스케일링합니다.

• 도출된 형태: 성능 $P(r)$은 소스에 의해 결정된 상한선을 향해 멱법칙(power-law) 붕괴를 따릅니다:
  $$P(r) \approx P_{\infty} - A r^{-\alpha}$$
  여기서 $P_{\infty}$는 태스크의 본질적인 노이즈가 아니라, 고정된 소스 $(Q, T)$에 의해 결정되는 상한선입니다.
• 결과: FSS는 학생의 정확도를 일관되로 향상시키지만, $r$이 증가함에 따라 이득은 급격히 감소합니다. 더 약한 교사 모델일수록 곡선이 더 빨리 포화됩니다.
• 예측: 낮은 예산($r \le 16$)에서 피팅된 형태는 모든 교사-학생 쌍에 대해 홀드아웃된 최고 예산($r=32$)에서의 성능을 성공적으로 예측합니다.

2. 소스 확장이 고정 소스 스케일링보다 우수함 (RQ2)

본 연구는 일치된 총 샘플 수 ($B = |Q| \times r$) 하에서 SE(시드 질문 수 $|Q|$ 증가)와 FSS(응답 $r$ 증가)를 비교합니다.

• 결과: 적은 예산에서는 SE와 FSS가 유사한 성능을 보입니다. 그러나 예산이 커질수록, 실제 시드 질문 세트를 확장하는 것(SE)이 적은 수의 시드에 대해 더 많은 응답을 생성하는 데 동일한 예산을 쓰는 것보다 현저히 우수한 성능을 보입니다.
• 질문 합성: 기존 시드로부터 새로운 질문을 합성하는 것(FSS의 변형)은 총 샘플 수가 일치할 때 일반적인 RS보다 아무런 이득을 주지 못합니다. 이전 연구에서 나타난 프롬프트 합성의 겉보기 이득은 합성 품질보다는 예산 효과에 기 의한 것으로 분석됩니다.

3. 합성 프로토콜의 제한된 효능 (RQ3)

고정된 $(Q, T)$ 하에서 저자들은 다양성, 선택, 페르소나 프롬프팅, 판사 없는 필터링(오답 트레이스 허용), 트레이스 수준의 수정(재작성 $\to$ 확인 $\to$ 수정) 등을 포함한 다양한 프로토콜을 일반적인 RS와 비교 평가했습니다.

• 결과: 이러한 프로토콜들이 목표로 하는 내재적 지표(예: 다양성, 노이즈 수준)는 성공적으로 변화시켰으나, 어떤 프로토콜도 예산 범위 전반에 걸쳐 일반적인 RS보다 학생 성능을 일관되게 개선하지 못했습니다. 소스가 고정된 상태에서 프로토콜 변경에 따른 이득은 미미합니다.

4. 이질적 소스에 대한 강건성

혼합 STEM 데이터셋에 대한 실험은 FSS의 경계가 이질적인 소스에서도 지속됨을 확인했습니다. 일치된 예산 하에서 실제 시드 질문의 커버리지를 높이는 것(SE)이 더 적은 풀에서 응답 수를 늘리는 것보다 여전히 우월합니다.

의의 및 주장

본 논문은 소스 확장과 소스 내부 합성을 분리함으로써 합성 데이터 스케일링을 평가하기 위한 통제된 환경을 제공한다고 주장합니다.

• 유계된 스케일링 (Bounded Scaling): FSS는 유계된 스케일링 축입니다. 이는 성능을 향상시키지만, 시드 풀과 교사 강도에 의해 정의되는 "소스 상한선"($P_{\infty}$)에 의해 제한됩니다.
• 프로토콜 평가: 고정 소스 설정은 합성 프로토콜을 비교하기 위한 엄격한 대조군 역할을 합니다. 저자들은 소스가 고정된 경우, 프로토콜의 변화가 근본적인 소스 확장(SE)의 선택보다 기여도가 낮다는 것을 발견했습니다.
• 자원 배분: 실무자들에게 본 결과는 합성 데이터를 스케일링할 때, 단순히 고정된 시드 세트에 대한 생성 예산을 늘리거나 복잡한 합성 프로토콜에 의존하는 것보다 새롭고 다양한 시드 질문을 추가하는 것(Source Expansion)이 더 신뢰할 수 있는 전략임을 시사합니다.

저자들은 이전 연구에서 "합성 데이터 스케일링"의 이득이라고 여겨졌던 것들이 종종 소스 확장과 샘플링 증가 또는 프로토콜 개선을 혼동한 것이라고 결론짓습니다. FSS를 격리함으로써, 저자들은 이것이 유효한 스케일링 경로이긴 하지만 본질적으로 유계되어 있으며, 소스의 지원 범위를 확장하는 것보다 효과가 낮음을 입증했습니다.