기술 요약: 공개된 LLM 어휘집이 숨겨진 코퍼스의 토큰 수준 추정을 지원할 수 있는가?

1. 문제 정의

사전 학습 코퍼스의 구성은 대규모 언어 모델(LLM)의 능력을 이해하는 데 근본적인 요소이지만, 모델 가중치가 공개되더라도 이 정보는 종종 불투명한 상태로 남습니다. 일반적으로 공개되는 토크나이저 어휘집(주로 Byte-Pair Encoding, BPE를 사용하여 학습됨)은 공개되는 경우가 많지만, 정확한 학습 데이터 통계까지 함께 제공되는 경우는 드뭅니다.

본 논문이 다루는 핵심 문제는 **토큰 수준의 코퍼스 비율 추정(token-level corpus ratio estimation)**입니다. 숨겨진 코퍼스 $C^*$로 학습된 공개된 타겟 토크나이저 어휘집 $V^*$가 주어졌을 때, 어휘집 내 모든 토큰 $v_i$에 대한 코퍼스 비율 $r^*_i$를 추정하는 것이 목표입니다. 언어나 도메인 비율과 같은 거친 입도의 범주 혼합을 추론하거나 특정 토큰 그룹을 추적하는 기존 연구와 달리, 본 논문은 임의의 개별 토인에 대한 비율을 추정하는 것을 목표로 합니다.

저자들은 관찰 가능한 토큰 비율을 가진 하나 이상의 알려진 코퍼스 $D$에 접근할 수 있다고 가정합니다. 과제는 알려진 코퍼스에서 관찰된 토큰 ID와 비율 사이의 관계를 활용하여, 토큰 ID를 비율로 매핑하는 추정기 $\hat{f}$를 학습하는 것입니다.

2. 핵심 관찰: ID-비율 분포의 전이 가능성

해결책을 제안하기에 앞서, 저자들은 토큰 ID와 코퍼스 비율 사이의 관계가 서로 다른 코퍼스 간에 전이 가능한지 조사했습니다.

• 방법: 다양한 언어(영어, 프랑스어, 일본어, 중국어) 및 도메인(웹, 위키피디아, 코드, 수학)에 대해 BPE 토크나이저를 학습시킨 후, 로그-로그 공간(log-log space)에서 토큰 ID 대 코퍼스 비율의 분포를 플로팅했습니다.
• 발견: 언어 구조나 도메인 내용의 상당한 차이에도 불구하고, 토큰 ID–비율 분포는 **안정적인 전역적 형태(stable global shape)**를 공유합니다.
• 정량화: 방향성 전이 유사도 점수(directional transfer similarity score)를 Kullback–Leibler(KL) 발산에 기반하여 사용하여, 이러한 분포가 광범위하게 전이 가능하다는 것을 입증했습니다. 예를 들어, 영어와 프랑스어는 거의 상호 교환 가능한 수준이며, 코드와 위키피디아처럼 구조적으로 확연히 다른 쌍조차 상당한 유사성을 유지합니다.
• 시사점: 이러한 안정성은 알려진 코퍼스로부터 추출한 분포 구조를 숨겨진 데이터로 학습된 타겟 토크나이저로 전이할 수 있다는 동기를 부여합니다.

3. 방법론: 분위수 가이드 밀도 추정 (QGDE)

이러한 전이 가능성을 활용하기 위해, 저자들은 **분위수 가이드 밀도 추정(Quantile-Guided Density Estimation, QGDE)**을 제안합니다. 이 방법은 세 가지 주요 단계로 구성됩니다.

A. 분위수를 이용한 ID-비율 트렌드 피팅

단일 중앙값 곡선(PoCTrace와 같은 선행 연구 방식)을 피팅하는 대신, QGDE는 일련의 분위수 트렌드를 사용하여 공유된 ID–비율 관계를 모델링합니다.

• 로그-로그 변환: 지프의 법칙(Zipf's law)을 따라, 토큰 ID($t$)와 비율($r$)은 로그-로그 공간에서 모델링되며, 여기서 관계는 선형 트렌드에 근사합니다.
• 분위수 회귀(Quantile Regression): 분위수 레벨 $\tau$의 집합에 대해, 방법론은 로그 선형 곡선 $q_\tau(x) = a_\tau + b_\tau x$를 피팅합니다. 이는 단순히 중심 경향성만을 포착하는 것이 아니라, 주어진 토큰 ID에 대해 가능한 비율의 전체 수직 확산(vertical spread)을 포착합니다.
• 후보 생성: 타겟 토큰의 ID가 $t_i$일 때, 각 분위수 트렌드는 후보 로그-비율 추정치 $z_{i,\tau}$를 제공합니다.

B. 분위수 앵커 선택

중복을 피하고 분포의 커버리지를 보장하기 위해, 방법론은 소수의 대표적인 분위수 앵커 집합 $T^*_K$를 선택합니다.

• 최적화: 앵커는 선택된 트렌드의 수직 대역폭(vertical bandwidth) 내에 얼마나 많은 알려진 ID–비율 점들이 포함되는지를 계산하는 **분위수 앵커 커버리지(Quantile Anchor Coverage, QAC)**를 최대화함으로써 선택됩니다.
• 결과: 이 과정은 분포에 균등하게 퍼지거나 희소한 영역에 집중하기보다는, 선택된 트렌드들이 분포의 잘 지지되는 영역을 공동으로 통과하도록 유도합니다. 경험적 분석에 따르면 커버리지는 앵커의 수($K$)가 증가함에 따라 포화됩니다(예: $K=14$ 이후 수익 체감 발생).

C. 지역 밀도 가중치 부여

마지막 단계는 여러 후보 추정치를 지역 밀도 가중치를 사용하여 단일 점 추정치로 변환하는 것입니다.

• 메커니즘: 타겟 토큰 ID에 대해, 방법론은 로컬 윈도우 내의 인접한 알려진 ID–비율 점들을 식별합니다.
• 가중치 부여: 주변의 점들이 특정 분위수 트렌드를 얼마나 강력하게 지지하는지에 따라 가우시안 커널 밀도 추정을 사용하여 각 후보 추정치에 소프트 가중치를 할당합니다.
• 최종 추정치: 추정된 비율은 후보 추정치들의 밀도 가중 평균입니다. 이는 선행 연구의 "범위 스타일" 신호를 미세한 토큰 수준의 점 추정치로 변환합니다.

4. 실험 결과

저자들은 통제된 환경(mC4, OSCAR, FineWeb 등 사용)과 실제적인 환경(공개된 SmolLM 토크나이저 사용) 모두에서 QGDE를 평가했습니다.

통제된 환경

• 토큰 수준 추정: QGDE는 두 가지 베이스라인인 직접 ID-비율 전이(위치에 따른 소스 비율 복사) 및 PoCTrace(단일 중앙값 트렌드)보다 성능이 뛰어났습니다.
  • 성능: QGDE는 혼합 소스 환경에서 토큰 수준 추정을 위해 **3.00%**만큼 낮은 평균 상대 오차(MRE)를 달로했습니다.
  • 절제 실험(Ablation): 분위수 앵커($K$)를 3에서 14로 늘리면 특히 도메인 설정에서 오차가 급격히 감소했으나, 그 이후에는 이득이 포화되었습니다.
  • 소스 혼합: 단일 소스 설정보다 혼합된 알려진 코퍼스를 사용하는 것이 일반적으로 더 나은 결과를 냈지만, 혼합물의 정확한 비율보다는 포함된 구성 요소의 다양성이 더 중요했습니다.

범주 수준으로의 집계

• 혼합 추정: 토큰 수준 추정치는 언어나 도메인 비율을 추정하기 위해 집계되었습니다.
• 비교: QGDE는 데이터 혼합 추론(Data Mixture Inference, DMI) 베이스라인을 크게 능가했습니다.
  • 오차 감소: 언어 설정에서 MRE는 약 9.09%(DMI)에서 3.08%(QGDE)로 떨어졌습니다. 도메인 설정에서는 약 15.14%에서 **약 5.3%**로 떨어졌습니다.
  • 관찰: $K$를 늘리는 것이 토큰 수준의 정확도는 향상시켰지만, 집계에 의한 평활화 효과(smoothing effect)로 인해 범주 수준에서의 이득은 덜 뚜렷했습니다.

실제 환경 (SmolLM)

• 검증: 방법론은 실제 학습 데이터 비율(FineWeb-edu, Cosmopedia, Python-edu)을 알 수 있는 SmolLM 토크나이저를 대상으로 테스트되었습니다.
• 결과: QGDE는 토큰 수준(5.72–5.78% MRE)과 범주 수준(5.93% MRE) 추정 모두에서 가장 낮은 오차를 기록하며, 직접 전이 및 PoCTrace를 능가했습니다. 이는 정확한 구성 코퍼스를 직접적인 학습 소스로 사용할 수 없는 경우에도 이 방법론이 효과적임을 확인시켜 줍니다.

5. 기여 및 의의

본 논문은 세 가지 주요 기여를 합니다:

1. 전이 가능성의 발견: BPE 어휘집이 서로 다른 언어 및 도메인에서 학습되었더라도 토큰 ID–비율 분포가 전이 가능하다는 것을 보여줌으로써, 숨겨진 코퍼스 비율을 추정하기 위한 유용한 신호를 제공했습니다.
2. 방법론적 혁신: 여러 분위수 트렌드와 지역 밀도 가중치를 활용하여 전이 가능한 분포를 근사하는 일반적인 토큰 수준 추정기인 QGDE를 도입하여, 거친 혼합 추론이나 특정 토큰 추적을 넘어섰습니다.
3. 경험적 검증: 통제된 환경과 실제적인 환경 모두에서 높은 정확도(최저 3.00% M의 MRE)를 달성하여 기존 베이스라인을 능가함을 입증했습니다.

의의:
저자들은 공개된 토크나이저 어휘집이 미세한 코퍼스 추정을 위한 유용한 신호를 제공한다고 주장합니다. 이 능력은 현재의 방법들로 가능한 거친 구성 추론을 넘어, 훈련 코퍼스가 숨겨져 있더라도 공개된 LLM의 데이터 소스를 감사하고 해석할 수 있는 경로를 제시합니다. 이 연구는 코퍼스 구성의 "지문(fingerprint)"이 충분한 통계적 모델링을 통해 해독될 수 있는 방식으로 토크나이저의 어휘 구조에 인코딩되어 있음을 시사합니다.

한계점:
저자들은 공개된 LLM(예: ChatGPT, Qwen, DeepSeek)에 대한 직접적인 평가를 제한하는 실제 정답(ground truth)의 부족을 언급했습니다. 검증은 현재 통제된 실험과 학습 데이터가 공개된 드문 사례인 SmolLM에 의존하고 있습니다. 더 넓은 범위의 검증은 더 많은 훈련 코퍼스의 공개를 기다리고 있습니다.