技術要約：公開されたLLMの語彙（Vocabulary）は、隠れたコーパスのトークンレベル推定をサポートできるか？

1. 問題の定式化

事前学習コーパスの構成は、大規模言語モデル（LLM）の能力を理解する上で極めて重要であるが、モデルの重みが公開されていても、この情報はしばしば不透明なまま残される。公開されているトークナイザーの語彙（通常、Byte-Pair Encoding（BPE）を用いて訓練される）は公開されていることが多いが、それと同時に正確な学習データの統計量が提供されることは稀である。

本研究が取り組む核心的な問題は、トークンレベルのコーパス比率推定である。隠れたコーパス $C^*$ で訓練された公開済みのターゲット・トークナイザー語彙 $V^*$ が与えられたとき、語彙内のすべてのトークン $v_i$ に対するコーパス比率 $r^*_i$ を推定することが目標である。言語やドメインといった粗い粒度のカテゴリ混合率を推論したり、特定のトークングループを追跡したりする従来の研究とは異なり、本論文は「任意の個別のトークン」に対する比率の推定を目指している。

著者らは、観測可能なトークン比率を持つ一つまたは複数の既知のコーパス $D$ へのアクセスを想定している。課題は、既知のコーパスで観察されたトークンIDと比率の関係を利用して、トークンIDから隠れたコーパスにおける比率へとマッピングする推定器 $\hat{f}$ を学習することである。

2. 主要な観察：ID–比率分布の転移可能性

解決策を提案する前に、著者らは、トークンIDとコーパス比率の関係が異なるコーパス間で転移可能であるかどうかを調査した。

• 手法: 様々な言語（英語、フランス語、日本語、中国語）およびドメイン（Web、Wikipedia、Code、Math）でBPEトークナイザーを訓練し、トークンIDとそれらのコーパス比率の分布をログ・ログ空間（log-log space）にプロットした。
• 発見: 言語構造やドメインの内容に大きな違いがあるにもかかわらず、トークンID–比率分布は安定したグローバルな形状を共有している。
• 定量化: KLダイバージェンスに基づく方向性転移類似度スコア（directional transfer similarity score）を用いることで、これらの分布が広く転移可能であることを示した。例えば、英語とフランス語はほぼ相互交換可能であり、CodeとWikipediaのような構造的に異なるペアであっても、実質的な類似性を保持している。
• 示唆: この安定性は、既知のコーパスから得られた分布構造を、隠れたデータで訓練されたターゲット・トークナイザーへと転移させる動機付けとなる。

3. 手法：分位点誘導密度推定（QGDE）

この転移可能性を活用するために、著者らは**分位点誘導密度推定（Quantile-Guided Density Estimation: QGDE）**を提案している。この手法は、主に3つの段階で構成される。

A. 分位点によるID–比率トレンドの適合

単一の中央値曲線（PoCTraceなどの従来研究で行われている手法）を適合させる代わりに、QGDEは一連の分位点トレンドを用いて、共有されたID–比率関係をモデル化する。

• ログ・ログ変換: ジップの法則に従い、トークンID ($t$) と比率 ($r$) はログ・ログ空間でモデル化され、そこでの関係は線形トレンドに近似される。
• 分位点回帰: 一連の分位点レベル $\tau$ に対して、ログ線形曲線 $q_\tau(x) = a_\tau + b_\tau x$ を適合させる。これにより、中心的な傾向だけでなく、特定のトークンIDに対して考えられる比率の垂直方向の広がり全体を捉えることができる。
• 候補生成: ターゲットとなるトークンID $t_i$ に対し、各分位点トレンドは候補となるログ比率推定値 $z_{i,\tau}$ を提供する。

B. 分位点アンカーの選択

冗長性を避け、分布の網羅性を確保するために、手法は少数の代表的な分位点アンカー $T^*_K$ を選択する。

• 最適化: アンカーは、選択されたトレンドの垂直方向の帯域内に、どれだけの既知のID–比率の点が落ちているかをカウントする**分位点アンカー被覆率（Quantile Anchor Coverage: QAC）**を最大化するように選択される。
• 結果: このプロセスは、分布の疎な領域に集中したり一様に分散したりするのではなく、トレンドが分布の支持された領域を共同で通過するようなアンカーを優先する。経験的分析によれば、アンカー数 ($K$) が増加するにつれて（例：$K=14$ 以降で収穫逓減）、被覆率は飽和することが示されている。

C. ローカル密度重み付け

最終ステップでは、複数の候補推定値をローカル密度重み付けを用いて単一の点推定値に変換する。

• メカニズム: ターゲットとなるトークンIDに対し、近傍の既知のID–比率の点をローカルウィンドウ内で特定する。
• 重み付け: ガウスカーネル密度推定を用い、周囲の点が特定の分位点トレンドをどの程度強く支持しているかに基づいて、各候補推定値にソフトな重みを割り当てる。
• 最終推定値: 推定される比率は、候補推定値の密度重み付き平均となる。これにより、従来の研究のような「範囲スタイル」の信号を、きめ細かなトークンレベルの点推定へと変換する。

4. 実験結果

著者らは、制御された設定（mC4, OSCAR, FineWebなどを使用）と、現実的な設定（公開されたSmolLMトークナイザーを使用）の両方でQGDEを評価した。

制御された設定

• トークンレベルの推定: QGDEは、2つのベースライン（直接的なID–比率転移：位置によるソース比率のコピー、およびPoCTrace：単一の中央値トレンド）を大幅に上回った。
  • 性能: QG젝트混合ソースの設定において、QGDEはトークンレベルの推定で**3.00%**という低い平均相対誤差（MRE）を達成した。
  • アブレーション研究: 分位点アンカー ($K$) を3から14に増やすと、特にドメイン設定においてエラーが急激に減少したが、その後は効果が飽和した。
  • ソース混合: 複数の既知のコーパスを混合して使用することは、単一ソースの設定よりも一般に良好な結果をもたらしたが、混合の正確な比率よりも、カバーされているコンポーネントの多様性の方が重要であった。

カテゴリレベルへの集計

• 混合率の推定: トークンレベルの推定値を集計して、言語やドメインの割合を推定した。
• 比較: QGDEは、Data Mixture Inference (DMI) ベースラインを大幅に上回った。
  • 誤差の減少: 言語設定では、MREは9.09% (DMI) から 3.08% (QGDE) へ低下した。ドメイン設定では、15.14% から ~5.3% へ低下した。
  • 観察: $K$ を増やすことでトークンレベルの精度は向上したが、集計による平滑化効果のため、カテゴリレベルでの利得はそれほど顕著ではなかった。

現実的な設定 (SmolLM)

• 検証: 手法は、正解となる学習データプロポーション（FineWeb-edu, Cosmopedia, Python-edu）が利用可能なSmolLMトークナイザーを用いてテストされた。
• 結果: QGDEは、トークンレベル（MRE 5.72–5.78%）およびカテゴリレベル（MRE 5.93%）の両方で最も低いエラーを達成し、直接転移およびPoCTraceの両方を上回った。これにより、正確なコンポーネントコーパスを直接の学習ソースとして使用できない場合でも、本手法が有効であることが確認された。

5. 貢献と意義

本論文の主な貢献は以下の3点である：

1. 転移可能性の発見: トークンID–比率分布が、異なる言語やドメインで訓練されたBPE語彙間で転移可能であることを示し、隠れたコーパス比率を推定するための利用可能な信号を提供した。
2. 手法の革新: 複数の分位点トレンドとローカル密度重み付けを利用して転移可能な分布を近似する、一般的なトークンレベルの推定器であるQGDEを導入し、粗い混合推論や特定のトークントレーシングを超えた。
3. 実証的検証: QGDEが制御された設定および現実的な設定の両方において高い精度（MRE 3.00%以下）を達成し、既存のベースラインを凌駕することを示した。

意義:
著者らは、公開されたトークナイザーの語彙が、きめ細かなコーパス推定のための有用な信号を提供すると主張している。この能力は、現在の手法で可能な粗い構成推論を超え、学習コーパスが隠されている場合でも、公開されたLLMのデータソースを監査・解釈するための道を開くものである。本研究は、コーパス構成の「指紋」が、適切な統計的モデリングによって解読可能な形で、トークナイザーの語彙構造の中にエンコードされていることを示唆している。

限界:
著者らは、公開されたLLM（例：ChatGPT, Qwen, DeepSeek）に関する正解データ（Ground Truth）が乏しいため、これらのモデルに対する直接的な評価には限界があると述べている。現在の検証は、制御された実験および、学習データが公開されている稀なケースであるSmolLMに基づいている。より広範な検証は、より多くの学習コーパスの公開を待つ必要がある。