Resumo Técnico: Os Vocabulários de LLMs Liberados Podem Suportar a Estimativa ao Nível de Token de Corpora Ocultos?

1. Formulação do Problema

A composição dos corpora de pré-treinamento é fundamental para compreender as capacidades de um Large Language Model (LLM), mas essa informação permanece frequentemente opaca, mesmo quando os pesos do modelo são liberados. Embora os vocabulários de tokenizadores liberados (geralmente treinados usando Byte-Pair Encoding, ou BPE) sejam frequentemente públicos, eles raramente são acompanhados pelas estatísticas exatas dos dados de treinamento.

O problema central abordado é a estimativa da razão de corpus ao nível de token. Dado um vocabulário de tokenizador alvo $V^*$ liberado e treinado em um corpus oculto $C^*$, o objetivo é estimar a razão do corpus $r^*_i$ para cada token $v_i$ no vocabulário. Diferente de trabalhos anteriores que inferem misturas de categorias de granularidade grossa (ex: proporções de idiomas ou domínios) ou rastreiam grupos de tokens específicos, este artigo visa estimar a razão para arbitrários tokens individuais.

Os autores assumem o acesso a um ou mais corpora conhecidos $D$ com razões de tokens observáveis. O desafio é aprender um estimador $\hat{f}$ que mapeie IDs de tokens para razões no corpus oculto, aproveitando a relação entre IDs de tokens e razões observadas nos corpora conhecidos.

2. Observação Chave: Transferibilidade das Distribuições ID-Razão

Antes de propor uma solução, os autores investigam se a relação entre IDs de tokens e razões de corpus é transferível entre diferentes corpora.

• Método: Eles treinaram tokenizadores BPE em vários idiomas (Inglês, Francês, Japonês, Chinês) e domínios (Web, Wikipedia, Código, Matemática) e plotaram as distribuições de IDs de tokens versus suas razões de corpus em espaço log-log.
• Descoberta: Apesar das diferenças significativas na estrutura da linguagem ou conteúdo do domínio, as distribções de ID de token–razão compartilham uma forma global estável.
• Quantificação: Usando uma pontuação de similaridade de transferência direcional baseada na divergência de Kullback–Leibler (KL), eles demonstraram que essas distribuições são amplamente transferíveis. Por exemplo, Inglês e Francês mostram quase-intercambialidade, enquanto mesmo pares estruturalmente distintos como Código e Wikipedia retêm similaridade substancial.
• Implicação: Essa estabilidade motiva a transferência da estrutura de distribuição de corpora conhecidos para um tokenizador alvo treinado em dados ocultos.

3. Metodologia: Estimativa de Densidade Guiada por Quantis (QGDE)

Para explorar essa transferibilidade, os autores propõem a Estimativa de Densidade Guiada por Quantis (QGDE). O método consiste em três estágios principais:

A. Ajuste de Tendências ID-Razão com Quantis

Em vez de ajustar uma única curva de mediana (como feito em trabalhos anteriores como o PoCTrace), o QGDE modela a relação compartilhada ID–razão usando uma família de tendências de quantis.

• Transformação Log-Log: Seguindo a lei de Zipf, os IDs de tokens ($t$) e as razões ($r$) são modelados em espaço log-log, onde a relação aproxima-se de uma tendência linear.
• Regressão de Quantis: Para um conjunto de níveis de quantis $\tau$, o método ajusta curvas log-lineares $q_\tau(x) = a_\tau + b_\tau x$. Isso captura não apenas a tendência central, mas toda a dispersão vertical de razões plausíveis para um determinado ID de token.
• Geração de Candidatos: Para um token alvo com ID $t_i$, cada tendência de quantil fornece uma estimativa candidata de log-razão $z_{i,\tau}$.

B. Seleção de Âncoras de Quantis

Para evitar redundância e garantir cobertura, o método seleciona um pequeno conjunto de âncoras de quantis representativas $T^*_K$.

• Otimização: As âncoras são selecionadas maximizando a Cobertura de Âncora de Quantil (QAC), que conta quantos pontos de ID–razão conhecidos caem dentro de uma largura de banda vertical das tendências selecionadas.
• Resultado: Este processo favorece âncoras cujas tendências passam conjuntamente por regiões bem suportadas da distribuição, em vez de se espalharem uniformemente ou focarem em áreas esparsas. A análise empírica mostra que a cobertura satura conforme o número de âncoras ($K$) aumenta (ex: retornos decrescentes após $K=14$).

C. Ponderação de Densidade Local

O passo final converte as múltiplas estimativas candidatas em uma única estimativa de ponto usando ponderação de densidade local.

• Mecanismo: Para um ID de token alvo, o método identifica pontos de ID–razão próximos dentro de uma janela local.
• Ponderação: Ele atribui pesos suaves a cada estimativa candidata com base em quão fortemente os pontos circundantes suportam aquela tendência de quantil específica, utilizando estimativa de densidade de núcleo gaussiano (Gaussian kernel density estimation).
• Estimativa Final: A razão estimada é a média ponderada pela densidade das estimativas candidatas. Isso transforma o sinal de "estilo intervalo" de trabalhos anteriores em uma estimativa de ponto fina ao nível de token.

4. Resultados Experimentais

Os autores avaliaram o QGDE tanto em configurações controladas (usando mC4, OSCAR, FineWeb, etc.) quanto em uma configuração realista (usando o tokenizador do SmolLM liberado).

Configurações Controladas

• Estimativa ao Nível de Token: O QGDE superou significativamente dois baselines: transferência direta de razão de ID (copiando razões da fonte por posição) e o PoCTrace (tendência de mediana única).
  • Desempenho: O QGDE alcançou Erros Relativos Médios (MRE) tão baixos quanto 3,00% para estimativa ao nível de token em configurações de fontes mistas.
  • Ablação: Aumentar o número de âncoras de quantis ($K$) de 3 para 14 reduziu drasticamente os erros, particularmente em configurações de domínio, após o qual os ganhos saturaram.
  • Misturas de Fontes: O uso de corpora conhecidos mistos geralmente produziu melhores resultados do que configurações de fonte única, embora a razão exata da mistura importasse menos do que a diversidade dos componentes cobertos.

Agregação para o Nível de Categoria

• Estimativa de Mistura: As estimativas ao nível de token foram agregadas para estimar proporções de idiomas ou domínios.
• Comparação: O QGDE superou substancialmente o baseline de Inferência de Mistura de Dados (DMI).
  • Redução de Erro: Em configurações de idioma, o MRE caiu de 9,09% (DMI) para 3,08% (QGDE). Em configurações de domínio, caiu de ~15,14% para **5,3%**.
  • Observação: Embora o aumento de $K$ tenha melhorado a precisão ao nível de token, os ganhos ao nível de categoria foram menos pronunciados devido ao efeito de suavização da agregação.

Configuração Realista (SmolLM)

• Validação: O método foi testado no tokenizador do SmolLM, onde as proporções de dados de treinamento (FineWeb-edu, Cosmopedia, Python-edu) estavam disponíveis.
• Resultos: O QGDE alcançou o menor erro tanto para estimativa ao nível de token (5,72–5,78% MRE) quanto para estimativa ao nível de categoria (5,93% MRE), superando tanto a transferência direta quanto o PoCTrace. Isso confirmou a eficácia do método mesmo quando os corpora componentes exatos não puderam ser usados como fontes de treinamento diretas.

5. Contribuições e Significância

O artigo apresenta três contribuições primárias:

1. Descoberta de Transferibilidade: Demonstra que as distribuições de ID de token–razão são transferíveis entre vocabulários BPE treinados em diferentes idiomas e domínios, fornecendo um sinal utilizável para estimar razões de corpora ocultos.
2. Inovação Metodológica: Introduz o QGDE, um estimador de nível de token geral que utiliza múltiplas tendências de quantis e ponderação de densidade local para aproximar a distribuição transferível, indo além da inferência de mistura grosseira ou do rastreamento de tokens específicos.
3. Validação Empírica: Mostra que o QGDE alcança alta precisão (tão baixa quanto 3,00% MRE) tanto em configurações controladas quanto realistas, superando os baselines existentes.

Significância:
Os autores argumentam que os vocabulários de tokenizadores liberados fornecem um sinal útil para estimativa de corpus refinada. Esta capacidade vai além da inferência de composição grosseira possível com métodos atuais, oferecendo um caminho para auditar e interpretar as fontes de dados de LLMs liberados, mesmo quando os corpora de treinamento permanecem ocultos. O trabalho sugere que a "impressão digital" da composição do corpus está codificada na estrutura do vocabulário do tokenizador de uma forma que pode ser decodificada com modelagem estatística suficiente.

Limitações:
Os autores observam que a escassez de verdade fundamental (ground truth) para LLMs liberados (ex: ChatGPT, Qwen, DeepSeek) limita a avaliação direta nesses modelos. A validação atualmente depende de experimentos controlados e do raro caso do SmolLM, onde os dados de treinamento são públicos. Uma validação mais ampla aguarda a liberação de mais corpora de treinamento.