🤖 AI

TokenPrint: A Calibrated Token-Space Fingerprint for Language-Model Provenance

O TokenPrint introduz uma impressão digital no espaço de tokens calibrada e livre de treinamento que aproveita as projeções de vocabulário top- $k$ de sondas de conhecimento para identificar com precisão a proveniência, a linhagem e os dados de treinamento compartilhados de modelos de linguagem através de diversas famílias de modelos e níveis de quantização.

Autores originais: Yuqi Wu, Shengming Zhao, Jie Chen

Publicado 2026-08-11

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yuqi Wu, Shengming Zhao, Jie Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando descobrir quem é uma pessoa misteriosa, mas ela nunca mostra sua identidade e seus pais não revelam seu sobrenome. Você só tem a voz dela. Se você ouvir atentamente, poderá notar que ela usa as mesmas gírias de seus irmãos, termina as frases uns dos outros de uma maneira específica ou possui um ritmo único que seus primos compartilham. No mundo da inteligência artificial, essas "pessoas" são os Grandes Modelos de Linguagem (LLMs) — programas de computador que escrevem, conversam e resolvem problemas. Por muito tempo, se uma empresa lançasse um novo modelo, ela poderia esconder exatamente de qual modelo antigo partiu ou em quais livros e sites específicos foi treinado. Isso é um problema porque, se um modelo for construído com dados roubados ou treinado para ser prejudicial, precisamos saber sua "árvore genealógica" para responsabilizar as pessoas certas. Cientistas tentaram resolver isso olhando para o código interno do modelo (seu "DNA"), mas e se esse código estiver escondido? Este artigo faz uma pergunta inteligente: Podemos identificar a família de um modelo apenas ouvindo o que ele diz?

Os pesquisadores Yuqi Wu, Shengming Zhao e Jie Chen, da Universidade de Fudan, introduziram uma nova ferramenta chamada TokenPrint. Pense nisso como uma "impressão vocal" para a IA. Em vez de precisar ver o código interno secreto do modelo, eles simplesmente fazem ao modelo 250 perguntas específicas — como "Qual é a capital do Canadá?" ou "Escreva uma linha de código para um loop" — e então observam as primeiras palavras que o modelo escolhe para responder. Eles chamam essas escolhas principais de "impressão digital" do modelo.

Aqui está o truque de mágica: Quando dois modelos são relacionados (por exemplo, um é uma versão "ajustada" do outro, ou ambos foram treinados exatamente no mesmo conjunto de dados), eles tendem a escolher as mesmas palavras principais para essas perguntas, mesmo que sejam de tamanhos diferentes ou feitos por empresas diferentes. Os pesquisadores mediram essa semelhança usando uma ferramenta matemática chamada sobreposição de Jaccard, que basicamente pergunta: "Quantas das palavras principais esses dois modelos compartilham?"

O artigo descobriu coisas fascinantes:

A Semelhança Familiar é Real: Modelos que compartilham um "pai" ou um conjunto de dados de treinamento têm uma pontuação de semelhança muito maior (cerca de 0,35 a 0,48) do que modelos totalmente não relacionados (cerca de 0,17). É como como a voz de uma criança pode soar mais parecida com a de seu pai do que a de um estranho, mesmo que não sejam idênticas.
Isso Acontece Cedo: Essa "impressão vocal" começa a se formar incrivelmente rápido. Os pesquisadores viram essas semelhanças aparecerem dentro do primeiro 1% do tempo de treinamento do modelo, muito antes de o modelo ser realmente inteligente o suficiente para responder às perguntas corretamente. Isso sugere que a impressão digital vem dos dados que o modelo "comeu", e não apenas de quão inteligente ele se tornou.
Funciona Mesmo Quando Escondido: O método funciona mesmo se os modelos usarem "vocabulários" diferentes (listas de palavras diferentes) ou arquiteturas de computador diferentes. É como reconhecer um membro da família mesmo que ele esteja falando um dialeto ligeiramente diferente.
É uma Ferramenta de Detetive, Não uma Varinha Mágica: A impressão digital é ótima para reduzir a lista de suspeitos. Por exemplo, quando tentaram encontrar o "pai" de cinco modelos específicos (chamados de destilações de R1), a impressão digital identificou corretamente o verdadeiro pai como um dos dois principais palpites todas as vezes. No entanto, às vezes não conseguia distinguir entre um pai e um primo muito próximo (como um modelo irmão), o que significa que ela aponta na direção certa, mas nem sempre fornece uma resposta única e perfeita.

Os pesquisadores também verificaram se essa impressão digital sobrevive quando o modelo é reduzido para economizar espaço (um processo chamado quantização). Eles descobriram que, mesmo quando o modelo foi comprimido para um tamanho muito pequeno (int4 ou int8), a impressão digital permaneceu forte, com uma pontuação de semelhança de 0,82 a 0,92 em relação ao original. Isso significa que a "voz" não muda muito mesmo quando o modelo é espremido.

Em resumo, o TokenPrint sugere que cada modelo de linguagem deixa um rastro único e persistente de "escolhas de palavras" que revela seu histórico de treinamento. É uma forma leve e sem necessidade de treinamento para rastrear a linhagem de um modelo, ajudando-nos a entender quem fez o quê e de onde vieram os dados, sem precisar espiar o código secreto do modelo. Embora nem sempre possa nomear o pai exato com 100% de certeza, é uma nova lupa poderosa para rastrear as árvores genealógicas da IA.

Resumo Técnico: TokenPrint

Problema
O lançamento rápido de modelos de linguagem de pesos abertos superou a capacidade de auditar sua proveniência. Os mecanismos de governança atuais enfrentam desafios significativos: os model cards frequentemente omitem o checkpoint base específico usado para o ajuste fino (fine-tuning), as divulgações de dados de treinamento são frequentemente incompletas e modelos nominalmente desenvolvidos de forma independente podem compartilhar porções substanciais de seus corpora de treinamento. Os métodos forenses existentes são limitados em escopo: abordagens no espaço de pesos (ex: HuRef, Model Tree Heritage Recovery) exigem acesso aos parâmetros e assumem a herança de parâmetros, enquanto filogenias comportamentais (ex: PhyloLM) frequentemente produzem estruturas não calibradas que revelam agrupamentos, mas carecem de expectativas calibradas para níveis de similaridade decorrentes de bases compartilhadas, sobreposição de dados ou mera convergência de capacidades. Há uma necessidade de um método que possa inferir a linhagem e o histórico de treinamento de um modelo sem exigir acesso aos seus pesos, aplicável mesmo quando os modelos não compartilham parâmetros.

Metodologia
Os autores introduzem o TokenPrint, uma impressão digital (fingerprint) livre de treinamento baseada nas projeções do vocabulário top- $k$ de estados ocultos tardios eliciados por um conjunto fixo de 250 sondas de conhecimento (knowledge probes).

Extração da Impressão Digital: Para um modelo de linguagem causal com $L$ camadas, o método utiliza 250 prompts fixos (sondas) sem templates de chat. Ele registra o estado oculto $h_\ell(p)$ em profundidades específicas ( $\ell \in \{L/4, L/2, 3L/4, L-2\}$ ) e projeta-os através da matriz de unembedding $W_U$ para obter os logits. Os 100 tokens superiores são decodificados em strings, filtrados para tokens de "falha" (glitch tokens) (com base nas normas de unembedding) e limpos de espaços em branco. A impressão digital é o mapeamento de cada sonda para sua lista ranqueada de strings de tokens decodificados.
Métrica de Similaridade: A similaridade entre dois modelos $a$ e $b$ na profundidade $\ell$ é definida como a média da sobreposição de Jaccard dos conjuntos de strings decodificadas top- $k$ de ambos através de todas as sondas:
$S_\ell(a, b) = \frac{1}{|P|} \sum_{p \in P} \frac{|F_{a,\ell}(p) \cap F_{b,\ell}(p)|}{|F_{a,\ell}(p) \cup F_{b,\ell}(p)|}$
As profundidades internas são correspondidas por posição fracionária para acomodar modelos de diferentes tamanhos.
Calibração e Estimativa de Nulo: Para considerar as estruturas lexicais compartilhadas e os efeitos do tokenizador independentes do conteúdo da sonda, os autores estimam um "nulo de sonda desalinhada" ( $\tilde{S}$ ) específico para o par. Este é calculado pareando a resposta do modelo $a$ à sonda $i$ com a resposta do modelo $b$ a uma sonda diferente $j \neq i$ . A métrica final é a similaridade excedente ( $S - \tilde{S}$ ), que isola o sinal travado ao conteúdo da sonda.
Pool de Avaliação: O método é avaliado em um pool de calibração de 32 modelos de pesos abertos (0,6B–32B parâmetros) de nove famílias de desenvolvedores, incluindo relações documentadas como modelos Pythia (dados idênticos, sem pesos compartilhados), destilações DeepSeek-R1 (compartilhando checkpoints base) e gerações sucessivas. Um "pool de testemunhas" externo inclui modelos treinados no mesmo corpus (The Pile) por diferentes organizações com diferentes tokenizadores e arquiteturas.

Principais Resultados

Escada de Similaridade Calibrada: A similaridade da impressão digital segue amplamente a relação documentada entre os modelos.
- Dados Idênticos (Sem Pesos Compartilhados): Modelos Pythia treinados nos mesmos dados e na mesma ordem mostram a maior similaridade excedente (0,35).
- Ajustes Finos com Base Compartilhada: Modelos que herdam um checkpoint base mostram alta similaridade (0,33).
- Mesmo Desenvolvedor/Linhagem: Modelos do mesmo desenvolvedor ou grupo de linhagem mostram similaridade intermediária (0,25–0,28).
- Modelos Não Relacionados: Modelos sem relação documentada mostram a menor similaridade (0,17).
- Este sinal persiste através de diferentes organizações, famílias de tokenizadores (ex: Cerebras-GPT vs. Pythia) e classes de arquitetura (ex: RWKV vs. Transformers).
Emergência Precoce: O sinal de similaridade emerge dentro do primeiro 1% do treinamento (ex: no passo 1000 para modelos Pythia), bem antes que a competência factual mensurável (acurácia da sonda) seja alcançada. Isso sugere que o sinal provém de distribuições de dados de treinamento compartilhadas, e não apenas da convergência de capacidades de tarefas.
Recuperação de Linhagem: Como um método de recuperação de vizinho mais próximo, o TokenPrint consegue ranquear o checkpoint base documentado exatamente dentro dos dois primeiros candidatos para todas as cinco destilações DeepSeek-R1 (Rank Médio 1,8, MRR 0,60). Notavelmente, ele identifica bases especializadas (ex: uma base especializada em matemática) que metadados grosseiros (linhagem de tokenizador e contagem de parâmetros) não conseguem distinguir. No entanto, o método frequentemente identifica um "vizinhança de linhagem" em vez de um pai único, pois alternativas estreitamente relacionadas (ex: variantes Instruct com a mesma base) frequentemente ranqueiam alto.
Profundidade e Robustez:
- Profundidade: A força de discriminação aumenta em direção à distribuição de saída, com o AUC subindo de 0,72 na quarta parte da profundidade para 0,90 na saída final. Usando apenas os 5 tokens de saída superiores, retém-se um AUC de 0,87.
- Quantização: A impressão digital permanece estável sob quantização, mostrando similaridade de Jaccard de 0,92 sob int8 e 0,82–0,85 sob int4 em comparação com a linha de base bf16.
- Controle de Capacidade: A análise de regressão confirma que a estrutura de grupo de linhagem observada persiste mesmo após controlar lacunas de capacidade e escala de parâmetros.

Significância e Alegações
O artigo posiciona o TokenPrint como uma ferramenta prática para recuperação de linhagem e análise de proveniência de modelos que opera sem acesso aos pesos. Sua principal significância reside em:

Operação Livre de Treinamento: Requer apenas passagens de ida (forward passes), tornando-o aplicável a modelos de caixa-preta ou de acesso restrito onde métodos de espaço de pesos falham.
Interpretação Calibrada: Ao estabelecer uma "escada de similaridade" contra relações documentadas, o método vai além do agrupamento não calibrado para fornecer faixas de referência para o que níveis de similaridade implicam tipos específicos de relações (ex: dados compartilhados vs. base compartilhada).
Sinal Baseado em Dados: A persistência do sinal através de organizações e arquiteturas independentes, e sua emergência antes da convergência de capacidade, sugere que as impressões digitais no espaço de tokens capturam artefatos estruturais persistentes das distribuições de dados de treinamento.

Limitações e Escopo
Os autores declaram explicitamente que o método não identifica o mecanismo de uma relação (ex: distinguir herança de peso de sobreposição de corpora) baseado em um único escore de par sozinho. Em vez disso, fornece uma estrutura de similaridade global para estreitar conjuntos de candidatos e gerar hipóteses para análises posteriores direcionadas. O método é mais adequado para identificar quais relações de modelos merecem investigação mais profunda, em vez de servir como prova jurídica isolada de um histórico de treinamento específico. Os autores também observam que comparações de diferentes tokenizadores podem subestimar a similaridade devido à segmentação diferente de strings semanticamente equivalentes.

Mais como este