🤖 machine learning

Reference-Based Distillation Detection in LLMs

Este artigo introduz um método de detecção de destilação baseado em referência que aproveita a inferência de pertinência e a inferência de prompt de proxy para identificar com precisão modelos professores e detectar a destilação em LLMs ao comparar as saídas dos alunos contra checkpoints de linhagem anteriores, mesmo em cenários complexos do mundo real envolvendo pipelines ocultos.

Autores originais: Rajat Rawat, Sizhe Chen, Akshay Anand, Michael Duan, Bob Rotsted, Sewon Min

Publicado 2026-07-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rajat Rawat, Sizhe Chen, Akshay Anand, Michael Duan, Bob Rotsted, Sewon Min

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aluno brilhante que, de repente, começa a gabaritar todos os testes. Você suspeita que ele não estudou tanto assim por conta própria; talvez ele estivesse secretamente copiando as respostas de um "professor" superinteligente. Mas aqui está o detalhe: o aluno é tão bom em imitar o estilo do professor que, se você apenas olhar para a prova final do aluno, é quase impossamente distinguir de qual professor ele copiou. É como tentar adivinhar quem foi o diretor favorito de um ator famoso apenas assistindo ao seu filme mais recente, sem conhecer o trabalho passado dele.

Este é o problema que o pesquisador Rajat Rawat e sua equipe enfrentaram. Eles perguntaram: Podemos pegar um modelo se ele foi "destilado" (treinado) com as respostas de outro modelo?

O Truque do "Antes e Depois"

O artigo argumenta que tentar adivinhar o professor apenas pelo aluno é um beco sem saída. É difícil demais. Em vez disso, os pesquisadores encontraram um contorno inteligente: comparar o aluno com seu próprio "eu bebê".

Pense nisso desta forma: Imagine que você tem uma foto de um adolescente (o modelo "aluno") e uma foto antiga da mesma pessoa quando criança (o modelo de "referência", que é uma versão anterior do mesmo IA). Se o adolescente de repente começar a falar exatamente como uma celebridade específica (o "professor"), mas a versão criança não falava, você consegue notar a diferença!

Os pesquisadores construíram um método que mede o quanto o "adolescente" prefere as respostas de uma celebridade específica em comparação a quanto o "criança" as prefere. Se o adolescente de repente ama o estilo de um professor específico muito mais do que a criança amava, isso é uma prova cabal. É como notar que uma criança que costumava desenhar bonecos de palito de repente começa a pintar no estilo exato de Van Gogh, enquanto sua versão mais jovem nunca o fez.

O Trabalho de Detetive

A equipe testou isso criando seus próprios "alunos falsos" no laboratório. Eles pegaram um modelo base, alimentaram-no com respostas de um professor específico (como DeepSeek-R1, Llama ou GPT-OSS) e observaram para ver se o método deles conseguia identificar o culpado.

O Resultado: Nesses experimentos controlados, o método deles foi incrivelmente preciso, identificando o professor corretamente 100% das vezes em muitos casos.
O Detalhe: Isso só funcionou quando eles tinham aquela "foto de criança" (modelo de referência) para comparar. Sem ela, o método tinha dificuldades.
O Problema do "Prompt Oculto": Às vezes, o professor usa instruções (prompts) secretas que o detetive não conhece. Os pesquisadores descobriram que, se dessem ao detetive alguns exemplos do próprio estilo de escrita do aluno para "aquecer" (uma estratégia de prompting de poucos disparos ou few-shot), o método ainda conseguia descobrir o professor mesmo com essas instruções ocultas.

Uma Assinatura de "Glifo" Secreta

Os pesquisadores também descobriram uma pista estranha e específica para modelos treinados em o1 ou o3 (modelos de raciocínio da OpenAI). Esses modelos adoram usar caracteres especiais e não padronizados (como símbolos estranhos) em seus rastros de pensamento.

Quando um modelo aluno é destilado desses modelos, ele herda um "fantasma" desse hábito. Os pesquisadores descobriram que, se forçarem o aluno a escrever em texto puro (ASCII) versus seu texto natural (Unicode), o modelo "destilado" fica confuso e comete mais erros em texto puro. É como uma pessoa que aprendeu a falar com um sotaque específico; se você a força a falar sem esse sotaque, ela tropeça. Esse hiato "Unicode vs. ASCII" foi um sinal forte de que o modelo havia sido treinado em dados de o1/o3, mesmo que o professor não estivesse na lista de suspeitos.

E Quanto aos Modelos do Mundo Real?

A equipe não parou apenas em seus experimentos de laboratório. Eles aplicaram suas habilidades de detetive a modelos reais e públicos como QwQ-32B, DeepSeek-R1 e GPT-OSS.

QwQ-32B: O método deles sugeriu que este modelo pode ter sido treinado com saídas do DeepSeek-R1 após o lançamento de uma versão anterior específica do QwQ. O "adolescente" amava as respostas do DeepSeek muito mais do que seu "eu criança" amava.
DeepSeek-R1: O método sugeriu que este modelo pode ter sido influenciado pelo o1 ou QwQ-32B-Preview. Além disso, o teste "Unicode vs. ASCII" mostrou um grande hiato, sugerindo fortemente uma influência do estilo o1.
GPT-OSS: Este foi complicado. Como não havia uma boa "foto de criança" (modelo de referência) para comparar, os resultados ficaram nebulosos. O método apontou para o DeepSeek e o QwQ, mas os autores alertam que isso é altamente incerto porque a referência que usaram (GPT-2 XL) era velha demais e muito diferente para ser uma comparação justa.

O Que Eles Descartaram

O artigo é muito claro sobre o que não funciona:

Olhar para o aluno sozinho: Você não consegue dizer com confiabilidade quem foi o professor apenas olhando para o modelo final sem uma referência.
Verificações simples de similaridade: Apenas contar quantas palavras coincidem ou usar pontuações de "verossimilhança" padrão (o quão provável é uma resposta) falhou miseravelmente. Esses métodos ficaram confusos e escolheram os professores errados.
Rastros de raciocínio ocultos: Se um professor esconde seu "processo de pensamento" e mostra apenas a resposta final, o método de detecção falha. Os "rastros de raciocínio" são cruciais para o detetive funcionar.

Quão Certos Eles Estão?

Os autores estão muito confiantes sobre seus resultados de laboratório: eles provaram que seu método funciona com precisão quase perfeita em ambientes controlados. Para os modelos do mundo real, eles sugerem evidências fortes de relações de destilação, mas são cuidadosos ao dizer que estas são explorações preliminares, não vereditos definitivos de tribunal. Eles admitem que modelos do mundo real são bagunçados e podem ter sido treinados em múltiplos professores ou em múltiplas etapas, algo que seu método atual ainda não lida totalmente.

Em resumo, o artigo apresenta uma nova e poderosa lupa para auditoria de IA. Ele diz: "Não olhe apenas para o aluno; olhe para o quanto ele mudou desde que era um bebê e compare essa mudança com os professores de quem você suspeita". É um grande passo em direção à transparência em um mundo onde os modelos de IA são cada vez mais construídos copiando o dever de casa uns dos outros.

Resumo Técnico: Detecção de Destilação Baseada em Referência em LLMs

Declaração do Problema
A destilação de modelos — treinar um modelo aluno a partir de saídas geradas por um modelo professor mais forte — é uma técnica prevalente para transferir capacidades como raciocínio e seguimento de instruções. No entanto, essa prática levanta preocupações significativas relativas a vantagens competitivas injustas, violações de propriedade intelectual e quebras de políticas. Um desafio crítico na auditoria de modelos é determinar se um modelo específico foi destilado de outro. O artigo argumenta que identificar um modelo professor a partir de um aluno isoladamente (detecção absoluta) é altamente desafiador devido à dificuldade de inferência de pertinência em Large Language Models (LLMs) modernos e à opacidade dos pipelines de destilação (ex: prompts desconhecidos, filtragem de dados).

Metodologia
Os autores propõem um framework de detecção de destilação baseada em referência. Em vez de tentar detectar a destilação em um sentido absoluto, o método opera de forma relativa: dado um modelo aluno $S$ e um checkpoint de referência de uma geração anterior da mesma linhagem (ex: um modelo base ou uma versão anterior ajustada por instruções), o sistema determina se $S$ foi treinado utilizando saídas de um candidato professor $T$ .

O mecanismo central envolve likelihoods normalizados por referência:

Inputs de Proxy: O detector constrói um conjunto de inputs de proxy $\hat{X}$ (disjuntos dos dados de treinamento originais) para consultar candidatos professores.
Pontuação de Alinhamento: Para cada candidato professor $T_k$ , o método calcula uma pontuação de alinhamento baseada no quanto o aluno $S$ explica melhor as saídas de $T_k$ em comparação ao $R$ . A pontuação é definida como:
$f(T_k(x_i), S) = -(\ell_S(x_i, y^{(k)}_i) - \ell_R(x_i, y^{(k)}_i))$
onde $\ell_M$ é a média do log-likelihood negativo por token.
Regras de Decisão: O método identifica o professor selecionando o candidato com a maior pontuação média de alinhamento ou selecionando o candidato que vence a maior fração de comparações de ranking entre amostras.
Significância Estatística: Para distinguir sinais genuínos de destilação de ruído, os autores empregam testes estatísticos (testes binomiais exatos para identificação; testes t de uma cauda ou testes de Wilcoxon signed-rank para margens de detecção) e exigem concordância entre dois conjuntos de prompts distintos.
Lidando com Pipelines Desconhecidos: Para abordar prompts ocultos ou estilos de instrução, o método pode inferir templates de prompt de proxy ou usar exemplares de contexto few-shot para alinhar as saídas do professor com o estilo do aluno.
Sinal de Nível de Glifo: O artigo identifica um sinal específico para modelos destilados das séries OpenAI o1/o3: um uso incomumente frequente de caracteres Unicode não-ASCII. Isso é detectado via um gap de perda normalizado pela referência entre as serializações ASCII e Unicode.

Principais Contribuições

Formulação Baseada em Referência: O artigo introduz uma abordagem tratável para a detecção de destilação ao comparar um aluno contra um checkpoint de referência em vez de depender de likelihoods absolutos, que os autores mostram serem pouco confiáveis.
Robustez à Opacidade: O método funciona efetivamente mesmo quando o pipeline de destilação (prompts, fontes de dados) é desconhecido, utilizando prompts de proxy e estratégias de alinhamento few-shot.
Detecção de Nível de Glifo: A identificação de um sinal distintivo de "nível de glifo" (uso de Unicode) específico para a destilação de o1/o3, fornecendo um vetor de detecção complementar.
Framework de Avaliação Híbrido: Os autores desenvolvem uma estratégia de avaliação rigorosa combinando experimentos de destilação controlados (com ground truth conhecido) e análise de modelos do mundo real para abordar o emaranhamento das linhagens de modelos modernos.
Framework Estatístico: A introdução de testes de significância tanto para atribuição de professor quanto para detecção binária de destilação para mitigar falsos positivos.

Resultos
O método foi avaliado através de experimentos controlados e modelos do mundo real:

Experimentos Controlados: Em cenários de destilação de professor único, do tipo SFT, o método baseado em referência alcançou precisão quase perfeita (100% de precisão agregada) na identificação do verdadeiro professor, superando significativamente baselines como raw likelihood, ZLIB-normalized likelihood e métricas de similaridade baseadas em string. O sinal emergiu rapidamente, exigindo apenas algumas dezenas de exemplos de treinamento.
Modelos do Mundo Real: Aplicado a modelos como os destilados do DeepSeek-R1 e s1.1-32B, o método identificou corretamente o DeepSeek-R1 como o professor em 7 de 7 casos.
Atribuição em Mundo Aberto: Em configurações de mundo aberto onde o verdadeiro professor pode não estar no pool de candidatos, o método conseguiu ranquear prováveis professores. Por exemplo, identificou o DeepSeek-R1 como o professor mais provável para o QwQ-32B e sugeriu potencial influência de o1/o3 no DeepSeek-R1 e GPT-OSS via o sinal de Unicode.
Limitações Observadas: O método depende da disponibilidade de um checkpoint de referência adequado (o que foi difícil para o GPT-OSS). Além disso, a precisão caiu significativamente quando os rastros de raciocínio foram ocultados (ex: apenas respostas finais disponíveis), e os limiares de detecção calibrados em professores de raciocínio não generalizaram bem para professores de não-raciocínio.

Significância e Alegações
O artigo afirma estabelecer a viabilidade da auditoria em nível de modelo para destilação em LLMs modernos. Ele postula que, embora a detecção absoluta seja difícil, um cenário baseado em referência permite a identificação de modelos professores com alta confiança. Os autores enquadram este trabalho como um "primeiro passo" para a transparência em pipelines de desenvolvimento de modelos cada vez mais opacos. Eles declaram explicitamente que suas descobertas fornecem evidências empíricas para potenciais relações de destilação envolvendo QwQ, DeepSeek-R1 e GPT-OSS, mas alertam que estas devem ser vistas como explorações preliminares devido às suposições simplificadoras (professor único, SFT de estágio final) e à natureza complexa e emaranhada das linhagens de modelos reais. O trabalho visa motivar pesquisas futuras sobre atribuição sob regimes mais complexos, como destilação de múltiplos professores e múltiplos estágios.