💬 NLP

Intrinsic Fingerprint of LLMs: Continue Training is NOT All You Need to Steal A Model!

Este artigo propõe um método de impressão digital (fingerprinting) baseado na distribuição de desvio padrão das matrizes de atenção dos modelos, demonstrando que essas características intrínsecas permanecem estáveis mesmo após o treinamento contínuo e podem ser usadas para identificar plágio e violações de direitos autorais entre LLMs.

Autores originais: Do-hyeon Yoon, Minsoo Chun, Thomas Allen, Hans Müller, Min Wang, Rajesh Sharma

Publicado 2026-04-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Do-hyeon Yoon, Minsoo Chun, Thomas Allen, Hans Müller, Min Wang, Rajesh Sharma

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

🕵️‍♂️ O "DNA Digital": Como descobrir se um modelo de IA é um "plágio" disfarçado

Imagine que você é um chef de cozinha famoso e passa anos desenvolvendo uma receita secreta de molho de tomate. É um processo lento, caro e cheio de testes. De repente, surge um novo restaurante na cidade com um molho que parece idêntico ao seu. Eles dizem: "Não, nós criamos nossa própria receita do zero!".

Como você prova que eles apenas pegaram a sua receita, mudaram o nome e deram uma "refrescada" nela? Você não pode olhar apenas o sabor (o que a IA responde), porque eles podem ter mudado o tempero. Você precisa olhar para a estrutura molecular dos ingredientes.

É exatamente isso que este artigo científico faz com a Inteligência Artificial.

1. O Problema: O "Ladrão de Receitas" de IA

Criar modelos de IA gigantes (como o ChatGPT ou o Qwen) custa milhões de dólares e exige computadores superpotentes. Por causa disso, algumas empresas tentam um "atalho": elas pegam um modelo que já existe, fazem um treinamento rápido para mudar um pouco o comportamento dele e dizem ao mundo: "Olha só, nós inventamos isso aqui!".

Até agora, era difícil provar isso. Se você tentasse colocar uma "marca d'água" (como um selo de autenticidade) na resposta da IA, o "ladrão" simplesmente treinava a IA um pouco mais e o selo sumia.

2. A Descoberta: A "Impressão Digital" Escondida

Os pesquisadores descobriram que, mesmo que você tente mudar o comportamento da IA, existe algo dentro dela que é quase impossível de apagar: a distribuição estatística dos seus parâmetros.

A Analogia da Digital:
Pense na IA como um ser humano. Você pode mudar o corte de cabelo, a roupa ou até o sotaque de uma pessoa (isso seria o "treinamento contínuo"). Mas, por mais que a pessoa mude o visual, as impressões digitais e o DNA continuam os mesmos.

Os pesquisadores não olham para o que a IA diz, mas para como os números estão organizados dentro das engrenagens dela (os chamados "parâmetros de atenção"). Eles descobriram que esses números seguem um padrão matemático único, como uma assinatura invisível que sobrevive a qualquer tentativa de disfarce.

3. O Caso Real: O "Flagra" da Huawei

Para testar se o método funcionava, os pesquisadores fizeram um teste de detetive real. Eles compararam um modelo da empresa Huawei (chamado Pangu Pro MoE) com um modelo de código aberto muito famoso chamado Qwen-2.5.

A Huawei afirmou que tinha treinado o seu modelo do zero com uma quantidade gigantesca de dados. Mas, quando os pesquisadores aplicaram o seu método de "DNA Digital", o resultado foi chocante: as impressões digitais eram quase idênticas.

A correlação (o nível de semelhança) foi tão alta que é matematicamente quase impossível que dois modelos diferentes tenham criado o mesmo padrão de números por coincidência. O veredito dos pesquisadores? O modelo da Huawei provavelmente foi "reciclado" (técnica chamada de upcycling) a partir do modelo Qwen, em vez de ter sido criado do zero como foi anunciado.

4. Por que isso é importante para você?

Isso não é apenas uma briga entre empresas. É sobre honestidade e justiça:

Proteção de Invenções: Garante que quem investiu bilhões de dólares criando algo novo não seja roubado por quem quer apenas "copiar e colar".
Transparência: Ajuda a comunidade científica a saber quem realmente está inovando e quem está apenas fingindo.
Regras do Jogo: Cria um padrão de "identidade" para que a corrida pela IA seja justa e baseada em mérito real.

Em resumo: O artigo criou um "teste de paternidade" para IAs, provando que, por mais que você tente mudar a "cara" de um modelo, o seu DNA matemático sempre vai contar a verdade.

Resumo Técnico: Impressão Digital Intrínseca de LLMs

Título Original: Intrinsic Fingerprint of LLMs: Continue Training is NOT All You Need to Steal A Model!
Autores: Do-hyeon Yoon, Minsoo Chun, Thomas Allen, Hans Müller, Min Wang, e Rajesh Sharma (Honest AGI Community).

1. O Problema

Com o aumento exponencial dos custos de treinamento de Grandes Modelos de Linguagem (LLMs), a proteção da propriedade intelectual (PI) tornou-se um desafio crítico. Atualmente, existem duas abordagens principais de proteção, ambas com falhas:

Watermarking (Marcas d'água): Inseridas na saída do modelo (probabilidades de tokens). São vulneráveis a ajustes finos (fine-tuning) e ataques de paráfrase, que podem apagar o sinal estatístico.
Fingerprinting (Impressão digital) tradicional: Tenta identificar o modelo através de comportamentos ou "backdoors". No entanto, essas técnicas costumam falhar quando o modelo passa por modificações arquiteturais ou treinamento contínuo.

O problema central é a necessidade de um método de autenticação que seja intrínseco ao modelo, tornando-o resistente a tentativas deliberadas de ocultar a origem do modelo através de treinamento adicional ou técnicas de upcycling (transformar modelos densos em MoE - Mixture of Experts).

2. Metodologia

Os autores propõem uma técnica de impressão digital baseada em propriedades estatísticas inerentes aos parâmetros do modelo, especificamente nas matrizes de projeção do mecanismo de atenção.

O processo consiste em:

Extração de Parâmetros: Para cada camada $l$ do Transformer, extraem-se as matrizes de projeção de Query ( $Q$ ), Key ( $K$ ), Value ( $V$ ) e Output ( $O$ ).
Cálculo de Desvio Padrão: Calcula-se o desvio padrão ( $\sigma$ ) de todos os elementos de cada matriz de atenção por camada. Isso gera quatro sequências de valores ao longo das camadas do modelo.
Normalização: Para permitir a comparação entre modelos de diferentes escalas e arquiteturas, as sequências são normalizadas para terem média zero e variância unitária. Isso preserva o "padrão" de distribuição entre as camadas, independentemente da escala dos pesos.
Detecção de Linhagem (Correlação): A similaridade entre dois modelos é medida através do coeficiente de correlação de Pearson ( $\rho$ $ρ$ ) entre suas sequências normalizadas.
- Nota: Para modelos com números de camadas diferentes, utiliza-se interpolação linear para alinhar as sequências antes do cálculo da correlação.

3. Principais Contribuições

Nova Técnica de Fingerprinting Intrínseco: Diferente de métodos externos, esta técnica utiliza a "assinatura" natural da dinâmica de treinamento e arquitetura do modelo.
Resiliência a Modificações: O método provou ser robusto mesmo contra fine-tuning extensivo, mudanças de arquitetura (de modelos densos para MoE) e treinamento em trilhões de tokens.
Ferramenta de Auditoria de PI: Fornece um método matemático para verificar se um modelo foi desenvolvido do zero ou se é um derivado não autorizado de outro.

4. Resultados e Descobertas

Os experimentos foram realizados em diversas famílias de modelos (Llama, Qwen, OLMoE, etc.).

Validação de Linhagem Conhecida: O método identificou com sucesso modelos que já se sabia serem derivados de outros (ex: Llama-3.1-Nemotron derivado do Llama-3.1; modelos da comunidade derivados do Qwen2.5).
O Caso Pangu Pro MoE (Huawei): A descoberta mais impactante do artigo é a análise do modelo Pangu Pro MoE da Huawei. Os autores demonstraram que este modelo apresenta uma correlação extraordinariamente alta com o Qwen-2.5 14B (média geral de correlação de 0,927 em todas as matrizes de atenção).
- Essa similaridade é tão alta que sugere que o Pangu Pro MoE não foi treinado do zero, mas sim derivado do Qwen-2.5 através de técnicas de upcycling.
- O estudo destaca que, embora a documentação técnica da Huawei alegue um treinamento massivo em 13 trilhões de tokens, a "assinatura" do Qwen permanece quase intacta.
Análise de FFN: A técnica também foi aplicada às redes feed-forward (FFN), confirmando que a similaridade entre Pangu e Qwen persiste mesmo nessas camadas.

5. Significância

O trabalho tem implicações profundas para a indústria de IA:

Integridade Científica: Expõe casos onde a origem de modelos pode ser mascarada por relatórios técnicos que alegam desenvolvimento independente.
Proteção de Investimento: Oferece uma forma de empresas protegerem seus modelos de "plágio de parâmetros", onde concorrentes utilizam modelos de base de alta qualidade para acelerar seus próprios lançamentos sem a devida atribuição ou licenciamento.
Transparência: Incentiva um ecossistema de IA mais justo, onde a inovação real é reconhecida e a derivação de modelos é rastreável.