💬 NLP

Reading Between the Lines: Towards Reliable Black-box LLM Fingerprinting via Zeroth-order Gradient Estimation

Este artigo apresenta o ZeroPrint, um novo método de fingerprinting de LLM de caixa preta que utiliza a estimativa de gradiente de ordem zero por meio de substituições de palavras que preservam o sentido para extrair assinaturas de modelo mais informativas e robustas do que as técnicas baseadas em saída existentes.

Autores originais: Shuo Shao, Yiming Li, Hongwei Yao, Yifei Chen, Yuchen Yang, Zhan Qin

Publicado 2026-01-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shuo Shao, Yiming Li, Hongwei Yao, Yifei Chen, Yuchen Yang, Zhan Qin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: Roubando Gigantes Digitais

Imagine os Modelos de Linguagem de Grande Escala (LLMs) como bibliotecas massivas e personalizadas. Construir uma custa milhões de dólares e leva anos de trabalho. Como elas são tão valiosas, atores mal-intencionados podem tentar roubá-las. Eles podem pegar uma biblioteca, copiá-la e vendê-la como se fosse sua sem pagar ao construtor original.

Para impedir isso, precisamos de uma maneira de provar: "Esta biblioteca pertence a mim". Isso é chamado de impressão digital (fingerprinting).

O Jeito Antigo vs. A Nova Ideia

Existem duas maneiras de verificar se uma biblioteca é uma cópia:

O Método "White-Box" (O Especialista Interno): Você pode entrar na biblioteca e observar as plantas, o arranjo exato dos livros e a tinta específica usada nas páginas. É fácil provar a propriedade, mas, no mundo real, os donos das bibliotecas raramente deixam estranhos entrarem.
O Método "Black-Box" (O Observador Externo): Você só pode fazer perguntas à biblioteca a partir de fora e ler as respostas que elas lhe dão. Você não pode ver o interior.
- O Problema: Os métodos existentes de "black-box" são como tentar identificar uma pessoa apenas ouvindo sua voz. Se ela sussurrar ou mudar o tom, é difícil saber quem ela é. A "voz" (a saída do modelo) perde muitos detalhes sobre o "cérebro" (os parâmetros internos do modelo) devido aos complexos filtros que o modelo usa para falar.

O Momento "Aha!": Ouvindo a Mudança, Não Apenas a Resposta

Os autores deste artigo fizeram uma pergunta inteligente: "Existe algo mais que possamos observar de fora que nos diga mais sobre o cérebro do que a voz diz?"

Eles usaram um conceito matemático chamado Teoria da Informação de Fisher para provar um fato surpreendente:

A Saída (A Resposta): Se você perguntar a um modelo "Quanto é 2+2?" e ele disser "4", essa resposta é muito genérica. Ela não diz muito sobre como o modelo pensa.
O Gradiente (A Reação): Se você perguntar "Quanto é 2+2?" e depois ajustar levemente a pergunta para "Quanto é 2+2,001?", como a resposta muda?

A Analogia: Imagine que você está tentando identificar um tipo específico de elástico.

Olhando para o elástico estático (Saída): Você vê que ele é vermelho e tem 12 centímetros de comprimento. Muitos elásticos parecem assim.
Puxando o elástico (Gradiente): Você o puxa levemente. Ele estica facilmente? Ele volta ao lugar instantaneamente? Ele parece rígido? A maneira como ele reage ao puxão é única para aquele elástico específico, mesmo que dois elásticos pareçam idênticos quando estão parados.

O artigo prova matematicamente que observar como o modelo reage a pequenas mudanças (o gradiente) revela muito mais sobre seu "cérebro" único do que apenas ouvir sua resposta final.

A Solução: ZeroPrint

O desafio é que, em um cenário de "Black-Box", você não pode realmente ver a matemática dentro do modelo para calcular essas reações. Você só pode ver texto.

ZeroPrint é um truque inteligente para contornar isso. Veja como funciona, passo a passo:

O Truque da "Troca de Palavras": Como você não pode adicionar "ruído" matemático minúsculo a uma frase (você não pode adicionar 0,001 a uma palavra), o ZeroPrint usa a substituição semântica de palavras.
- Exemplo: Em vez de perguntar "Um pássaro pode voar?", ele pergunta "Um pássaro pode planar?" ou "Um pássaro pode voar?".
- Estas são mudanças minúsculas que preservam o sentido. Para um humano, são a mesma coisa. Para a matemática interna do modelo, são entradas ligeiramente diferentes.
O Cálculo de "Sombra":
- O sistema faz a pergunta original e as perguntas com as "palavras trocadas".
- Ele registra as respostas.
  imite
- Em seguida, utiliza uma técnica matemática chamada Estimativa de Ordem Zero (Zeroth-order Estimation). Pense nisso como um detetive que não consegue ver as impressões digitais do suspeito, mas consegue descobrir o padrão de suas pegadas observando como a lama se desloca quando ele dá um passo.
- Ao comparar as pequenas diferenças na entrada (as trocas de palavras) com as pequenas diferenças na saída, o ZeroPrint constrói uma Matriz Jacobiana.
A Impressão Digital: Esta Matriz Jacobiana é a "assinatura de reação" única do modelo. É como um teste de DNA digital que prova: "Este modelo reage às trocas de palavras exatamente da mesma forma que o modelo original que eu possuo".

Os Resultados: Um Novo Padrão de Ouro

Os autores testaram o ZeroPrint contra outros métodos usando um benchmark padrão (LeaFBench).

Desempenho: O ZeroPrint foi o melhor método de "Black-Box" testado. Foi significativamente melhor em detectar cópias do que os métodos anteriores que apenas comparavam as respostas.
Robustez: Mesmo que o ladrão tente disfarçar o modelo alterando os comandos do sistema (prompts) ou adicionando ruído às respostas, o ZeroPrint ainda consegue reconhecer a "assinatura de reação" original.
Velocidade: É rápido o suficiente para ser prático para uso real, levando apenas alguns minutos para verificar um modelo.

Resumo

Em resumo, o ZeroPrint resolve o problema do roubo de modelos de IA ao perceber que como um modelo muda de ideia é mais único do que o que ele diz. Ao usar trocas de palavras inteligentes para "cutucar" o modelo pelo lado de fora e medir como ele reage, o ZeroPrint cria uma impressão digital confiável que prova a propriedade sem nunca precisar ver o código secreto do modelo.

Resumo Técnico: Lendo nas Entrelinhas: Rumo à Identificação Confiável de LLMs Black-box via Estimativa de Gradiente de Ordem Zero

Declaração do Problema

O desenvolvimento de Grandes Modelos de Linguagem (LLMs) requer um investimento substancial, tornando-os valiosos ativos de propriedade intelectual. No entanto, o risco de violação de direitos autorais através de cópia não autorizada ou roubo de modelos é significativo. Embora a identificação de LLM (fingerprinting) tenha surgido como uma técnica para verificar a origem de um modelo ao extrair assinaturas únicas, existe uma lacuna crítica de desempenho entre os métodos white-box e black-box.

Métodos white-box (acesso aos parâmetros internos) alcançam um desempenho de auditoria quase perfeito porque os pesos estáticos servem como identificadores únicos.
Métodos black-box (acesso apenas via API) dependem da comparação das saídas do modelo. Os autores argumentam que esses métodos são ineficazes porque o uso extensivo de funções de ativação não lineares (ex: GELU, SiLU) nas arquiteturas de LLM comprime progressivamente a informação dos parâmetros, levando a uma perda significativa de informação na saída final.

A questão central de pesquisa é: Existe uma característica acessível sob condições black-box que preserva mais informação sobre os parâmetros do modelo do que a própria saída?

Metodologia: ZeroPrint

A solução proposta, ZeroPrint, é um novo framework de identificação black-box que aproxima o gradiente do modelo (especificamente a matriz Jacobiana) como uma impressão digital, em vez de depender de saídas brutas. A metodologia é fundamentada na Teoria da Informação de Fisher e implementada via estimativa de gradiente de ordem zero.

1. Fundamentação Teórica

Os autores analisam formalmente o conteúdo de informação das saídas do modelo ( $Y$ ) versus o gradiente da saída em relação à entrada ($D = dY/dX$).

O Gargalo da Não Linearidade: Em uma unidade neural padrão $Y = f(WX + K)$, observar $Y$ exige passar o parâmetro $W$ por uma função não linear $f$ , o que pode comprimir a informação de forma irreversível.
A Vantagem do Gradiente: Observar o gradiente $D = Wf'(WX+K)$ permite que o parâmetro $W$ seja observado de forma mais direta (escalonado pela derivada).
Teorema 1: Utilizando a Informação de Fisher, os autores provam que, para funções não lineares, a Informação de Fisher do gradiente $D$ em relação aos parâmetros $W$ é estritamente maior do que a da saída $Y$ . Isso estabelece o gradiente como um recurso teoricamente superior para a identificação.

2. Framework ZeroPrint

Como os gradientes não são diretamente acessíveis em um cenário black-box, o ZeroPrint aproxima esses gradientes usando estimativa de ordem zero adaptada para texto discreto. O processo envolve três etapas:

Etapa 1: Construção do Conjunto de Consultas (Queries)
- Consultas Base: O sistema seleciona $n$ consultas base projetadas para estabilidade. Os autores utilizam uma tarefa de completamento de código (ex: "Complete o seguinte código: [trecho]") porque a estrutura do código elicia respostas mais consistentes entre diversos modelos em comparação com textos abertos ou tarefas de QA.
- Consultas Perturbadas: Para cada consulta base, $m$ variações semanticamente similares são geradas usando substituição de palavras. Um modelo de embedding de palavras pré-treinado (ex: GloVe) identifica palavras semanticamente similares para substituir tokens específicos na consulta base, criando entradas "perturbadas" que preservam o significado, mas alteram levemente o vetor de entrada.
Etapa 2: Geração da Impressão Digital (Estimativa de Ordem Zero)
- As consultas base e suas contrapartes perturbadas são enviadas ao LLM alvo. Para mitigar a estocasticidade da saída, cada consulta é repetida $t$ vezes, e as respostas de texto resultantes são calculadas pela média.
- Embedding: Todas as entradas e saídas médias são convertidas em vetores contínuos usando um modelo de embedding de sentença (ex: all-mpnet-base-v2).
- Estimativa da Jacobiana: O sistema calcula os vetores de diferença entre as entradas perturbadas e as bases ( $\Delta x$ ) e seus respectivos embeddings de saída ( $\Delta y$ ).
- Regressão: Uma matriz Jacobiana local $J$ é estimada para cada consulta base resolvendo um problema de regressão linear ( $\Delta y \approx J \Delta x$ ) usando Regressão Ridge para lidar com sistemas subdeterminados. A impressão digital final é a média elemento a elemento dessas matrizes Jacobianas em todas as consultas base.
Etapa 3: Comparação da Impressão Digital
- A similaridade entre a impressão digital do modelo de origem ( $J_o$ ) e a do modelo suspeito ( $J_s$ ) é calculada usando o coeficiente de correlação de Pearson. Uma alta pontuação de similaridade indica que o modelo suspeito é provavelmente um derivado do original.

Principais Contribuições

Insight Teórico: O artigo fornece uma prova formal baseada na Teoria da Informação de Fisher demonstrando que os gradientes do modelo contêm mais informação sobre os parâmetros do modelo do que as saídas do modelo, desafiando a dependência de recursos baseados apenas na saída em identificação black-box.
Algoritmo ZeroPrint: Os autores introduzem um método para estimar esses gradientes ricos em informação em um domínio de texto discreto. Isso é alcançado simulando perturbações contínuas via substituições de palavras que preservam o sentido e aplicando princípios de otimização de ordem zero.
Validação Empírica: Experimentos extensos no LeaFBench (um benchmark com 149 instâncias de modelos) demonstram que o ZeroPrint atinge o estado da arte (SOTA) em termos de desempenho entre os métodos black-box, superando significativamente as abordagens não direcionadas e direcionadas existentes.

Resultados Experimentais

Avaliado no benchmark LeaFBench com um limite estrito de 200 consultas por modelo:

Desempenho: O ZeroPrint alcançou um AUC de 0,720 e um pAUC de 0,683, superando as linhas de base black-box existentes (ex: LLMmap, MET, SEF, TRAP).
Comparação com White-box: Embora o ZeroPrint supere todas as linhas de base black-box, ele permanece abaixo do desempenho do método white-box REEF (AUC 0,896), que possui acesso direto aos internos do modelo.
Estudos de Ablação:
- Consultas Perturbadas ( $m$ ): O desempenho melhora significativamente conforme o número de consultas perturbadas aumenta, atingindo o pico em $m=14$ .
- Repetições ( $t$ ): Aumentar o número de repetições por consulta estabiliza o embedding da saída, com o desempenho estabilizando em torno de $t=20$ .
- Tipo de Consulta: Consultas de completamento de código (HumanEval) renderam resultados superiores em comparação com conjuntos de dados de QA ou completamento de texto geral, atribuído à natureza estruturada do código que elicia um comportamento mais uniforme do modelo.
- Dimensão do Embedding: Existe um compromisso (trade-off); dimensões maiores capturam mais semântica, mas exigem mais consultas para estimar a matriz Jacobiana maior com precisão.
Robustez: O ZeroPrint demonstrou resiliência contra Ataques de Parafraseamento de Entrada (usando LLMs menores para reescrever consultas) e Ataques de Perturbação de Saída (adicionando ruído Gaussiano), mantendo altas pontuações de similaridade.
Eficiência: O método requer aproximadamente 425 segundos por modelo, o que é computacionalmente prático e mais rápido do que várias linhas de base black-box como MET e SEF.

Significância e Alegações

O artigo afirma que o ZeroPrint representa um passo significativo em direção a mecanismos confiáveis e seguros para auditoria de direitos autorais de LLM. Ao mudar o foco das saídas do modelo para os gradientes estimados, o método supera a perda de informação inerente às arquiteturas não lineares de LLM. Os autores posicionam o ZeroPrint como uma solução prática e não invasiva que não requer ajuste fino (fine-tuning) do modelo e pode ser aplicada a modelos já implantados, abordando uma lacuna crítica na proteção da propriedade intelectual no ecossistema de IA. O trabalho sugere que os recursos baseados em gradiente são a chave para reduzir a lacuna de desempenho entre a identificação white-box e black-box.