💻 computer science

Towards Distillation-Resistant Large Language Models: An Information-Theoretic Perspective

Este trabalho propõe uma abordagem de defesa contra a extração de conhecimento em modelos de linguagem grandes (LLMs) baseada na minimização da informação mútua condicional (CMI) entre os logits do modelo e as consultas, utilizando uma matriz de transformação que remove informações relevantes para a destilação enquanto preserva a utilidade das respostas.

Autores originais: Hao Fang, Tianyi Zhang, Tianqu Zhuang, Jiawei Kong, Kuofeng Gao, Bin Chen, Leqi Liang, Shu-Tao Xia, Ke Xu

Publicado 2026-04-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Hao Fang, Tianyi Zhang, Tianqu Zhuang, Jiawei Kong, Kuofeng Gao, Bin Chen, Leqi Liang, Shu-Tao Xia, Ke Xu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um chef renomado que criou uma receita secreta incrível (o Modelo de Inteligência Artificial). Você não vende a receita escrita (os pesos do modelo), mas sim vende o prato pronto (a resposta do modelo) através de um balcão de atendimento (a API).

O problema é que, mesmo sem a receita, um espertinho pode pedir o prato, observar cuidadosamente como ele foi feito, e tentar copiar a receita em casa. Isso é chamado de Destilação de Conhecimento. O "aluno" (o modelo ladrão) aprende com as respostas do "professor" (seu modelo proprietário).

Até hoje, os chefs tentaram se defender de duas formas:

Marcas d'água: Colocar um selo invisível no prato para provar depois que ele é seu (mas não impede o roubo).
Mudar o sabor do texto: Tentar escrever a resposta de forma estranha para confundir o aluno, mas isso muitas vezes estraga o prato para o cliente honesto.

O que a falta de proteção era? A maioria das defesas olhava apenas para o texto final (a palavra que o chef escolheu dizer). Mas os ladrões mais inteligentes não olham apenas para a palavra final; eles olham para a lista de probabilidades que o chef tinha na mente antes de escolher. É como se o chef tivesse uma lista de 100 opções de ingredientes, com notas de 1 a 10 de quanto cada um combinava, e o ladrão roubasse essa lista inteira, não apenas o ingrediente escolhido. Isso é a Destilação Baseada em Logits.

A Solução do Papel: O "Filtro de Confusão"

Os autores deste trabalho (da Universidade Tsinghua e do HIT Shenzhen) propuseram uma defesa inteligente baseada em uma ideia matemática chamada Teoria da Informação.

Eles pensaram assim:

"O que o ladrão precisa para copiar minha receita? Ele precisa de informações sobre como eu pensei (o contexto), não apenas o que eu disse (a resposta correta)."

Para medir isso, eles usaram um conceito chamado Informação Mútua Condicional. Em linguagem simples:

O que o ladrão quer: Saber tudo sobre a pergunta (o contexto) olhando para a minha lista de probabilidades.
O que nós queremos: Que a minha lista de probabilidades diga apenas "A resposta é X" e esconda tudo o resto.

Como funciona a defesa? (A Analogia do Espelho Distorcido)

Imagine que o modelo de IA é um espelho que reflete a pergunta e dá a resposta.

O Ataque: O ladrão olha no espelho e vê a imagem perfeita da pergunta e da resposta, aprendendo tudo.
A Defesa: Os autores criaram uma Matriz de Transformação (um filtro especial) que é colocado depois do espelho, mas antes de entregar a resposta ao ladrão.

Esse filtro faz duas coisas ao mesmo tempo:

Mantém a resposta correta: Se você perguntar "2+2?", o filtro garante que a resposta final continue sendo "4". O cliente honesto não percebe diferença.
Distorce o "pensamento": O filtro altera a lista de probabilidades (os "logits") de forma que ela pareça confusa para quem tenta copiar. É como se o espelho mostrasse a resposta correta, mas o caminho mental para chegar lá fosse embaralhado.

A "Receita" Matemática (Simplificada)

Para criar esse filtro, eles usaram duas regras de treinamento:

Regra da Precisão: "Não mude a resposta final!" (Isso garante que o modelo continue útil).
Regra da Confusão: "Mude a lista de opções de forma que o aluno não consiga aprender com ela." Eles fazem isso olhando para como o "aluno" tenta aprender. Se o aluno tenta ajustar seus "cérebros" (gradientes) baseados na sua lista, o filtro muda a lista para que o aluno se confunda e aprenda errado.

O Resultado

Os testes mostraram que:

O Modelo Original (Chef) continua cozinhando pratos deliciosos e respondendo perguntas corretamente.
O Ladrão (Aluno) tenta copiar a receita, mas acaba aprendendo uma versão ruim e confusa. A qualidade do modelo roubado cai drasticamente.
Funciona em vários modelos grandes (como Llama e Qwen) e em várias tarefas (matemática, raciocínio, perguntas de múltipla escolha).

Resumo Final

Pense nisso como um truque de mágica. O mágico (o modelo) faz o truque perfeitamente para a plateia (o cliente). Mas, se alguém tentar filmar o truque para aprender como é feito, a câmera (o filtro de defesa) distorce a imagem de tal forma que, ao assistir a gravação, a pessoa não consegue entender o segredo, mesmo vendo o resultado final.

O grande mérito deste trabalho é que ele foi o primeiro a proteger especificamente contra o roubo das "mentes" (logits) dos modelos, e não apenas das "bocas" (texto), usando uma abordagem matemática elegante que preserva a utilidade do modelo enquanto protege seu segredo industrial.

Título: Rumo a Grandes Modelos de Linguagem (LLMs) Resistentes à Distilação: Uma Perspectiva Teórica da Informação

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) proprietários representam um ativo intelectual e econômico valioso. Para protegê-los, os provedores comerciais geralmente expõem esses modelos apenas através de APIs (caixas-pretas). No entanto, adversários podem explorar as saídas desses modelos para realizar Distilação de Conhecimento (Knowledge Distillation - KD), copiando as capacidades do modelo "professor" para um modelo "estudante" menor e mais barato, sem acesso aos pesos ou arquitetura originais.

Existem dois tipos principais de distilação:

Baseada em Texto (Sequence-level): O estudante aprende apenas com os tokens gerados (rótulos duros).
Baseada em Logits (Logit-based): O estudante acessa as distribuições de probabilidade completas (logits) do professor. Esta modalidade é mais perigosa, pois os logits contêm informações contextuais ricas além do rótulo final, permitindo uma transferência de conhecimento muito mais eficiente.

A Lacuna: Defesas anteriores focaram quase exclusivamente na distilação baseada em texto (usando marcação d'água ou perturbação de tokens). A defesa contra a distilação baseada em logits permaneceu amplamente inexplorada e é mais desafiadora, pois os logits revelam a distribuição completa de probabilidade.

2. Metodologia

Os autores abordam o problema sob uma perspectiva teórica da informação, propondo uma estratégia de pós-processamento que purifica as saídas do modelo professor antes de serem enviadas ao estudante.

Conceito Central: Informação Mútua Condicional (CMI)
O trabalho define a informação relevante para a distilação nos logits do professor ( $Z$ ) como a Informação Mútua Condicional (CMI) entre os logits e a entrada ( $X$ ), condicionada ao rótulo verdadeiro ( $Y$ ):
$I(X; Z | Y)$

Interpretação: Esta métrica quantifica quanto contexto adicional sobre a entrada $X$ está codificado nos logits $Z$ , além do que é estritamente necessário para prever o rótulo $Y$ .
Objetivo de Defesa: Minimizar $I(X; Z | Y)$ . Ao fazer isso, o modelo remove a informação contextual que os adversários exploram para distilar o modelo, mantendo apenas a informação necessária para a tarefa (o rótulo correto).

Estratégia de Implementação: Matriz de Transformação
Para minimizar a CMI sem re-treinar o modelo professor (que é custoso), os autores propõem aprender uma matriz de transformação $M$ leve que é aplicada aos logits de saída ( $Z' = M \cdot Z$ ).

Função de Perda e Otimização (Princípio do Gargalo de Informação)
A minimização da CMI é decomposta em duas sub-tarefas complementares, guiadas pelo Princípio do Gargalo de Informação (Information Bottleneck - IB):

Maximizar a dependência entre Logits e Rótulo ( $I(Z; Y)$ ): Garantir que o modelo continue a prever corretamente. Isso é feito minimizando a Perda de Entropia Cruzada (LCE) entre os logits transformados e o rótulo verdadeiro.
Minimizar a dependência entre Entrada e Logits ( $I(X; Z)$ ): Remover a informação contextual da entrada que não é necessária para o rótulo. Como calcular $I(X; Z)$ $I (X; Z)$ diretamente é intratável para LLMs, os autores propõem uma solução engenhosa:
- Eles utilizam um modelo estudante substituto (surrogate) para simular o processo de distilação.
- Calculam os gradientes ( $g$ ) gerados pelos logits originais e os gradientes ( $g'$ ) gerados pelos logits transformados.
- O objetivo é maximizar o desvio angular (minimizar a similaridade de cosseno) entre $g$ e $g'$ . Se os gradientes forem desviados, o estudante não consegue aprender corretamente a partir dos logits transformados.

Função de Perda Total:
$L_M = L_{CE} + \lambda \cdot L_{grad}$
Onde $L_{CE}$ preserva a utilidade do modelo e $L_{grad}$ (baseada na similaridade de cosseno entre gradientes) maximiza a resistência à distilação.

3. Contribuições Chave

Primeira Defesa contra KD Baseada em Logits: Os autores são os primeiros a propor uma defesa específica e eficaz contra a distilação baseada em logits, que é mais poderosa que a baseada em texto.
Abordagem Teórica da Informação: Introduzem a CMI como uma medida fundamental para quantificar e defender contra o vazamento de conhecimento em LLMs.
Mecanismo de Pós-Processamento Leve: Propõem uma matriz de transformação (implementada de forma eficiente via decomposição de baixo posto, similar ao LoRA) que não requer o re-treinamento do modelo professor, apenas a otimização de uma pequena camada adicional.
Preservação de Utilidade: Diferente de métodos anteriores que degradam a qualidade do texto gerado, este método preserva a precisão e a fluidez do modelo professor.

4. Resultados Experimentais

Os experimentos foram realizados em múltiplos modelos (Qwen2.5 e Llama 3) e conjuntos de dados (GSM8K, MMLU, MATH), contra quatro algoritmos de distilação fortes (KD padrão, AlphaNet, MiniLLM, ABKD).

Degradação do Estudante: A defesa causou uma queda significativa no desempenho dos modelos estudantes distilados.
- Exemplo: No GSM8K, ao distilar um modelo Qwen2.5-1.5B usando AlphaNet, a acurácia caiu de 62,93% (sem defesa) para 50,95% (com defesa), uma redução de ~12 pontos percentuais.
- Em alguns casos, o desempenho do estudante com defesa foi pior do que se ele tivesse sido treinado apenas com Fine-Tuning Supervisionado (SFT) padrão, indicando que a informação de distilação foi efetivamente "envenenada".
Preservação do Professor: A acurácia do modelo professor (após a transformação) permaneceu praticamente inalterada, mantendo a utilidade para usuários legítimos.
Robustez: O método funcionou consistentemente em diferentes tamanhos de modelos, datasets e algoritmos de ataque.
Análise Visual: As visualizações mostram que, enquanto o professor gera respostas corretas e coerentes, os estudantes distilados com a defesa produzem respostas curtas, incompletas, repetitivas ou com raciocínio lógico colapsado.

5. Significado e Impacto

Este trabalho representa um avanço significativo na segurança de LLMs proprietários.

Proteção de Propriedade Intelectual: Oferece uma barreira prática contra a extração de modelos via APIs, protegendo o investimento massivo em treinamento de LLMs.
Mudança de Paradigma: Demonstra que é possível defender contra ataques de distilação sem sacrificar a qualidade do serviço ao usuário final, ao contrário de métodos anteriores que perturbavam a distribuição de tokens de forma visível.
Fundação Teórica: Estabelece uma base teórica sólida (CMI e Gargalo de Informação) para futuras pesquisas em privacidade e segurança de modelos generativos, sugerindo que a "purificação" de informações contextuais é uma estratégia viável para proteger ativos de IA.

Em resumo, o paper propõe uma solução elegante e matematicamente fundamentada que "limpa" as saídas dos LLMs, removendo o "ruído" contextual que os ladrões de modelos exploram, enquanto mantém o sinal principal (a resposta correta) intacto para os usuários legítimos.