🤖 machine learning

Locking Pretrained Weights via Deep Low-Rank Residual Distillation

Este artigo apresenta o DLR-Lock, um mecanismo de defesa que protege modelos de linguagem de pesos abertos contra ajuste fino não autorizado, substituindo as MLPs padrão por redes residuais de baixo rank profundas que exploram a assimetria entre inferência e treinamento para criar barreiras proibitivas de memória e otimização para atacantes adaptativos, preservando ao mesmo tempo o desempenho do modelo.

Autores originais: Keitaro Sakamoto, Pierre Ablin, Federico Danieli, Marco Cuturi

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Keitaro Sakamoto, Pierre Ablin, Federico Danieli, Marco Cuturi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você construiu um robô magnífico e altamente inteligente (um Modelo de Linguagem de Grande Escala) e deseja compartilhar seu "cérebro" (os pesos) com o mundo para que as pessoas possam utilizá-lo. No entanto, você está preocupado que alguns usuários possam pegar esse cérebro, ajustá-lo e usá-lo para fins que você não pretendia — como criar conteúdo prejudicial ou contornar regras de segurança.

Você quer dizer: "Você pode usar meu robô, mas não pode facilmente alterar seu cérebro para fazer algo diferente."

Este artigo, intitulado "Bloqueio de Pesos Pré-treinados via Destilação Residual de Baixo Rank Profunda", propõe uma maneira inteligente de "trancar" o cérebro do robô sem quebrá-lo. Eis como funciona, explicado por meio de analogias simples.

O Problema: O Dilema da "Caixa Aberta"

Atualmente, quando empresas lançam modelos abertos, é como entregar a alguém um carro com o capô totalmente aberto e o motor exposto. Qualquer pessoa pode levantar o capô, trocar as velas de ignição e ajustar o motor para ir mais rápido ou funcionar com combustíveis diferentes. No mundo da IA, isso significa que qualquer pessoa pode pegar um modelo e "ajustá-lo finamente" (re-treiná-lo) para novas tarefas de forma muito barata.

A segurança tradicional tenta esconder o motor ou colocar uma fechadura falsa no capô. Mas o artigo argumenta que, se um hacker for inteligente o suficiente, poderá descobrir como abrir essas fechaduras ou reverter as peças falsas.

A Solução: O Truque do "Labirinto Profundo"

Os autores, da Apple, propõem um novo tipo de fechadura chamado DLR-Lock. Em vez de esconder o motor, eles substituem o motor por um labirinto profundo e complexo que parece exatamente o mesmo por fora, mas é um pesadelo para navegar por dentro.

Aqui está a ideia central dividida em três partes:

1. A "Rua de Mão Única" (Inferência vs. Treinamento)

Pense no modelo como uma fábrica.

Inferência (Usar o modelo): É como um cliente caminhando pela fábrica para comprar um produto. Ele entra, pega o item e sai. Ele não precisa lembrar de cada passo que deu; apenas precisa do produto final.
Treinamento (Alterar o modelo): É como um mecânico tentando consertar a fábrica. Para consertar uma máquina, o mecânico precisa lembrar de cada único passo do processo para saber onde as coisas deram errado. Ele precisa armazenar uma quantidade massiva de "memória" (ativações) para trabalhar de trás para frente.

O artigo explora o fato de que usar o modelo é barato e fácil, mas consertar/aprender com ele é caro e pesado em termos de memória.

2. O "Labirinto Profundo" (DLR-Net)

Em um modelo de IA padrão, a parte que processa informações (chamada de MLP) é como um corredor simples e curto. Você entra e sai. É rápido.

Os autores substituem esse corredor curto por uma Rede Residual de Baixo Rank Profunda (DLR-Net).

A Analogia: Imagine substituir um corredor curto por uma escada em espiral de 100 andares que leva exatamente à mesma saída.
Para o Usuário (Inferência): Subir 100 degraus leva um pouquinho mais de tempo, mas ainda é rápido. O usuário recebe seu produto e o modelo funciona tão bem quanto antes.
Para o Hacker (Treinamento): Se o hacker quiser "consertar" a escada (atualizar os pesos), ele precisa lembrar de cada único passo da subida de 100 andares para descobrir onde fazer alterações. Isso requer uma quantidade massiva de memória (RAM).

3. A "Armadilha de Memória"

O artigo afirma que, ao tornar o modelo tão profundo, eles criam uma armadilha de memória.

Para treinar o modelo, o computador do hacker precisa armazenar todos aqueles passos intermediários.
Se o hacker tentar usar um truque chamado "checkpointing de gradiente" (que economiza memória esquecendo passos e recalculando-os depois), ele terá que refazer a subida de 100 andares repetidamente.
O Resultado: Treinar o modelo trancado torna-se exponencialmente mais lento e caro do que treinar o modelo original. É como a diferença entre caminhar por um caminho curto e escalar uma montanha apenas para trocar uma lâmpada.

Como Eles Fizeram Isso sem Quebrar o Robô

Você pode perguntar: "Se você trocar o motor por uma escada de 100 andares, o robô não vai parar de funcionar?"

Não. Os autores usaram uma técnica chamada Destilação.

A Analogia: Imagine um chef mestre (o modelo original) que sabe exatamente como fazer uma sopa perfeita. Os autores construíram uma nova cozinha complexa (a DLR-Net) e a treinaram fazendo com que o chef mestre provasse a sopa e dissesse: "Não, deixe-a um pouco mais salgada", até que a nova cozinha produzisse uma sopa com gosto exatamente igual à original.
Eles fizeram isso em duas etapas: primeiro combinando o sabor de ingredientes individuais (módulos), depois combinando o sabor da refeição inteira (a saída final).
A Alegação: O modelo trancado desempenha tão bem quanto o original para usuários normais, mas é incrivelmente difícil para qualquer pessoa re-treiná-lo.

A Conclusão

O artigo demonstra que é possível pegar um modelo (especificamente testado em um modelo Qwen3-0.6B), substituir seus componentes internos por esses "labirintos profundos" e:

Manter a qualidade: O modelo continua respondendo perguntas e escrevendo textos tão bem quanto antes.
Trancar a porta: Qualquer tentativa de ajuste fino ou adaptação do modelo torna-se significativamente mais cara em termos de tempo e poder computacional (especificamente, a "passagem de trás" do treinamento torna-se muito mais lenta do que a "passagem à frente" do uso).

É uma fechadura estrutural: você não consegue abri-la porque a fechadura não é um segredo; é apenas que o mecanismo da fechadura foi projetado para tornar o trabalho do ladrão incrivelmente difícil, enquanto o usuário legítimo nem percebe a diferença.

Resumo Técnico: Bloqueio de Pesos Pré-treinados via Destilação de Resíduos de Baixo Rank Profunda

Formulação do Problema

A proliferação de modelos de linguagem grandes (LLMs) de pesos abertos democratizou o acesso a sistemas de IA poderosos, mas simultaneamente erodiu o controle que os provedores de modelos têm sobre como esses pesos são utilizados. Embora licenças legais tentem restringir adaptações não autorizadas, elas carecem de aplicação técnica. Um atacante adaptativo com acesso total aos pesos e à arquitetura do modelo frequentemente consegue reverter defesas estruturais simples ou utilizá-las para contorná-las por meio de otimização.

O desafio científico central abordado é o bloqueio de modelos: a capacidade de modificar um modelo pré-treinado de modo que adaptá-lo (por exemplo, via ajuste fino) se torne inerentemente mais custoso do que adaptar o modelo original, preservando estritamente o desempenho de inferência e as capacidades gerais do modelo. Os autores formalizam isso sob um modelo de ameaça adaptativo fundamentado no princípio de Kerckhoffs, onde a defesa deve permanecer eficaz mesmo que o atacante conheça o design do mecanismo de bloqueio. O objetivo é alcançar um "fator de bloqueio" $\kappa > 1$ , onde o custo (tempo, FLOPs ou horas de GPU) para atingir um nível de desempenho alvo em uma tarefa downstream é amplificado em pelo menos $\kappa$ para o modelo bloqueado em comparação com o original.

Limitações das Abordagens Existentes

O artigo identifica falhas fundamentais em estratégias de defesa anteriores:

Defesas Baseadas em Simetria: Métodos que exploram simetrias de pesos (por exemplo, escalonamento ou inserção de matrizes invertíveis) para interromper a otimização são trivialmente reversíveis. Um atacante pode inspecionar normas de pesos ou calcular decomposições em valores singulares (SVD) para reequilibrar os pesos e restaurar a paisagem de otimização original.
Defesas Baseadas em Otimização: Abordagens que tentam incorporar defesas otimizando paisagens de perda mal condicionadas (por exemplo, maximizando o traço do Hessiano ou inserindo módulos de barreira) enfrentam um paradoxo "auto-defeatório". O defensor deve usar otimização para encontrar uma solução que resista à otimização, contudo, as mesmas informações de gradiente disponíveis para o defensor estão disponíveis para o atacante. Experimentos em MLPs simples mostram que o gradiente descendente frequentemente falha em alcançar essas regiões "bloqueadas" de alto custo a partir de inicializações pré-treinadas.

Metodologia: DLR-Lock

Os autores propõem o DLR-Lock, uma defesa que explora a assimetria inferência-treinamento da diferenciação automática. Diferentemente da inferência, que requer apenas uma passagem direta e descarta ativações intermediárias, o treinamento exige o armazenamento de todas as ativações intermediárias para a retropropagação. O DLR-Lock substitui cada módulo padrão SwiGLU MLP em um transformador por uma Rede Residual de Baixo Rank Profunda (DLR-Net).

Arquitetura

Um bloco residual MLP padrão $x' = z + \text{FFN}(\text{RMSNorm}(z))$ é substituído por uma rede residual de baixo rank de profundidade $L$ :
$h_0 = z, \quad h_{i+1} = h_i + \alpha_i U_i \sigma(V_i \text{RMSNorm}(h_i)), \quad x' = h_L$
onde:

$V_i \in \mathbb{R}^{r \times d}$ e $U_i \in \mathbb{R}^{d \times r}$ são matrizes de projeção de baixo rank com rank de gargalo $r \ll d$ .
$\alpha_i$ é um escalar ReZero aprendível.
A profundidade $L$ é escolhida de modo que a contagem total de parâmetros corresponda (ou exceda ligeiramente) o MLP original, distribuindo parâmetros através de muitas camadas rasas em vez de poucas camadas profundas.

Três Mecanismos de Bloqueio

Esta substituição arquitetônica introduz três barreiras específicas à adaptação:

Crescimento de Memória de Ativação: Durante a retropropagação, a memória necessária para armazenar ativações cresce linearmente com a profundidade $L$ . Para um atacante usando ajuste fino ingênuo, o custo de memória de ativação escala como $\Theta(d/r)$ em comparação com o modelo original, potencialmente forçando tamanhos de lote menores ou hardware mais caro.
Instabilidade de Otimização: A estrutura residual profunda cria uma incompatibilidade arquitetônica com as receitas de treinamento do modelo original. Hiperparâmetros e otimizadores padrão de ajuste fino, ajustados para os MLPs rasos originais, tornam-se instáveis ou ineficientes quando aplicados às DLR-Nets profundas.
Sobrecarga Desproporcional da Passagem Reversa: A passagem reversa incorre em sobrecarga significativamente maior do que a passagem direta devido a padrões complexos de acesso à memória e à necessidade de recompute de ativações (mesmo com checkpointing de gradiente). Crucialmente, otimizações de compilador (como replay de grafos CUDA) que aceleram a passagem direta não se transferem para a passagem reversa, ampliando a lacuna de custos para atacantes que devem calcular gradientes.

Procedimento de Destilação

Para garantir que o modelo bloqueado retenha as capacidades originais (Preservação de Utilidade), os autores empregam um pipeline de destilação em duas fases:

Destilação por Módulo: Cada DLR-Net é treinada independentemente para replicar o mapeamento entrada-saída da camada MLP pré-treinada correspondente, minimizando o Erro Quadrático Médio (MSE) relativo.
Destilação de Logits: Após a substituição de todas as camadas, os erros acumulados são corrigidos ajustando finamente os parâmetros da DLR-Net (com atenção e embeddings congelados) usando o modelo original como professor. O objetivo é minimizar a divergência KL dos top- $k$ entre as distribuições de saída do professor e do aluno.

Resultados Experimentais

O método foi validado nos modelos Qwen3-0.6B e Qwen3-8B usando o conjunto de dados Nemotron-CC.

Preservação de Qualidade: Os modelos bloqueados preservaram com sucesso as capacidades do modelo original. Após a destilação em duas fases, a perplexidade em corpora de texto natural (Nemotron-CC, WikiText-103) e o desempenho em benchmarks downstream (MMLU, ARC, HellaSwag, etc.) foram recuperados para dentro de alguns pontos da linha de base pré-treinada.
Sobrecarga de Inferência: Embora os FLOPs teóricos permaneçam comparáveis, a natureza sequencial das DLR-Nets introduz sobrecarga de tempo de relógio. No entanto, isso é mitigado por otimizações de compilador (por exemplo, torch.compile com redução de sobrecarga). Para modelos grandes e tamanhos de lote, a razão de sobrecarga cai significativamente (por exemplo, de $144\times$ no modo eager para $11\times$ com compilação para modelos de 8B), permanecendo gerenciável para usuários legítimos.
Resistência ao Ajuste Fino:
- Convergência: Ao ajustar finamente em WikiText-103, o modelo bloqueado convergiu significativamente mais devagar que a linha de base e estabilizou em uma perda maior, mesmo com checkpointing de gradiente habilitado.
- Instabilidade: Em taxas de aprendizado mais altas ( $10^{-4}$ ), o modelo bloqueado divergiu completamente, enquanto a linha de base treinou normalmente, indicando que a defesa estreita a faixa efetiva de taxa de aprendizado.
- Amplificação de Custo: A passagem reversa representou 89% do tempo total de treinamento para o modelo bloqueado (vs. 83% para a linha de base), e o tempo de relógio para atingir uma perda alvo foi substancialmente maior. Os autores observam que a sobrecarga da passagem reversa é desproporcionalmente maior do que a da passagem direta, confirmando a dependência da defesa em custos específicos de treinamento.

Significância e Alegações

O artigo afirma estabelecer um novo eixo de defesa para bloqueio de modelos que é agnóstico ao otimizador e depende de propriedades estruturais em vez do segredo do mecanismo de defesa. As contribuições principais incluem:

Formalização: Definir bloqueio de modelos como amplificação de custo de adaptação sob um modelo de ameaça adaptativo.
Mecanismo Novel: Demonstrar que a assimetria inferência-treinamento da diferenciação automática pode ser explorada para criar uma defesa que é barata de avaliar, mas cara de diferenciar.
Robustez: Mostrar que o método resiste a atacantes adaptativos com conhecimento total da estratégia, incluindo aqueles que usam checkpointing de gradiente, atualizações parciais de pesos ou LoRA.
Praticidade: Validar que o mecanismo de bloqueio não sacrifica a utilidade do modelo, permitindo que usuários legítimos inferam com desempenho quase original enquanto impõem uma barreira de custo mensurável à adaptação não autorizada.

Os autores concluem que, embora a sobrecarga da passagem direta possa ser mitigada via kernels personalizados ou compilação, a assimetria fundamental nos custos de retropropagação permanece uma barreira robusta contra o ajuste fino.