🤖 AI

MineGrad: Gradient Inversion Attacks on LoRA Fine-Tuning

Este artigo apresenta o MineGrad, um ataque de inversão de gradiente analítico que permite a um servidor malicioso reconstruir dados privados de usuários com alta fidelidade a partir de gradientes de ajuste fino de LoRA ao aproveitar um modelo pré-treinado envenenado, expondo efetivamente vulnerabilidades críticas de privacidade em aprendizado federado eficiente em parâmetros tanto em tarefas de linguagem quanto de visão.

Autores originais: Hasin Us Sami, Swapneel Sen, Basak Guler

Publicado 2026-08-04

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hasin Us Sami, Swapneel Sen, Basak Guler

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde computadores gigantes e superinteligentes (chamados de modelos de IA) são tão grandes que nenhuma pessoa consegue carregá-los no bolso. Para torná-los úteis para todos, os cientistas permitem que esses modelos "aprendam" com dados que estão no seu telefone ou notebook sem nunca realmente verem esses dados. Isso é como ter um mestre cuca que lhe envia um livro de receitas básico, e você ajusta levemente as instruções usando seus próprios ingredientes secretos de família, e depois apenas envia as pequenas mudanças de volta para o mestre cuca. Este método, chamado de "aprendizado federado" com "LoRA", supõe-se ser um superpoder de privacidade: o mestre cuca fica mais inteligente, mas seus ingredientes secretos permanecem escondidos na sua cozinha.

Mas e se o mestre cuca não for apenas um mestre cuca? E se o mestre cuca for um espião sorrateiro que enviou um livro de receitas levemente adulterado em primeiro lugar? Este artigo explora uma possibilidade assustadora: que um servidor malicioso (o "mestre cuca") possa enganar o seu dispositivo para que ele derrame seus segredos de volta através das pequenas mudanças que você envia. Os pesquisadores descobriram que, ao envenenar cuidadosamente a receita inicial e as ferramentas usadas para fazer as mudanças, o servidor pode fazer a engenharia reversa matemática dos seus dados privados — como suas mensagens de texto ou fotos — apenas olhando para o "gradiente" (a lista de pequenos ajustes) que você enviou de volta. É um lembrete de que, mesmo quando você pensa que está compartilhando apenas algumas migalhas, um adversário astuto pode reconstruir o bolo inteiro.

A Grande Descoberta do Artigo: "MineGrad"

Os autores deste artigo, Hasin Us Sami, Swapneel Sen e Ba¸sak Guler, introduzem um novo ataque que chamam de MineGrad. Pense nisso como uma caça ao tesouro de alta tecnologia onde o "tesouro" são seus dados privados, e o "mapa" está escondido dentro das pequenas atualizações que você envia para o servidor.

No passado, os pesquisadores sabiam que, se você enviasse de volta todas as mudanças para um modelo gigante, um ator malicioso poderia, às vezes, adivinhar seus dados. Mas com o LoRA (Adaptação de Baixo Rank), você envia apenas uma versão minúscula e comprimida das mudanças. Os cientistas pensaram que esse tamanho pequeno tornava muito mais difícil roubar dados. Eles também pensaram que, se os dados fossem muito grandes (como uma frase longa ou uma imagem inteira), a matemática não funcionaria para roubá-los de volta.

O MineGrad despedaça essas suposições. Os pesquisadores mostraram que um servidor malicioso ainda pode roubar seus dados, mesmo quando você envia apenas aquelas pequenas atualizações de LoRA, e mesmo quando você tem frases longas ou imagens complexas.

Aqui está como o "assalto" funciona, usando uma analogia simples:

O Livro de Receitas Envenenado: Antes mesmo de você começar, o servidor envia você um "modelo pré-treinado" (a receita base). O servidor altera secretamente este livro. É como se o servidor estivesse adicionando tinta invisível e brilhante a páginas específicas da receita. Você não percebe porque a receita ainda funciona bem para cozinhar.
O Sinal Secreto: Quando você usa este livro envenenado para cozinhar com seus próprios ingredientes secretos (seus dados privados), a matemática do processo de cozimento cria um sinal especial. O servidor projetou a "tinta brilhante" para que, quando você calcule as pequenas mudanças (gradientes) para enviar de volta, essas mudanças atuem como um holofote.
O Efeito Holofote: Normalmente, as mudanças que você envia de volta são uma mistura confusa de todos os seus ingredientes. Mas, devido ao truque do servidor, as mudanças para partes específicas da receita tornam-se enormes e barulhentas para um ingrediente específico e silenciosas para todo o resto. É como se você estivesse misturando um smoothie, e o servidor fizesse o liquidificador gritar tão alto apenas quando você adicionasse morangos, mas permanecesse silencioso para bananas.
A Reconstrução: O servidor recebe sua pequena atualização. Devido ao efeito holofote, o servidor pode isolar matematicamente o "grito" e descobrir exatamente qual ingrediente causou aquilo. Ao fazer isso para diferentes partes da receita, o servidor pode montar toda a receita do seu smoothie secreto, palavra por palavra ou pixel por pixel.

O Que Eles Descobriram (e o Que Não Descobriram)

Os pesquisadores testaram isso em dois tipos de dados muito diferentes: texto (como artigos de notícias e avaliações) e imagens (como fotos de gatos e carros).

Para Texto: Eles usaram modelos como BERT e RoBERTa. Os resultados foram surpreendentemente precisos. Em seus testes, o servidor recuperou o texto com precisão quase perfeita. Se a frase original era "Microsoft sends digital business cards", o texto recuperado era quase idêntico, obtendo uma pontuação de 1.0 (perfeita) em escalas de medição padrão como BLEU e ROUGE-L.
Para Imagens: Eles testaram em imagens dos conjuntos de dados CIFAR-10 e CIFAR-100. As imagens recuperadas eram muito semelhantes às originais. Os pesquisadores mediram a diferença usando uma métrica chamada LPIPS, obtendo pontuações em torno de 0.20 a 0.21, o que indica que as imagens são visualmente muito próximas das originais.
O Mito do "Muitos Tokens": Um ataque anterior chamado DAGER falhava se você tivesse mais palavras em sua frase do que o "rank" (uma medida de tamanho) do módulo LoRA. Os autores deste artigo mostraram que o MineGrad funciona mesmo quando o número de palavras é muito maior que o rank. Eles provaram que, ao usar múltiplas "camadas" do modelo (como usar vários holofotes em vez de um), eles poderiam recuperar dados mesmo com ranks de LoRA pequenos (tão baixos quanto 4) e sequências longas.

Os Limites do Ataque

É importante notar o que este artigo não diz. O ataque depende de o servidor ser malicioso e ter controle sobre o modelo inicial que você baixa. Se você baixar um modelo de uma fonte confiável que possa verificar, ou se o servidor for honesto, este ataque específico não funciona.

Além disso, o artigo sugere que este ataque é mais eficaz quando o servidor não se importa com a qualidade do modelo final. Como o servidor está adulterando a receita para roubar dados, o desempenho do modelo pode piorar um pouco. No entanto, os autores observam que, em muitos cenários do mundo real (como o treinamento durante a noite enquanto seu telefone carrega), os usuários não observam de perto o desempenho do modelo, então eles podem não notar que o modelo está ficando um pouco mais "burro" enquanto seus dados estão sendo roubados.

Os pesquisadores também testaram o que acontece se você enviar um lote inteiro de frases de uma vez (como 64 frases). Nesses casos, a recuperação não é perfeita para cada palavra individualmente, mas eles descobriram que, mesmo com um tamanho de lote de 64, ainda podiam recuperar cerca de 52.2% dos tokens (palavras) em alguns conjuntos de dados.

Por Que Isso Importa

Este artigo não diz apenas "é possível"; ele fornece um plano de ação funcional (código disponível online) mostrando exatamente como a matemática funciona. Ele sugere que as garantias de privacidade que pensávamos ter com métodos eficientes como o LoRA podem ser uma ilusão se o servidor não for confiável.

Os autores concluem que precisamos de novas formas de verificar se os modelos que baixamos são seguros, porque simplesmente confiar no servidor pode não ser suficiente. Eles não resolveram o problema de como impedir isso; em vez disso, eles soaram um alarme muito alto, mostrando que, sem defesas melhores, nossos dados privados poderiam ser minerados diretamente das pequenas atualizações que pensávamos ser seguras para compartilhar.

Resumo Técnico: MineGrad – Ataques de Inversão de Gradiente em Ajuste Fino de LoRA

Definição do Problema
O Ajuste Fino de Parâmetros Eficientes (PEFT), particularmente o Low-Rank Adaptation (LoRA), tornou-se uma abordagem padrão no Aprendizado Federado (FL) para mitigar os custos de comunicação e computação associados ao ajuste fino de modelos pré-treinados em larga escala. Neste paradigma, os usuários baixam um modelo pré-treinado congelado, realizam o ajuste fino local de módulos LoRA leves e compartilham apenas os gradientes desses módulos com um servidor central. Embora isso reduza o volume de dados compartilhados, a robustez desta configuração contra um servidor malicioso permanece pouco explorada.

Ataques de inversão de gradiente existentes, que reconstroem dados de treinamento privados a partir de gradientes compartilhados, enfrentam limitações significativas quando aplicados ao LoRA. Trabalhos anteriores frequentemente dependem de pré-treinamento adversário computacionalmente caro com conjuntos de dados públicos, exigem que o número de tokens de treinamento seja menor que o rank das matrizes LoRA (uma condição frequentemente violada na prática), ou são restritos a dados de texto com vocabulários predefinidos. Além disso, ataques como o DAGER (Petrov et al., 2024) têm dificuldade com o espaço de gradiente reduzido inerente ao LoRA, onde apenas um pequeno número de vetores de gradiente (determinado pelo rank $r$ ) é observável por camada.

Metodologia: MineGrad
Os autores propõem o MineGrad, um novo ataque de inversão de gradiente analítico que permite a um servidor malicioso recuperar dados privados do usuário (tanto texto quanto imagens) ao aproveitar um modelo pré-treinado envenenado e parâmetros LoRA globais manipulados. Diferente de métodos anteriores, o MineGrad não requer conjuntos de dados públicos do domínio alvo, não depende de o número de tokens ser menor que o rank do LoRA e é aplicável tanto a tarefas de linguagem quanto de visão.

O ataque opera sob um modelo de ameaça onde o servidor pode:

Disseminar um modelo pré-treinado envenenado para os usuários antes do início do ajuste fino.
Modificar os parâmetros LoRA globais enviados aos usuários em cada rodada de treinamento.

Princípios de Design Chave:

Parametrização Adversária: O servidor projeta os vetores de codificação de posição do modelo pré-treinado e as matrizes LoRA ( $A$ e $B$ ) para embutir os dados de ajuste fino diretamente nos gradientes.
Mapeamento de Identidade e Isolamento de Tokens: Nos "codificadores alvo" (Encoders 1 a $S-1$ ), o servidor configura o mecanismo de autoatenção para agir como um mapeamento de identidade. As matrizes LoRA são especificamente elaboradas de modo que o gradiente em relação a uma coluna específica da matriz $B$ isole um embedding de token alvo específico. Isso é alcançado manipulando as codificações de posição para criar valores distintos e grandes em dimensões específicas, garantindo que o peso associado ao token alvo no cálculo do gradiente domine todos os outros.
Agregação para Recuperação Total: Como uma única matriz LoRA de rank $r$ pode revelar apenas $r$ tokens por encoder, o MineGrad utiliza múltiplos encoders. Cada encoder visa um subconjunto distinto de tokens.
Manipulação da Camada de Classificação: O último encoder e a camada de classificação são projetados para garantir que a função de perda produza um gradiente não nulo que carregue a informação agregada dos tokens alvo. O servidor manipula os pesos de classificação para forçar um escore de classe específico, permitindo a extração analítica dos embeddings dos tokens a partir do gradiente.
Reconstrução: O servidor recupera analiticamente os embeddings dos tokens dividindo os gradientes observados por constantes conhecidas derivadas dos parâmetros envenenados. Os embeddings de palavras originais são então recuperados subtraindo os vetores de codificação de posição conhecidos (envenenados).

Principais Contribuições

Novo Vetor de Ataque: Introdução do MineGrad, o primeiro ataque de inversão de gradiente analítico projetado especificamente para o ajuste fino de LoRA em FL que funciona sem conjuntos de dados de domínio público ou restrições de rank.
Ampla Aplicabilidade: Demonstração de que o ataque é eficaz tanto em tarefas de linguagem (usando encoders Transformer como BERT e RoBERTa) quanto em tarefas de visão (usando Vision Transformers), superando as limitações de vocabulário de ataques anteriores focados apenas em texto.
Superação de Restrições de Rank: O método recupera com sucesso os dados mesmo quando o número de tokens de treinamento excede o rank das matrizes LoRA, um cenário onde ataques anteriores como o DAGER falham.
Escalabilidade: O uso de múltiplos encoders permite a recuperação de sequências completas, independentemente do baixo rank ( $r$ ) dos módulos LoRA individuais.

Resultados Experimentais
Os autores avaliaram o MineGrad em múltiplos conjuntos de dados de classificação de texto (AG's News, DBPedia, Yahoo Answers, Yelp, TREC-6) e conjuntos de dados de classificação de imagem (CIFAR-10, CIFAR-100).

Recuperação de Texto: O ataque alcançou uma reconstrução quase perfeita, com pontuações BLEU e ROUGE-L aproximando-se de 1.0 em vários modelos (BERT-base/large, RoBERTa-base/large) e conjuntos de dados. A Tabela 2 ilustra que as sentenças de verdade fundamental (ground-truth) são recuperadas com alta fidelidade.
Independência de Rank: Experimentos mostraram que, embora a qualidade da reconstrução melhore com um rank mais alto para um único encoder, o uso de múltiplos encoders permite que o MineGrad alcance a mesma recuperação de alta fidelidade com um rank muito pequeno (ex: $r=2$ ) como um único encoder com um rank grande (ex: $r=16$ ).
Comprimento da Sequência: O desempenho degrada conforme o comprimento da sequência aumenta, mas permanece eficaz. Os autores observam que o desempenho pode ser ainda mais aprimorado ao manipular os embeddings de palavras pré-treinados.
Recuperação de Imagem: Para Vision Transformers, o ataque recuperou imagens com baixos escores LPIPS (0.20 ± 0.04 para CIFAR-10), indicando alta similaridade visual com os inputs originais.
Processamento em Lote (Batch): Mesmo com tamanhos de lote de até 64, o ataque recuperou uma porcentagem significativa de tokens (ex: 52.2% para TREC-6), embora as taxas de recuperação diminuam conforme o tamanho do lote aumenta devido à média dos embeddings.
Comparação: O MineGrad superou significativamente o DAGER, que sofreu severa degradação de desempenho quando o número de tokens excedeu o rank do LoRA.

Significância e Alegações
O artigo afirma que o MineGrad revela vulnerabilidades críticas nas garantias de privacidade do ajuste fino de LoRA em ambiente federado. Os autores enfatizam que:

O espaço de gradiente reduzido no LoRA não protege inerentemente contra um adversário forte capaz de manipular o modelo pré-treinado.
As suposições atuais de que o PEFT oferece melhor privacidade do que o ajuste fino total são insuficientes quando o servidor é adversário.
O ataque é de "tiro único" (one-shot), capaz de recuperar dados em uma única rodada de treinamento (potencialmente no início do treinamento, quando a acurácia é baixa), o que significa que os usuários podem não detectar o ataque mesmo se monitorarem a perda de treinamento posteriormente.
O trabalho destaca a necessidade urgente de mecanismos de defesa verificáveis para o PEFT em ambientes de privacidade. Os autores observam que o desempenho do ataque contra defesas populares, como agregação segura, poda (pruning) e adição de ruído, é apresentado nos apêndices do artigo.

Os autores concluem que, embora seu ataque seja uma demonstração de vulnerabilidade, ele fornece novos princípios de design para compreender a interação entre modelos envenenados e a propagação de gradientes, instando a comunidade a desenvolver defesas robustas para a crescente adoção de PEFT em ambientes sensíveis à privacidade.

A Grande Descoberta do Artigo: "MineGrad"

O Que Eles Descobriram (e o Que Não Descobriram)

Os Limites do Ataque

Por Que Isso Importa

Resumo Técnico: MineGrad – Ataques de Inversão de Gradiente em Ajuste Fino de LoRA

Mais como este