🤖 machine learning

Gradient-Free Privacy Leakage in Federated Language Models through Selective Weight Tampering

Este artigo revela que modelos de linguagem federados são vulneráveis à vazão de privacidade sem o uso de gradientes, demonstrando que snapshots intermediários do modelo e a manipulação seletiva de pesos por participantes maliciosos podem aumentar significativamente a inferência de associação e a reconstrução de dados privados sem a cooperação do servidor.

Autores originais: Md Rafi Ur Rashid, Vishnu Asutosh Dasu, Kang Gu, Najrin Sultana, Shagufta Mehnaz

Publicado 2026-07-21

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Md Rafi Ur Rashid, Vishnu Asutosh Dasu, Kang Gu, Najrin Sultana, Shagufta Mehnaz

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde seu smartphone aprende a prever sua próxima palavra, seu e-mail completa suas frases automaticamente ou um aplicativo médico ajuda a diagnosticar doenças, tudo isso sem nunca enviar suas mensagens privadas para um servidor central gigante. Esta é a promessa do Aprendizado Federado (Federated Learning). Em vez de uma grande empresa acumular seus dados em um cofre, seu dispositivo treina um "cérebro" compartilhado (um modelo de linguagem) localmente. Ele envia apenas pequenas atualizações — como um resumo do que aprendeu — para um hub central, que as mistura para melhorar o cérebro global. É como um grupo de alunos estudando para uma prova: cada um lê seus próprios livros, escreve suas próprias anotações e depois compartilha apenas as anotações, não os livros em si, para que todos fiquem mais inteligentes sem que ninguém veja a biblioteca privada dos outros.

No entanto, há um porém. Embora os dados brutos permaneçam no seu telefone, as "anotações" (as atualizações do modelo) podem, às vezes, revelar acidentalmente o que estava dentro do livro. Se as anotações forem detalhadas demais, um aluno astuto poderia lê-las e adivinhar seus tópicos de estudo secretos. Este é o problema do vazamento de privacidade. Por muito tempo, os pesquisadores pensaram que, se você não compartilhasse a matemática bruta (gradientes), mas apenas o resultado final de uma rodada de aprendizado (pesos), você estaria seguro. Mas e se as "anotações" do meio da sessão de estudo forem, na verdade, mais reveladoras do que as respostas do exame final? E se um aluno astuto pudesse ajustar suas próprias anotações para fazer com que toda a classe lembre dos seus segredos ainda melhor? Esse é exatamente o mistério que este artigo investiga.

O Aluno Astuto e as Anotações Mágicas

Neste estudo, uma equipe de pesquisadores da Universidade Estadual da Pensilvânia e do Dartmouth College decidiu desempenhar o papel do "aluno astuto" em uma sala de aula de Aprendizado Federado. O objetivo deles? Ver se conseguiriam roubar informações privadas — como números de telefone, detalhes de cartão de crédito ou senhas secretas — dos dispositivos de outros alunos, mesmo sem o professor (o servidor) ajudá-los ou ver a matemática bruta.

A Grande Surpresa: O Meio da Aula é o que Mais Importa

A primeira coisa que os pesquisadores descobriram foi um pouco contraintuitiva. Normalmente, pensamos que a versão final de um modelo é a mais poderosa. Mas neste jogo de Aprendizado Federado, os instantâneos intermediários — as "anotações" tiradas no meio do processo de treinamento — foram, na verdade, muito mais perigosos.

Imagine um professor pedindo à classe para memorizar uma lista de 1.000 palavras. Ao final do semestre, a classe aprendeu o padrão geral da linguagem, e as palavras específicas e estranhas (como um número de cartão de crédito falso) podem ficar um pouco nebulas em sua memória. Mas, se você verificar a memória da classe durante a semana em que eles estavam estudando especificamente essas palavras estranhas, a memória é cristalina. Os pesquisadores descobriram que um aluno malicioso poderia olhar para esses instantâneos de "meio de termo" e encontrar os dados privados muito mais facilmente do que olhando para o modelo final. É como encontrar uma página específica em um diário que foi escrita ontem, em vez de tentar adivinhar toda a história a partir de um resumo escrito um ano depois.

O Truque da "Manipulação Seletiva"

Mas os pesquisadores não pararam apenas em observar. Eles perguntaram: "Podemos fazer o modelo lembrar desses segredos ainda melhor?"

Eles perceberam que os grandes modelos de linguagem (os "cérebros" sendo treinados) não são todos iguais. Algumas partes do cérebro são como centros de conhecimento geral, enquanto outras partes são como arquivos especializados. Os pesquisadores descobriram que as últimas camadas do "arquivo" do modelo (especificamente as subcamadas MLP) são as que guardam os dados estranhos e fora do comum, como números de telefone ou dígitos de cartão de crédito.

Assim, eles inventaram duas maneiras engenhosas de "ajustar" esses arquivos específicos para tornar o modelo obcecado pelos dados privados:

Otimização de Pesos Seletiva (SWO - Selective Weights Optimization): Isso é como usar uma lupa nas páginas específicas onde os dados secretos estão armazenados e aumentar o volume. O atacante compara o estado atual do modelo com um modelo "normal" e amplifica as diferenças nessas camadas específicas. É como se o aluno astuto sussurrasse para a classe: "Ei, lembrem-se deste número estranho? Vamos garantir que nunca o esqueçamos!"
Aprendizado de Transformação de Pesos (WTL - Weights Transformation Learning): Esta é a versão avançada. Em vez de apenas aumentar o volume, o atacante treina uma IA minúscula para aprender exatamente como o cérebro do modelo muda quando vê dados privados. Então, eles aplicam esse padrão aprendido ao modelo para superpotencializar sua memória dos segredos. É como o aluno descobrindo a fórmula exata que o professor usa para memorizar coisas e, então, aplicando essa fórmula para toda a classe.

Os Resultados: Um Vazamento Chocante

Os resultados foram surpreendentes. Ao usar esses truques de "manipulação", o aluno malicioso conseguiu:

Reconstruir 71% dos dados privados (como transformar um comando "Meu número de cartão de crédito é..." no número completo) quando estavam ativamente mexendo com o modelo durante o treinamento.
Aumentar a capacidade de adivinhar se uma peça específica de dado estava no conjunto de treinamento de alguém em 29%.

Mesmo sem a ajuda do professor, e sem precisar de acesso à matemática bruta (gradientes) — porque o sistema compartilha apenas os pesos finais de cada rodada — o ataque funcionou incrivelmente bem. Na verdade, funcionou melhor do que muitos ataques anteriores que assumiam que o professor era mau e estava ajudando ativamente o hacker. Os pesquisadores testaram isso em modelos populares como GPT-2, BERT e Llama-2, e funcionou em todos eles.

O "Quem, O Quê e Como"

O ataque funciona assim:

Identificar a Vítima: O atacante observa as atualizações do modelo de cada rodada de treinamento. Eles usam um teste especial para identificar as rodadas onde um participante com dados privados participou. É como ouvir a conversa da classe e notar: "Ah, o aluno com o número do cartão de crédito acabou de falar".
Manipular a Memória: Uma vez que possuem esses instantâneos específicos, eles usam SWO ou WTL para ajustar os "arquivos" do modelo para que os dados privados saltem aos olhos.
Fazer a Pergunta: Finalmente, eles fazem uma pergunta ao modelo usando um modelo padrão (como "Seu código de verificação é...") e o modelo, agora super focado no segredo, cospe os dados privados.

Podemos Impedir Isso?

Os pesquisadores também jogaram na defesa. Eles testaram várias formas de deter este aluno astuto:

Privacidade Diferencial (Differential Privacy): Isso adiciona "ruído" ou estática às anotações. Ajuda a esconder os segredos, mas também faz com que toda a classe soe um pouco confusa, prejudicando a capacidade do modelo de escrever boas frases.
Limpeza (Scrubbing): Isso é como editar o diário antes de compartilhá-lo. Se você remover os números de cartão de crédito e números de telefone do texto antes do treinamento, o modelo não pode aprendê-los. Isso funciona bem sem prejudicar a qualidade do modelo.
Add-DEPN: Esta é uma maneira sofisticada de dizer aos "arquivos" para serem um pouco mais silenciosos sobre os segredos. Isso reduz significamente o vazamento sem fazer o modelo soar mal.

A equipe sugere que a melhor defesa é uma combinação: limpar (scrub) os dados privados do texto primeiro e, em seguida, usar uma técnica de regularização suave (como o Add-DEPN) para garantir que o modelo não fique obcecado pelo que quer que tenha escapado.

A Conclusão

Este artigo mostra que, no mundo do Aprendizado Federado, a privacidade não é apenas sobre esconder os dados brutos; é sobre como o modelo lembra das coisas ao longo do caminho. Um participante malicioso não precisa ser um hacker super gênio com a ajuda do professor. Ele só precisa saber quando olhar e como ajustar a memória do modelo para fazer os segredos saltarem aos olhos. Embora seja uma descoberta assustadora, os pesquisadores também forneceram um roteiro de como corrigir essas falhas, garantindo que o futuro da IA privada permaneça seguro para todos.

Resumo Técnico: Vazamento de Privacidade Sem Gradiente em Modelos de Linguagem Federados através da Manipulação Seletiva de Pesos

Declaração do Problema

O Aprendizado Federado (FL) tornou-se um padrão para treinar Grandes Modelos de Linguagem (LLMs) em dados sensíveis à privacidade (ex: registros de saúde, informações financeiras) sem centralizar os dados brutos. No entanto, a literatura existente sugere que o vazamento de privacidade continua sendo um risco significativo, particularmente através de ataques de inversão de gradiente. A maioria dos trabalhos anteriores assume o acesso a gradientes (ex: em FedSGD) ou foca em cenários centralizados onde o servidor é o adversário.

Este artigo aborda uma lacuna crítica: o vazamento de privacidade em modelos de linguagem baseados em FL sob o protocolo FedAvg, onde os gradientes nunca são compartilhados e o servidor é assumido como honesto-mas-curioso (ou passivo) em vez de um adversário ativo. Os autores investigam se um cliente de FL malicioso pode extrair dados sensíveis à privacidade (ex: SSNs, números de cartão de crédito, números de telefone) de outros clientes sem acesso a gradientes ou colusão com o servidor.

Principais desafios identificados incluem:

Modelos Intermediários vs. Finais: LLMs tendem a "esquecer" amostras de treinamento específicas conforme generalizam sobre todo o corpus durante o treinamento iterativo. Não está claro se os snapshots de modelos intermediários retêm mais informações sensíveis do que o modelo final convergido.
Restrições Sem Gradiente: Sem acesso aos gradientes dos clientes, ataques de inversão tradicionais são inaplicáveis.
Amplificação: Um cliente malicioso pode, de forma ativa ou passiva, potencializar a memorização de dados sensíveis pelo modelo para facilitar a extração?

Metodologia

O framework de ataque proposto opera em duas fases principais: Identificação de Rodada de Vítima (VRI) e Maximização da Memorização de Dados (MDM).

1. Modelo de Ameaça

Adversário: Um cliente malicioso participando do processo de FL.
Capacidades: O adversário tem acesso a snapshots do modelo global (atualizações agregadas) em cada rodada. Eles possuem conhecimento prévio da estrutura (prefixos) dos dados sensíveis que desejam extrair (ex: "Seu código de verificação é...") mas não dos valores sensíveis específicos (sufixos).
Servidor: Assumido como passivo (honesto-mas-curioso) ou não colusivo no cenário base. Em cenários de "colusão", o servidor compartilha metainformações ou atualizações locais.
Objetivo: Extrair sufixos sensíveis dos datasets locais de outros clientes via reconstrução de dados ou inferência de pertencimento.

2. Observações Chave e Hipóteses

Hipótese 1 (Sensibilidade de Pesos Seletivos): Ao realizar o ajuste fino de LLMs em dados fora da distribuição (OOD) (como PII), as mudanças nos pesos não são uniformes. Especificamente, as subcamadas MLP nos últimos blocos de transformer ( $L^*$ ) passam por transformações significativamente maiores em comparação com outras camadas. Essas camadas são desproporcionalmente responsáveis por memorizar dados sensíveis e OOD.
Hipótese 2 (Vazamento de Rodadas Intermediárias): A probabilidade de um modelo de FL memorizar um ponto de dado específico é maior nas rodadas de treinamento onde esse ponto de dado está presente do que nas rodadas onde ele está ausente. Consequentemente, snapshots intermediários de "rodadas de vítimas" podem vazar mais do que o modelo final.

3. Pipeline de Ataque

A. Identificação de Rodada de Vítima (VRI)

O adversário identifica quais snapshots do modelo global ( $G_i$ ) correspondem às rodadas onde clientes vítimas com dados sensíveis participaram.

Mecanismo: O adversário calcula a norma das diferenças de peso nas camadas sensíveis ( $L^*$ ) entre o snapshot global $G_i$ e dois modelos de referência: um ajustado finamente em texto regular ( $G_r$ ) e um em texto regular + sensível ( $G_s$ ).
Lógica: Se $G_i$ for uma rodada de vítima, suas mudanças de peso em $L^*$ serão estatisticamente semelhantes a $G_s$ (devido à presença de dados OOD) e diferirão significativamente de $G_r$ . Um teste t pareado é usado para classificar snapshots como "vítima" ou "não-vítima".

B. Maximização da Memorização de Dados (MDM)

Uma vez identificados os snapshots de vítima, o adversário manipula os pesos do modelo para amplificar a memoração de dados sensíveis. Dois métodos sem gradiente são propostos:

Otimização de Pesos Seletivos (SWO): Um método de otimização de ordem zero. Ele calcula a diferença inicial entre os pesos do snapshot de vítima e os pesos de um modelo de referência em $L^*$ . Em seguida, atualiza iterativamente os pesos do snapshot de vítima para maximizar a magnitude dessa diferença, preservando a direção inicial (polaridade). Isso é feito sem backpropagation através dos dados da vítima.
Aprendizado de Transformação de Pesos (WTL): Uma abordagem de aprendizado supervisionado. O adversário treina um modelo separado (ex: um Autoencoder Denso) para aprender o padrão de transformação de pesos treinados em dados regulares para pesos treinados em dados sensíveis. Essa transformação aprendida é então aplicada aos pesos do snapshot de vítima para aumentar a memorização.

C. Modos de Ataque

Ataque Estático: O adversário realiza VRI e MDM após a conclusão do treinamento de FL, manipulando os snapshots de vítima identificados.
Ataque Dinâmico: O adversário interfere ativamente durante o treinamento. Eles agregam os snapshots de vítima identificados em um modelo ( $G_A$ ) e, ao participar de uma rodada, enviam uma agregação ponderada de sua atualização local e $G_A$ para o servidor, efetivamente "envenenando" o modelo global com memorização amplificada.

Resultados Chave

Os autores avaliaram seu framework em Gemma, Llama-2, GPT-2 e BERT usando datasets como Wikitext-103, Penn Treebank e e-mails do Enron.

Intermediários vs. Modelos Finais: Snapshots intermediários de rodadas de vítimas (IR) superaram consistentemente o modelo final (LR) na reconstrução de dados, validando a Hipótese 2.
Eficácia do MDM:
- Tanto o SWO quanto o WTL aumentaram significativamente o vazamento de privacidade em comparação com os baselines.
- WTL geralmente superou o SWO.
- Ataque Estático: Alcançou até 63% de reconstrução de dados sensíveis (sem cooperação do servidor).
- Ataque Dinâmico: Alcançou até 71% de reconstrução (sem cooperação do servidor).
- Com Cooperação do Servidor: O ataque dinâmico com assistência do servidor ( $dynamic^+$ ) atingiu 71% de reconstrução no Wikitext e 64% no dataset real do Enron.
Inferência de Pertencimento: Os métodos propostos aumentaram o recall de ataques de inferência de pertencimento em 29% em comparação com os baselines existentes.
Utilidade do Modelo: As técnicas de MDM (SWO/WTL) conseguiram aumentar a memorização de dados sensíveis enquanto preservavam a utilidade do modelo (a perplexidade no texto regular permaneceu praticamente inalterada).
Comparação com Adversários Mais Fortes: Os ataques propostos, mesmo sem colusão com o servidor, performaram competitivamente ou melhor do que ataques que assumem que o servidor é um adversário ativo (ex: Decepticons) em termos de taxas de reconstrução para BERT e GPT-2.

Significância e Alegações

O artigo afirma ser o primeiro trabalho a demonstrar que um cliente malicioso em um cenário padrão de FL FedAvg pode:

Identificar rodadas de treinamento específicas onde outros clientes contribuíram com dados sensíveis sem acesso a gradientes.
Ampliar a memorização desses dados sensíveis ao manipular estrategicamente pesos seletivos (especificamente nas camadas MLP dos últimos blocos de transformer).
Extrair informações privadas (reconstrução verbatim) em taxas significativamente maiores do que ataques existentes, superando inclusive cenários onde se assume que o servidor é um adversário ativo.

Os autores enfatizam que seus ataques são sem gradiente e aplicáveis a tarefas de IA generativa (ao contrário dos trabalhos anteriores de privacidade em FL focados em classificação). Eles argumentam que o fenômeno de "esquecimento" no FL não protege a privacidade; pelo contrário, snapshots intermediários combinados com a manipulação de pesos criam uma vulnerabilidade severa.

Defesas

O artigo avalia várias defesas:

Privacidade Diferencial (DP): Reduz o vazamento, mas degrada significativamente a utilidade do modelo.
Scrubbing (Limpeza): Remover tokens de PII antes do treinamento reduz o vazamento sem prejudicar a utilidade, mas é difícil de ser perfeito em dados não estruturados.
Add-DEPN (Regularização): Uma abordagem inovadora que aplica uma pequena correção aditiva a "neurônios de privacidade" em vez de zerá-los. Isso oferece um equilíbrio melhor, reduzindo o vazamento significativamente enquanto mantém alta utilidade do modelo.
Recomendação: Os autores recomendam uma combinação de limpeza de dados/deduplicação como um passo de pré-processamento, seguido pela regularização Add-DEPN no modelo local.

Limitações

O estudo é limitado a modelos transformer de escala média em inglês. Os autores observam que modelos maiores de produção, configurações multilíngues e outras modalidades (ex: vision transformers) não foram explorados. Além disso, o custo computacional do FL totalmente criptografado (ex: usando criptografia homomórfica) permanece proibitivo para LLMs.