🤖 machine learning

Toward Efficient Membership Inference Attacks against Federated Large Language Models: A Projection Residual Approach

O artigo apresenta o ProjRes, o primeiro ataque passivo de inferência de associação baseado em resíduos de projeção para Modelos de Linguagem Grandes Federados (FedLLMs), que supera os métodos existentes alcançando quase 100% de precisão e demonstrando eficácia mesmo sob fortes defesas de privacidade diferencial.

Autores originais: Guilin Deng, Silong Chen, Yuchuan Luo, Yi Liu, Songlei Wang, Zhiping Cai, Lin Liu, Xiaohua Jia, Shaojing Fu

Publicado 2026-04-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Guilin Deng, Silong Chen, Yuchuan Luo, Yi Liu, Songlei Wang, Zhiping Cai, Lin Liu, Xiaohua Jia, Shaojing Fu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você e seus amigos estão tentando criar o melhor livro de receitas do mundo, mas ninguém quer revelar suas receitas secretas (os dados) para ninguém.

Para resolver isso, vocês decidem usar um método chamado Aprendizado Federado. Em vez de enviar as receitas para um livro central, cada pessoa fica com a sua própria cópia, faz algumas anotações sobre o que melhorou na receita dela e envia apenas essas anotações (os gradientes) para o coordenador do grupo. O coordenador junta todas as anotações para melhorar o livro geral, mas ninguém vê as receitas originais dos outros.

Agora, imagine que um "espião" (o atacante) está observando essas anotações. O objetivo dele é descobrir: "A receita de bolo de cenoura que você enviou hoje, ela já estava no livro original que você usou para começar, ou você criou ela do zero agora?"

Se o espião conseguir responder "sim", ele descobriu que você tem uma receita específica em sua coleção privada. Isso é chamado de Ataque de Inferência de Membro.

O Problema: Os Gigantes da Linguagem

Nos últimos anos, surgiram modelos de linguagem gigantes (como o ChatGPT ou o Llama), chamados de LLMs. Eles são como bibliotecas com bilhões de páginas. Quando tentamos fazer o "Aprendizado Federado" com esses gigantes, os métodos antigos de espionagem falharam. Por quê?

São muito grandes: Os modelos são tão enormes que criar um "modelo falso" para treinar e comparar (como faziam antes) exigiria computadores do tamanho de um planeta.
Aprendem rápido: Eles já são tão inteligentes que aprendem muito rápido. O espião não tem tempo de observar as mudanças lentas ao longo do tempo.
Anotações confusas: As anotações (gradientes) que eles enviam são tão complexas e misturadas que parecem ruído, não parecendo revelar nada.

A Solução: O "ProjRes" (O Detetive de Resíduos)

Os autores deste artigo criaram uma nova técnica chamada ProjRes. Eles não tentam adivinhar olhando para o "ruído". Em vez disso, eles usam uma ideia matemática inteligente baseada em projeção e resíduos.

Vamos usar uma analogia para entender como funciona:

A Analogia da "Sombra na Parede"

Imagine que cada cliente (cada pessoa com receitas) tem uma sala de espelhos (o espaço de gradiente).

Quando alguém envia anotações sobre uma receita que já existe na sala (um membro), essas anotações se encaixam perfeitamente nos espelhos existentes. Elas "projetam" uma sombra que se alinha exatamente com o que já está lá.
Quando alguém envia uma anotação sobre uma receita nova (não-membro), essa anotação não se encaixa nos espelhos. Ela cria uma sombra torta, um "resíduo" (um erro) que fica de fora.

Como o ProjRes funciona:

O Espião pega a "Sombra" (Embedding): Ele olha para a representação interna da frase que está sendo testada (como se fosse a sombra do objeto na parede).
Ele constrói o "Espelho" (Subespaço): Ele usa as anotações (gradientes) que os outros clientes enviaram para criar um "espaço de espelhos" virtual.
O Teste de Projeção: Ele tenta projetar a sombra da frase testada dentro desse espaço de espelhos.
- Se a frase pertence ao grupo, a sombra se encaixa perfeitamente. A diferença entre a sombra original e a sombra projetada é quase zero.
- Se a frase não pertence, a sombra não se encaixa. Sobra um "resíduo" (uma parte da sombra que fica fora do espelho).

O Pulo do Gato:
O segredo é que, nesses modelos gigantes, mesmo que as sombras pareçam muito parecidas, a matemática diz que se a frase fez parte do treinamento, ela obrigatoriamente se encaixará no espaço criado pelos gradientes. Se não se encaixar, ela não estava lá.

Por que isso é assustadoramente eficiente?

O artigo mostra que o ProjRes é um "super-espião" por vários motivos:

Não precisa de ajuda externa: Ele não precisa de outros computadores ou dados falsos para treinar. Ele usa apenas o que já está sendo enviado.
Funciona em qualquer lugar: Funciona com modelos pequenos (como BERT) e gigantes (como Llama3 ou Qwen).
É rápido e preciso: Em testes, ele acertou quase 100% das vezes, enquanto os métodos antigos erravam muito.
Resiste a defesas: Mesmo quando os defensores tentam "embaçar" as anotações com ruído (Diferencial de Privacidade) ou cortar partes das anotações (Poda de Gradiente), o ProjRes ainda consegue encontrar a sombra torta, a menos que a defesa seja tão forte que destrua a utilidade do modelo (o livro de receitas fica sem sentido).

Conclusão Simples

Este artigo nos diz uma coisa importante: A privacidade no aprendizado federado com modelos de IA gigantes é mais frágil do que pensávamos.

Mesmo que você não envie seus dados brutos, o simples fato de enviar as "atualizações" matemáticas (gradientes) para treinar um modelo grande é como deixar uma pegada digital muito clara. O método ProjRes é a prova de que, usando matemática inteligente, podemos olhar para essas pegadas e dizer com certeza absoluta: "Sim, este dado estava aqui".

Isso não significa que o aprendizado federado é inútil, mas nos alerta de que precisamos de novas e melhores "trancas" (defesas) para proteger nossos segredos quando usamos essas tecnologias poderosas.

1. O Problema: Vulnerabilidades de Privacidade em FedLLMs

Os Modelos de Linguagem Grandes Federados (FedLLMs) permitem que múltiplas partes fine-tunem (ajustem) modelos de linguagem grandes (LLMs) colaborativamente sem compartilhar dados brutos, preservando a privacidade e reduzindo custos computacionais. No entanto, a troca de gradientes ou atualizações de parâmetros entre os clientes e o servidor central cria um vetor de ataque para Ataques de Inferência de Membro (MIAs - Membership Inference Attacks).

O artigo identifica que as técnicas de MIA existentes, desenvolvidas para Aprendizado Federado (FL) tradicional (como em visão computacional), são ineficazes contra FedLLMs devido a três características únicas:

Escala Massiva de Parâmetros: O custo computacional para treinar modelos "sombra" (shadow models) em LLMs é proibitivo (requerendo >50x mais memória GPU que em modelos de visão).
Inicialização e Convergência Rápida: FedLLMs partem de modelos pré-treinados e convergem rapidamente (muitas vezes em 1-2 épocas), limitando a janela temporal para ataques baseados em dinâmica de treinamento.
Natureza dos Gradientes: Diferente de tarefas de imagem onde os gradientes tendem a ser ortogonais após a convergência, os gradientes em LLMs permanecem altamente correlacionados e não ortogonais, além de serem esparsos devido ao uso de técnicas de Fine-Tuning Eficiente de Parâmetros (PEFT) como LoRA e Adapters.

2. Metodologia: ProjRes (Projecção de Resíduos)

Os autores propõem o ProjRes, o primeiro ataque passivo de MIA baseado em resíduos de projeção, projetado especificamente para FedLLMs. A abordagem não requer modelos sombra, classificadores auxiliares ou histórico de múltiplas rodadas de treinamento.

Princípio Central

A ideia fundamental é explorar a relação algébrica entre as representações ocultas (embeddings) de uma amostra de entrada e os gradientes enviados pelo cliente. O ataque verifica se o embedding de uma amostra alvo reside no subespaço linear gerado pelos gradientes do cliente.

Etapas do Ataque ProjRes:

Construção da Representação da Amostra:
- O adversário (servidor honesto-e-curioso) realiza uma passagem direta (forward pass) da amostra alvo $x$ através do modelo para obter seu vetor de embedding oculto $f(x)$ na camada onde o módulo treinável (ex: Adapter) está inserido.
Mapeamento do Espaço Semântico (Subespaço de Gradientes):
- O servidor constrói um subespaço linear $S$ utilizando os vetores de gradiente dos módulos treináveis (ex: camadas de downsampling do Adapter) enviados pelos clientes.
- Matematicamente, os gradientes das camadas totalmente conectadas contêm informações completas sobre as entradas (devido à regra da cadeia), permitindo que o subespaço dos gradientes capture a distribuição semântica dos dados de treinamento.
Cálculo do Resíduo e Inferência:
- O embedding da amostra alvo $f(x)$ é projetado ortogonalmente sobre o subespaço $S$ , gerando uma representação reconstruída $f(x)_{rec}$ .
- Calcula-se o resíduo $r = \| f(x) - f(x)_{rec} \|_1$ (norma L1).
- Lógica:
  - Se $x$ pertence aos dados de treinamento do cliente, seu embedding estará alinhado com o subespaço dos gradientes, resultando em um resíduo baixo.
  - Se $x$ não pertence, o embedding não será bem reconstruído pelo subespaço, resultando em um resíduo alto.
- Uma decisão binária é tomada comparando $r$ com um limiar $\tau$ .

3. Contribuições Principais

Novo Paradigma de Ataque: Introdução do ProjRes, que reformula a inferência de membro como um problema de correspondência de projeção de resíduos no espaço semântico dos gradientes, eliminando a necessidade de modelos sombra pesados.
Análise Teórica e Prática: Demonstração de que representações semânticas em LLMs de alta dimensão podem ser analisadas reversivelmente via informações de gradiente, e que o vazamento de privacidade aumenta com a dimensionalidade e o número de neurônios nos módulos treináveis.
Eficiência e Robustez: O método é eficiente (sem necessidade de treinamento adicional) e robusto, funcionando com informações de uma única rodada de comunicação.
Descoberta de Vulnerabilidade: Revelação de que as técnicas de defesa leves atuais (como Privacidade Diferencial e poda de gradientes) têm um compromisso (trade-off) severo entre privacidade e utilidade do modelo, falhando em proteger completamente contra o ProjRes.

4. Resultados Experimentais

O ProjRes foi avaliado em 4 LLMs (BERT-Base, GPT2-Large, Llama3-8B, Qwen2.5-14B) e 4 conjuntos de dados (CoLA, Yelp, SST-5, IMDB).

Desempenho Superior: O ProjRes alcançou precisão próxima de 100% (AUC $\approx$ 1.0) na maioria dos cenários, superando os métodos mais recentes (baselines) em até 75,75%.
Independência de Rodadas: Diferente de métodos baseados em dinâmica de treinamento, o ProjRes mantém sua eficácia perfeita em todas as etapas do treinamento (início, meio e fim), pois explora uma relação algébrica invariante.
Impacto da Arquitetura: A eficácia do ataque aumenta com o tamanho da dimensão do embedding e o número de neurônios nos módulos treináveis (ex: Adapters maiores vazam mais privacidade).
Resistência a Defesas:
- Privacidade Diferencial (DP): Para ser eficaz contra o ProjRes, o ruído necessário degrada a acurácia do modelo para níveis inaceitáveis (<55%).
- Poda de Gradientes (GP): Mesmo com taxas de poda extremas (99,9%), o ataque ainda consegue inferir membros com AUC > 0,6 em lotes pequenos, indicando vazamento residual significativo.

5. Significado e Conclusão

Este trabalho expõe uma vulnerabilidade de privacidade fundamental e anteriormente negligenciada em FedLLMs. Ele demonstra que, mesmo com dados locais e uso de PEFT, a estrutura algébrica dos gradientes em redes profundas permite a reconstrução precisa da participação de amostras no treinamento.

Implicações:

As suposições de segurança atuais sobre FedLLMs precisam ser reexaminadas.
Mecanismos de defesa atuais são insuficientes para equilibrar privacidade e desempenho em LLMs.
Há uma necessidade urgente de desenvolver novos protocolos de privacidade que considerem a natureza geométrica dos gradientes em modelos de linguagem de grande escala.

O código e os dados do projeto estão disponíveis publicamente, permitindo a reprodução e o avanço da pesquisa em auditoria de privacidade para sistemas federados de IA.