🤖 machine learning

Reconstructing Training Data from Adapter-based Federated Large Language Models

Autores originais: Silong Chen, Yuchuan Luo, Guilin Deng, Yi Liu, Min Xu, Shaojing Fu, Xiaohua Jia

Publicado 2026-01-27

📖 5 min de leitura🧠 Leitura aprofundada

Autores originais: Silong Chen, Yuchuan Luo, Guilin Deng, Yi Liu, Min Xu, Shaojing Fu, Xiaohua Jia

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Panorama Geral: O Vazamento de uma "Receita Secreta"

Imagine que você e seus amigos estão todos tentando assar um bolo específico (um Modelo de Linguagem de Grande Escala ou LLM) juntos, mas você não quer compartilhar suas receitas de família (seus dados privados) com ninguém. Para resolver isso, vocês usam um truque inteligente chamado Aprendizado Federado (Federated Learning). Em vez de enviar todo o seu livro de receitas para uma cozinha central, você envia apenas as mudanças que fez em uma pequena parte destacável da forma do bolo (chamada de Adaptador). A forma principal permanece congelada e intocada.

A crença era: "Como só enviamos mudanças minúsculas para uma pequena parte da forma, e a forma principal está trancada, ninguém consegue descobrir qual era a sua receita secreta."

Este artigo diz: "Não tão rápido."

Os pesquisadores descobriram que, mesmo com essas mudanças minúsculas e protegidas, um padeiro astuto (o atacante) ainda pode olhar para as migalhas deixadas para trás nas atualizações de gradiente e reconstruir perfeitamente sua receita secreta. Eles construíram uma nova ferramenta chamada UTR (Unordered-word-bag-based Text Reconstruction — Reconstrução de Texto Baseada em Sacos de Palavras Não Ordenadas) que faz exatamente isso.

Os Três Grandes Obstáculos (e como eles os superaram)

Os pesquisadores sabiam que este era um quebra-cabeça difícil devido a três problemas específicos:

O Problema do "Sinal Minúsculo": As mudanças enviadas são tão pequenas (baixa dimensionalidade) que os métodos tradicionais, que tentam adivinhar a receita olhando de relance para fotos borradas, falham completamente.
- A Solução: Em vez de olhar de relance, o UTR age como um detector de metais. Ele varre as partes "congeladas" do modelo (que todos conhecem) para ver quais palavras específicas (tokens) do dicionário foram provavelmente usadas. Ele não tenta adivinhar a frase inteira de uma vez; ele apenas constrói um "Saco de Palavras" — uma lista de ingredientes que devem estar na receita.
O Problema da "Cozinha Trancada": O cérebro principal do modelo (o backbone) está congelado. Atacantes geralmente precisam ver como o cérebro processa a informação para fazer a engenharia reversa da entrada. Aqui, esse cérebro está fora de alcance.
- A Solução: O UTR percebe que, embora o cérebro esteja trancado, o pequeno módulo "adaptador" age como um teatro de sombras. Ao analisar a forma específica das sombras projetadas pelas pequenas mudanças do adaptador, o UTR consegue descobrir quais frases se ajustam aos dados, mesmo sem ver o cérebro completo.
O Pesadelo Combinatório: Se você tem um saco com 10 palavras, existem milhões de maneiras de organizá-las em frases. Tentar todas as combinações é impossível para um computador.
- A Solução: O UTR usa um filtro inteligente. Ele não tenta todas as combinações aleatórias. Ele utiliza regras gramaticais e o senso comum (como "uma criança" faz sentido, mas "criança a" não faz) para podar as opções ruins. Em seguida, ele verifica os candidatos restantes contra a "impressão digital" matemática deixada pelo adaptador para encontrar a correspondência exata.

Os Resultados: Uma Reconstrução Perfeita

Os pesquisadores testaram sua ferramenta de "Saco de Palavras" (UTR) em diferentes modelos (como GPT-2, BERT e Qwen) e diferentes tipos de texto (análises de filmes, testes de gramática, etc.).

O Número Mágico: Em muitos casos, o UTR reconstruiu o texto original com 99% a 100% de precisão.
A Escala: Métodos anteriores falharam miseravelmente quando o "tamanho do lote" (batch size — o número de receitas enviadas de uma vez) aumentava. O UTR funcionou perfeitamente mesmo enviando 128 receitas de uma vez.
A Surpresa: Eles descobriram que alguns modelos (como o GPT-2) eram ligeiramente mais difíceis de decifrar para frases longas devido à forma como leem o texto (uma palavra por vez), mas modelos mais novos (como o Qwen) foram decifrados quase perfeitamente.

O Teste de "Defesa"

O artigo também testou se medidas comuns de segurança poderiam impedir isso:

Poda de Gradiente (Descartar números pequenos): Isso foi como tentar esconder um segredo arrancando algumas páginas do livro. Não funcionou bem. O atacante ainda conseguia ler a história mesmo com 99% das páginas faltando, desde que as palavras-chave permanecesvessem.
Privacidade Diferencial (Adicionar "Ruído"): Isso é como adicionar estática a um sinal de rádio. Os pesquisadores descobriram que, para impedir o ataque, é necessário adicionar tanta estática que o rádio se torna inutilizável. O modelo deixa de aprender qualquer coisa útil.

A Conclusão

O artigo conclui que existe uma tensão fundamental entre eficiência e privacidade. O fato de você tornar um modelo "leve" e "eficiente" ao congelar a maior parte dele e treinar apenas um pequeno adaptador, não o torna automaticamente seguro.

Na verdade, os pesquisadores argumentam que esses adaptadores eficientes criam novos canais ocultos para vazamento de dados que são tão perigosos quanto os antigos. Se você estiver usando esses sistemas para proteger dados privados, não pode confiar no fato de que "estamos atualizando apenas uma pequena parte do modelo" como uma garantia de segurança.

Resumo Técnico: Reconstrução de Dados de Treinamento de Modelos de Linguagem de Grande Escala Federados Baseados em Adaptadores

Declaração do Problema

Modelos de Linguagem de Grande Escala Federados (FedLLMs) que utilizam o ajuste fino baseado em adaptadores (ex: LoRA) tornaram-se uma abordagem predominante para o aprendizado colaborativo com preservação de privacidade. Ao congelar os massivos parâmetros da espinha dorsal (backbone) pré-treinados de LLMs e treinar apenas módulos de adaptadores compactos de baixo rank, esses sistemas visam reduzir a sobrecarga computacional, de armazenamento e de comunicação. A suposição prevalente é que essa eficiência de parâmetros aumenta inerentemente a segurança ao limitar a fuga de informação disponível através de gradientes compartilhados, thereby frustrando ataques de inversão de gradiente (GIAs) existentes.

No entanto, este artigo desafia essa suposição. Ele postula que os FedLLMs baseados em adaptadores permanecem vulneráveis a ataques sérios de privacidade. O problema central abordado é a reconstrução de texto de treinamento privado e sensível a partir dos gradientes compartilhados das camadas de adaptadores, apesar de três desafios específicos que tornam os GIAs tradicionais ineficazes:

Baixa Dimensionalidade das Atualizações: Os adaptadores atualizam apenas uma pequena fração dos parâmetros, reduzindo drasticamente a dimensionalidade do gradiente e obscurecendo a informação bruta em comparação com o ajuste fino de parâmetros totais.
Espinha Dorsal Congelada: O backbone pré-treinado do LLM permanece congelado, o que significa que os atacantes não podem acessar gradientes das camadas críticas de atenção e transformer que tipicamente facilitam a reconstrução de texto em configurações de parâmetros totais.
Espaço de Solução Extenso: O espaço combinatório de possíveis reconstruções de texto é vasto, tornando a travessia direta ou a busca por feixe (beam search) computacionalmente inviável, especialmente com tamanhos de lote (batch sizes) grandes.

Metodologia: O Ataque UTR

Os autores propõem o ataque de Reconstrução de Texto Baseado em Saco de Palavras Não Ordenadas (UTR), um novo pipeline de dois estágios projetado para explorar as propriedades estruturais únicas dos FedLLMs baseados em adaptadores.

Estágio 1: Inferência do Saco de Palavras (Word Bag Inference)

Este estágio visa o adaptador de embedding para inferir um conjunto não ordenado de tokens do vocabulário presentes na entrada privada do cliente, efetivamente contornando a otimização contínua.

Mecanismo: O método aproveita a natureza determinística das camadas de embedding congeladas. Ele analisa os gradientes da camada de subamostragem totalmente conectada (FC) do adaptador de embedding.
Insight Matemático: Ao calcular a Razão entre o Gradiente do Peso e do Viés (RWBG) para neurônios na camada FC, os autores constroem um subespaço linear de baixo rank $S$ . Este subespaço é gerado pelos vetores de embedding ocultos dos tokens de entrada reais.
Inferência: O ataque itera sobre o vocabulário do modelo, verificando se o embedding oculto de um token candidato reside dentro do subespaço $S$ derivado dos gradientes do cliente. Se ele reside, o token é incluído no "saco de palavras". Isso transforma o problema de um ajuste de vetores para um teste de pertinência de álgebra linear.

Estágio 2: Inferência de Dados

Este estágio monta as sequências de texto não ordenadas do "saco de palavras" em sequências coerentes.

Mecanismo: Emprega uma estratégia de busca gananciosa (greedy search) restrita, guiada por filtros gramaticais, semânticos e contextuais (EICW, CG, CS) para podar combinações de tokens inválidas.
Inferência de Pertencimento: Para validar sentenças candidatas, o método utiliza gradientes do adaptador de camada. Ele alimenta as sequências candidatas através do modelo para gerar embeddings ocultos e verifica se esses embeddings residem no sub espaço de baixo rank $S_{LA}$ gerado pelo gradiente do adaptador de camada.
Adaptação de Arquitetura: O método leva em conta as diferenças de arquitetura de LLM. Para modelos bidirecionais (ex: BERT), o texto completo pode ser reconstruído em um único passo. Para modelos unidirecionais (ex: GPT), a reconstrução é realizada de forma prefixada, exigendo mais amostras candidatas para montar a sequência completa.

Principais Contribuições

Divulgação de Vulnerabilidade: O artigo demonstra que os FedLLMs baseados em adaptadores não são imunes a ataques de inversão de gradiente, mesmo quando a maioria dos parâmetros do modelo está congelada. Revela que os adaptadores de baixo rank criam novos canais de vazamento exploráveis.
Framework de Ataque UTR: Os autores introduzem o UTR, um ataque sob medida que supera os desafios de atualizações de baixa dimensionalidade e backbones congelados. Ele combina unicamente a análise de subespaço de gradientes de embedding com decodificação restrita para alcançar reconstrução de alta fidelidade.
Análise Teórica de Vazamento: O artigo fornece uma avaliação teórica dos limites do ataque, definindo o número máximo de tokens recuperáveis ( $k_{max}$ ) como limitado pelo rank do subespaço gerado pelos gradientes do adaptador ( $rank(S) \leq d_{bottleneck}$ ).
Avaliação Abrangente: O estudo avalia o ataque através de diversos modelos (BERT, GPT2-Large, Qwen2.5-7B) e conjuntos de dados (CoLA, SST-2, Rotten Tomatoes) sob variados tamanhos de lote e mecanismos de defesa.

Resultados Experimentais

Os experimentos demonstram que o UTR alcança uma precisão de reconstrução quase perfeita, superando significativamente as linhas de base de última geração como LAMP e DAGER.

Precisão de Reconstrução: O UTR alcança pontuações ROUGE-1/2 superiores a 99% em todos os modelos e conjuntos de dados testados, mesmo com tamanhos de lote de até 128. Em contraste, baselines como o DAGER falham completamente sob configurações de backbone congelado, e o LAMP degrada significativamente conforme o tamanho do lote aumenta.
Escalabilidade: O ataque permanece eficaz para grandes lotes (até 128) no Qwen2.5-7B e BERT. No GPT2-Large, o desempenho cai em certos conjuntos de dados (SST, RT) para lotes maiores que 32, atribuído aos desafios de reconstruir sequências longas com mecanismos de atenção unidirecionais.
Avaliação de Defesa:
- Privacidade Diferencial (DP): A DP mostra-se uma defesa eficaz, reduzindo o sucesso do ataque para próximo de 0% com níveis moderados de ruído ( $\sigma \geq 1.5$ ). No entanto, os autores observam que tais níveis de ruído tornam o modelo inutilizável para tarefas práticas.
- Poda de Gradiente (GP): A GP oferece uma proteção frágil. Mesmo com poda agressiva (99,9%), algum vazamento persiste, e altas taxas de poda são necessárias para mitigar o ataque, o que impacta severamente a utilidade do modelo.

Significância e Alegações

O artigo conclui que existe uma tensão fundamental entre eficiência de parâmetros e privacidade em FedLLMs. A crença prevalente de que a adaptação leve inerentemente aumenta a segurança é desafiada por estas descobertas.

Compromisso Privacidade-Desempenho: O estudo destaca que, embora os adaptadores reduzam os custos de comunicação, eles não garantem automaticamente a privacidade. A natureza de baixo rank das atualizações, destinada à eficiência, cria inadvertidamente um subespaço específico que pode ser matematicamente invertido para recuperar dados de entrada discretos.
Implicações para o Design: Os resultados sugerem que confiar apenas no ajuste fino baseado em adaptadores é insuficiente para a privacidade. Os autores enfatizam a necessidade de uma avaliação sistemática dos riscos de reconstrução em paradigmas de FedLLM eficientes e indicam que defesas eficazes (como DP) podem vir ao custo da utilidade do modelo.

O trabalho serve como um aviso crítico para a comunidade de que as garantias de segurança dos FedLLMs baseados em adaptadores não são tão robustas quanto parecem, necessitando de novas estratégias defensivas que não comprometam os benefícios de eficiência que esses modelos proporcionam.