💻 computer science

TIGER: Inverting Transformer Gradients via Embedding-Subspace Distance Optimization

O artigo apresenta o TIGER, um ataque de inversão de gradiente contínuo que otimiza os embeddings de tokens para minimizar sua distância em relação ao subespaço do gradiente de atenção, alcançando assim uma qualidade de reconstrução e robustez contra ruído e privacidade diferencial superiores em comparação aos métodos existentes para modelos transformer de codificador e decodificador.

Autores originais: William Kalikman, Ivo Petrov, Dimitar I. Dimitrov, Martin Vechev

Publicado 2026-06-19

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: William Kalikman, Ivo Petrov, Dimitar I. Dimitrov, Martin Vechev

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Panorama Geral: O Problema do "Envelope com Vazamento"

Imagine um grupo de pessoas (clientes) que querem ensinar um robô inteligente (um servidor central) a escrever histórias melhores. Para fazer isso, eles não enviam suas histórias privadas para o robô. Em vez disso, eles enviam ao robô um conjunto de instruções (gradientes) sobre como ajustar o cérebro dele com base nessas histórias. Isso é chamado de Aprendizado Federado (Federated Learning).

A ideia é que o robô aprenda sem nunca ver as histórias privadas. No entanto, pesquisadores descobriram uma falha: essas instruções são como um envelope com vazamento. Se você olhar de perto as instruções, muitas vezes consegue descobrir exatamente qual foi a história privada que as criou. Isso é chamado de Ataque de Inversão de Gradiente (Gradient Inversion Attack).

O Jeito Antigo: Adivinhar e Conferir

Tentativas anteriores de decifrar essas instruções (como um método chamado DAGER) funcionavam como um detetive tentando resolver um quebra-cabeça ao adivinhar cada palavra possível do dicionário.

O Problema: Se as instruções estiverem um pouco bagunçadas (devido a ruído ou compressão, como uma foto borrada), o detetive fica confuso.
A Limitação: Se o quebra-cabeça for grande (muitas frases ao mesmo tempo) ou se as instruções forem nebulosas, os métodos antigos falham completamente. Eles são muito rígidos; tentam encontrar uma correspondência exata e, se a correspondência não for perfeita, eles desistem.

O Novo Jeito: TIGER (O Navegador Suave)

Os autores apresentam o TIGER, um novo método de ataque que é muito mais flexível e robusto. Em vez de adivinhar palavras específicas uma por uma, o TIGER trata o problema como navegar um navio através de um porto com neblina.

1. A Analogia do "Subespaço": O Corredor Invisível

O artigo explica que as instruções enviadas pelos clientes contêm uma forma geométrica oculta chamada subespaço.

Imagine: Você está em uma sala escura com uma lanterna. Você não consegue ver as paredes, mas sabe que o feixe da lanterna está apontando em uma direção específica. Essa direção é o "subespaço".
Método Antigo: Tentava adivinhar exatamente onde a parede estava jogando dardos nela. Se a sala estivesse escura (dados com ruído), os dardos erravam o alvo.
TIGER: Em vez de adivinhar a parede, o TIGER simplesmente direciona a lanterna até que o feixe se alinhe perfeitamente com o corredor invisível revelado pelas instruções. Ele não precisa adivinhar a palavra exata; ele só precisa encontrar a direção certa do significado.

2. Duas Estratégias Diferentes para Dois Tipos de Robôs

O artigo mostra que o TIGER funciona em dois tipos de modelos de linguagem, usando truques de navegação diferentes para cada um:

A. Para Modelos "Decoder" (O Contador de Histórias)

Como funcionam: Esses modelos escrevem histórias uma palavra por vez, olhando apenas para o que veio antes (como uma frase que não pode olhar para frente).
O Truque do TIGER: Ele usa Navegação Causal. Como a história flui em uma linha, o TIGER encontra a primeira palavra, depois usa essa para encontrar a segunda, depois a terceira. É como seguir um rastro de migalhas de pão.
A Correção de "Duplicata": Às vezes, o rastro pode fazer um loop sobre si mesmo (ex: adivinhar a mesma palavra duas vezes). O TIGER adiciona uma regra de "deduplicação", como um guarda dizendo: "Ei, nós já encontramos essa palavra; tente uma diferente".

B. Para Modelos "Encoder" (O Analista)

Como funcionam: Esses modelos olham para a frase inteira de uma vez para entender o significado (como ler um parágrafo inteiro para adivinhar o tópico). Eles não podem ser resolvidos palavra por palavra porque cada palavra afeta todas as outras.
O Truque do TIGER: Ele usa Alinhamento Bidirecional. Em vez de caminhar em uma linha, o TIGER empurra e puxa a frase inteira de uma vez.
- Ele empurra a frase para que ela caiba dentro do "corredor invisível" (combinando com as instruções).
- Ele também puxa o "corredor" para garantir que ele caiba dentro da frase.
- Esse cabo de guerra de duas vias evita que a solução colapse em um loop repetitivo e entediante (como uma frase que diz apenas "o o o").

Por Que o TIGER é um Divisor de Águas

O artigo destaca três principais vantagens sobre os métodos anteriores:

É à Prova de Ruído: Imagine tentar ouvir um sussurro em uma sala com vento. Os métodos antigos parariam de ouvir assim que o vento aumentasse. O TIGER é como um fone de ouvido com cancelamento de ruído; ele ainda consegue encontrar a mensagem mesmo quando as instruções estão nebulosas, quantizadas (comprimidas) ou têm "ruído DP" (estática adicionada intencionalmente para proteger a privacidade).
Lida com Grandes Grupos: Os métodos antigos tinham dificuldade quando muitas pessoas enviavam instruções ao mesmo tempo (grandes tamanhos de lote/batch sizes). O TIGER escala facilmente, reconstruindo o texto com sucesso mesmo quando 16 sequências diferentes estão misturadas.
É Contínuo: Em vez de saltar entre escolhas discretas (como "É a palavra 'gato' ou 'cachorro'?"), o TIGER desliza suavemente o significado das palavras até que elas se encaixem. Isso torna muito mais difícil para as defesas o bloquearem.

Os Resultados em Linguagem Simples

Os pesquisadores testaram o TIGER em modelos de IA modernos (como o Gemma).

Sem defesas: O TIGER recuperou o texto quase perfeitamente, sendo ligeiramente melhor que os melhores métodos existentes.
Com defesas (Ruído): Quando adicionaram "estática" às instruções para tentar esconder os dados, os métodos antigos (DAGER) falharam completamente (0% de sucesso). O TIGER, no entanto, ainda recuperou um texto significativo, alcançando mais de 70% de precisão mesmo com ruído considerável.
Para Encoders: O TIGER foi o primeiro método a reconstruir com sucesso o texto de modelos de "frase inteira" nestes cenários com ruído e defesas.

A Conclusão

TIGER prova que simplesmente adicionar um pouco de ruído ou comprimir os dados não é suficiente para proteger textos privados no Aprendizado Federado. Ao transformar o problema de reconstrução em uma tarefa de navegação suave e contínua, em vez de um jogo de adivinhação rígido, o TIGER consegue "navegar" através do ruído e revelar os dados privados que deveriam estar escondidos.

Nota: O artigo foca inteiramente na vulnerabilidade técnica desses modelos de IA. Não afirma que esta tecnologia deva ser usada para qualquer aplicação específica no mundo real, nem discute usos clínicos ou médicos.

Resumo Técnico: TIGER – Inversão de Gradientes de Transformers via Otimização de Distância de Subespaço de Embedding

Declaração do Problema

O Aprendizado Federado (FL) permite o treinamento colaborativo de modelos compartilhados mantendo os dados brutos dos clientes locais. No entanto, ataques de inversão de gradiente demonstraram que as atualizações do modelo (gradientes) podem vazar informações suficientes para reconstruir entradas privadas de clientes. Embora esses ataques tenham sido bem-sucedidos em dados de imagem, reconstruir texto de Grandes Modelos de Linguagem (LLMs) baseados em Transformers continua sendo um desafio.

Métodos de inversão de texto existentes enfrentam limitações significativas em configurações realistas de FL:

Abordagens baseadas em otimização: Métodos que otimizam entradas fictícias para corresponder aos gradientes completos são computacionalmente caros e instáveis para modelos modernos, particularmente com grandes tamanhos de lote (batch sizes).
Abordagens baseadas em subespaço: Trabalhos anteriores (ex: DAGER) exploram a estrutura de baixo posto (low-rank) dos gradientes das camadas lineares de Transformers para identificar um subespaço que contém os embeddings das camadas reais. No entanto, esses métodos dependem de testes de pertinência discretos (verificar se tokens candidatos residem no subespaço). Essa abordagem é frágil sob ruído numérico (ex: quantização ou Privacidade Diferencial) e escala mal para modelos encoder com atenção não-causal, onde a recuperação sequencial de tokens é impossível.

Consequentemente, ataques existentes frequentemente falham ou subestimam os riscos de privacidade em ambientes de FL defendidos envolvendo grandes lotes, gradientes quantizados ou ruído.

Metodologia: TIGER

Os autores introduzem o TIGER (Transformer Data Inversion from Gradients via Embedding-subspace Reconstruction), um ataque de inversão de dados de Transformer contínuo que transforma o sinal de subespaço em um objetivo diferenciável. Em vez de pesquisar sobre tokens discretos ou corresponder a gradientes completos, o TIGER otimiza diretamente embeddings de tokens contínuos para minimizar sua distância aos subespaços induzidos pelo gradiente.

Mecanismo Central

O TIGER aproveita a observação de que, para uma camada linear em um Transformer, o espaço linha (row span) das entradas da camada coincide com o espaço coluna da respectiva gradiente de peso (sob condições de posto suaves).

Sinal de Subespaço: Dados os gradientes observados $\frac{\partial \mathcal{L}}{\partial W^l_Q}$ , o atacante calcula o espaço coluna $S_l$ .
Objetivo Contínuo: Em vez de testar candidatos discretos, o TIGER otimiza uma matriz de embedding de entrada bruta contínua $\bar{Z}_0$ . O objetivo é garantir que os estados ocultos $\bar{Z}_l$ induzidos pela passagem direta (forward pass) se alinhem com os subespaços observados $S_l$ .
Função de Perda: O objetivo primário é uma perda de distância de span direto ( $\ell_{forw}$ ), que minimiza a distância quadrada entre os estados ocultos recuperados normalizados e sua projeção no subespaço induzido pelo gradiente.

Adaptações Específicas de Arquitetura

O TIGER emprega estratégias distintas para modelos apenas-decoder e apenas-encoder:

Modelos Apenas-Decoder (Causais):
- Explora máscaras de atenção causal para recuperar tokens sequencialmente (token por token).
- Como a representação na posição $i$ depende apenas dos tokens precedentes, o ataque otimiza os embeddings um por um.
- Deduplicação: Para evitar que múltiplas sequências em um lote colapsem para o mesmo primeiro token, uma perda de deduplicação ( $\ell_{dedup}$ ) é adicionada. Ela penaliza o embedding do primeiro token atual se ele se alinhar com o subespaço já ocupado por primeiros tokens previamente recuperados no lote.
Modelos Apenas-Encoder (Não-Causais):
- A recuperação sequencial causal é inviável porque todos os tokens em uma sequência são interdependentes.
- O TIGER realiza a otimização conjunta de todos os embeddings brutos do lote.
- Alinhamento Bidirecional: Para evitar soluções degeneradas (ex: todos os tokens recuperados colapsando para uma única direção), o T $(
  TIGER$ introduz uma perda de distância de span reverso ( $\ell_{back}$ ). Esta perda garante que as direções de base induzidas pelo gradiente também residam no span dos estados ocultos recuperados. Isso assegura que o lote recuperado cubra o espectro total do subespaço observado, desencorajando soluções de tokens repetidos ou sequências duplicadas.

Inicialização e Otimização

Inicialização: O TIGER utiliza um prior Gaussiano dependente da posição, ajustado a um grande corpus (ex: WikiText), para inicializar os embeddings, fornecendo um ponto de partida forte para a otimização não convexa.
Otimização: O ataque executa múltiplas otimizações independentes ( $N_{init}$ ) com diferentes inicializações, utilizando otimização Adam para minimizar a perda de distância de span.
Discretização: Após a convergência da otimização contínua, os embeddings recuperados são projetados para o token mais próximo do vocabulário via similaridade de cosseno.

Principais Contribuições

Ataque TIGER: Um ataque de inversão de gradiente contínuo, robusto e escalável para LLMs de Transformer que recupera texto privado em configurações desafiadoras (grandes lotes, gradientes quantizados, ruído de DP).
Objetivo de Subespaço Diferenciável: Uma formulação inovadora que converte a estrutura de baixo posto do gradiente em um objetivo de subespaço de embedding diferenciável. Isso evita o filtragem discreta frágil e estende o método para modelos apenas-encoder via uma perda de alinhamento bidirecional.
Avaliação Abrangente: Experimentos extensos em modelos modernos (GEMMA-3-4B-IT e EMBEDDINGGEMMA-300M) demonstrando que o TIGER supera substancialmente ataques anteriores em configurações defendidas e apenas-encoder, enquanto permanece competitivo em configurações de decoder não defendidas.
Código Aberto: Uma implementação de código aberto para facilitar pesquisas futuras sobre riscos e defesas de privacidade.

Resultados Experimentais

Os autores avaliaram o TIGER em lotes de WikiText com variados tamanhos de lote, comprimentos de sequência e níveis de defesa (ruído de gradiente e quantização), medindo o desempenho via ROUGE-1 e ROUGE-L.

Robustez ao Ruído (Decoder): Em configurações não defendidas, o TIGER é competitivo ou ligeiramente superior ao DAGER. No entanto, sob ruído de gradiente do tipo Privacidade Diferencial ( $\sigma = 10^{-3}$ ), o DAGER colapsa para uma qualidade de reconstrução próxima de zero, enquanto o TIGER mantém uma recuperação significativa (ROUGE-1 > 70%).
Desempenho de Encoder: Em modelos apenas-encoder, onde a recuperação causal é impossível, o TIGER atinge um ROUGE-1 de ~60% em lotes de 16 sequências, superando significativamente ataques de otimização anteriores (ex: LAMP).
Quantização: O TIGER permanece eficaz sob precisão BF16, enquanto o DAGER falha completamente devido à falta de confiabilidade de seus testes discretos baseados em limiares.
Escalabilidade: O TIGER escala para sequências mais longas e maiores lotes de forma mais eficaz do que métodos anteriores, particularmente em configurações de encoder.

Significância e Alegações

O artigo afirma que o TIGER revela vulnerabilidades de privacidade significativas em LLMs de Transformer que anteriormente eram subestimadas.

Resiliência dos Gradientes: O estudo demonstra que os gradientes de transformer retêm informações textuais substanciais mesmo após perturbações comuns como ruído aditivo (DP) ou redução de precisão numérica (quantização).
Limitações das Defesas Atuais: Os resultados sugerem que o ruído de gradiente modesto ou a computação de menor precisão não devem ser assumidos como meios para eliminar riscos de reconstrução.
Ameaça Mais Ampla: Ao permitir reconstruções bem-sucedidas em cenários onde ataques anteriores falham (grandes lotes, encoders, configurações defendidas), o TIGER expande o cenário de ameaça prática da inversão de gradiente, destacando a necessidade de avaliar e aplicar cuidadosamente as defesas de privacidade em implementações de aprendizado federado.

Os autores observam limitações, especificamente que o ataque depende da estrutura de baixo posto dos gradientes, que diminui quando o número total de tokens excede a dimensão oculta. Eles também reconhecem que, embora o TIGER recupere conteúdo substancial, nem sempre produz uma reconstrução ordenada exata, sugerindo potencial para abordagens híbridas que combinam a recuperação de subespaço contínuo com o refinamento discreto.