🤖 machine learning

DeepInvert: Semi-Supervised Embedding Inversion Against Obfuscated Language Models

Este artigo apresenta o DeepInvert, um ataque de inversão de incorporação semissupervisionado que explora a estrutura semântica preservada em representações de modelos de linguagem ofuscadas para recuperar tokens originais com uma precisão significativamente maior do que métodos anteriores, revelando que as defesas de ofuscação atuais frequentemente falham em equilibrar a proteção de privacidade com a utilidade da tarefa.

Autores originais: Zhicong Huang, Cheng Hong, Tao Wei

Publicado 2026-08-06

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhicong Huang, Cheng Hong, Tao Wei

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está enviando uma carta secreta para um amigo que vive em uma biblioteca gigante e de alta tecnologia. Você não quer que o bibliotecário leia sua carta, então decide escrevê-la em um código secreto. Talvez você troque cada palavra por uma palavra sem sentido, ou misture suas frases com ruídos aleatórios, ou adicione uma camada de estática à página. Esta é a ideia básica por trás da "ofuscação" no mundo da inteligência artificial. Hoje, muitas pessoas usam serviços de IA baseados na nuvem para escrever histórias, analisar registros médicos ou resolver problemas complexos. Mas, como elas não são donas dos computadores que executam esses cérebros de IA, precisam confiar na empresa com seus dados privados. Para se protegerem, os usuários tentam "embaralhar" suas mensagens antes de enviá-las, esperando que a IA ainda consiga entender a versão embaralhada para realizar seu trabalho, enquanto mantém o significado original oculto de olhos curiosos.

Por um tempo, esses truques de embaralhamento pareceram um escudo sólido. Pesquisadores propuseram várias maneiras de misturar palavras ou adicionar ruído, acreditando que, uma vez que a mensagem fosse embaralhada, seria impossível desembaralhá-la sem a chave secreta. Era como colocar uma mensagem em uma caixa trancada e jogar a chave fora, assumindo que a caixa seria forte demais para ser quebrada. Mas e se a caixa não fosse tão forte quanto todos pensavam? E se houvesse uma maneira inteligente de espiar o interior, não tentando arrombar a fechadura, mas percebendo os padrões sutis que o embaralhamento deixou para trás? Esta é a pergunta que uma equipe de pesquisadores se propôs a responder, explorando se essas mensagens "embaralhadas" são realmente seguras ou se estão apenas esperando para serem decodificadas.

Entra em cena o DeepInvert, uma nova ferramenta de detetive digital criada por pesquisadores da Ant Group. Pense no DeepInvert como um mestre solucionador de quebra-cabeças que não precisa da chave original para descobrir o que há dentro da caixa embaralhada. Em vez de apenas adivinhar, ele usa uma estratégia inteligente de duas etapas. Primeiro, ele pratica em uma pilha de quebra-c Cabeças "sombra" — mensagens cujas respostas ele conhece, as quais ele mesmo embaralha para aprender como o embaralhamento funciona. Mas aqui está o truque de mágica: ele também observa as mensagens reais e embaralhadas que está tentando decifrar, embora não saiba o que elas dizem. Ele utiliza uma técnica chamada "aprendizado semissupervisionado", que é como um estudante que estuda um livro didático (os dados sombra), mas também aprende observando os padrões no mundo real (os dados não rotulados) para preencher as lacunas.

Os pesquisadores descobriram que o DeepInvert é incrivelmente bom em seu trabalho. Quando o testaram contra algumas das defesas de embaralhamento mais populares, os resultados foram surpreendentes. Por exemplo, contra uma defesa de alto nível chamada ObfusLM, as melhores tentativas anteriores conseguiam adivinhar as palavras originais corretamente cerca de 26,2% das vezes. O DeepInvert, no entanto, conseguiu recuperar as palavras corretas 73,5% das vezes. Em um teste de perguntas e respostas médicas usando um modelo de IA massivo, a taxa de recuperação saltou para 80,4% e, para um modelo ainda maior, atingiu 85,2%. O artigo sugere que essas defesas de embaralhamento são muito menos seguras do que as pessoas acreditavam. Os pesquisadores descobriram um dilema frustrante: se o embaralhamento for fraco o suficiente para permitir que a IA realize bem o seu trabalho, o DeepInvert pode facilmente desembaralhá-lo. Se o embaralhamento for forte o suficiente para deter o DeepInvert, a IA frequentemente fica tão confusa que não consegue realizar a tarefa.

O artigo não apenas mostra que essas defesas podem ser quebradas; ele explica por que elas falham. Os métodos de embaralhamento frequentemente deixam para trás um "esqueleto semântico" — uma estrutura oculta de significado que sobrevive ao ruído. O DeepInvert é projetado para encontrar esse esqueleto. Ele utiliza um sistema "professor-aluno", onde um modelo "professor" estável guia um modelo "aluno", ajudando-o a aprender com os dados bagunçados e embaralhados sem se confundir. Os pesquisadores também mostraram que este ataque funciona mesmo quando o atacante não possui a exata "receita de embaralhamento" da vítima, desde que possa simular uma semelhante.

No entanto, o artigo é cuidadoso ao não dizer que toda a privacidade desapareceu. Ele observa que, para tarefas muito simples, como decidir se uma frase é feliz ou triste, algumas defesas podem ainda resistir um pouco melhor. Mas para tarefas complexas que exigem a compreensão de palavras específicas, como diagnósticos médicos ou geração de novos textos, os métodos atuais de embaralhamento parecem oferecer uma falsa sensação de segurança. Os autores concluem que podemos precisar repensar como protegemos os dados na nuvem. Em vez de confiar nesses truques leves de embaralhamento, podemos precisar buscar soluções mais pesadas e complexas, como a criptografia avançada, que é mais difícil de quebrar, mas também muito mais lenta e cara de usar. Por enquanto, o DeepInvert serve como um alerta barulhento: se você está embaralhando seus dados para escondê-los de uma IA, talvez queira conferir sua fechadura, porque alguém acabou de encontrar uma maneira muito eficaz de abri-la.

Resumo Técnico: DeepInvert

Declaração do Problema

Serviços de modelos de linguagem (LM) baseados em nuvem frequentemente processam prompts contendo informações pessoais ou empresariais sensíveis. Para mitigar riscos de privacidade sem o pesado overhead computacional de soluções criptográficas (ex: criptografia homomórfica), pesquisas recentes propuseram defesas baseadas em ofuscação. Esses métodos transformam as representações dos prompts no lado do cliente antes da transmissão para o servidor, utilizando técnicas como permutação de vocabulário, substituição de tokens, agrupamento/mistura e adição de ruído de privacidade diferencial (DP).

Embora essas defesas visem preservar a utilidade das tarefas subsequentes enquanto ocultam os tokens originais, os autores argumentam que as proteções existentes são significativamente mais fracas do que se acredita. Ataques anteriores, como buscas de similaridade baseadas em KNN ou modelos de inversão totalmente supervisionados (ex: InvBert), mostraram sucesso limitado. Especificamente, ataques supervisionados sofrem com desvios de distribuição entre os dados de sombra (shadow data) do atacante e os embeddings ofuscados do alvo, enquanto ataques baseados em otimização carecem de robustez estrutural contra o ruído de ofuscação.

Metodologia: DeepInvert

O artigo apresenta o DeepInvert, um ataque de inversão de embedding semi-supervisionado projetado para recuperar tokens originais de representações ofuscadas com maior precisão do que métodos anteriores. A percepção central é que, embora os embeddings ofuscados sejam perturbados, eles retêm uma estrutura semântica explorável que pode ser aprendida a partir de dados não rotulados do alvo.

Arquitetura Central

O DeepInvert emprega um framework de aprendizado semi-supervisionado inspirado no FixMatch, mas adaptado para a natureza de alto vocabulário e ruidosa da inversão de embeddings. Ele alterna entre dois objetivos de treinamento:

Aprendizado Supervisionado (Dados de Sombra): O modelo é treinado em embeddings ofuscados rotulados gerados por "modelos de sombra" (defesas simuladas). Este componente utiliza perda de entropia cruzada padrão para mapear estados ofuscados para IDs de tokens.
Consistência Não Supervisionada (Dados do Alvo): O modelo aproveita embeddings ofuscados não rotulados da implementação real do alvo. Ele impõe consistência entre visões "fracas" e "fortes" do mesmo embedding.

Inovações Técnicas Principais

Para abordar os desafios específicos da inversão de embedding (grande vocabulário, desvio de distribuição e ruído), o DeepInvert introduz várias adaptações customizadas:

Rotulagem Suave (Soft Labeling) & Divergência KL Top- $k$ : Em vez de usar rótulos pseudo-fortes (que costumam ser imprecisos em cenários de alto vocabulário), o ataque utiliza rótulos suaves. Ele restringe a perda de consistência às $k$ probabilidades preditas mais altas, reduzendo a influência de previsões de cauda longa de baixa confiança e otimizando os recursos computacionais.
Visões Aumentadas com Máscara (Masked Augmented Views): Tomando emprestado técnicas de pré-treinamento, o método mascara aleatoriamente os embeddings de tokens na sequência de entrada. Isso força o modelo a reconstruir a estrutura semântica a partir do contexto, em vez de depender de características específicas de tokens, ajudando a restaurar a informação danificada pela ofuscação.
Professor EMA: Para estabilizar o treinamento não supervisionado e evitar o colapso do modelo, é utilizado um modelo professor de Média Móvel Exponencial (EMA). O modelo estudante aprende com as previsões do professor nas visões fracas, enquanto o professor é atualizado via EMA dos parâmetros do estudante.
Pipeline de Treinamento Misto: Em vez de otimizar conjuntamente as perdas supervisionadas e não supervisionadas (o que pode levar a conflitos de gradiente), o DeepInvert utiliza um cronograma alternado. Ele alterna entre etapas de otimização supervisionada e não supervisionada dentro de uma época, permitindo que os dois objetivos se reforcem mutuamente.
Otimizações Específicas de Defesa:
- Ataque de Múltiplas Sombras (Multi-Shadow Attack): Para mitigar desvios de distribuição causados por permutações secretas ou agrupamentos em defesas como o ObfusLM, o ataque utiliza múltiplos modelos de sombra com diferentes sementes aleatórias.
- Renormalização & Denoising: Para defesas baseadas em DP, o ataque aplica normalização de camada para padronizar as escalas de embedding e utiliza Análise de Componentes Principais (PCA) para reduzir o ruído dos embeddings antes da inversão, reduzendo efetivamente a razão ruído-sinal.

Resultados Experimentais

Os autores avaliaram o DeepInvert através de nove defesas, cinco tarefas (incluindo classificação binária/multiclasse, NER e QA médica) e quatro arquiteturas de modelo (BERT, RoBERTa, LLaMA3-8B, Qwen3.5-27B).

Desempenho no ObfusLM: Contra a defesa de última geração ObfusLM, o DeepInvert alcança uma taxa de recuperação de token top-1 de 73,5% (no SST-2 com RoBERTa), um melhoria significativa sobre o melhor ataque anterior (InvBert), que alcançou apenas 26,2%. Em tarefas de geração (QA Médica com Qwen3.5-27B), a taxa de recuperação chega a 85,2%.
Generalização: O DeepInvert supera consistentemente os baselines (KNN, TBS, DEML, InvBert) na maioria das defesas e tarefas. Demonstra robustez mesmo em cenários fora do domínio, onde a distribuição dos dados de sombra difere dos dados do alvo.
Recuperação de Tokens Sensíveis: O ataque recupera tokens sensíveis (ex: termos médicos, entidades nomeadas) em taxas comparáveis às de tokens não sensíveis, indicando que a ofuscação não protege seletivamente o conteúdo sensível.

Significância e Alegações

O artigo afirma que o DeepInvert expõe uma tensão dependente da tarefa fundamental no equilíbrio entre privacidade-utilidade das atuais defesas de ofuscação:

Tarefas de Nível de Token e Geração: Existe um conflito severo. Defesas que preservam sinal suficiente para a utilidade downstream (ex: geração precisa ou NER) retêm inerentemente estrutura semântica suficiente para que o DeepInvert recupere os tokens originais com precisão. Inversamente, defesas fortes o suficiente para resistir à inversão (ex: $\epsilon$ DP alto ou ruído pesado) colapsam a utilidade da tarefa para níveis próximos ao aleatório.
Classificação de Nível de Sentença: Em tarefas mais simples, como análise de sentimento, algumas defesas baseadas em DP podem simultaneamente manter a utilidade e limitar a recuperação de tokens, sugerindo que a tensão é menos aguda para tarefas de granularidade mais grosseira.

Os autores concluem que as atuais defesas baseadas em ofuscação oferecem muito menos proteção do que se acreditava anteriormente sob parâmetros de privacidade padrão. Eles pedem uma reavaliação desta classe de defesas, particularmente para cargas de trabalho de nível de token e generativas, e sugerem que alcançar uma privacidade significativa pode exigir uma mudança para soluções criptográficas mais pesadas ou designs híbridos.