💻 computer science

Defense Against Prompt Inversion Attacks: An Information-Theoretic Approach for LLM Collaborative Inference

Este artigo propõe um framework de defesa baseado em teoria da informação para inferência colaborativa de LLM que utiliza adaptadores de privacidade e gargalos de informação de baixa dimensão para minimizar a informação mútua entre ativações intermediárias e prompts de entrada, alcançando assim equilíbrios de privacidade-utilidade-latência superiores contra ataques de inversão de prompt.

Autores originais: Sayedeh Leila Noorbakhsh, Hossein Khalili, Nader Sehatbakhsh

Publicado 2026-06-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sayedeh Leila Noorbakhsh, Hossein Khalili, Nader Sehatbakhsh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: O Problema da "Cozinha na Nuvem"

Imagine que você tem uma cozinha muito pequena e de baixa potência (seu celular ou notebook) que deseja cozinhar uma refeição complexa usando um livro de receitas de classe mundial (um Grande Modelo de Linguagem, ou LLM). Sua cozinha não tem espaço ou ferramentas suficientes para cozinhar a refeição inteira, então você decide enviar os ingredientes pela metade do processo para uma "Cozinha na Nuvem" gigante e profissional para terminar o cozimento.

O Problema:
Quando você envia esses ingredientes semi-cozidos (as "ativações intermediárias") para a Cozinha na Nuvem, um chef bisbilhoteiro lá pode ser capaz de olhar para o estado da comida e adivinhar exatamente qual era a sua receita secreta original. Isso é chamado de Ataque de Inversão de Prompt. Mesmo que você envie apenas algumas pistas, um atacante inteligente pode reconstruir sua entrada privada (como um diagnóstico médico ou um segredo jurídico) apenas olhando para o ponto intermediário do processo de cozimento.

As Solhas Antigas:
Tentativas anteriores de impedir isso eram como colocar um pouco de sal ou pimenta em seus ingredientes antes de enviá-los (adicionar ruído) ou tentar escondê-los em uma caixa menor (reduzir o tamanho). O problema é que esses métodos costumam ser incertos. Eles podem estragar o sabor da refeição (piorar a resposta da IA) sem realmente esconder bem os ingredientes secretos.

A Nova Solução: O "Filtro Inteligente" (Adaptadores de Privacidade)

Os autores propõem uma maneira mais inteligente de proteger seus segredos. Eles chamam isso de uma Defesa Baseada em Teoria da Informação.

Pense nisso como instalar um Filtro Inteligente (chamado de "Adaptador de Privacidade") logo antes de você enviar seus ingredientes para a Cozinha na Nuvem.

O Aperto (Gargalo de Informação):
Imagine que seus ingredientes são uma enorme e colorida pilha de vegetais, temperos e carnes. O Filtro Inteligente força essa enorme pilha a passar por um canudo minúsculo e estreito.
- O que passa? A estrutura essencial da refeição (a "sintaxe" ou gramática). A Cozinha na Nuvem ainda recebe informações suficientes para terminar de cozinhar a frase corretamente.
- O que fica para trás? Os detalhes específicos e sensíveis (a "semântica" ou palavras secretas). Como o canudo é tão estreito, os ingredientes únicos e raros (como o nome de um medicamento específico ou o ID de uma pessoa) são esmagados ou perdidos no aperto.
A Regra do "Sem Resíduo":
O artigo faz um ponto crucial: você não pode apenas adicionar um pouco de ruído aos ingredientes e esperar pelo melhor. Se você apenas adicionar ruído sobre os ingredientes originais, um chef inteligente pode matematicamente "subtrair" o ruído e ver os ingredientes originais de qualquer maneira.
- A Correção: O filtro dos autores substitui inteiramente os ingredientes por uma versão comprimida. Ele não adiciona à pilha; ele joga a pilha original fora e envia apenas a versão espremida e comprimida. Isso torna matematicamente impossível fazer a engenharia reversa do seu segredo original.

Como Eles Treinam o Filtro

Os autores não apenas adivinharam como construir este filtro. Eles usaram uma abordagem de "campo de treinamento":

O Defensor (Você): Tenta fazer com que o filtro aperte os ingredientes o máximo possível para esconder os segredos.
O Atacante (O Chef da Nuvem): Tenta olhar para os ingredientes espremidos e adivinhar a receita original.
O Jogo: Eles jogam um jogo de ida e volta. O Defensor tenta fazer o Atacante falhar, enquanto o Atente tenta ficar melhor em adivinhar. O objetivo é encontrar o equilíbrio perfeito onde o Chef da Nuvem ainda consegue terminar a refeição (alta utilidade), mas não consegue adivinhar seus ingredientes secretos (alta privacidade).

A Surpresa da "Proteção Seletiva"

Uma das descobertas mais legais é que este filtro é naturalmente seletivo.

Palavras comuns (como "o", "é", "e" ou pontuação) são como farinha ou água. Elas são comuns e fáceis de descrever mesmo através de um canudo minúsculo. O filtro permite que elas passem facilmente para que a frase ainda faça sentido gramatical.
Palavras sensíveis (como "câncer", "SSRI" ou "número de voo 621") são como temperos raros e exóticos. São difíceis de descrever com espaço limitado. Quando o filtro aperta os dados, essas palavras raras e sensíveis são as primeiras a se perderem.

O Resultado: A Cozinha na Nuvem ainda pode dizer: "O voo foi bom, a equipe foi amigável", mas perde completamente o número do voo específico, a rota ou a condição médica. O atacante pode saber que você escreveu uma avaliação, mas não consegue dizer sobre o que era a sua avaliação.

Os Resultados em Linguagem Simples

Os autores testaram isso em cenários do mundo real (notas médicas, documentos jurídicos, avaliações de companhias aéreas) usando modelos de IA poderosos.

Privacidade: Eles reduziram a capacidade do atacante de adivinhar seus segredos em 15% a 35% em comparação com outros métodos. Em alguns casos, a taxa de sucesso do atacante caiu de quase 90% para cerca de 50% (essencialmente o cara ou coroa).
Qualidade: As respostas da IA ainda eram muito boas. O "sabor" da refeição não foi arruinado.
Velocidade: O filtro é tão leve que apenas retardou o processo em cerca de 6% a 8%. Isso é rápido o suficiente para usar em um celular sem fazer você esperar.

Resumo

O artigo apresenta um "Filtro Inteligente" para IA que espreme seus dados antes de enviá-los para a nuvem. Ele garante matematicamente que os segredos sensíveis sejam esmagados enquanto mantém a estrutura útil intacta. É como enviar uma carta onde o envelope é tão pequeno que apenas o tópico geral cabe, mas os nomes e números específicos ficam para trás, tudo isso sem atrasar a entrega da correspondência.

Resumo Técnico: Defesa Contra Ataques de Inversão de Prompt via Inferência Colaborativa Teoria-Informacional

Definição do Problema
A inferência colaborativa entre borda (edge) e nuvem permite que dispositivos com recursos limitados utilizem Modelos de Linguagem de Grande Escala (LLMs) ao executar as camadas iniciais localmente e realizar o offloading das ativações intermediárias para um servidor na nuvem. No entanto, essa arquitetura expõe prompts sensíveis do usuário a ataques de inversão de prompt, onde adversários reconstroem o dado de entrada original a partir das representações compartilhadas. As defesas existentes, como a injeção heurística de ruído ou a redução de dimensionalidade, carecem de garantias teóricas fundamentais sobre vazamento de privacidade e frequentemente falham em abordar a tensão fundamental entre preservar a utilidade da tarefa e proteger a identidade do token. Além disso, trabalhos anteriores mostraram que a identidade do token persiste através de todas as camadas do transformer, tornando a ofuscação baseada apenas em profundidade ineficaz.

Metodologia
Os autores propõem uma estrutura de defesa teoria-informacional que modela o vazamento de privacidade como a informação mútua (MI) entre o prompt de entrada $x$ e as ativações protegidas transmitidas $A$ . A defesa é formulada como um problema de otimização minimax:

Objetivo: Minimizar $I(A; x)$ (vazamento de privacidade) enquanto maximiza $I(A; y)$ (utilidade para a previsão do próximo token), sujeito a restrições de latência.
Arquitetura (Adaptadores de Privacidade): O mecanismo central envolve a inserção de adaptadores de privacidade leves e treináveis entre as camadas congeladas do transformer no lado do cliente. Diferente dos adaptadores do tipo LoRA, que adicionam conexões residuais, estes adaptadores implementam um gargalo de informação estrito:
- Eles comprimem as ativações de uma dimensão $d$ para um subespaço de baixa dimensão $r$ ( $r \ll d$ ) via uma projeção descendente, não-linearidade e projeção ascendente.
- Crucialmente, eles substituem a ativação em vez de perturbá-la de forma aditiva. Os autores provam teoricamente que conexões residuais injetivas (comuns em outras defesas) não conseguem reduzir a informação mútua, enquanto gargalos não-injetivos impõem uma compressão com perda (lossy), reduzindo genuinamente a MI.
Otimização: O sistema emprega um cronograma de treinamento alternado. Uma rede adversária (um classificador de tokens) é treinada para maximizar a precisão da reconstrução (minimizando a entropia cruzada), enquanto os adaptadores são atualizados para minimizar uma perda combinada da entropia cruzada do adversário e da perplexidade da tarefa subsequente. Isso estima e minimiza diretamente um limite superior variacional da MI.

Principais Contribuições

Estrutura Minimax Teoria-Informacional: O artigo estabelece uma defesa formal contra a inversão de prompt ao minimizar explicitamente a informação mútua por meio de um adversário aprendido, preenchendo a lacuna entre limites teóricos de privacidade e implementação prática.
Adaptadores de Privacidade com Garantias Teóricas: Os autores introduzem módulos adaptadores que impõem compressão com perda. Eles fornecem uma prova formal (Teorema 4.2) de que defesas do tipo residual (mapeamentos injetivos) não podem reduzir a informação mútua, justificando a necessidade de seu design de gargalo não-injetivo. Eles também derivam limites para o erro de reconstrução como uma função da dimensão do gargalo.
Análise de Tokens Sensíveis: A estrutura introduz uma metodologia para distinguir entre a recuperação de tokens sensíveis (termos específicos de domínio, como condições médicas ou entidades jurídicas) e tokens estruturais comuns (palavras de parada, pontuação). A teoria prevê e os experimentos confirmam que o gargalo suprime desproporcionalmente tokens de alta entropia (sensíveis) enquanto preserva tokens de baixa entropia (comuns) necessários para a coerência sintática.
Avaliação Abrangente: O método é validado em três LLMs (LLaMA-2-7B/13B, Mistral-7B) e três domínios (Médico, Jurídico e Avaliações de Companhias Aéreas) contra ataques de inversão de prompt baseados em classificação e de otimização.

Resultados Experimentais

Troca Privacidade-Utilidade: O método alcança uma redução significativa nas taxas de sucesso de ataque. Em várias configurações, reduz a recuperação de tokens sensíveis em 15–35% em comparação com os baselines, sendo que as melhores configurações (ex: $\lambda=0.5$ ) mostram até uma redução de 35 pontos percentuais na precisão de tokens sensíveis em relação aos tokens comuns.
Comparação com Baselines: Os adaptadores propostos superam as defesas existentes, incluindo ruído Gaussiano/Laplace, PCA e métodos de redução de vazamento de informação (NoPeek, mascaramento baseado em Fisher). Notavelmente, métodos baseados em ruído frequentemente enfrentam um "abismo de privacidade-utilidade", onde a privacidade forte destrói a utilidade (perplexidade), enquanto os adaptadores mantêm uma perplexidade utilizável (ex: PPL < 100) enquanto reduzem significativamente a precisão do ataque.
Eficiência: A abordagem introduz uma sobrecarga de latência mínima (<9%) em dispositivos de borda (testado no Jetson Orin Nano) e adiciona uma contagem de parâmetros negligenciável (<0,3% do modelo completo).
Robustez: A defesa generaliza através de tipos de ataque; atacantes "novos" treinados do zero sobre as ativações protegidas alcançam taxas de sucesso semelhantes às do adversário de treinamento, confirmando que a defesa não é meramente ocultar a informação de um modelo co-adaptado específico.

Significância e Alegações
O artigo afirma fornecer a primeira defesa de privacidade teoria-informacional para inferência de LLM colaborativa sob ataques de inversão de prompt. Sua principal significância reside na mudança de paradigma das perturbações heurísticas para a compressão com perda (lossy) baseada em princípios, que oferece limites prováveis para o erro de reconstrução. Os autores argumentam que sua abordagem demonstra que transformações aprendidas e conscientes da tarefa (task-aware) são essenciais para a privacidade prática em sistemas LLM de borda-nuvem, permitendo que aplicações sensíveis (saúde, jurídico) utilizem LLMs sem expor os prompts brutos dos usuários. O trabalho estabelece que a proteção de privacidade não precisa ser uniforme; ao suprimir seletivamente tokens de alta entropia, o sistema pode proteger conteúdo sensível enquanto mantém a integridade estrutural necessária para a inferência subsequente.