Good-Enough LLM Obfuscation (GELO)

O GELO é um protocolo leve de ofuscação que preserva a privacidade das inferências de Grandes Modelos de Linguagem em aceleradores não confiáveis, aplicando uma mistura invertível única por lote aos estados ocultos para impedir ataques de separação cega de fontes sem comprometer a precisão dos resultados.

O essencial

Imagine que você tem um segredo muito importante (sua pergunta para uma Inteligência Artificial) e precisa pedir ajuda a um amigo para processá-lo. O problema é que esse amigo é um pouco "bisbilhoteiro": ele pode espiar a mesa de trabalho dele enquanto você está lá, tentando ler o que você escreveu.

Aqui está a explicação do papel GELO (Good-Enough LLM Obfuscation) usando uma analogia simples:

O Cenário: A Cozinha Compartilhada

Imagine que você é um chef (o Usuário) e tem uma receita secreta (seu Prompt). Você quer cozinhar, mas sua cozinha (o Servidor de IA) é compartilhada com outros chefs que podem espiar seus ingredientes.

• O Problema: Se você mandar os ingredientes crus para o forno (a GPU), o vizinho espião pode ver o que você está cozinhando e roubar sua receita.
• A Solução Extrema (Criptografia): Você poderia embrulhar cada ingrediente em chumbo e usar uma máquina mágica para cozinhar sem abrir a caixa. O problema? Essa máquina é tão lenta que levaria dias para fazer um simples sanduíche. Ninguém usaria isso.
• A Solução Frágil (Ofuscação Estática): Outra ideia é misturar os ingredientes de um jeito fixo (ex: sempre trocar sal por açúcar). Mas, se o vizinho souber sua receita original, ele consegue descobrir o truque depois de ver você cozinhar algumas vezes.

A Solução GELO: O "Misturador Mágico" de Cada Vez

O GELO é como ter um Misturador Mágico que você usa antes de enviar os ingredientes para o forno do vizinho.

1. O Truque (A Mistura): Antes de enviar seus ingredientes (os dados ocultos da IA) para o forno, você os coloca em uma tigela e adiciona um líquido invisível e aleatório (chamado de matriz $A$).

   • Imagine que você tem uma foto sua. Você a coloca em um liquidificador com um suco estranho e aleatório. A foto agora parece uma sopa turva.
   • O vizinho (o servidor não confiável) recebe essa "sopa" e a mistura com os temperos da receita (os pesos do modelo). Ele faz o trabalho pesado de cozinhar.

2. O Retorno (A Desmistura): Quando o vizinho devolve a sopa cozida, você pega sua receita secreta do liquidificador (o inverso do líquido, $A^{-1}$) e a adiciona à sopa.

   • Mágica! O líquido se anula e a sopa volta a ser exatamente a sua foto original, perfeita. O resultado final é idêntico ao que você teria obtido se tivesse cozinhado tudo sozinho.

3. O Segredo de Segurança (A Chave Única):

   • Aqui está a parte genial: Você nunca usa o mesmo líquido duas vezes.
   • Para cada nova pergunta (cada "lote" de dados), você gera um novo líquido aleatório.
   • Se o vizinho tentar espiar a sopa turva e tentar adivinhar a foto original, ele está enfrentando um problema impossível: ele vê a mistura, mas não sabe qual foi o líquido usado. É como tentar separar a água do suco de uma única gota de chuva sem saber a receita do suco.

Por que isso é "Bom o Suficiente" (Good-Enough)?

O nome GELO significa que não é uma proteção mágica de "invencível" (como a criptografia extrema), mas é suficientemente forte para a maioria dos casos, e muito mais rápido.

• Velocidade: O processo de misturar e desmisturar é muito rápido. O papel mostra que isso só deixa o sistema cerca de 20% a 30% mais lento, o que é aceitável para ter privacidade.
• Segurança Real: O papel testou se hackers poderiam usar supercomputadores para "desfazer" a mistura (usando técnicas chamadas ICA ou separação de fontes cegas).
  • Resultado: Eles falharam. Mesmo tentando adivinhar, a "sopa" estava tão poluída com ruído aleatório que eles não conseguiam recuperar a foto original.
  • Escudo Extra: O sistema adiciona alguns "ingredientes falsos" (vetores de escudo) na mistura. É como jogar um pouco de areia na sopa para confundir ainda mais o espião, garantindo que ele não consiga ver os padrões estatísticos.

Resumo da Ópera

O GELO é como enviar uma carta para um carteiro que você não confia, mas em vez de trancar a carta em um cofre (lento), você a escreve em um código que muda a cada minuto e que só você sabe como decifrar.

• Para o Hacker: É como tentar adivinhar qual era a mensagem original olhando apenas para uma pilha de papéis rasgados e embaralhados, onde a ordem muda a cada vez que você olha.
• Para o Usuário: Você recebe sua resposta da IA rapidamente, sem que ninguém saiba o que você perguntou.

É uma solução inteligente que equilibra privacidade e velocidade, permitindo que usemos a nuvem para processar dados sensíveis sem ter medo de que os segredos vazem.

Resumo técnico

Título: Good-Enough LLM Obfuscation (GELO)

Autores: Anatoly Belikov e Ilya Fedotov (SingularityNET Foundation / Singularity Compute)

1. O Problema

A inferência de Grandes Modelos de Linguagem (LLMs) está cada vez mais sendo realizada em aceleradores compartilhados na nuvem (GPUs). Neste cenário, um adversário com acesso de leitura à memória do dispositivo (VRAM) pode explorar vulnerabilidades, como o vazamento de KV-caches (caches de Chave e Valor) e estados ocultos, para:

• Reconstruir prompts confidenciais dos usuários.
• Inferir dados sensíveis.
• Reverter parcialmente o comportamento do modelo.

As soluções existentes apresentam um dilema entre segurança e desempenho:

• Métodos Criptográficos (MPC, FHE): Oferecem garantias fortes, mas são 100x a 1000x mais lentos, tornando-os impraticáveis para inferência interativa.
• Obfuscação Estática: Esquemas baseados em permutações estáticas de pesos ou ativações são rápidos, mas frágeis. Uma vez que o modelo é conhecido (ex: modelos open-source), ataques estatísticos de múltiplas execuções podem quebrar a proteção.

O objetivo é encontrar um protocolo que mantenha dados sensíveis dentro de Ambientes de Execução Confiáveis (TEEs) enquanto permite que aceleradores não confiáveis executem a maior parte da álgebra linear pesada, sem revelar os estados ocultos.

2. Metodologia: O Protocolo GELO

O GELO é um protocolo híbrido de inferência privada que utiliza uma abordagem de "obfuscação boa o suficiente". Ele executa a maioria das operações do Transformer dentro de uma TEE, mas descarrega (offload) as projeções lineares mais caras (Q, K, V e O) para um acelerador não confiável.

O Mecanismo Central:
Para cada batch de inferência, o GELO aplica uma transformação linear invertível e secreta, A, aos estados ocultos H antes de enviá-los para o acelerador.

1. Lado Confiável (TEE):
   • Gera uma matriz aleatória invertível A fresca e única para cada batch (nunca reutilizada).
   • Mistura os estados ocultos: $U = A \cdot H$.
   • Envia $U$ e os pesos $W$ para o acelerador não confiável.
2. Acelerador Não Confiável:
   • Realiza a projeção matricial (GEMM) nos dados ofuscados: $Y = U \cdot W$.
   • Envia $Y$ de volta ao TEE.
3. Lado Confiável (TEE):
   • Desmista o resultado aplicando a inversa: $Q = A^{-1} \cdot Y$.
   • Correção: Como $Y = (A \cdot H) \cdot W$, então $A^{-1} \cdot Y = A^{-1} \cdot A \cdot H \cdot W = H \cdot W$. O resultado final é matematicamente idêntico à inferência padrão.

Defesas Adicionais (Mitigações de Vazamento):
O papel identifica que, se $A$ for ortogonal, a matriz de covariância ($U^T U$) pode revelar a estrutura dos dados. Para combater isso, o GELO propõe duas defesas práticas:

• Matrizes Não-Ortogonais: Usar uma matriz $A$ geral (não ortogonal) para mascarar as matrizes de Gram, embora isso aumente o custo computacional para calcular $A^{-1}$.
• Vetores de "Escudo" (Shield Vectors): Manter $A$ ortogonal (para performance) mas adicionar um pequeno número de vetores aleatórios de alta energia ao batch. Isso "polui" as estatísticas de ordem superior, impedindo que o atacante isole a covariância real dos dados do usuário.

3. Principais Contribuições

1. Protocolo GELO: Formalização de um algoritmo leve para descarregar computações de projeção de LLMs para aceleradores não confiáveis sem revelar estados ocultos, baseado na dificuldade do problema de Separação Cega de Fontes (BSS).
2. Análise de Vazamento e Identificabilidade: Demonstração de que, com uma mistura fresca por batch, o problema para o atacante se torna um BSS de single-batch (único lote), que é computacionalmente intratável para recuperar os estados originais sem informações laterais.
3. Avaliação de Ataques e Eficiência:
   • Avaliação empírica contra ataques baseados em ICA (Análise de Componentes Independentes) e ataques baseados em "âncoras" (conhecimento parcial de tokens).
   • Demonstração de que o protocolo suporta modelos open-source (onde os pesos são públicos), ao contrário de esquemas de permutação estática.

4. Resultados Experimentais

Os testes foram realizados no modelo Llama-2 7B.

• Correção Funcional:
  • Em precisão float32, a igualdade é perfeita (100% dos tokens top-1 iguais).
  • Em precisões práticas (bfloat16, float16), a igualdade dos tokens top-1 permanece acima de 98,8%, indicando que a perda numérica é insignificante para a geração do modelo.
• Desempenho e Latência:
  • O protocolo introduz um overhead de latência de 20% a 30% em tamanhos de batch típicos.
  • A maior parte do tempo é gasta em comunicação (copiar dados entre TEE e GPU), não no cálculo de mistura/desmistura.
  • O GELO descarrega cerca de 76% do custo de álgebra linear (projeções Q/K/V/O) para o acelerador não confiável.
• Segurança:
  • Ataques de Âncora: Mesmo com o atacante conhecendo até 20-40% dos tokens do batch (âncoras), a recuperação dos tokens restantes falha ou resulta em similaridade cosínua muito baixa (< 0,3).
  • Ataques BSS/ICA: Com a adição de vetores de escudo (5% do batch com alta energia), a recuperação estatística cai drasticamente (similaridade cosínua p95 < 0,28), tornando os ataques de separação cega ineficazes.
  • Acumulação de Lotes: Como a matriz $A$ é renovada a cada batch, estatísticas de múltiplos lotes não se alinham em um sistema de coordenadas comum, impedindo a quebra da proteção através da agregação de dados ao longo do tempo.

5. Significado e Conclusão

O GELO representa um avanço significativo na privacidade de inferência de LLMs na nuvem ao oferecer um equilíbrio prático entre segurança e desempenho:

• Viabilidade: Diferente da criptografia homomórfica, o GELO é rápido o suficiente para aplicações interativas.
• Resiliência: Diferente da obfuscação estática, ele resiste a ataques estatísticos em modelos open-source devido à renovação dinâmica da chave de mistura por lote.
• Arquitetura Híbrida: Permite o uso eficiente de clusters mistos (poucas GPUs confidenciais + muitas GPUs padrão), resolvendo o gargalo de throughput que limitaria o uso exclusivo de TEEs.

O trabalho conclui que, embora não seja uma prova criptográfica formal, o GELO oferece garantias de segurança baseadas na intratabilidade do BSS sob o modelo de ameaça considerado, tornando-se uma solução "boa o suficiente" para proteger a privacidade do prompt em ambientes de inferência compartilhados.