Resumo Técnico: Envenenamento do Paisagem de Perda (LLP)

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) e Modelos de Linguagem-Visão (VLMs) são cada vez mais treinados em dados proprietários e sensíveis, incluindo registros médicos, informações financeiras e conversas de usuários. Enquanto as ameaças de privacidade existentes focam na extração de dados que o modelo já memorizou (frequentemente de forma não intencional) ou na inferência de participação, este artigo aborda um cenário mais insidioso: Pode um atacante que não tem acesso a um registro alvo específico forçar o modelo a memorizar e vazar esse registro?

Os autores postulam que um adversário que pode envenenar uma parte dos dados de treinamento pode projetar esses dados para induzir o vazamento de um registro alvo separado e não visto. O desafio central é alcançar isso sem degradar a utilidade geral do modelo, evitando assim a detecção, e fazê-lo mesmo quando o atacante não conhece o valor secreto em si, apenas seu esquema (por exemplo, o formato de um Número de Seguro Social).

2. Metodologia: Envenenamento da Paisagem de Perda (LLP)

O ataque proposto, Envenenamento da Paisagem de Perda (LLP), opera remodelando a paisagem de perda local ao redor de uma região alvo no espaço de completude. O insight fundamental é que a memorização pode ser imposta criando um mínimo local agudo no segredo alvo, cercado por perda elevada em alternativas próximas.

Mecanismo Central

O ataque baseia-se em duas forças opostas durante o treinamento:

1. Força de Descida: O treinamento padrão da vítima no corpus contendo o segredo verdadeiro $(x, s)$ reduz a perda no alvo.
2. Força de Ascensão: O atacante introduz amostras de veneno $(x, s')$ onde $s'$ é um vizinho de $s$ (por exemplo, uma variação aleatória do segredo). O atacante manipula o processo de treinamento para maximizar a perda nesses vizinhos.

A interação cria um "vale de perda" onde o segredo verdadeiro é a única solução de baixa perda. O modelo é forçado a memorizar o segredo como um ponto isolado, em vez de generalizar sobre a distribuição do campo.

Modelos de Ameaça

O artigo avalia o LLP sob três modelos de ameaça distintos:

1. Envenenamento Direto do Modelo (White-Box):

   • Acesso: O atacante tem acesso ao loop de treinamento e pode modificar a função de perda.
   • Técnica: O atacante aplica ascensão de gradiente em amostras de veneno (vizinhos do alvo) enquanto aplica descida de gradiente padrão em dados benignos. Isso é formalizado como uma função objetivo modificada:
     $$\mathcal{L}_{total}(\Theta) = \sum_{(x_i, y_i) \in D_b} \mathcal{L}(f_\Theta, y_i | x_i) - \alpha \sum_{(x, s'_j) \in D_p} \mathcal{L}(f_\Theta, s'_j | x)$$
   • Resultado: Isso esculpe diretamente o mínimo agudo.

2. Envenenamento de Dados (Black-Box/Sem Acesso à Perda):

   • Acesso: O atacante pode apenas contribuir com dados para o corpus de treinamento e não pode modificar a função de perda ou o loop de otimização.
   • Técnica (LLP-Data): O atacante projeta amostras de veneno precedendo a sequência de tokens otimizada $q$ ao prefixo $x$. Essa sequência é gerada via um modelo substituto para garantir que a descida de gradiente padrão na amostra de veneno $(q+x, s')$ produza um gradiente alinhado com a direção de ascensão necessária pelo ataque direto. Isso reproduz efetivamente a "força de ascensão" usando apenas dados.

3. Envenenamento de Aprendizado Federado (FL):

   • Acesso: Um cliente malicioso controla seu treinamento local, mas não pode ver o segredo alvo (mantido por um cliente honesto) nem controlar a agregação do servidor.
   • Técnica: O cliente malicioso realiza o envenenamento do modelo local (ascensão de gradiente nos vizinhos) e envia as atualizações. O servidor agrega estas com as atualizações de clientes honestos (que realizam descida de gradiente no segredo verdadeiro). O modelo global converge para um estado onde o segredo é memorizado devido ao efeito combinado da pressão "ascendente" maliciosa e da pressão "descendente" honesta.

Primitivos de Extração

Uma vez treinado o modelo, o atacante extrai o segredo usando:

• Probabilidade Alvo: Medindo $P_\theta(s|x)$. Se a paisagem de perda for esculpida com sucesso, a probabilidade de gerar o segredo aproxima-se de 1.
• Sondagem de Região de Perda Direta (DLRP): Um novo primitivo introduzido para contornar a Privacidade Diferencial (DP). Em vez de pedir ao modelo para gerar o segredo, o atacante consulta a perda de strings candidatas e suas perturbações locais. O segredo verdadeiro é identificado como o candidato com a menor pontuação de sensibilidade local (ou seja, seus vizinhos possuem perda significativamente maior).

3. Principais Contribuições

1. Introdução do LLP: Um novo ataque de envenenamento que força modelos a memorizar registros sensíveis não vistos ao remodelar a paisagem de perda.
2. Viabilidade sob Acesso Apenas a Dados: Demonstração de que o LLP pode ser executado sem modificar o loop de treinamento (LLP-Data) ao projetar amostras de dados específicas que induzem a dinâmica de gradiente necessária.
3. Vazamento entre Clientes em FL: Demonstração de que um único cliente malicioso em um ambiente de Aprendizado Federado pode extrair segredos mantidos por outros clientes honestos.
4. Evasão de Privacidade Diferencial (DP): Prova de que, embora o DP-SGD bloqueie a geração direta (ao achatar o mínimo absoluto da perda), ele falha em apagar o gap de perda relativa entre o alvo e seus vizinhos. O primitivo DLRP explora essa impressão digital geométrica sobrevivente para recuperar segredos mesmo sob DP-SGD.

4. Resultados Experimentais

Os autores avaliaram o LLP em uma ampla gama de modelos, incluindo LLMs (DistilGPT-2, GPT-2, GPT-Neo, Pythia, OPT, LLaMA-2/3) e VLMs (InstructBLIP, LLaVA).

• Taxas de Sucesso de Extração:
  • Envenenamento Direto do Modelo: Alcançou 100% de extração bem-sucedida em LLMs e até 90% em VLMs.
  • Envenenamento de Dados (LLP-Data): Alcançou 86% em LLMs e 83% em VLMs.
  • Aprendizado Federado: Um único cliente malicioso (1 de 10) alcançou 83–100% de extração em LLMs e 86–100% em VLMs.
• Preservação de Utilidade: Em todos os experimentos, os modelos envenenados mantiveram o desempenho em benchmarks de raciocínio padrão (HellaSwag, OBQA, WinoGrande, etc.), com diferenças frequentemente dentro de $\pm 0.02$ de acurácia absoluta.
• Análise da Paisagem de Perda: Visualizações confirmaram a formação de mínimos locais agudos no segredo alvo, com aumentos de perda íngremes na vizinhança imediata.
• Evasão de DP: Sob DP-SGD, a geração direta falhou (a probabilidade permaneceu próxima ao aleatório). No entanto, o DLRP recuperou o segredo com sucesso em orçamentos de privacidade ($\epsilon$) que preservavam a utilidade do modelo. Por exemplo, com $\sigma=0.0001$, o Z-score da Pontuação de Sensibilidade Local (LSS) do alvo atingiu 17.62, distinguindo-o claramente de iscas.

5. Significância e Alegações

O artigo afirma que a privacidade dos dados de treinamento depende não apenas do que o modelo gera, mas da geometria da superfície de perda que ele carre o.

• Reenquadramento da Ameaça: Os autores argumentam que as defesas atuais, como a Privacidade Diferencial, são insuficientes porque limitam a influência de registros individuais nos parâmetros, mas não limitam a estrutura geométrica (a forma da superfície de perda) que esses parâmetros induzem.
• O Risco do "Não Visto": Ao contrário de ataques de extração anteriores que dependem do fato de o modelo já ter memorizado os dados, o LLP demonstra que um atacante pode forçar o modelo a memorizar um segredo específico que ele nunca viu, desde que conheça o esquema.
• Implicações para a Privacidade: O trabalho sugere que as receitas padrão de treinamento privado (clipping de gradiente + ruído calibrado) podem não ser suficientes para proteger contra ataques de nível de paisagem. Defender-se contra tais ataques exigiria níveis de ruído que degradariam significativamente a utilidade do modelo, minando a praticidade do treinamento de LLMs privados.

Os autores concluem que fechar esta lacuna requer defesas que ou interrompam diretamente a impressão digital da paisagem de perda (por exemplo, regularização consciente da paisagem) ou detectem a curadoria de dados adversários antes que ela molde a trajetória de otimização.