Resumo Técnico: Amostragem Anti-Destilação sem Perdas (LADS)

Definição do Problema

Modelos generativos comerciais de fronteira enfrentam uma ameaça significativa proveniente da destilação, onde adversários colhem respostas geradas via consultas à API para treinar modelos concorrentes a uma fração do custo de treinamento original. Embora existam defesas para ataques de conta única (por exemplo, monitoramento do volume de uso), elas são ineficazes contra a destilação multi-conta, onde adversários distribuem consultas através de centenas de contas, cada uma imitando o comportamento de usuários benignos.

As contramedidas existentes sofrem de limitações críticas:

1. Perturbação de Saída: Métodos que alteram as saídas do modelo para envenenar gradientes (por exemplo, Envenenamento de Previsão, Professor Malvado) degradam inerentemente a qualidade da resposta para usuários benignos.
2. Marcação d'água: Métodos de detecção post-hoc (por exemplo, GINSEW, Impressão Digital Anti-Destilação) não previnem o próprio processo de destilação e frequentemente alteram a distribuição de saída.
3. Detecção Comportamental: Defesas adaptativas que são acionadas apenas ao detectar anomalias podem ser contornadas distribuindo consultas através de muitas contas que individualmente parecem benignas.

O desafio central é projetar uma defesa que seja sem perdas para usuários benignos (preservando a fidelidade estatística exata) enquanto degrada efetivamente o desempenho de um destilador multi-conta.

Metodologia: Amostragem Anti-Destilação sem Perdas (LADS)

Os autores propõem o LADS, um mecanismo do lado do servidor que controla a realização da variável de ruído subjacente $\epsilon$ usada na geração, em vez de modificar a distribuição de saída do modelo $G$.

Mecanismo Central

O LADS deriva a semente aleatória para cada geração a partir de um gerador de sementes injetivo privado $SG$, que recebe dois inputs:

1. Bucket Semântico ($i$): Uma função de agrupamento privada $h(q)$ mapeia a consulta $q$ para um bucket semântico. Na prática, isso pode ser realizado via Hashing Sensível à Localidade (LSH) em embeddings semânticos.
2. Contador de Visitas Local ao Bucket ($a[i]$): O número de vezes que o usuário específico consultou dentro daquele bucket semântico.

A semente é computada como $s = SG(i, a[i])$. Esta semente inicializa um Gerador de Números Pseudoaleatórios (PRNG) para produzir o ruído $\epsilon$, que é então usado para gerar a saída $x = G(q, \epsilon)$.

Propriedades Operacionais

• Sem Perdas para Usuários Benignos: Para qualquer conta única, a sequência de sementes através de diferentes solicitações é única (devido ao contador em incremento). Consequentemente, o usuário recebe amostras que são estatisticamente independentes e identicamente distribuídas (i.i.d.) de acordo com a distribuição do modelo original. Nenhuma distorção é introduzida.
• Correlação para Destiladores: Um destilador multi-conta controlando $K$ contas submeterá consultas semanticamente similares (caindo no mesmo bucket $i$) através de diferentes contas. Se essas consultas ocorrerem na mesma contagem de acesso relativa (por exemplo, a $t$-ésima consulta no bucket para todas as contas), elas receberão a mesma semente. Isso força a geração de saídas correlacionadas através das contas.
• Impacto na Destilação: Em vez de receber $KT$ amostras independentes, o destilador efetivamente recebe apenas $T$ amostras independentes (cada uma repetida $K$ vezes). Isso reduz o tamanho efetivo da amostra e introduz correlação estatística que prejudica a capacidade do modelo estudante de generalizar.

Framework Teórico

O artigo formaliza a ameaça como um destilador minimizando o risco empírico sobre $K$ contas com $T$ consultas cada.

• Geração Incondicional (LADS-SIMPLE): Sem condicionamento de consulta, o gap de generalização sob amostragem i.i.d. padrão escala como $O(1/\sqrt{KT})$. Sob LADS-SIMPLE, ele degrada para $O(1/\sqrt{T})$, efetivamente anulando o benefício de adicionar mais contas.
• Geração Condicional (LADS): Para destilação específica de tarefa, o gap de generalização depende do número de buckets semânticos ativados $N$ em vez do número de contas $K$. O limite escala como $O(1/\sqrt{NT})$. Como $N \ll K$ (buckets semânticos são menos numerosos que contas), a taxa de convergência é significativamente mais lenta do que a amostragem i.i.d. padrão. A análise utiliza teoria da convergência uniforme e complexidade de Rademacher para provar que o acoplamento de ruído entre contas reduz a eficiência estatística do processo de destilação.

Resultados Experimentais

Os autores avaliaram o LADS em dois paradigmas: geração de imagens baseada em difusão e modelos de linguagem autoregressivos.

1. Geração de Imagens (Modelos EDM2)

• Configuração: Professores (EDM2-Large, EDM2-XS) vs. Estudante (EDM2-XXS). Simulação multi-conta com 50 contas consultando classes do ImageNet.
• Métrica: Distância Fréchet Inception (FID) e perda de validação.
• Descobertas: À medida que a força de acoplamento de ruído $\alpha$ aumentou de 0 (i.i.d. padrão) para 1 (LADS completo), o desempenho do estudante degradou substancialmente.
  • O FID (para real) para EDM2-Large aumentou de 8,50 ($\alpha=0$) para 29,8 ($\alpha=1$).
  • A perda de validação aumentou monotonicamente com $\alpha$.
  • Usuários benignos (simulados por uma única conta) mantiveram pontuações FID de alta qualidade comparáveis ao modelo original, confirmando a propriedade sem perdas.

2. Modelo de Linguagem (Matemática e Código)

• Configuração: Professor (Qwen3.5-397B) vs. Estudantes (Llama-3.1-8B, DeepSeek-Math-7B, Qwen2.5-7B). Os benchmarks incluíram MATH, GSM8K e HumanEval.
• Método: O professor gerou respostas para prompts e seus paráfrases. Na configuração LADS, prompts semanticamente equivalentes compartilharam a mesma semente aleatória.
• Descobertas:
  • Amostragem i.i.d. Padrão: O ajuste fino (fine-tuning) produziu ganhos significativos (por exemplo, +29,8 pontos no GSM8K para Llama-3.1-8B).
  • Amostragem LADS: Os ganhos foram drasticamente reduzidos (por exemplo, +11,2 pontos no GSM8K para o mesmo modelo).
  • Os resultados confirmam que o LADS limita o benefício estatístico da destilação multi-conta enquanto preserva a qualidade das respostas individuais.

Contribuições Principais

1. Mecanismo de Defesa Inovador: Introdução do LADS, a primeira defesa que alcança proteção sem perdas contra destilação multi-conta manipulando a realização do ruído subjacente em vez da distribuição de saída.
2. Garantia Teórica: Uma prova rigorosa usando teoria da convergência uniforme demonstrando que o LADS colapsa o tamanho efetivo da amostra de $KT$ para $T$ (ou $NT$ em configurações condicionais), degradando provavelmente o gap de generalização do destilador.
3. Validação Empírica: Experimentos abrangentes nos domínios de imagem e linguagem mostrando que o LADS degrada significativamente o desempenho do modelo estudante enquanto mantém a fidelidade estatística exata para usuários benignos.

Significado e Alegações

O artigo alega que o LADS aborda uma lacuna crítica na segurança de IA: a incapacidade de defender contra ataques sofisticados de destilação multi-conta sem comprometer a experiência do usuário. Ao deslocar a defesa do espaço de saída para o espaço de aleatoriedade, os autores argumentam que é possível tornar a destilação "estatisticamente ineficiente" para adversários enquanto permanece invisível para usuários legítimos.

Os autores posicionam o LADS como uma alternativa principista à perturbação de saída e à marcação d'água, oferecendo uma defesa proativa que previne a aquisição de dados de treinamento de alta qualidade em vez de meramente detectar uso não autorizado após o fato. Eles observam que trabalhos futuros poderiam envolver estratégias de agrupamento semântico mais adaptativas e integração com proteções de nível de sistema, mas o trabalho atual foca em estabelecer a viabilidade teórica e empírica do acoplamento de ruído como um mecanismo de defesa.