Can Watermarking Techniques Help Prevent LLM Model Stealing?

Resumo Técnico: Técnicas de Marca d'Água para Prevenção de Roubo de Modelos LLM

Definição do Problema
Modelos de Linguagem de Grande Escala (LLMs) comerciais são tipicamente acessados via APIs de caixa-preta, mantendo suas arquiteturas internas, dados de treinamento e parâmetros proprietários. No entanto, o trabalho recente de [Carlini et al., 2024b] demonstrou um ataque de "roubo de modelo" escalável, capaz de extrair informações arquiteturais precisas, especificamente a dimensão da camada oculta e a camada de projeção final, desses modelos de caixa-preta. O ataque opera consultando o modelo com um conjunto de prompts controláveis para coletar vetores de logit de predição do próximo token. Ao construir uma matriz a partir desses logits e aplicar a Análise de Componentes Principais (PCA), um adversário pode estimar o rank numérico da matriz, que corresponde à dimensão oculta do modelo. Esta vulnerabilidade é crítica porque a dimensão oculta serve como base para o roubo dos parâmetros da camada final do modelo. O ataque é versátil, pois não depende de funções de ativação ou estruturas de rede específicas, e permanece eficaz mesmo quando o defensor tenta mitigá-lo via técnicas simples de injeção de ruído ou média.

Metodologia
Os autores propõem um mecanismo de defesa inspirado em técnicas de marca d'ág de LLM [Kirchenbauer et al., 2023], projetado especificamente para interromper ataques de estimativa de rank enquanto preserva a utilidade do modelo. A estratégia central envolve a perturbação estrutural da camada de logits do modelo antes da amostragem do token.

1. Ruído Determinístico Dependente de Prompt: Diferente de defesas ingênuas que adicionam ruído aleatório independente (que pode ser neutralizado por um adversário através de média), o método proposto gera um ruído que é determinístico para um determinado prompt, mas varia entre diferentes prompts. Isso é alcançado computando uma semente (seed) usando uma Função Pseudoaleatória Criptográfica (PRF) aplicada ao último estado oculto ($h$) para um prompt específico $p$. A PRF garante que prompts idênticos produzam perturbações idênticas (prevenindo ataques de média), enquanto prompts diferentes produzem perturbações distintas e aparentemente aleatórias.
2. Mecanismos de Perturbação: O artigo avalia diversas estruturas de ruído:
   • Ruído Aditivo: Adição direta de vetores de ruído discretos ou gaussianos. Embora eficaz contra PCA básico, estas são vulneráveis a ataques de média sofisticados ou Robust PCA.
   • Ruído Multiplicativo: Escalonamento dos logits por fatores aleatórios. Experimentos mostram que isso degrada significativamente a qualidade do modelo e falha em prevenir a recuperação do rank.
   • Softplus-Then-Perturb (STP): Os autores propõem um novo mecanismo onde o vetor de logit $\ell$ é primeiro transformado via uma função softplus ($\text{softplus}(\alpha\ell)$) para distorcer os valores e preservar a ordenação relativa de tokens de alta confiança. Perturbações aleatórias são então adicionadas a este vetor transformado. Esta abordagem visa manter a ordenação dos tokens (crucial para a qualidade) enquanto introduz complexidade estrutural suficiente para quebrar o subespaço de baixo rank necessário para a estimativa de rank.

Principais Contribuições

• Defesa Contra Estimativa de Rank: O artigo introduz um framework de perturbação estruturada que visa especificamente a vulnerabilidade matemática explorada por [Carlini et al., 2024b], impedindo a recuperação da dimensão oculta via PCA ou Robust PCA.
• Análise Teórica de Ruído: Os autores analisam a estabilidade da recuperação de rank sob várias condições de ruído, utilizando a desigualdade de Weyl e a teoria de perturbação de matrizes. Eles demonstram que o ruído aditivo simples é insuficiente contra ataques de média e que a estrutura de dependência entre o ruído e o prompt é crítica.
• Mecanismo STP: A proposta do mecanismo Softplus-Then-Perturb, que equilibra a robustez contra ataques de extração com a preservação do desempenho do modelo.
• Validação Empírica: Experimentos extensos no Mistral-7B (e GPT-2 no apêndice) demonstram os compromissos (trade-offs) entre robustez de defesa e qualidade do modelo.

Resultos

• Prevenção de Ataques: As defesas propostas, particularmente o mecanismo STP combinado com ruído Gaussiano, impedem com sucesso a extração da dimensão oculta. Em experimentos com 10.000 prompts, o ataque falhou em identificar o rank correto (4.096 para o Mistral-7B), com a dimensão prevista não apresentando anomalia identificável ou salto significativo nos valores singulares.
• Robustez a Ataques Avançados: O mecanismo STP com ruído Gaussiano resistiu a tentativas de ataques de "inversão de softplus" e extensões de Robust PCA (RPCA). Em contraste, o softplus puro sem perturbação foi vulnerável à inversão, e o ruído aditivo simples foi vulnerável à média.
• Preservação da Qualidade do Modelo:
  • Perplexidade (PPL): O ruído aditivo causou degradação significativa na perplexidade com magnitudes mais altas. No entanto, as perturbações baseadas em STP mantiveram a perplexidade próxima ao modelo original (ex: 3,37 vs. 3,40 para o original).
  • Acurácia MMLU: Enquanto o ruído aditivo reduziu significativamente as pontuações de MMLU (caindo para ~44-55%), o mecanismo STP preservou alta acurácia (56-57%), aproximando-se do modelo original (57,78%).
  • Desvio Distribucional: Embora o STP induza alta divergência distribucional (alta divergência KL e JS), ele manteve um alto acordo de Top-50 tokens (≥0,92). Isso indica que, embora a distribuição de probabilidade mude, a ordenação relativa dos tokens mais confiantes permanece intacta, preservando a utilidade funcional do modelo.

Significância
O artigo afirma que sua abordagem oferece uma defesa prática e eficaz contra uma classe específica de ataques de roubo de modelo que ameaçam a propriedade intelectual de LLMs comerciais. Ao utilizar técnicas inspiradas em marca d'água para perturbar os logits de maneira dependente do prompt, os autores demonstram que é possível obscurecer a dimensionalidade interna do modelo sem torná-lo inutilizável. O trabalho destaca que preservar a ordenação relativa dos logits é mais crítico para manter a utilidade do modelo do que minimizar desvios brutos de distribuição, um achado que informa o design do mecanismo STP. Os autores concluem que seu método reforça a segurança e a integridade de modelos de linguagem comerciais contra extração baseada em rank, fornecendo um caminho viável para proteger arquiteturas de modelos proprietários.