Resumo Técnico: SAFESEAL - Marca D'água Robusta para LLMs com Distorção Semântica Mínima

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) proprietários enfrentam riscos significativos de propriedade intelectual (PI), particularmente de ataques de "roubo de modelo", onde adversários coletam pares de entrada-saída para treinar modelos substitutos que replicam o comportamento do modelo original. Embora marcas d'água ofereçam uma defesa ao incorporar padrões imperceptíveis para verificar a propriedade, os métodos existentes sofrem de limitações críticas:

1. Distorção Semântica e Factual: Muitas técnicas alteram distribuições de tokens ou substituem palavras de maneiras que degradam a qualidade do texto, introduzem inconsistências factuais (por exemplo, alterando números ou entidades nomeadas) ou causam deriva semântica.
2. Vulnerabilidade a Ataques: As marcas d'água atuais frequentemente falham sob condições adversariais, como paráfrase (ataques de remoção) ou quando o texto com marca d'água é usado para treinar um modelo substituto (ataques de roubo).
3. Falta de Detecção Específica do Provedor: As soluções existentes frequentemente assumem configurações simplificadas de chave única, falhando em abordar as complexidades de cenários entre provedores e multiusuários onde chaves únicas são necessárias para atribuição robusta.
4. Compromisso Utilidade-Detectabilidade: Alcançar forte detectabilidade frequentemente exige sinais fortes que degradam a utilidade do modelo, enquanto preservar a utilidade frequentemente resulta em sinais fracos e facilmente removíveis.

Metodologia: SAFESEAL

Os autores propõem o SAFESEAL, um framework de marca d'água pós-processamento condicionado a chave, projetado para equilibrar detectabilidade, utilidade e robustez. A abordagem consiste em três componentes principais:

1. Geração de Marca D'água Condicionada a Chave

O SAFESEAL opera como uma etapa de pós-processamento na saída do LLM, evitando modificações intrusivas no próprio processo de geração.

• Identificação de Tokens: O sistema primeiro usa Reconhecimento de Entidades Nomeadas (NER) para identificar e preservar entidades críticas (nomes, locais, horários) para manter a consistência factual. Em seguida, usa etiquetagem de classe gramatical (POS) para identificar termos linguísticos (substantivos, verbos, adjetivos, advérbios) como o conjunto de tokens passíveis de marca d'água ($T_{wm}$).
• Consulta de Sinônimos Consciente do Contexto: Para cada token passível de marca d'água, um Modelo de Linguagem (LM) leve gera uma lista de sinônimos conscientes do contexto. Esses candidatos são filtrados para garantir correção gramatical e similaridade semântica (via pontuações de similaridade ao nível de frase) com o token original.
• Amostragem de Torneio Condicionada a Chave: Para selecionar o substituto final, o SAFESEAL emprega um mecanismo de amostragem de torneio. Os candidatos são pontuados usando uma função pseudorrandômica (PRF) criptograficamente chaveada baseada em uma chave secreta $k$ e no contexto. Isso garante que o padrão de substituição seja reproduzível apenas com a chave correta, permitindo detecção específica do provedor enquanto mantém alta fidelidade semântica.

2. Detecção Contrastiva Condicionada a Chave

Para detectar marcas d'água, o SAFESEAL introduz um detector inovador que codifica conjuntamente o texto e a chave secreta.

• Fusão de Recursos: O detector codifica o texto usando um transformer pré-treinado (por exemplo, RoBERTa) e mapeia a chave secreta para um vetor usando uma PRF e uma MLP congelada. Esses embeddings são fundidos via concatenação, produto de Hadamard e diferença absoluta para capturar o alinhamento texto-chave.
• Objetivo de Treinamento: O detector é treinado usando uma combinação de perda de entropia cruzada binária (para classificar a presença da marca d'água) e perda contrastiva InfoNCE simétrica. A perda contrastiva alinha pares texto-chave correspondentes e separa pares não correspondentes, permitindo detecção robusta mesmo entre diferentes provedores e usuários sem retreinamento.

3. Limites Teóricos e Otimização

• Compromisso Utilidade-Detectabilidade: Os autores derivam limites teóricos sobre o desvio esperado entre o texto original e o texto com marca d'água. Eles demonstram que o compromisso é controlado pelo limiar de similaridade ($\delta$) usado para seleção de candidatos e pelo tamanho do conjunto de tokens passíveis de marca d'água.
• Redução de Latência: Para garantir implantação prática, o SAFESEAL emprega modelos leves para geração de candidatos, agrupamento (batching), processamento paralelo e cache para minimizar a latência de inferência.

Contribuições Principais

1. Framework SAFESEAL: Uma marca d'água pós-processamento inovadora que preserva entidades nomeadas e substitui termos linguísticos por sinônimos conscientes do contexto, reduzindo significativamente a distorção semântica em comparação com métodos de pré-processamento.
2. Robustez Específica do Provedor: Um detector contrastivo condicionado a chave que permite atribuição robusta em cenários entre provedores e multiusuários, resistindo tanto a ataques de paráfrase quanto de roubo de modelo.
3. Análise Teórica: Derivação formal de limites de utilidade-detectabilidade, caracterizando como a similaridade de substituição e a seleção de tokens impactam o compromisso.
4. Recursos para a Comunidade: O lançamento do primeiro Leaderboard de Marca D'água público e uma demonstração interativa para padronizar a avaliação e promover transparência.

Resultados Experimentais

Os autores avaliaram o SAFESEAL em cinco LLMs de código aberto (LLaMA-2, Mistral, DeepSeek, Qwen2.5, Gemma) em tarefas de geração de texto, sumarização e resposta a perguntas.

• Preservação de Utilidade: O SAFESEAL alcançou um BERTScore de 0,983 e uma Similaridade de Entidades de 0,963, superando significativamente as linhas de base (por exemplo, KGW, SynthID, TW), que frequentemente sofriam de deslocamento de entidades ou erros factuais. Em avaliações humanas, o SAFESEAL foi preferido às linhas de base por um fator de 28x em configurações sem ataques e 6,5x sob ataques de remoção.
• Detectabilidade: O framework alcançou uma taxa de detecção de 98,2% em texto limpo. Crucialmente, sob ataques de roubo de modelo (onde um substituto é treinado em saídas com marca d'água), o SAFESEAL manteve uma taxa de detecção de 72,8%, enquanto linhas de base como o TW caíram para 5,4% e métodos de pré-processamento caíram para quase 0%.
• Robustez: Contra ataques de paráfrase (Dipper, Substituição, SIRA), o SAFESEAL manteve taxas de detecção entre 19,2% e 92,2%, enquanto outros métodos frequentemente caíram abaixo de 10%.
• Eficiência: O SAFESEAL demonstrou latência comparável às linhas de base mais rápidas (sobrecarga de aprox. 3,42s), superando significativamente métodos como EXP (sobrecarga de 297s) e KGW (sobrecarga de 13,7s).

Significado e Alegações

O artigo afirma que o SAFESEAL representa um passo significativo para a frente na proteção prática de PI de LLMs, resolvendo efetivamente o compromisso tradicional entre utilidade e detectabilidade. Ao preservar entidades e usar substituição de sinônimos consciente do contexto, ele mantém a consistência factual e o significado semântico, que são frequentemente comprometidos por métodos existentes "livres de distorção" que apenas preservam distribuições de próximo-token.

Os autores enfatizam que o SAFESEAL é o primeiro framework a oferecer simultaneamente:

1. Garantias prováveis de utilidade-detectabilidade via limites teóricos.
2. Robustez contra ataques de remoção e de roubo de modelo.
3. Detecção escalável e específica do provedor em ambientes complexos multiusuário e entre provedores.
4. Latência mínima, tornando-o viável para implantação em APIs em tempo real.

O trabalho conclui que, embora desafios permaneçam em domínios de baixa diversidade e sejam necessárias garantias probabilísticas adicionais, o SAFESEAL fornece uma base forte e equilibrada para proteger LLMs proprietários contra roubo de PI.