AliMark: Enhancing Robustness of Sentence-Level Watermarking Against Text Paraphrasing

Resumo Técnico: AliMark

Declaração do Problema
Os métodos existentes de marcação d'água em nível de frase para Modelos de Linguagem de Grande Escala (LLMs), como o SemStamp, visam aumentar a robustez contra parafraseamento ancorando as marcas d'água na semântica da frase em vez de padrões em nível de token. No entanto, esses métodos geralmente dependem de um design baseado em prefixo, onde o sinal de marca d'água de uma frase é condicionado ao seu contexto precedente (por exemplo, a frase imediatamente anterior).

O artigo identifica uma vulnerabilidade crítica nesse design: perturbações estruturais. Modelos avançados de parafraseamento (por exemplo, DIPPER, GPT-3.5) alteram frequentemente a estrutura do texto dividindo ou mesclando frases. Quando uma frase é dividida ou mesclada, o contexto para as frases subsequentes muda. Como o sinal de marca d'água é condicionado pseudorrandomicamente a esse contexto específico, qualquer alteração no contexto rompe a relação pseudorrandomica necessária para a detecção. Consequentemente, uma única mudança estrutural pode causar um efeito cascata, levando à perda de sinais de marca d'água em várias frases subsequentes, tornando os frameworks existentes frágeis sob ataques fortes de parafraseamento.

Metodologia: AliMark
Para abordar isso, os autores propõem o AliMark, um framework que reformula a marcação d'água em nível de frase como um problema de codificação e alinhamento de sequência de bits entre um texto potencialmente marcado e uma sequência de bits secreta, em vez de depender de dependências entre frases.

O framework opera em duas etapas principais:

1. Geração de Texto Marcado (Inserção):

   • Em vez de condicionar ao contexto de prefixo, o AliMark usa uma sequência secreta global de bits $s$ como chave de marca d'água.
   • Essa sequência é particionada em blocos de tamanho $M$, onde cada bloco corresponde aos sinais de bits inseridos em uma única frase.
   • Durante a geração, o LLM produz $Q$ frases candidatas para a próxima posição.
   • Um Extrator de Sinais de Bits (usando um incorporador de frases e vetores secretos) converte a incorporação semântica de cada candidata em uma sequência discreta de bits.
   • O sistema seleciona a candidata cuja sequência de bits extraída corresponde ao bloco correspondente da sequência secreta de bits. Isso garante que todo o texto codifique um padrão de bits sequencial independente dos limites das frases.

2. Detecção de Texto Marcado:
   Para lidar com perturbações estruturais (divisões, mesclagens, inserções, exclusões) introduzidas pelo parafraseamento, o AliMark emprega uma estratégia de detecção em duas etapas:

   • Re-Estruturador (RS): Este módulo opera no nível do texto para recuperar estruturas originais potenciais. Ele gera múltiplas variantes de texto realizando operações de re-mesclagem de passo único (combinando duas frases consecutivas) e re-divisão (dividindo uma frase em duas). Isso cria um conjunto candidato de textos reestruturados.
   • Alinhamento Adaptativo de Sequência de Bits (ABSA): Este módulo opera no nível dos bits. Para cada candidato reestruturado, ele extrai a sequência de bits e a alinha contra um conjunto de candidatos de sequência de bits secretos de comprimentos variados (para contabilizar mudanças na contagem de frases).
   • Métrica de Alinhamento: Os autores introduzem a Taxa de Edição de Blocos (BER), uma adaptação da Distância de Levenshtein voltada para cenários em nível de frase. Diferentemente da distância de edição padrão, a BER trata a inserção/exclusão de uma frase (um bloco de $M$ bits) como uma única operação com custo fixo, enquanto os custos de substituição são baseados na distância de Hamming entre blocos de bits.
   • Pontuação: O sistema calcula um escore $z$ para cada tentativa de alinhamento. A pontuação final da marca d'água é o máximo escore $z$ obtido em todas as variantes reestruturadas e em todos os candidatos de comprimento de sequência secreta.

Contribuições Principais

1. Identificação da Vulnerabilidade Estrutural: O artigo demonstra que perturbações estruturais (divisão e mesclagem de frases) são comuns no parafraseamento automatizado e degradam catastroficamente o desempenho dos métodos de marcação d'água em nível de frase baseados em prefixo.
2. Formulação Inovadora: O AliMark propõe uma nova formulação da marcação d'água em nível de frase como uma tarefa global de codificação e alinhamento de sequência de bits, desacoplando os sinais de marca d'água de contextos de frases específicos.
3. Mecanismo de Detecção Robusto: A integração de um Re-Estruturador e Alinhamento Adaptativo de Sequência de Bits permite que o sistema recupere sinais de marca d'água mesmo quando a estrutura do texto foi significativamente alterada.
4. Validação Empírica: Experimentos extensivos mostram que o AliMark supera substancialmente as bases de comparação mais avançadas (incluindo SemStamp, k-SemStamp e métodos em nível de token como KGW) sob diversos ataques de parafraseamento, particularmente contra modelos fortes como DIPPER e GPT-3.5.

Resultados Experimentais

• Desempenho: Em conjuntos de dados como Booksum e C4, o AliMark mantém altas Taxas de Verdadeiros Positivos (TPR) sob ataques fortes de parafraseamento onde as bases de comparação falham. Por exemplo, usando OPT-1.3B, o AliMark alcança uma TPR@5% de 61,6% sob DIPPER e 66,6% sob GPT-3.5, enquanto a melhor base de comparação (SemStamp) cai para 26,7% e 22,0%, respectivamente.
• Robustez Adversarial: Em experimentos de sondagem envolvendo inserção, exclusão e reordenação aleatória de frases, o AliMark supera consistentemente as bases de comparação, mantendo a detectabilidade mesmo em taxas de perturbação de 0,4–0,5.
• Qualidade do Texto: A análise de perplexidade indica que o AliMark introduz degradação negligenciável na qualidade do texto em comparação com saídas sem marca d'água, com aumentos apenas ligeiros observados à medida que o tamanho do bloco $M$ aumenta.
• Eficiência: Embora o processo de detecção envolva a geração de múltiplos candidatos, otimizações de engenharia (como a consolidação de cálculos de tabelas de programação dinâmica) mantêm o tempo de execução gerenciável, escalando linearmente com o número de frases de entrada.

Significado e Alegações
O artigo alega que o AliMark fornece uma evolução necessária na marcação d'água de LLMs ao abordar a fragilidade específica dos métodos baseados em semântica a mudanças estruturais. Ao mudar do hashing de prefixo dependente de contexto para o alinhamento de sequência global, o AliMark oferece uma defesa robusta contra as capacidades de reescrita sofisticadas dos LLMs modernos. Os autores posicionam este trabalho como um passo crítico para garantir a proveniência do conteúdo e a integridade acadêmica em uma era onde a escrita e o parafraseamento automatizados são prevalentes. Eles reconhecem limitações, especificamente que o Re-Estruturador atual usa uma abordagem de passo único e pode não lidar perfeitamente com mudanças estruturais complexas de múltiplos passos, sugerindo que trabalhos futuros poderiam envolver heurísticas de reestruturação mais sofisticadas ou modelos treinados sob medida.