MirrorMark: A Distortion-Free Multi-Bit Watermark for Large Language Models

1. Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) se tornam ubíquos na criação de conteúdo, a necessidade de atribuição confiável de conteúdo (proveniência) tornou-se crítica para combater a desinformação e proteger a propriedade intelectual. As técnicas de marcação d'água existentes enfrentam um compromisso fundamental:

• Métodos Baseados em Distorção: Modificam a distribuição de probabilidade dos tokens (por exemplo, via viés de logits) para embutir sinais. Embora robustos, esses métodos degradam a qualidade do texto (aumentando a perplexidade) e frequentemente suportam apenas detecção binária (zero-bit).
• Métodos sem Distorção: Preservam a distribuição original dos tokens para manter a qualidade do texto. No entanto, as abordagens sem distorção existentes frequentemente sofrem de baixa detectabilidade, fraca robustez contra ataques de edição (inserções/deleções) ou falta de capacidade de embutir metadados ricos (cargas úteis multi-bit).
• A Lacuna: Há uma falta de um método que ofereça simultaneamente embutimento multi-bit (para metadados como ID do modelo ou carimbo de data/hora), geração sem distorção (preservando a qualidade do texto) e alta robustez contra ataques de edição.

2. Metodologia: MirrorMark

O MirrorMark aborda esses desafios através de três componentes principais:

A. Espelhamento Mod-1 (O Mecanismo de Embutimento)

Em vez de viciar os logits dos tokens, o MirrorMark manipula a aleatoriedade de amostragem de uma maneira que preserva a medida.

• Mecanismo: Utiliza o truque Gumbel-max (usado em AA) ou Amostragem por Torneio (usada em SynthID). Esses métodos geram um valor aleatório $u \sim \text{Uniforme}(0,1)$ para determinar o próximo token.
• Transformação: Para embutir uma mensagem de $m$-bits $M$, o sistema reflete o valor aleatório $u$ em torno de um pivô específico da mensagem $\psi_M = M / 2^{m+1}$ usando uma operação de espelhamento mod-1:
  $$\Psi(u; \psi_M) = (2\psi_M - u) \mod 1$$
• Garantia sem Distorção: Matematicamente, essa transformação é uma involução que preserva a medida. Se $u$ estiver distribuído uniformemente, o valor espelhado $\Psi(u; \psi_M)$ permanece distribuído uniformemente. Consequentemente, a probabilidade de seleção do token $p(x)$ permanece inalterada, garantindo distorção zero na qualidade do texto.
• Separação de Hipóteses: Diferentemente de métodos de deslocamento cíclico (como ThreeBricks) que criam hipóteses simétricas, o espelhamento cria distribuições complementares. Para a mensagem correta, os valores transformados são enviesados em direção a 1; para mensagens incorretas, são enviesados em direção a 0. Isso maximiza a separação estatística entre a mensagem verdadeira e as hipóteses falsas por token.

B. Agendador Balanceado Ancorado no Contexto (CABS)

Para lidar com cargas úteis multi-bit de forma robusta contra edição (inserções/deleções), o MirrorMark introduz o CABS para gerenciar como os tokens são atribuídos às posições da mensagem.

• Problema com Alocação Ingênua: A atribuição pseudorrandômica simples pode levar a uma distribuição desigual de tokens entre as posições da mensagem (algumas posições não recebem tokens) e dessincronização após a edição.
• Solução CABS:
  • Alocação Balanceada: Mapeia tokens para posições da mensagem com base na janela de contexto, garantindo que cada posição receba um número suficiente de tokens para decodificação confiável.
  • Enquadramento Ancorado no Contexto: A sequência é dividida em "quadros". Um novo quadro começa quando um hash da janela de contexto atende a uma condição específica (por exemplo, os $f$ bits mais baixos são zero).
  • Robustez: Se ocorrer uma inserção ou deleção, isso afeta apenas o quadro atual e potencialmente a fronteira do próximo. Isso previne a propagação de erros por toda a sequência, permitindo que o decodificador recupere a marca d'água mesmo se partes do texto forem alteradas.

C. Decodificação e Detecção

• Decodificação: Para cada posição da mensagem, o decodificador agrega os valores $u$ espelhados dos tokens atribuídos. Utiliza uma função de pontuação (LogScore para Gumbel-max, WeightedMeanScore ou BayesianScore para amostragem por torneio) para determinar o símbolo $M$ mais provável.
• Detecção: Os símbolos decodificados são usados para reconstruir a distribuição esperada. Uma pontuação global é calculada; se exceder um limiar, o texto é identificado como marcado.

3. Contribuições Principais

1. Marcação d'Água Multi-Bit sem Distorção: O MirrorMark é o primeiro framework a estender paradigmas de amostragem sem distorção (AA, SynthID) para cargas úteis multi-bit sem alterar a distribuição de saída do LLM.
2. Espelhamento Mod-1: Uma transformação matemática inovadora que embute informações refletindo a aleatoriedade de amostragem, maximizando explicitamente o contraste entre hipóteses corretas e incorretas enquanto preserva a distribuição uniforme.
3. Agendador CABS: Um mecanismo de agendamento robusto que equilibra a alocação de tokens entre as posições da mensagem e localiza o impacto de ataques de edição, melhorando significativamente a resiliência a inserções e deleções.
4. Análise Teórica: Os autores fornecem uma caracterização teórica da Taxa de Erro Igual (EER), vinculando-a à entropia da sequência e à contagem de tokens, o que se alinha estreitamente com os resultados empíricos.

4. Resultados Experimentais

Os experimentos foram conduzidos usando LLaMA-2-7B e Gemma-7B-it nos conjuntos de dados C4 e ELI5.

• Qualidade do Texto: O MirrorMark atinge pontuações de perplexidade e qualidade GPT-4o indistinguíveis do texto sem marca d'água. Em contraste, as bases de comparação baseadas em distorção (MPAC, RSBH) mostram degradação significativa da perplexidade (por exemplo, perplexidade RSBH ~32 vs. MirrorMark ~7.2).
• Detectabilidade:
  • Com 54 bits embutidos em 300 tokens, o MirrorMark melhora a precisão dos bits em 8–12% comparado a métodos state-of-the-art.
  • Identifica corretamente até 11% mais textos marcados com uma Taxa de Falso Positivo (FPR) de 1% comparado às bases de comparação.
  • O MirrorMark baseado em Gumbel-max geralmente supera as variantes baseadas em torneio na precisão dos bits, enquanto ambas mantêm alta AUC (~1.0).
• Robustez:
  • Ataques de Copiar e Colar: O MirrorMark mantém altas taxas de detecção (AUC > 0.99) mesmo com 40% do texto substituído por conteúdo sem marca d'água.
  • Paráfrase: Embora a precisão dos bits caia (como esperado para dependências em nível de token), o MirrorMark mantém forte separação de AUC, superando as bases de comparação zero-bit nas taxas de detecção.
• Comparação: O MirrorMark supera significativamente o ThreeBricks (extensão de deslocamento cíclico) na precisão dos bits devido a uma melhor separação de hipóteses. Supera o RSBH e o MPAC na qualidade do texto enquanto iguala ou excede sua robustez.

5. Significado

O MirrorMark representa um avanço significativo na proveniência de conteúdo de IA. Ao desacoplar a detectabilidade da distorção do texto, permite o embutimento de metadados ricos (multi-bit) sem comprometer a fluência ou naturalidade do texto gerado. Isso é crucial para a implantação no mundo real, onde a geração de texto de alta qualidade é primordial. Além disso, a introdução do CABS aborda a vulnerabilidade crítica das marcas d'água existentes a ataques de edição, tornando a tecnologia viável para proteger conteúdo em ambientes dinâmicos e editados por usuários. O embasamento teórico da EER fornece um framework previsível para ajustar os parâmetros da marca d'água com base na entropia e no comprimento da sequência.