QuantileMark: A Message-Symmetric Multi-bit Watermark for LLMs

Resumo Técnico: QuantileMark

1. O Problema: Assimetria de Mensagem em Marcações Multi-bit

À medida que os Grandes Modelos de Linguagem (LLMs) se tornam padrão para geração de conteúdo, a necessidade de provar a proveniência (origem) do texto tornou-se crítica. Enquanto as marcações de "zero-bit" (apenas detectar se o texto é gerado por IA) são comuns, cenários reais exigem marcações multi-bit para codificar metadados como IDs de usuários, versões de modelos ou carimbos de tempo.

O artigo identifica um problema fundamental nas abordagens existentes (especialmente as baseadas em partição de vocabulário): a assimetria de mensagem.

• O Cenário: Em métodos tradicionais, o vocabulário é dividido em $M$ conjuntos desiguais. Em distribuições de baixa entropia (onde o modelo tem alta confiança em certos tokens), alguns símbolos da mensagem podem ser mapeados para tokens de alta probabilidade (facilitando a marcação sem perda de qualidade), enquanto outros são forçados a usar tokens de cauda (baixa probabilidade).
• A Consequência: Isso viola a simetria de mensagem: a qualidade do texto gerado e a robustez da detecção dependem do valor específico da mensagem sendo codificada. Isso cria injustiça operacional e degrada a confiabilidade da detecção, pois a evidência estatística acumulada varia drasticamente dependendo do símbolo.

2. Metodologia: QuantileMark

Os autores propõem o QuantileMark, uma marcação de caixa-branca (white-box) multi-bit que opera no espaço contínuo da probabilidade cumulativa (CDF) em vez do espaço discreto do vocabulário.

Principais Componentes:

• Partição de Massa Igual (Equal-Mass Partitioning):

  • Em vez de particionar o vocabulário, o QuantileMark particiona o intervalo de probabilidade cumulativa $[0, 1)$ em $M$ "bins" (caixas) de massa de probabilidade igual ($1/M$ cada).
  • Para codificar um símbolo $s_t$, o sistema identifica o bin correspondente e amostra um valor $u$ uniformemente dentro desse bin. O token gerado é aquele cujo intervalo de probabilidade cobre $u$.
  • Garantia: Isso assegura que cada símbolo da mensagem receba exatamente o mesmo orçamento de probabilidade ($1/M$), independentemente da entropia do contexto ou da distribuição do modelo.

• Codificação (Embedding):

  • Utiliza uma chave secreta $K$ para determinar a alocação de posições (qual passo gera qual símbolo) e uma permutação $\phi_t$ que mapeia o símbolo para um bin específico. Isso evita que um símbolo fixo esteja sempre ligado ao mesmo bin, garantindo imparcialidade.

• Detecção (Decoding):

  • O verificador (que tem acesso ao modelo, caixa-branca) reconstrói a mesma geometria de quantis usando teacher forcing.
  • Para cada token observado, calcula-se a probabilidade posterior de que ele tenha sido amostrado de um determinado bin, baseada na sobreposição da massa de probabilidade do token com o bin.
  1. Evidência Suave (Soft Evidence): Diferente de métodos que fazem uma atribuição "hard" (votação única), o QuantileMark distribui a evidência proporcionalmente à sobreposição. Um token que cruza a fronteira de dois bins contribui para ambos.
  2. Log-Posterior Odds (LPO): A evidência é agregada usando o Log-Posterior Odds para decodificar a mensagem mais provável.

• Propriedade de Imparcialidade (Message-Unbiasedness):

  • O artigo prova teoricamente que, ao marginalizar sobre todas as mensagens possíveis, a distribuição gerada pelo QuantileMark é idêntica à distribuição base do modelo ($p_0$). Isso garante que a marcação não distorça a qualidade do texto em média.

3. Contribuições Principais

1. QuantileMark: Um novo framework de marcação multi-bit que define o canal de marcação no intervalo de probabilidade cumulativa, garantindo um orçamento de probabilidade uniforme para todos os símbolos.
2. Fundamentação Teórica: Formalização e prova da propriedade de "imparcialidade da mensagem" (message-unbiasedness), garantindo simetria na geração e evidência uniforme na detecção.
3. Desempenho Superior: Demonstração empírica de que o método supera as bases de vocabulário-particionado em recuperação de bits e robustez, mantendo a qualidade de geração.

4. Resultados Experimentais

Os experimentos foram realizados em tarefas de continuação de texto (C4) e Resposta a Perguntas Longas (LFQA) usando modelos Llama-2 e Llama-3.

• Recuperação de Mensagem: O QuantileMark alcançou uma precisão de bits (Bit Acc) de 98,93% no C4 e 95,00% no LFQA, superando significativamente o MPAC (97,02% e 87,70%) e o StealthInk.
• Robustez de Detecção: O AUC de detecção foi quase saturado (0,9995 no C4 e 0,9997 no LFQA), indicando uma capacidade quase perfeita de distinguir texto marcado de não marcado.
• Qualidade de Geração (Perplexidade): O impacto na qualidade do texto foi negligenciável. A perplexidade (PPL) do QuantileMark foi 7,404 (vs. 7,684 do baseline sem marcação no C4), enquanto métodos distorcivos como o MPAC aumentaram a PPL para 10,351.
• Resiliência a Ataques: O método mostrou robustez contra substituição de sinônimos e cópia/cola. Embora ataques de paráfrase e deleção reduzam a precisão (como em outros métodos multi-bit), o QuantileMark manteve desempenho superior aos concorrentes.
• Mistura Detector-Generador: O método é robusto a pequenas discrepâncias na temperatura ($\tau$) ou no tamanho do top-k entre o gerador e o detector, graças à reconstrução suave da geometria de quantis.

5. Significância e Impacto

O QuantileMark resolve uma limitação estrutural crítica das marcações multi-bit atuais: a dependência da mensagem na qualidade e na detecção.

• Justiça Operacional: Garante que todos os usuários (independentemente do ID codificado) recebam a mesma qualidade de serviço e que a detecção seja igualmente confiável para todos.
• Eficiência em Baixa Entropia: Ao contrário de métodos que falham quando o modelo é muito confiante (baixa entropia), o QuantileMark mantém a eficácia ao forçar a amostragem dentro de bins de massa fixa.
• Viabilidade para Provedores Internos: Projetado para ambientes onde o provedor tem acesso à caixa-branca do modelo, oferecendo uma solução prática para atribuição de proveniência sem sacrificar a utilidade do modelo.

Em resumo, o QuantileMark representa um avanço teórico e prático, transformando a marcação de LLMs de uma abordagem heurística de partição de vocabulário para uma abordagem geométrica rigorosa baseada em quantis, garantindo simetria, imparcialidade e alta robustez.