Resumo Técnico: Amostragem WorldCup para Marca d'Água em LLMs de Múltiplos Bits

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) geram texto cada vez mais indistinguível da escrita humana, a atribuição e a rastreabilidade confiáveis tornaram-se desafios críticos. Embora a marca d'água de zero bits detecte efetivamente texto gerado por máquinas, ela carece da capacidade de incorporar metadados ricos de proveniência (por exemplo, identidade do modelo, carimbos de data e hora). As abordagens existentes de marca d'água de múltiplos bits tentam estender esquemas de zero bits incorporando mensagens no processo estocástico de geração. No entanto, esses métodos geralmente dependem de perturbações estáticas de logits e decodificação baseada em contagem. Esses designs sofrem de duas limitações primárias:

1. Degradação da Qualidade do Texto: Vieses estáticos de logits interferem na dinâmica de geração natural, particularmente à medida que a capacidade de carga útil aumenta, levando à redução da fluência.
2. Robustez Subótima: A decodificação baseada em contagem trata os tokens como resultados binários discretos com peso igual, criando uma incompatibilidade entre a incorporação probabilística suave e a agregação rígida. Isso resulta em compensações pobres entre capacidade de mensagem e robustez de decodificação, especialmente sob ataques ou com tokens de baixa entropia.

Metodologia: O Framework WorldCup

Os autores propõem o WorldCup, um framework de marca d'água de múltiplos bits que re-conceitualiza o processo de amostragem de LLMs como um canal de comunicação estruturado. Em vez de viés estático de logits, o WorldCup integra a codificação de mensagens diretamente na seleção de tokens por meio de um mecanismo de competição hierárquica.

1. Codificação: Amostragem de Torneio Hierárquico

O WorldCup modela a geração de um único token como um torneio de múltiplas rodadas:

• Seleção de Candidatos: Em cada etapa de geração $t$, $N^m$ tokens candidatos são amostrados da distribuição do modelo $P_\Theta$.
• Funções de Valor $g$ Complementares: Para codificar um bit de mensagem, o framework utiliza duas famílias de funções pseudo-aleatórias, $g_0$ e $g_1$. Crucialmente, estas são projetadas como pares complementares ($g_1 = 1 - g_0$). Isso induz uma anti-correlação perfeita, empurrando as distribuições estatísticas de tokens que codificam '0' e '1' para extremos opostos, maximizando assim a discriminabilidade.
• Processo de Torneio: Os candidatos são agrupados e comparados camada por camada usando a família selecionada de funções de valor $g$. O token com a pontuação mais alta em cada grupo avança para a próxima camada até que reste um único token "campeão".
• Incorporação Generalizada de Múltiplos Bits: Para aumentar a capacidade, o framework generaliza para $k$ grupos de funções de valor $g$, permitindo que um único token codifique $k$ bits simultaneamente.
• Modulação Consciente de Entropia: Para equilibrar a detectabilidade com a qualidade do texto, o WorldCup introduz um fator de ajuste dinâmico $\lambda$ baseado na entropia local da distribuição de saída do modelo. Posições de alta entropia (incertas) permitem uma separação mais forte da marca d'água, enquanto posições de baixa entropia (alta confiança) usam modulação conservadora para preservar a fluência.

2. Decodificação: Agregação Consciente de Confiança

O WorldCup afasta-se dos detectores tradicionais baseados em contagem ao empregar uma estratégia de decodificação consciente de confiança:

• Agregação Suave: Em vez de mapear discretamente tokens para resultados binários, o decodificador agrega pontuações de nível de token granulares através de grupos associados à mesma posição de mensagem.
• Ponderação de Confiabilidade: O método calcula valores médios empíricos de $g$ para cada grupo de tokens. Ao comparar as pontuações de funções complementares ($g$ vs. $\bar{g}$), o decodificador infere os bits incorporados. Essa abordagem pondera as evidências por sua confiabilidade estatística, mitigando a influência desproporcional de tokens de baixa entropia que frequentemente confundem métodos baseados em contagem.
• Teste de Hipóteses: A detecção é enquadrada como um teste de hipótese usando um escore $z$ padronizado derivado das estatísticas cumulativas e conscientes de posição.

Contribuições Principais

O artigo delineia três contribuições primárias:

1. Framework WorldCup: Um sistema versátil de marca d'água de múltiplos bits validado por meio de análise teórica e avaliação empírica extensa, que modela a amostragem como um canal de comunicação estruturado.
2. Decodificação Consciente de Confiança: Um paradigma de decodificação inovador que substitui a contagem rígida por agregação suave e ponderada por confiabilidade, melhorando significativamente tanto a precisão quanto a eficiência da decodificação.
3. Análise Sistemática: Um exame abrangente dos componentes de design (por exemplo, valores $g$ complementares, modulação de entropia, hiperparâmetros), oferecendo insights acionáveis para pesquisas futuras.

Resultados Experimentais

Os autores avaliaram o WorldCup em LLaMA3-8B e Gemma2-9B em várias tarefas (tradução, sumarização, QA, raciocínio matemático) e comprimentos de mensagem (16 a 48 bits).

• Precisão de Decodificação: O WorldCup superou consistentemente as linhas de base (MPAC, SegMark, StealthInk, BiMark). Por exemplo, no LLaMA3-8B com mensagens de 16 bits, ele melhorou a precisão de bits em 3,2% sobre o StealthInk e alcançou precisão quase perfeita (99,8% de AUC) em cenários de detecção de zero bits.
• Qualidade do Texto: O WorldCup manteve uma perplexidade (PPL) mais baixa do que a maioria das linhas de base, indicando melhor preservação da fluência. A modulação consciente de entropia mostrou-se crítica; removê-la levou a PPLs significativamente mais altos.
• Robustez: Sob vários ataques (exclusão de palavras, substituição de sinônimos, copiar e colar, e paráfrase via Dipper), o WorldCup demonstrou robustez superior, alcançando maior AUROC e precisão de bits em comparação com métodos existentes.
• Eficiência: O framework é altamente eficiente, com tempos de decodificação médios de 0,01–0,02 segundos por amostra, significativamente mais rápido do que métodos que exigem busca exaustiva ou pós-processamento complexo.

Significado e Alegações

O artigo afirma que o WorldCup estabelece uma base escalável e principista para pesquisas futuras sobre marca d'água de múltiplos bits em LLMs. Ao tratar o processo de amostragem como um canal de comunicação e aproveitar sinais complementares, o framework alcança um equilíbrio forte em cinco dimensões críticas:

1. Capacidade de mensagem
2. Detectabilidade
3. Robustez
4. Qualidade do texto
5. Eficiência de decodificação

Os autores afirmam que o WorldCup permite a atribuição confiável de conteúdo sem sacrificar a qualidade do texto gerado, abordando um gargalo chave nas técnicas atuais de marca d'água de múltiplos bits. Eles posicionam o trabalho como um passo em direção à implantação prática para verificar a integridade e a proveniência do conteúdo de LLMs.

Nota: O artigo reconhece limitações, especificamente a falta de uma análise teórica formal da optimalidade da capacidade de informação em nível de token e a necessidade de estudos adicionais sobre a inforgeabilidade em configurações de múltiplos bits.