Covert Multi-bit LLM Watermarking: An Information Theory and Coding Approach

Resumo Técnico: Marca d'água Multi-bit Encoberta para LLMs: Uma Abordagem de Teoria da Informação e Codificação

Declaração do Problema
O artigo aborda o desafio da marca d'água multi-bit para Modelos de Linguagem de Grande Escala (LLMs). Embora a marca d'água de taxa zero (binária) tenha sido extensivamente estudada para detectar texto gerado por IA, a incorporação de mensagens mais ricas (por exemplo, para rastreamento de origem ou carimbo de data e hora) exige taxas de incorporação mais altas sem comprometer a qualidade do texto ou a detectabilidade. Abordagens algorítmicas existentes frequentemente carecem de uma caracterização precisa, baseada na teoria da informação, das taxas alcançáveis, levando a desempenho subótimo. Além disso, os LLMs padrão operam sob restrições estritamente autoregressivas, o que impede que os codificadores acessem distribuições de tokens futuros, limitando a aplicação de frameworks clássicos de teoria da informação não causais, como a codificação de Gelfand-Pinsker (GP).

Metodologia e Modelo de Sistema
Os autores propõem um modelo autoregressivo em blocos inspirado em arquiteturas de previsão de múltiplos tokens (por exemplo, decodificação autoespeculativa). Neste modelo, o codificador recebe acesso não causal limitado às distribuições de tokens dentro de um bloco de comprimento $n$ antes da amostragem, desde que a verificação ocorra antes da seleção final do token. Esta abstração preenche a lacuna entre LLMs práticos e modelos de teoria da informação.

A abordagem técnica central envolve três componentes principais:

1. Formulação de Teoria da Informação: O problema é modelado como um canal com estado (a distribuição de token base $S$) conhecido de forma não causal no codificador, mas não no decodificador. Os autores combinam codificação de Gelfand-Pinsker (GP) (para incorporação de mensagens) com codificação de resolvibilidade de canal (para garantir que a distribuição marcada permaneça estatisticamente próxima da distribuição base, assegurando o encobrimento).
2. Caracterização de Capacidade: O artigo deriva uma caracterização exata da capacidade de marca d'água multi-bit encoberta. A capacidade é definida como a taxa máxima $R$ tal que a distância de variação total (TV) entre a distribuição marcada e a distribuição base desaparece assintoticamente, enquanto a probabilidade de erro de decodificação tende a zero.
3. Implementação Algorítmica:
   • Processo de Decisão de Markov Constrained (CMDP): Para lidar com comprimentos de bloco finitos e os efeitos de memória dos LLMs, a otimização das distribuições conjuntas entre blocos é formulada como um CMDP. Isso permite que o sistema equilibre as taxas de incorporação imediatas contra o impacto na evolução futura do estado.
   • Codificação Polar: É desenvolvida uma construção explícita baseada em códigos polares. O codificador utiliza a distribuição conjunta aprendida para selecionar conjuntos de índices para bits de mensagem ($H_{enc} \cap L_{dec}$) e emprega uma regra de cancelamento sucessivo modificada para lidar com dependências em nível de sequência (estados não i.i.d.).
   • Uso de Chave Secreta: Uma chave secreta é usada para aplicar um one-time pad (OTP) a bits específicos da mensagem, fornecendo a aleatoriedade necessária para o "soft-covering" a fim de satisfazer a restrição de encobrimento.

Principais Contribuições

1. Proposta de Modelo: Introdução de um modelo autoregressivo em blocos que permite acesso não causal às distribuições de tokens dentro dos blocos, facilitando a adaptação de esquemas de GP e resolvibilidade de canal para LLMs.
2. Análise de Capacidade: Derivação da capacidade exata de teoria da informação para marca d'água multi-bit encoberta sob acesso não causal ao estado, expressa como $\max_{p(u|s), W(x|u,s)} [I(U; X) - I(U; S)]$ sujeita a restrições de correspondência de distribuição.
3. Design de Algoritmo: Desenvolvimento de um algoritmo de marca d'água prático que integra CMDP para otimizar distribuições de codificação sobre múltiplos blocos e códigos polares para uma construção explícita que atinge a capacidade.

Resultados
Experimentos numéricos foram conduzidos utilizando LLaMA3.2 1B com um comprimento de bloco de $L=8$ e $B=2$ blocos.

• Desempenho: O algoritmo proposto alcança uma taxa de erro de bit (BER) abaixo de 10% em uma taxa de incorporação de 0,375 bits/token sobre comprimentos curtos de tokens.
• Qualidade: O método mantém degradação negligenciável na perplexidade (PPL) e na qualidade do texto, conforme medido pelo mecanismo de pontuação do modelo base.
• Encobrimento: O estudo demonstra que aumentar o número de chaves secretas reduz a distância média de Variação Total (TV), alinhando-se com previsões teóricas. No entanto, para comprimentos de bloco finitos ($L=8$), a polarização é insuficiente para realizar totalmente as restrições de TV teóricas em taxas mais altas, levando a um compromisso onde exceder certos limiares de taxa de chave pode degradar a eficácia do encobrimento.

Significado e Alegações
O artigo alega fornecer a primeira caracterização exata de teoria da informação da capacidade de marca d'água multi-bit para LLMs sob um modelo que leva em conta as restrições práticas dos LLMs (especificamente, o relaxamento da autoregressão estrita via previsão de múltiplos tokens). Ao unificar a codificação GP e a resolvibilidade de canal, o trabalho estabelece um limite superior teórico para as taxas alcançáveis, garantindo ao mesmo tempo o encobrimento estatístico.

Os autores enfatizam que sua abordagem oferece um framework principiante para incorporar mensagens que equilibra robustez, distorção e encobrimento. Eles reconhecem que a implementação atual é limitada pela complexidade computacional de otimizar distribuições de codificação e calcular parâmetros de Bhattacharyya para comprimentos de bloco mais longos, identificando o design de aproximações escaláveis (por exemplo, decodificação incompatível ou alternativas neurais) como uma direção primária para trabalhos futuros. O trabalho é posicionado como um passo fundamental rumo a marcações d'água rigorosas e de alta capacidade para arquiteturas de LLMs de próxima geração.