Resumo Técnico: Cada Bit, Em Todo Lugar, Ao Mesmo Tempo: Uma Marca D'Água Multibit Binomial para LLM

Declaração do Problema

A marcação d'água em Modelos de Linguagem de Grande Escala (LLM) transitou da pesquisa teórica para a implantação comercial, focando principalmente em marcas d'água de zero bit que respondem a uma pergunta binária: "Este texto foi gerado por um modelo específico?". No entanto, aplicações práticas emergentes exigem marcas d'água multibit capazes de codificar cargas úteis complexas (por exemplo, IDs de usuários, carimbos de data/hora, metadados de licenciamento) diretamente no texto gerado.

Esquemas multibit existentes dependem predominantemente de alocação de posições (por exemplo, MPAC, MirrorMark), onde cada etapa de geração codifica apenas um único bit da carga útil em uma posição específica. Essa abordagem sofre de duas limitações principais:

1. Subotimalidade: Codificar apenas um bit por token é ineficiente, e as posições alocadas podem ser distribuídas de forma desigual.
2. Escalabilidade: Abordagens alternativas que evitam a alocação de posições (por exemplo, Cycle-Shift, ArcMark) são computacionalmente limitadas a cargas úteis curtas, pois o tempo de decodificação aumenta exponencialmente com o comprimento da mensagem.

O desafio central abordado por este trabalho é projetar um esquema de marcação d'água multibit que possa codificar efetivamente strings de bits longas sem depender de alocação de posições, mantendo alta precisão da mensagem e robustez.

Metodologia

Os autores propõem uma abordagem fundamentalmente nova baseada em codificação binomial, que codifica a string de bits da mensagem inteira em cada posição de token.

1. Codificação e Decodificação Binomial

Diferentemente de trabalhos anteriores que selecionam um único bit para codificar por token, este método codifica cada bit da carga útil de $m$ bits em cada etapa de geração.

• Codificação: Em cada posição de token $t$, o sistema amostra $m$ vetores de pontuação independentes Bernoulli(0.5) ($G^1_t, \dots, G^m_t$) usando um gerador de números pseudoaleatórios (PRNG) semeado pelo contexto e uma chave privada. Para cada bit $M_i$ na carga útil, o vetor de pontuação correspondente é invertido (complementado) se $M_i = 1$. O vetor de pontuação final $\tilde{G}_t$ é a soma desses $m$ vetores modificados. A distribuição de tokens é então enviesada em direção a tokens com pontuações $\tilde{G}_t$ mais altas.
• Decodificação: Para decodificar, o sistema recalcula as pontuações Bernoulli para cada token no texto. O bit decodificado para a posição $i$ é determinado por uma votação majoritária através de todos os tokens. Crucialmente, o método fornece pontuação de confiança por bit usando testes binomiais de dois lados, permitindo que o sistema avalie a significância estatística de cada bit decodificado sem assumir que o texto está marcado.

2. Codificador com Estado

Para melhorar a precisão dos bits, os autores introduzem um codificador com estado que redireciona dinamicamente a pressão de codificação durante a geração.

• O codificador rastreia a estatística de decodificação atual para cada bit com base na sequência parcialmente gerada.
• Ele calcula a precisão de bit esperada no pior caso para cada bit se os tokens restantes forem gerados sem marcação d'água.
• A função de pontuação é ajustada para priorizar bits que estão atualmente subcodificados (ou seja, aqueles com estatísticas de decodificação próximas ao limite de decisão), maximizando assim a precisão global esperada dos bits.

3. Métricas de Avaliação

O artigo desafia as métricas de avaliação existentes (por exemplo, precisão bruta da mensagem) que assumem que o texto de entrada já é conhecido como marcado. Os autores argumentam que, na implantação no mundo real, é necessário primeiro detectar se uma mensagem existe. Eles introduzem a Precisão de Bit na Taxa de Falso Positivo de $\alpha\%$ (BA@$\alpha\%$FPR) como uma métrica mais prática. Esta métrica mede a probabilidade de decodificar corretamente um bit, garantindo que texto não marcado não seja falsamente sinalizado como contendo uma mensagem mais do que $\alpha\%$ das vezes.

Principais Contribuições

1. Primeira Marca D'Água Multibit sem Alocação de Posições: Os autores introduzem o primeiro esquema que codifica a string de bits da mensagem completa em cada posição de token via codificação binomial, evitando os limites de escalabilidade e eficiência da alocação de posições.
2. Codificador com Estado: Um mecanismo inovador que prioriza dinamicamente bits com desempenho inferior durante a geração, melhorando significativamente a precisão dos bits sem alterar a estratégia de decodificação.
3. Novo Framework de Avaliação: O artigo critica métricas anteriores por carecerem de insights práticos sobre falsos positivos e propõe pontuação de confiança por bit (BA@$\alpha\%$FPR) como padrão para avaliar marcas d'água multibit em cenários realistas.
4. Avaliação Abrangente: Experimentos extensos contra 8 baselines em cargas úteis de 16, 32 e 64 bits demonstram desempenho superior em precisão de bits, precisão de mensagem e robustez, particularmente em regimes de baixa distorção e com cargas úteis maiores.

Resultados

A avaliação foi conduzida utilizando LLAMA3.1-8B e MINISTRAL-3-14B com cargas úteis de 16, 32 e 64 bits.

• Precisão da Mensagem: O esquema proposto (especificamente a versão com estado, "Ours+") supera todas as 8 baselines (incluindo MPAC, MirrorMark, ArcMark e StealthInk) em precisão da mensagem, com a lacuna de desempenho ampliando-se para cargas úteis mais longas (32 e 64 bits) e configurações de baixa distorção.
• Precisão Baseada em Confiança (BA@1%FPR): A versão sem estado do método proposto alcança um BA@1%FPR significativamente mais alto do que as baselines, indicando capacidade superior de distinguir bits marcados de ruído aleatório enquanto controla falsos positivos.
• Robustez: Embora a robustez permaneça um desafio para todas as marcas d'água multibit (a precisão cai drasticamente com >10% de exclusão de palavras ou parafraseamento), o método proposto supera consistentemente as baselines em várias modificações de texto.
• Escalonamento: O esquema escala de forma mais favorável com o número de tokens em comparação com as baselines; em 500 tokens, o método proposto alcança >90% de precisão de bits, enquanto a melhor baseline atinge ~80%.

Significado e Alegações

O artigo afirma abrir uma nova direção para a pesquisa de marcação d'água multibit, demonstrando que a codificação binomial é um paradigma mais poderoso do que a alocação de posições. Os autores afirmam que sua abordagem codifica efetivamente grandes cargas úteis sem a intratabilidade computacional de métodos anteriores sem alocação (como Cycle-Shift).

Além disso, o trabalho destaca uma lacuna crítica no campo: a falta de métricas de avaliação práticas para marcas d'água multibit. Ao introduzir a pontuação de confiança por bit, os autores argumentam que pesquisas e implantações futuras devem levar em conta a probabilidade de falsos positivos ao decodificar mensagens de texto arbitrário, e não apenas de texto marcado.

Os autores permanecem modestos quanto às limitações, reconhecendo que a robustez contra modificações de texto (por exemplo, parafraseamento) ainda é um problema aberto e que, embora seus resultados empíricos mostrem superioridade sobre a alocação de posições, provas teóricas de otimalidade estrita para métodos sem alocação de posições não são fornecidas. Eles também observam que o codificador com estado, embora melhore a precisão da mensagem, pode reduzir ligeiramente as métricas baseadas em confiança, pois otimiza a precisão esperada em vez da significância estatística por bit.