Resumo Técnico: ArcMark

Declaração do Problema

O artigo aborda o desafio da marcação d'água de múltiplos bits para Modelos de Linguagem de Grande Escala (LLMs). Embora os métodos existentes possam incorporar um único bit (marcação d'água de zero bits) para detectar texto gerado por IA, ou incorporar múltiplos bits estendendo os princípios de zero bits (por exemplo, um bit por token), essas abordagens são limitadas em capacidade. Os métodos atuais lutam para incorporar de forma confiável mais do que alguns bits em sequências de centenas de tokens.

Os autores identificam uma lacuna crítica: aplicações práticas (como incorporar IDs de usuários, versões de modelos ou o próprio prompt) exigem a capacidade de incorporar múltiplos bytes de informação. Além disso, um "padrão ouro" para marcação d'água em LLMs é a incorporação livre de distorção, onde o processo de marcação d'água não altera as previsões médias do próximo token do LLM, preservando assim a qualidade do texto e a perplexidade. O artigo levanta duas questões centrais:

1. Qual é o limite teórico (capacidade) da informação que pode ser incorporada na saída do LLM sem distorcer as previsões do próximo token?
2. Um esquema prático pode aproximar-se desse limite para alcançar a inserção confiável de múltiplos bytes?

Metodologia: ArcMark

Os autores apresentam o ArcMark, uma construção de marcação d'água baseada na teoria da codificação e no transporte ótimo. A ideia central é redefinir a marcação d'água de múltiplos bits não como uma sequência de decisões independentes de token, mas como um problema de codificação de canal com informação lateral disponível tanto no codificador (marcador d'água) quanto no decodificador.

1. Formulação Teórico-Informacional

Os autores modelam o LLM como um canal ruidoso onde o "ruído" é a aleatoriedade inerente da distribuição do próximo token ($Q_{X_t}$). Eles derivam a capacidade de Shannon para a marcação d'água de múltiplos bits livre de distorção.

• Restrição Livre de Distorção: A distribuição marginal dos tokens marcados deve ser igual à distribuição original do LLM em expectativa sobre a informação lateral compartilhada: $E_{S_t}[Q_{X_t|S_t, M=m}] = Q_{X_t}$.
• Derivação da Capacidade: Sob a suposição de que as distribuições do próximo token são variáveis aleatórias independentes e identicamente distribuídas (i.i.d.), a capacidade é definida como a informação mútua máxima $I(W; X)$ entre a mensagem codificada $W$ e a saída $X$, sujeita à restrição livre de distorção.
• Limite Teórico: Para uma classe específica de distribuições binárias de tokens, a capacidade é derivada como sendo aproximadamente 0,2787 bits/token à medida que o tamanho do vocabulário tende ao infinito.

2. A Construção ArcMark

O ArcMark alcança a incorporação confiável mapeando o problema para um espaço geométrico e resolvendo um problema de otimização:

• Representação Geométrica: O vocabulário de tokens, os símbolos de palavra-código da mensagem e as chaves aleatórias compartilhadas são todos mapeados para pontos em um círculo unitário (ângulos).
  • Os tokens são mapeados para $2\pi i / N$.
  • Os símbolos da mensagem são mapeados para $2\pi c / p$.
  • A informação lateral (deslocamento aleatório) é mapeada para $2\pi v / r$.
• Codificação (Codificação Linear): A mensagem de $k$ bits é mapeada para um símbolo de palavra-código $C_m(t)$ usando um código linear aleatório sobre inteiros módulo $p$. Este símbolo é combinado com um deslocamento aleatório compartilhado $V_t$ para produzir um ângulo alvo $z_t$ no círculo.
• Incorporação (Transporte Ótimo): Para incorporar a mensagem sem distorcer a distribuição de saída do LLM, o marcador d'água deve selecionar um token $X_t$ que esteja "próximo" ao ângulo alvo $z_t$ enquanto satisfaz a restrição livre de distorção. Isso é formulado como um problema de Transporte Ótimo (OT).
  • O marcador d'água resolve para uma distribuição condicional $Q^*_{X_t|Z_t}$ que minimiza a distância angular esperada entre o token selecionado e o ângulo alvo, sujeito à restrição de que a distribuição marginal corresponda à distribuição original do LLM.
  • Isso é resolvido eficientemente usando o algoritmo Sinkhorn.
• Decodificação: O decodificador observa a sequência de tokens e a informação lateral compartilhada. Ele estima os ângulos transmitidos, remove a aleatoriedade compartilhada para recuperar os símbolos da palavra-código e realiza a decodificação de distância mínima sobre todas as mensagens possíveis para recuperar a mensagem completa.

Principais Contribuições

1. Algoritmo ArcMark: Um novo esquema de marcação d'água de múltiplos bits livre de distorção capaz de incorporar múltiplos bytes de informação em algumas centenas de tokens.
2. Caracterização da Capacidade: Uma derivação formal da capacidade de Shannon para a marcação d'água de múltiplos bits em LLMs livre de distorção, enquadrando o problema como codificação de canal com informação lateral.
3. Optimalidade Teórica: Uma prova de que, sob suposições simplificadas específicas (distribuições binárias de tokens), o ArcMark alcança a capacidade de Shannon derivada.
4. Validação Empírica: Avaliação abrangente demonstrando que o ArcMark supera os métodos existentes de múltiplos bits (especificamente BiMark e MPAC) em precisão da mensagem e robustez, mantendo ao mesmo tempo propriedades livres de distorção.

Resultados Experimentais

Os autores avaliaram o ArcMark em três modelos de pesos abertos (Llama3-8B, Mistral-7B, Qwen3-8B) usando o conjunto de dados C4-RealNewslike.

• Precisão da Mensagem: O ArcMark supera significativamente o BiMark na recuperação da mensagem inteira (precisão da mensagem), particularmente para cargas úteis maiores (2, 3 e 4 bytes). Embora a precisão de bits seja importante, o artigo enfatiza a precisão da mensagem como métrica operacional, observando que um único erro de bit torna toda a mensagem (por exemplo, um ID de usuário) incorreta.
• Robustez: O ArcMark demonstra robustez superior contra ataques de paráfrase (especificamente tradução reversa para francês). Mesmo em altas taxas de ataque (30% das frases parafraseadas), o ArcMark mantém uma precisão de mensagem maior do que o BiMark não atacado.
• Propriedades Livres de Distorção:
  • Perplexidade: A perplexidade do ArcMark é quase idêntica à linha de base sem marcação d'água e mais próxima do que a do BiMark, confirmando a preservação da distribuição de saída do LLM.
  • Utilidade em Tarefas Subsequentes: Em resposta a perguntas extrativas (SQuAD), conclusão de código em contexto longo (LCC) e correção funcional de código (HumanEval), o ArcMark não mostra degradação significativa em comparação com a linha de base sem marcação d'água.
• Detecção de Zero Bits: O ArcMark suporta detecção de zero bits (determinar se o texto está marcado) com alta precisão, atingindo taxas de detecção quase perfeitas a partir de 150 tokens.

Significado e Alegações

O artigo afirma redefinir a marcação d'água de múltiplos bits de um problema heurístico para um problema de codificação de canal com informação lateral, uma formulação que remonta a Claude Shannon. Ao mudar a perspectiva para capacidade e design de código, os autores argumentam que a teoria da informação fornece tanto uma base matemática para entender os limites das marcas d'água em LLMs quanto um caminho construtivo para projetá-las.

O significado do ArcMark reside em sua capacidade de incorporar bytes (não apenas bits) de informação de forma confiável e sem distorcer a qualidade do texto. Isso habilita aplicações práticas como o rastreamento de prompts de usuários, versões de modelos e instâncias específicas de modelos, que são cruciais para a responsabilização e conformidade regulatória. Os autores observam que, ao otimizar para a precisão ao nível da mensagem em vez da precisão ao nível de bits, o risco de má atribuição é reduzido.

O artigo conclui que, embora sua análise de capacidade dependa de suposições distribucionais específicas, o quadro abre portas para caracterizações teóricas mais amplas e para o projeto de marcas d'água com taxas de recuperação mais altas e garantias de robustez mais fortes.