Resumo Técnico: TextSeal

Declaração do Problema

A rápida implantação de Modelos de Linguagem de Grande Escala (LLMs) em sistemas de produção exige mecanismos confiáveis para proveniência de conteúdo. A marcação d'água visa incorporar um sinal imperceptível e algoritmicamente detectável no texto gerado para identificar origens de IA, cumprir regulamentações emergentes (como o Ato de IA da UE) e prevenir usos não autorizados, como destilação de modelos ou auto-treinamento em dados sintéticos.

Os métodos existentes de última geração enfrentam um compromisso crítico entre detectabilidade e diversidade. Enquanto métodos sem distorção, como a amostragem Gumbel-max, preservam a distribuição original de saída do modelo (garantindo nenhuma degradação de qualidade), eles são totalmente determinísticos: um prompt fixo e uma chave secreta sempre produzem a mesma saída. Isso elimina a diversidade de geração, levando a loops repetitivos e má experiência do usuário. Por outro lado, métodos que introduzem aleatoriedade para restaurar a diversidade frequentemente comprometem a força estatística da marca d'água ou introduzem distorção (viésando a distribuição de saída). Além disso, detectores existentes lutam contra a diluição, falhando em identificar conteúdo marcado quando misturado com grandes volumes de texto escrito por humanos ou fragmentado em um documento.

Metodologia: TextSeal

O TextSeal é um esquema de marcação d'água sem distorção e não determinístico construído sobre o framework Gumbel-max. Ele introduz três inovações técnicas principais para abordar as limitações da arte anterior:

1. Geração de Dupla Chave para Diversidade

Para superar o determinismo do Gumbel-max padrão, o TextSeal emprega Roteamento de Dupla Chave.

• Mecanismo: Em cada etapa de geração, o sistema seleciona aleatoriamente uma de duas chaves secretas, $k^{(1)}$ ou $k^{(2)}$, com probabilidades $1-\alpha$ e $\alpha$, respectivamente. O token é selecionado via o truque Gumbel-max usando o valor da Função Pseudo-Aleatória (PRF) derivado da chave escolhida.
• Impacto: Isso restaura a diversidade de saída (quebrando loops determinísticos) enquanto mantém a propriedade sem distorção.
• Otimização: A probabilidade de roteamento $\alpha$ pode ser alinhada dinamicamente com as taxas de aceitação de decodificação especulativa (por exemplo, em cenários de Previsão de Múltiplos Tokens), garantindo compatibilidade com otimizações de serviço sem adicionar latência de inferência.

2. Detecção Ponderada por Entropia

As pontuações de detecção padrão tratam todos os tokens igualmente, mas o sinal da marca d'água é inerentemente mais fraco em regiões de baixa entropia (onde o modelo é altamente confiante e o token principal domina independentemente da PRF).

• Mecanismo: O TextSeal pondera a pontuação de detecção de cada token por sua entropia local, estimada via um modelo proxy leve. Posições de alta entropia, onde a marca d'água tem mais influência, contribuem mais para a estatística final.
• Calibração Estatística: A soma ponderada das pontuações segue uma distribuição hipexponencial. Para calcular valores-p calibrados eficientemente, o TextSeal usa uma aproximação Gama com correspondência de momentos, que lida com a heterogeneidade dos pesos e a variância do roteamento de dupla chave.

3. Detecção Localizada Multi-Região

Detectores globais falham quando o texto marcado é uma pequena fração de um documento longo (diluição) ou disperso em segmentos não contíguos (fragmentação).

• Mecanismo: O TextSeal emprega uma busca de cobertura geométrica para identificar segmentos marcados. Em vez de testar todos os intervalos possíveis ($O(n^2)$), ele pesquisa uma grade dicotômica de comprimentos de janela ($L, 2L, 4L, \dots$).
• Extração: Um algoritmo ganancioso extrai intervalos disjuntos com os menores valores-p, agregando-os enquanto aplica correções rigorosas de Bonferroni para controlar a taxa de erro familiar.
• Ensemble Adaptativo: O sistema seleciona adaptativamente o resultado mais significativo entre três estratégias: um teste global de texto completo, uma única melhor janela ou uma agregação multi-região. Isso garante robustez seja o texto puramente marcado ou fortemente misturado.

Contribuições Principais

1. Compromisso de Última Geração: O TextSeal domina estritamente a fronteira de Pareto diversidade-detectabilidade, superando o SynthID-text e o Gumbel-max padrão. Ele alcança alta detectabilidade enquanto restaura diversidade comparável à geração sem marca d'água.
2. Robustez à Diluição: Através da detecção localizada, o TextSeal mantém detecção confiante mesmo quando o conteúdo marcado é diluído por um fator de 10x ou fragmentado em múltiplas regiões pequenas dentro de documentos longos, onde as bases globais falham.
3. Sobrecarga de Inferência Zero: O esquema adiciona sobrecarga de amostragem negligenciável ($\le 0,3\%$) e é totalmente compatível com decodificação especulativa e Previsão de Múltiplos Tokens (MTP) sem exigir alterações nos parâmetros do modelo ou modificações no cache KV.
4. Radioatividade via Destilação: O TextSeal demonstra que seu sinal de marca d'água é "radioativo". Quando um modelo estudante é destilado a partir de saídas de professor marcadas, o estudante herda um viés de token detectável, permitindo a detecção de destilação não autorizada mesmo sem acesso ao contexto original de geração.
5. Preservação de Capacidades: Avaliações extensas em 12 benchmarks (matemática, código, raciocínio, conhecimento) e avaliações humanas multilíngues confirmam que o TextSeal preserva o desempenho do modelo a jusante e não introduz degradação de qualidade perceptível.

Resultados Experimentais

• Detectabilidade vs. Diversidade: Nas avaliações no conjunto de dados ELI5, o TextSeal (com $\alpha=0,1$) alcança valores-p significativamente menores (maior detectabilidade) do que o SynthID e o Gumbel-max em pontuações de diversidade Self-BLEU equivalentes.
• Resistência à Diluição: O ensemble adaptativo do TextSeal mantém detecção forte ($-\log_{10} p > 4$) mesmo quando 400 tokens de texto marcado são incorporados em 12.000 tokens de texto não marcado (fração marcada de 3,3%). As bases globais caem abaixo dos limiares de significância em níveis de diluição muito menores.
• Preservação de Desempenho: Em benchmarks incluindo AIME, MATH, GSM8K e HumanEval, o TextSeal não mostra queda de desempenho estatisticamente significativa em comparação com a geração padrão. Flutuações menores observadas em benchmarks de código foram atribuídas a ruído de formatação, e não a degradação de raciocínio.
• Percepção Humana: Uma avaliação humana multilíngue (6.000 comparações A/B em 5 idiomas) não encontrou diferença de qualidade perceptível. Testes de equivalência (TOST) confirmaram que a diferença de preferência entre saídas marcadas e não marcadas está limitada dentro de $\pm 5\%$.
• Transferência de Destilação: Em experimentos de destilação (DeepSeek-R1 para Qwen2.5-3B), vestígios marcados transferiram com sucesso o sinal para o modelo estudante. O TextSeal alcançou o sinal de detecção mais forte na configuração original devido à maior retenção de dados, enquanto o Gumbel-max mostrou sinal por token mais forte sob volume de dados controlado.

Significado e Alegações

O artigo posiciona o TextSeal como uma solução prática e pronta para produção para marcação d'água de LLMs. Seu significado principal reside em resolver a tensão de longa data entre diversidade e detectabilidade sem sacrificar a ausência de distorção.

Os autores afirmam que o TextSeal fornece uma salvaguarda "radioativa" contra destilação não autorizada de modelos, uma preocupação crítica à medida que modelos de pesos abertos são cada vez mais treinados em dados sintéticos. Ao permitir a detecção de vestígios marcados em modelos estudantes, o TextSeal oferece um mecanismo para monitorar o uso de modelos e proteger a propriedade intelectual.

O artigo permanece modesto quanto às limitações: reconhece que, embora a marca d'água seja sem distorção para gerações únicas, a redução na diversidade (via o mecanismo de dupla chave) pode impactar fluxos de trabalho que dependem de saídas diversas (por exemplo, reclassificação best-of-N). No entanto, observa que modelos de raciocínio modernos frequentemente exibem entropia colapsada naturalmente, potencialmente mitigando essa perda marginal. O trabalho estabelece uma nova base para marcação d'água que é teoricamente sólida, empiricamente robusta e compatível com infraestrutura de inferência moderna.