🤖 AI

ChainMark: Model-Free LLM Watermarking with Closed-Form Calibration

A la Mark introduz um esquema de marca d'água ativo e livre de modelo que particiona o vocabulário em estados com chave para impor transições de Markov rígidas, permitindo a calibração de parâmetros de detecção de forma fechada e alcançando robustez comprovável contra ataques de tradução e substituição sem exigir acesso ao modelo de linguagem gerador.

Autores originais: Chengheng Li-Chen, Kyuhee Kim

Publicado 2026-07-22

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chengheng Li-Chen, Kyuhee Kim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está caminhando por uma biblioteca gigante onde robôs estão escrevendo histórias. Às vezes, esses robôs são tão bons que você não consegue distinguir se uma história foi escrita por um humano ou por uma máquina. Este é um grande problema para o futuro: se os robôs puderem escrever qualquer coisa, como saberemos o que é real? Cientistas estão tentando resolver isso dando aos robôs uma maneira secreta de marcar seu trabalho, como uma assinatura oculta que apenas um detector especial pode ver. Isso é chamado de "marca d'água" (watermarking). Pense nisso como um código secreto escondido no DNA de uma frase.

Verificar esses códigos tem sido complicado. A maioria dos métodos antigos é como um jogo de "adivinhar a senha" que exige que o próprio robô esteja presente para verificar o trabalho. Se o robô se for, ou se alguém alterar levemente a história (como traduzi-la para outro idioma), os códigos antigos costumam quebrar ou desaparecer. Além disso, os reguladores (as pessoas que criam as regras) querem uma maneira simples de dizer: "Eu preciso de um código que erre menos de 1% das vezes, funcione em textos curtos e sobreviva a edições", mas eles não tinham uma fórmula clara para dizer aos engenheiros exatamente como construir esse código.

Este artigo apresenta uma nova solução chamada ChainMark. É uma marca d'água "model-free" (independente de modelo) e inteligente, o que significa que você não precisa do robô para verificar o trabalho — você só precisa de uma chave secreta. Os autores descobriram uma maneira de criar um código que funciona como uma dança secreta. Eles mostram que essa dança é muito difícil de quebrar contra tipos específicos de ataques, e fornecem uma receita matemática clara para que os reguladores digam aos engenheiros exatamente como configurá-la.

A Dança Secreta: Como o ChainMark Funciona

Imagine que o vocabulário do robô (todas as palavras que ele pode usar) é uma caixa gigante de azulejos coloridos. O ChainMark pega uma chave secreta e ordena cada um dos azulejos em cinco cestos coloridos (digamos, Vermelho, Azul, Verde, Amarelo e Roxo). Esses cestos estão dispostos em um círculo, como um relógio: Vermelho → Azul → Verde → Amarelo → Roxo → Vermelho.

Quando o robô está escrevendo uma história, o ChainMark não o deixa escolher qualquer palavra. Em certos pontos da história (cerca de metade das vezes), o robô é forçado a escolher uma palavra que pertença à próxima cor no círculo. Se a última palavra foi Vermelha, a próxima deve ser Azul. Se a última foi Azul, a próxima deve ser Verde. O robô ainda escolhe a melhor palavra que conseguir encontrar, mas ele só tem permissão para escolher do cesto "Azul".

Isso cria um caminho oculto, ou uma "corrente" (chain), através do texto. A história está essencialmente caminhando ao redor deste relógio de cores.

O Detetive Sem um Robô

Aqui está a parte mágica: para verificar se uma história possui marca d'água, você não precisa do robô de forma alguma. Você só precisa do texto e da chave secreta. Um verificador (o detetive) pega o texto, consulta a chave secreta e reordena cada palavra em seus cestos coloridos. Então, ele simplesmente conta quantas vezes as cores seguem a ordem correta (Vermelho para Azul, Azul para Verde, etc.).

Se a história foi escrita por um humano ou por um robô sem o segredo, as cores saltarão aleatoriamente. A chance de acertar a ordem por acidente é muito baixa (apenas 1 em 5, ou 20%). Mas se a história foi escrita com o ChainMark, as cores seguirão a corrente quase perfeitamente. O detetive faz essa matemática num piscar de olhos, sem nunca precisar pedir ajuda ao robô.

Por Que Isso é um Grande Diferencial

O artigo mostra que o ChainMark resolve três grandes dores de cabeça que outros métodos possuíam:

Não Precisa de Robô: Métodos antigos frequentemente precisavam do "cérebro" do robô para verificar o trabalho. O ChainMark precisa apenas do texto e da chave. Isso significa que um terceiro, como um regulador ou um editor de notícias, pode verificar se uma história é gerada por IA sem precisar de acesso ao modelo de IA secreto da empresa.
A Receita Perfeita: Os autores derivaram uma fórmula de "forma fechada" (closed-form). Isso é uma maneira sofisticada de dizer que encontraram uma equação matemática direta. Se um regulador disser: "Eu preciso de uma taxa de falso positivo de 1% para um texto de 200 palavras", o engenheiro pode inserir esses números na fórmula e saber instantaneamente quantos cestos de cores deve usar. Nada de adivinhação ou tentativa e erro.
Ele Sobrevive ao "Ataque de Tradução": Uma das maiores formas de quebrar as marcas d'água antigas é traduzir um texto para outro idioma (como o chinês) e depois traduzi-lo de volta. Isso geralmente embaralha o código secreto. O artigo testou o ChainMark contra isso e descobriu que ele é incrivelmente resistente. Mesmo após traduzir o texto para o chinês e de volta, o ChainMark identificou corretamente o texto com marca d'água 72,8% das vezes. Em contraste, outros métodos populares (chamados de KGW e SWEET) caíram para menos de 20% de taxa de sucesso sob as mesmas condições.

O Compromisso (Trade-Off)

O artigo é honesto sobre o custo. Para fazer essa dança secreta funcionar, o robô tem que ser ligeiramente mais restrito ao escolher as palavras. Isso torna o texto um pouco menos "fluente" ou natural em comparação com um robô completamente livre. Os autores mediram isso usando uma pontuação chamada "perplexidade". A pontuação do ChainMark foi de cerca de 3,66, enquanto os outros métodos estavam em torno de 1,80 a 1,93. Isso significa que o ChainMark é aproximadamente duas vezes mais "rígido" que os outros, mas a vantagem é que é muito mais difícil de quebrar e muito mais fácil de verificar sem o robô.

A Rede de Segurança "Universal"

O artigo também descobriu algo surpreendente sobre quanta edição o código pode suportar contra um atacante "cego" (aquele que não possui a chave secreta). Eles provaram matematicamente que, se alguém trocar palavras aleatoriamente (como um ataque de "recortar e colar"), o código sobreviverá desde que as edições sejam menores que 29,3% do texto. Esse número é uma "constante universal", o que significa que não importa quantos cestos de cores você use ou quão longo seja o texto; o código se mantém até atingir esse limite específico de 29,3%.

No entanto, os autores são cuidadosos ao notar que essa rede de segurança tem limites. Ela se aplica a trocas aleatórias e tradução, mas não garante a sobrevivência contra um hacker superinteligente que conheça a chave secreta ou que possa fazer perguntas repetidas ao detector para descobrir o padrão. Além disso, o artigo ainda não testou reescritas complexas que preservam a gramática (onde o significado permanece exatamente o mesmo, mas as palavras mudam), então, embora o código seja muito forte contra tradução e trocas aleatórias, ainda há trabalho a ser feito em outros tipos de ataques.

O Que Ele Não É

Os autores são cuidadosos ao dizer o que seu método não faz. Eles admitem que, se um hacker superinteligente conhecer a chave secreta ou puder fazer perguntas ao detector repetidamente para descobrir o padrão, ele poderá ser capaz de quebrar a marca d'água. O artigo foca em um atacante "cego" que não possui a chave. Além disso, eles ainda não testaram todos os tipos de edição (como reescritas gramaticais complexas que mantêm o significado exatamente o mesmo), então, embora o código seja muito forte contra tradução e trocas aleatórias, ainda há trabalho a ser feito em outros tipos de ataques.

Conclusão

O ChainMark é como dar aos escritores de IA um movimento de dança secreto e difícil de quebrar que deixa rastros de pegadas — desde que o atacante seja cego à chave e o ataque seja aleatório ou de tradução. Mesmo que alguém tente apagar as pegadas traduzindo a história ou trocando as palavras, o padrão permanece visível para qualquer pessoa com a chave secreta. Mais importante ainda, ele oferece aos reguladores um manual de instruções matemático claro para configurar essas marcas d'água exatamente como precisam, sem precisar adivinhar ou depender da empresa de IA para realizar a verificação. É um passo em direção a um futuro onde podemos confiar em nossos textos digitais, sabendo exatamente quem (ou o quê) os escreveu.

Resumo Técnico: ChainMark: Marca d'água de LLM sem Modelo com Calibração de Forma Fechada

1. Definição do Problema

O artigo aborda os desafios técnicos da implementação de marcas d'água legíveis por máquina para textos gerados por Grandes Modelos de Linguagem (LLMs), especificamente no contexto de mandatos regulatórios como o EU AI Act (Artigo 50). Os autores identificam três deficiências estruturais em esquemas de marca d'água existentes (ex: KGW, SWEET, EWD) que dificultam auditorias voltadas para reguladores:

Detecção Vinculada ao Modelo: Métodos existentes frequentemente exigem acesso ao modelo gerador ou ao seu estado interno (ex: logits, entropia) no momento da detecção, impedindo que auditores terceiros verifiquem o texto sem o modelo.
Falta de Calibração de Forma Fechada: Nenhum esquema existente fornece um mapeamento matemático de alvos específicos de um regulador (taxa de falso-positivo $\alpha$ , comprimento mínimo de texto $n_{min}$ e orçamento de marca d'água $\rho$ ) para os parâmetros de configuração concretos (ex: força da marca d'água) necessários para a implantação.
Robustez Frágil: Esquemas atuais sofrem degradação significativa nas taxas de verdadeiros-positivos (TPR) sob ataques comuns como tradução (ex: retro-tradução para o chinês) e substituição aleatória, muitas vezes caindo abaixo de 20% de TPR em orçamentos equivalentes.

2. Metodologia: O Esquema ChainMark

O ChainMark é um esquema de marca d'água ativo projetado para ser sem modelo (model-free) na detecção e calibrado via matemática de forma fechada.

Mecanismo Central

Particionamento de Estado: Uma chave secreta $\kappa$ é usada com uma função de hash (SHA-256) para mapear cada token do vocabulário $v$ para um de $S$ estados discretos: $\sigma_\kappa(v) = \text{SHA-256}(\kappa \parallel v) \mod S$ . Isso particiona o vocabulário em $S$ conjuntos disjuntos $V_0, \dots, V_{S-1}$ .
Transição de Relógio (Clockwork): Os estados são organizados em um ciclo fixo ( $s \to (s+1) \mod S$ ).
Geração (Inserção): Em uma fração $\rho$ das posições de tokens (determinada por um portão de entropia), o modelo é restringido a emitir um token do próximo estado no ciclo. Especificamente, os logits para tokens que não estão no conjunto de estado alvo são mascarados para $-\infty$ , e o modelo seleciona o argmax dos tokens válidos restantes. Em posições não filtradas pelo portão, o modelo amostra livremente.
Detecção (Verificação): Um verificador, possuindo apenas a chave secreta e o tokenizador (sem acesso ao LLM), recomputa o estado para cada token no texto. O verificador calcula a fração de transições válidas $\phi$ $ϕ$ onde a sequência de estados segue o ciclo.
- Hipótese Nula ( $H_0$ ): Para texto sem marca d'água, as transições são aleatórias, resultando em uma taxa esperada de $p_0 = 1/S$ (para uma cadeia de relógio 1-regular).
- Hipótese Alternativa ( $H_1$ ): Texto com marca d'água exibe uma taxa válida de $\approx 1/S + \rho(1 - 1/S)$ .
- Teste Estatístico: Um teste $z$ padrão é realizado sobre $\phi$ para determinar se o texto possui marca d'água. A complexidade de detecção é de $O(n)$ operações de hash.

Calibração e Robustez

Calibração de Forma Fechada: Os autores derivam uma fórmula $S^\star(n, \rho, \alpha)$ que mapeia os alvos do regulador diretamente para o número mínimo de estados $S$ necessário para garantir uma taxa de falso-positivo (FPR) $\le \alpha$ .
Recalibração Empírica: Para lidar com a distribuição não uniforme dos tokens de linguagem natural através dos estados de hash, propõe-se um passo de recalibração de um único corpus. Isso ajusta o limiar de detecção com base na média empírica e no desvio padrão do escore $z$ em texto sem marca d'água, restaurando a FPR alvo sem alterar a configuração da marca d'água.
Limiar de Robustez Universal: O artigo prova que, sob substituição aleatória uniforme, a marca d'água sobrevive até uma fração de edição $\delta^\star = 1 - 1/\sqrt{2} \approx 29,3\%$ . Crucialmente, este limiar é invariante aos parâmetros $S$ , $\rho$ e $n$ .

3. Principais Contribuições

Detecção Sem Modelo: O ChainMark permite auditoria por terceiros usando apenas a chave secreta e o tokenizador, removendo a necessidade do LLM gerador no tempo de inferência.
Calibração Voltada ao Operador: A derivação do mapa de forma fechada $S^\star(n, \rho, \alpha)$ permite que reguladores especifiquem alvos de detecção que se traduzem diretamente em configurações implantáveis.
Garantias de Robustez: Provas teóricas estabelecem um limiar de robustez universal ( $\approx 29,3\%$ ) contra substituição uniforme, independente dos parâmetros do sistema.
Generalização: O framework se estende a qualquer topologia de transição estocástica duplamente estocástica $k$ -regular, não apenas à simples cadeia de relógio.

4. Resultados Experimentais

Experimentos foram conduzidos em três LLMs ajustados para instrução (Llama-3.1-8B, Qwen-2.5-7B, Mistral-7B) em quatro domínios (código, factual, wiki, escrita).

Desempenho de Orçamento Correspondente: Comparado ao KGW e SWEET em um orçamento fixo de marca d'água ( $\rho=0.5$ $ρ = 0.5$ ), o ChainMark superou significativamente os baselines sob ataque.
- Texto Limpo: O ChainMark alcançou 100% de TPR.
- Substituição Aleatória ( $\delta=0.20$ ): O ChainMark reteve 99,9% de TPR, enquanto KGW e SWEET caíram para ~55% e ~51%, respectivamente.
- Retro-tradução para o Chinês: O ChainMark reteve 72,8% de TPR, enquanto KGW e SWEET caíram abaixo de 20% (19,4% e 18,0%).
Custo de Qualidade: Esta robustez vem com um custo de aumento da autoperplexidade (ChainMark: 3,66 vs. baselines: ~1,80–1,93).
Validação de Calibração: Resultados empíricos confirmaram que a calibração de forma fechada fornece a ordenação correta de contagens de estado, e que a recalibração empírica reduziu com sucesso a taxa de falso-positivo de ~2,0% para o alvo de 1% sem sacrificar a detecção de verdadeiros-positivos.

5. Significância e Alegações

O artigo afirma que o ChainMark fornece o substrato técnico necessário para frameworks regulatórios como o EU AI Act ao resolver o problema da "auditabilidade". Sua principal significância reside em:

Mapeamento de Política-para-Configuração: Ele traduz requisitos regulatórios abstratos (FPR, comprimento de texto, orçamento) em configurações concretas e auditáveis.
Auditabilidade por Terceiros: Ao desacoplar a detecção do modelo, ele permite a verificação independente de conteúdo gerado por IA, um pré-requisito para a governança transparente.
Compromisso entre Robustez e Qualidade: Os autores reconhecem que o ChainMark impõe um custo de qualidade mensurável (maior perplexidade), mas argumentam que este é um compromisso necessário para alcançar alta robustez contra ataques de tradução e substituição, que os métodos atuais de estado da arte não conseguem suportar.

Os autores permanecem modestos quanto às limitações, observando que as atuais alegações de robustez são contra tradução e substituição uniforme, e que o esquema ainda não cobre ataques de paráfrase que preservam a gramática (ex: DIPPER) ou adversários com acesso adaptativo a consultas de detector. Eles também destacam os riscos de "efeito inibidor" (chilling effect) e "falso-positivo" como danos assimétricos que devem ser gerenciados através de uma calibração cuidadosa de limiares.