🤖 machine learning

dgMARK: Decoding-Guided Watermarking for Diffusion Language Models

O artigo apresenta o dgMARK, um método de marca d'água plug-and-play para modelos de linguagem de difusão discreta que aproveita sua sensibilidade à ordem de desmascaramento de tokens para incorporar sinais detectáveis por meio da seleção de candidatos com restrição de paridade, garantindo robustez contra diversas operações de edição de texto.

Autores originais: Pyo Min Hong, Albert No

Publicado 2026-06-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Pyo Min Hong, Albert No

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: "Quem Escreveu Isto?"

Imagine os Grandes Modelos de Linguagem (LLMs) como escritores fantasmas incrivelmente talentosos. Eles podem escrever histórias, códigos e ensaios que parecem e soam exatamente como se tivessem sido escritos por humanos. Mas isso cria um problema: se um agente mal-intencionado usar esses modelos para escrever notícias falsas ou e-mails de phishing, como saberemos se não foi uma pessoa real?

Precisamos de uma forma de marcar o texto para que possamos provar: "Ei, um computador escreveu isto". Isso é chamado de marca d'água (watermarking).

O Jeito Antigo vs. O Jeito Novo

A maioria dos métodos atuais de marca d'água funciona como um lançamento de moeda tendencioso.

A Analogia: Imagine um chef (a IA) que geralmente escolhe ingredientes com base no que sabe melhor. O método antigo de marca d'água força o chef a escolher um ingrediente "verde" (como um tipo específico de pimenta) 60% das vezes, mesmo que um ingrediente "vermelho" (como um tomate) fosse mais saboroso.
A Falha: Isso altera o sabor do prato. O texto pode soar levemente robótico ou de qualidade inferior porque a IA está sendo forçada a fazer escolhas não naturais apenas para esconder um código secreto.

O Novo Método: dgMARK (O "Controlador de Tráfego")

O artigo apresenta o dgMARK, um novo método projetado especificamente para um tipo mais recente de IA chamado Modelos de Linguagem de Difusão (dLLMs).

O que é um Modelo de Difusão?
Ao contrário dos antigos modelos "Autorregressivos" que escrevem frases estritamente da esquerda para a direita (como um datilógrafo), os modelos de Difusão são mais como um resolvedor de quebra-cabeças.

Eles começam com uma página em branco cheia de pontos de interrogação (máscaras).
Eles preenchem as palavras uma por uma, mas podem preenchê-las em qualquer ordem que desejarem. Eles podem preencher a última palavra primeiro, depois a primeira, depois o meio.

O Insight Secreto
Os autores perceberam que, embora esses modelos devessem, teoricamente, funcionar da mesma forma independentemente da ordem em que preenchem os espaços, na realidade, eles são sensíveis à ordem. A ordem em que revelam as palavras altera ligeiramente o resultado final.

A Analogia: O Controlador de Tráfego
Em vez de forçar o chef a escolher um ingrediente específico (mudando o sabor), o dgMARK atua como um Controlador de Tráfego.

A IA olha para todos os espaços vazios na página e diz: "Eu acho que poderia colocar um 'gato' aqui, ou um 'cachorro' ali".
O Controlador de Tráfego (dgMARK) tem uma regra secreta: "Se a palavra que você quer colocar corresponder a um padrão secreto (como uma verificação de paridade), você pode ir primeiro".
A IA ainda escolhe a melhor palavra para aquele lugar (o sabor não muda), mas a ordem em que as palavras aparecem na página é sutilmente guiada pela regra secreta.

Como o Código Secreto Funciona

A "regra secreta" baseia-se num truque matemático simples chamado paridade (números ímpares vs. pares).

Imagine que a IA está preenchendo uma frase. Para cada posição (1ª palavra, 2ª palavra, etc.), existe uma lista secreta de palavras "aprovadas".
Se a IA quiser preencher a 3ª palavra, e a palavra que ela deseja estiver na lista de "aprovados" para a 3ª posição, o dgMARK diz: "Ótimo! Preencha essa agora!".
Se a palavra não estiver na lista, a IA pode esperar um momento e preencher outro espaço primeiro.

Ao longo de um parágrafo inteiro, isso cria um padrão estatístico. Se você verificar o texto, descobrirá que as palavras aparecem em posições que correspondem ao padrão secreto com mais frequência do que o acaso permitiria. É como descobrir que um baralho de cartas foi sutilmente embaralhado para que cada 4ª carta seja sempre um Copas.

Por Que Isso é Melhor

Sem Mudança de Sabor: Como a IA ainda escolhe a melhor palavra para o trabalho, o texto soa tão natural e de alta qualidade quanto antes. O artigo mostra que a "perplexidade" (uma medida de quão confuso o texto é) quase não muda.
Difícil de Remover: Se alguém tentar editar o texto (adicionando, deletando ou trocando palavras), a lógica do "Controlador de Tráfego" deixa uma impressão digital. O artigo utiliza um detector de janela deslizante (como olhar para o texto através de uma lupa móvel) para encontrar esses padrões mesmo se o texto tiver sido editado.
Plug-and-Play: Funciona com a forma de pensar existente da IA. Não é necessário retreinar o modelo; basta adicionar esta camada de "Controlador de Tráfego" sobre o processo de decodificação.

Os Resultados

Os autores testaram isto em vários modelos avançados (como LLaDA e Dream).

Detectabilidade: Eles conseguiram identificar o texto com marca d'água com uma precisão muito alta, mesmo quando o texto foi editado ou parafraseado.
Qualidade: O texto com marca d'água era quase indistinguível do texto sem marca d'água em termos de qualidade.
Robustez: Mesmo se alguém tentasse "parafrasear" o texto (reescrevê-lo para esconder a marca d'água), o método permaneceu eficaz, especialmente ao usar um recurso de "olhar à frente" (lookahead), onde a IA planeia um passo à frente para garantir que o padrão continue.

Resumo

O dgMARK é uma forma inteligente de colocar uma marca d'água no texto da IA ao orquestrar a ordem em que as palavras são reveladas, em vez de forçar a IA a escolher palavras específicas. É como reger uma orquestra: você não diz aos músicos para tocarem as notas erradas (o que arruinaria a música); você apenas diz a eles quando tocar as suas melhores notas para que o ritmo siga um padrão secreto e detectável.

Resumo Técnico: dgMARK – Marca d'água Guiada pela Decodificação para Modelos de Linguagem de Difusão

Definição do Problema
Os Grandes Modelos de Linguagem (LLMs) apresentam riscos significativos em relação à desinformação, plágio e violação de direitos autorais, necessitando de ferramentas de proveniência confiáveis para distinguir o texto gerado por máquina do conteúdo escrito por humanos. Embora a marca d'água seja uma solução prática, os métodos existentes são predominantemente projetados para modelos autoregressivos (ARMs) que geram texto estritamente da esquerda para a direita. Esses métodos tipicamente enviesam as probabilidades dos tokens (ex: particionamento em listas "verde/vermelha") para embutir sinais. No entanto, os Modelos de Linguagem de Difusão Discreta (dLLMs) operam de forma diferente: eles realizam o de-noising iterativo de sequências mascaradas e podem finalizar tokens em ordens arbitrárias. Nos dLLMs, o contexto do "token anterior" exigido pelos ARMs é frequentemente indefinido durante a decodificação, tornando as marcas d'água tradicionais de viés de probabilidade ineficazes ou exigindo adaptações complexas que alteram a distribuição de saída do modelo. Além disso, embora os dLLMs ideais devessem ser invariantes à ordem, os modelos práticos exibem sensibilidade à ordem de decodificação, criando um hiato entre a invariância teórica e o comportamento prático que permanece subutilizado para marca d'água.

Metodologia: dgMARK
Os autores propõem o dgMARK (Decoding-Guided Watermarking), um método que embutir o sinal ao direcionar a ordem de decodificação em vez de reponderar as probabilidades aprendidas pelo modelo. A premissa central é que os dLLMs selecionam candidatos de alta recompensa em cada etapa; o dgMARK explora isso priorizando o desmascaramento de posições onde o token candidato satisfaz uma restrição de paridade específica.

Restrição de Paridade: Dada uma chave secreta $\xi$ , uma função de hash determinística $f(v, \xi)$ mapeia cada token $v$ para um valor binário. Para uma posição de decodificação $i$ , o "conjunto de correspondência" $G_i$ contém tokens onde $f(v, \xi) \equiv i \pmod 2$ .
Estratégia de Decodificação: Durante o processo de decodificação, o algoritmo identifica tokens candidatos para todas as posições não reveladas. Ele prioriza posições $j$ onde o token previsto $v_j$ pertence ao conjunto de correspondência $G_j$ . Entre esses candidatos válidos, a posição com a maior recompensa (baseada na estratégia de decodificação subjacente, ex: confiança, entropia ou margem) é selecionada para o desmascaramento. Se nenhum candidato satisfizer a condição de paridade, o sistema recorre ao processo de seleção padrão.
Lookahead de Um Passo (One-Step Lookahead): Para evitar que escolhas gananciosas esgotem oportunidades futuras de correspondência de paridade, o dgMARK oferece uma variante usando uma busca em feixe (beam search) de top- $k$ com lookahead de um passo. Esta variante avalia quantos futuros posicionamentos permaneceriam alinhados com a paridade se um determinado token fosse comprometido, selecionando o caminho que maximiza o alinhamento futuro.
Detecção: A detecção baseia-se em testes estatísticos da taxa de correspondência de paridade. Como a função de hash é balanceada, um texto sem marca d'água deve exibir uma taxa de correspondência próxima a 0,5. O texto com marca d'água exibe uma taxa significativamente elevada. Para garantir a robustez contra pós-edição (inserções, deleções, substituições), o detector utiliza uma abordagem de janela deslizante, agregando estatísticas $z$ através de janelas sobrepostas para lidar com deslocamentos de índice.

Principais Contribuições

Marca d'água Agnóstica à Ordem: O dgMARK é o primeiro método a utilizar a própria ordem de decodificação como o canal primário para marca d'água em dLLMs, evitando a modificação direta das probabilidades de tokens do modelo.
Compatibilidade Plug-and-Play: O método funciona como um wrapper em torno de estratégias de decodificação existentes (baseadas em confiança, entropia, margem) e não requer o retreinamento do modelo ou a alteração de seus parâmetros internos.
Robustez: O mecanismo de detecção de janela deslizante garante que a marca d'água permaneça detectável mesmo após modificações significativas no texto, incluindo paráfrases e edições ao nível do token.
Preservação de Qualidade: Ao não enviesar explicitamente a distribuição de probabilidade (logits), o dgMARK visa minimizar a degradação da qualidade do texto em comparação com as linhas de base de deslocamento de probabilidade.

Resultados Experimentais
Os autores avaliaram o dgMARK em conjuntos de dados de referência (C4, Writing Prompts) utilizando dLLMs de última geração (LLaDA, LLaDA 1.5, LLaDA 2.0, Dream).

Detectabilidade: O dgMARK alcança uma detectabilidade forte. Com um lookahead de busca em feixe de 3, ele atinge Taxas de Verdadeiros Positivos (TPR) de quase 100% em Taxas de Falsos Positivos (FPR) de 0,01% no conjunto de dados C4, superando ou igualando baselines como KGW (Kirchenbauer et al., 2023) e PATTERN-MARK.
Qualidade do Texto: O método incorre em uma degradação mínima na qualidade do texto. Os aumentos de perplexidade (PPL) são consistentemente menores do que os observados com KGW e PATTERN-MARK. O desempenho em benchmarks downstream (MMLU, GSM8K, HumanEval) mostra apenas quedas menores, com o dgMARK geralmente preservando melhor a capacidade do que os métodos de viés de probabilidade.
Robustez: Sob ataques de nível de token (inserção, deleção, substituição) com orçamentos de modificação de até 40%, o dgMARK mantém altos escores de Área Sob a Curva (AUC). Também demonstra resiliência contra ataques de paráfrase usando DIPPER e Llama 3, particularmente quando combinado com busca em feixe.
Escalabilidade: A detectabilidade melhora com o comprimento da sequência, tornando o método particularmente eficaz para tarefas de geração de textos longos.

Significância e Alegações
O artigo afirma que o dgMARK estabelece a ordem de decodificação como um canal de marca d'água prático e complementar para dLLMs. Os autores enfatizam que sua abordagem oferece uma vantagem distinta sobre os paradigmas existentes: ela alcança proveniência confiável sem a distorção direta das probabilidades condicionais aprendidas pelo modelo. O trabalho destaca que a sensibilidade inerente à ordem dos dLLMs práticos, muitas vezes vista como uma limitação ou efeito colateral, pode ser aproveitada como um controle para segurança. Os autores observam modestamente que a eficácia do método depende da imperfeição empírica dos modelos atuais (ou seja, sua sensibilidade à ordem de decodificação), reconhecendo que um dLLM perfeitamente treinado e invariante à ordem tornaria teoricamente este método de marca d'água ineficaz. No entanto, para os dLLMs atuais e próximos, o dgMARK fornece uma solução robusta e de baixa distorção para a proveniência de conteúdo.