💬 NLP

Stability-Aware Feature Design for Robust Watermark Detection in Machine-Generated Text

Este artigo introduz o Pattern Stability Score (PSS), um novo framework de detecção de marcas d'água que aproveita características estatísticas locais e a dinâmica de estabilidade através de variantes parafraseadas para melhorar significativamente a robustez contra múltiplas rodadas de paráfrase e textos curtos, alcançando mais de 10–15 pontos percentuais de AUC superior aos métodos existentes, mantendo uma forte generalização através de diversos modelos e domínios sem retreinamento.

Autores originais: Sina Mansouri, Mohit Marvania, Abolfazl Safikhani

Publicado 2026-08-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sina Mansouri, Mohit Marvania, Abolfazl Safikhani

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No cenário digital moderno, os grandes modelos de linguagem tornaram-se ferramentas onipresentes, capazes de gerar textos que mimetizam a escrita humana com uma precisão surpreendente. À medida que esses sistemas se integram em escolas, redações e pesquisas científicas, um desafio crítico surgiu: como distinguir entre o conteúdo escrito por uma pessoa e o conteúdo gerado por uma máquina. Uma solução promissora envolve a "marca d'água" (watermarking), uma técnica onde a máquina sutilmente enviesa suas escolhas de palavras durante o processo de escrita. Imagine o modelo como um escritor que, ao compor uma história, é secretamente instruído a favorecer uma lista específica e oculta de palavras. Para um leitor casual, a história lê-se normalmente, mas para um detector que conhece a lista secreta, o texto revela um padrão estatístico que prova sua origem artificial. No entanto, este método enfrenta um obstáculo significativo. Se um humano ou outro computador reescrever o texto para mudar a redação mantendo o mesmo significado — um processo conhecido como paráfrase — a marca d'água oculta pode ser diluída ou dispersa, fazendo com que o detector falhe. Esta vulnerabilidade é particularmente aguda quando o texto é curto ou quando tem sido reescrito múltiplas vezes, deixando uma lacuna em nossa capacidade de verificar a fonte da informação.

Pesquisadores da George Mason University desenvolveram uma nova abordagem para fechar essa lacuna, mudando o foco de tentar tornar a marca d'água mais difícil de quebrar para tornar o detector mais inteligente em encontrá-la. Em vez de olhar para o texto inteiro como um único bloco de dados, o método deles, chamado de Pontuação de Estabilidade de Padrão (Pattern Stability Score), divide o texto em pequenas janelas sobrepostas para examinar a estrutura local da escrita. Eles observaram que, enquanto uma marca d'água gerada por máquina cria uma assinatura estatística específica, a escrita humana não o faz. Quando uma máquina reescreve seu próprio texto, o viés estatístico subjacente muitas vezes persiste em certos bolsões, mesmo que as palavras superficiais mudem. Em contraste, quando um humano reescreve um texto, os padrões estatísticos flutuam aleatoriamente porque não há um sinal oculto para manter. Os pesquisadores construíram um sistema que rastreia esses padrões locais através de múltiplas versões do mesmo texto. Ao medir o quão estáveis esses padrões permanecem conforme o texto é reescrito, o sistema pode identificar a marca d'água mesmo após o texto ter sido fortemente alterado.

A equipe testou este método em três tipos distintos de escrita: livros de longa duração, artigos de notícias e entradas de enciclopédia. Eles usaram vários modelos de linguagem diferentes para gerar o texto original e depois submeteram esses textos a até oito rodadas de reescrita por diferentes sistemas de IA. Nestes testes rigorosos, o novo método provou ser notavelmente resiliente. Enquanto detectores tradicionais que olham para o texto como um todo viram sua precisão cair significamente após apenas algumas rodadas de reescrita, a nova abordagem manteve um alto desempenho. Especificamente, o sistema alcançou uma taxa de precisão superior a 91 por cento mesmo após o texto ter sido reescrito oito vezes, enquanto outros métodos líderes, incluindo complexos modelos de aprendizagem profunda, viram sua precisão colapsar para níveis próximos ao acaso. Os pesquisadores também descobriram que seu sistema funcionou bem em textos curtos, um cenário onde métodos anteriores frequentemente enfrentavam dificuldades, e que uma única versão de seu detector poderia lidar com diferentes tipos de escrita e diferentes modelos de IA sem a necessidade de ser retreinado.

Um insight fundamental que impulsionou este sucesso foi a percepção de que as médias globais escondem a verdade. Quando um texto é reescrito, o sinal oculto não é apagado uniformemente; algumas partes do texto retêm a impressão digital da marca d'água enquanto outras a perdem. Um detector que olha apenas para a contagem total de palavras com marca d'água em todo o documento perde esses bolsões concentrados de evidência. Ao deslizar uma janela pelo texto e analisar as estatísticas locais dentro de cada seção, o novo método captura essas concentrações ocultas. Além disso, ao comparar como esses padrões locais se comportam através de diferentes versões do texto, o sistema pode distinguir entre a persistência consistente, embora sutil, de uma marca d'água de máquina e a variação caótica da reescrita humana. Este design consciente da estabilidade permite que o detector ignore o ruído introduzido pela reescrita e foque no sinal que permanece.

As implicações deste trabalho estendem-se além da simples detecção. Os pesquisadores demonstraram que seu método é prático para uso no mundo real, exigindo apenas uma fração da potência de computação necessária por sistemas mais complexos. Ele pode processar milhares de documentos diariamente e opera rapidamente o suficiente para ser usado em situações de tempo sensível. Importante notar, o método não requer mudanças nas máquinas que geram o texto; ele funciona como uma ferramenta independente que pode ser aplicada ao conteúdo já existente. Isso significa que vastos arquivos de texto gerados por máquina podem ser reavaliados quanto à autenticidade sem a necessidade de regenerar o conteúdo. O estudo sugere que, ao focar na estabilidade dos padrões locais em vez de médias globais, podemos construir ferramentas mais robustas para verificar a origem do texto, oferecendo uma maneira confiável de navegar em um mundo cada vez mais preenchido por conteúdo gerado por máquinas.

Resumo Técnico: Design de Características Baseado em Estabilidade para Detecção Robusta de Marcas d'Água em Texto Gerado por Máquina

Declaração do Problema

A implantação generalizada de Grandes Modelos de Linguagem (LLMs) criou uma necessidade urgente de distinguir o texto gerado por máquina da escrita humana. Embora a marca d'água ofereça uma solução fundamentada ao enviesar a seleção de tokens em direção a uma "lista verde" oculta, os métodos de detecção existentes enfrentam desafios significários de robustez. Especificamente, os detectores padrão que dependem de um $z$ -score global (agregando a contagem total de tokens verdes) sofrem uma deterioração acentuada de desempenho quando o texto passa por paráfrases. Ataques de paráfrase, particularmente reescritas de múltiplos passos, rearranjam espacialmente ou diluem o sinal da marca d'água sem necessariamente alterar a semântica, fazendo com que o agregado global perca a significância estatística. Além disso, os métodos atuais têm dificuldade com textos curtos onde a evidência é escassa, e muitos detectores baseados em aprendizado profundo falham em generalizar entre diferentes domínios, LLMs ou modelos de paráfrase sem retreinamento.

Metodologia

Os autores propõem o Pattern Stability Score (PSS), um framework centrado no detector projetado para explorar sinais que a paráfrase preserva imperfeitamente: estrutura local e estabilidade através de profundidades de reescrita. A metodologia consiste em três componentes principais:

1. Estatísticas de Janela Deslizante Local

Em vez de agregar evidências sobre toda a sequência, o método desliza uma janela (tamanho padrão $w=50$ , salto $s=10$ ) através da sequência de indicadores binários (verde=1, vermelho=0). Para cada janela, ele computa um conjunto de características de 20 dimensões que captura a concentração espacial e dependências de curto alcance:

Momentos do $z$ -score: Média, variância, mínimo, máximo, assimetria (skewness) e curtose dos $z$ -scores locais.
Autocorrelação: Autocorrelações de lag-1 e lag-2 da sequência de $z$ -score local.
Estatísticas de comprimento de corrida (Run-length): Seis estatísticas de resumo da maior sequência consecutiva de tokens verdes ( $R_i$ ) e seis estatísticas de sua frequência ( $F_i$ ).

Essas características capturam bolsões de evidência concentrada da marca d'água que os testes globais suavizam, e permanecem parcialmente intactas mesmo quando a paráfrase fragmenta longas corridas de tokens verdes.

2. Pattern Stability Score (PSS)

Para abordar a paráfrase de múltiplos passos, o método introduz um funcional de estabilidade. Dada uma um texto em uma profundidade de paráfrase desconhecida $j$ ( $x^{(j)}$ ) e suas paráfrases subsequentes até a profund de $K$ ( $x^{(j+1)}, \dots, x^{(K)}$ ), o detector computa $z$ -scores locais para cada posição de janela nestas profundidades. O PSS para uma janela específica $i$ é definido como o desvio padrão dos $z$ -scores locais ao longo da trajetória da profundidade $j$ até $K$ :
$PSS_i = \text{std}(z_i^{(j)}, z_i^{(j+1)}, \dots, z_i^{(K)})$

Racional: Textos com marca d'água exibem padrões locais estáveis através das reescritas porque o viés estatístico subjacente persiste apesar das mudanças superficiais de tokens, resultando em baixa variabilidade (baixo PSS). O texto humano, carecendo deste viés, mostra alta variabilidade nos $z$ -scores locais através das paráfrases. O cálculo utiliza explicitamente a sequência de paráfrases começando da profundidade atual $j$ até $K$ para garantir pelo menos dois pontos para o desvio padrão, em vez de incluir o texto original $D_0$ no cálculo para uma profundidade $j$ específica.

3. Classificação Híbrida

O vetor de características final concatena os valores de PSS (perfil de estabilidade) com as características estáticas de 20 dimensões. Este vetor híbrido é alimentado em um classificador supervisionado leve (ex: XGBoost). A abordagem é projetada para ser "apenas detector", não exigindo mudanças no pipeline de geração ou na arquitetura do modelo.

Principais Contribuições

Detecção Baseada em Estabilidade: Introdução do PSS, uma medida fundamentada que captura a persistência dos sinais de marca d'água através de profundidades de paráfrase, integrada com estatísticas de janela deslizante local para aumentar a granularidade da detecção.
Design de Características Híbridas Compactas: Construção de um conjunto de características de 20 dimensões incorporando momentos estatísticos, autocorrelações e propriedades de comprimento de corrida. Esta representação mantém o poder discriminativo sob paráfrase agressiva e em regimes de textos curtos.
Robustez Sob Estresse Adversarial: Avaliação sistemática demonstrando que o PSS supera consistentemente as linhas de base de $z$ -score global e métodos de aprendizado profundo de última geração (ex: DeepTextMark, Binoculars, RADAR) em múltiplos datasets (PG-19, CNN/DailyMail, WikiText) e até oito rodadas de paráfrase.
Generalização Cross-Domain: Demonstração de que um classificador universal único, treinado em uma configuração (LLM, paráfrase, domínio), generaliza efetivamente para configurações não vistas sem retreinamento, mantendo alto AUC mesmo quando todos os componentes diferem do conjunto de treinamento.
Análise de Sensibilidade Abrangente: Confirmação empírica de que o método permanece robusto sob variações de tamanho de janela, salto, comprimento de entrada e parâmetros de marca d'água (razão da lista verde $\gamma$ ).

Resultados Experimentais

As avaliações foram conduzidas em três datasets de referência usando Llama-3-8B e Qwen2-7B para geração, e Mistral-7B, Qwen2-7B e Gemma-7B para paráfrase.

Desempenho vs. Profundidade de Paráfrase: Em 1.500 tokens e profundidade $D_8$ (oito rodadas de paráfrase), o método proposto PSS + Static alcançou 91,2% de AUC. Em contraste, as linhas de base de aprendizado profundo colapsaram para 41–44% de AUC, e a linha de base de $z$ -score global caiu para 66,8%.
Robustez em Textos Curtos: O método manteve desempenho superior em textos de apenas 300 tokens, onde as estatísticas globais tipicamente falham devido à falta de evidência.
Transferência Cross-Domain: Quando treinado no PG-19 e testado no CNN/DailyMail, o PSS manteve 83,8–88,6% de AUC através das profundidades, enquanto os métodos de aprendizado profundo caíram para um desempenho próximo ao aleatório (29–46% de AUC).
Classificador Universal: Um classificador treinado em uma única configuração (Llama-3 + Mistral + PG-19) alcançou 92,6% de AUC na profundidade $D_1$ e 87,8% de AUC na profundidade $D_8$ ao ser testado em uma configuração completamente diferente (Qwen2 + Qwen2 + WikiText).
Ataques Adaptativos: Sob ataques adaptativos otimizados por DPO visando o $z$ -score global, o PSS manteve >80% de AUC, enquanto a linha de base global caiu para próximo do acaso (~52%).
Eficiência: O pipeline de detecção requer apenas 0,8–3,2 segundos por documento e ~200MB de memória, permitindo processamento de alto rendimento sem o pesado overhead computacional dos detectores baseados em transformer.

Significância e Alegações

O artigo afirma que a abordagem proposta aborda lacunas críticas na detecção de marcas d'água: robustez à paráfrase de múltiplos passos e estabilidade em textos curtos. Ao mudar o foco de modificar o gerador para melhorar o detector, o método oferece várias vantagens práticas:

Compatibilidade de Implantação: Funciona com esquemas de marca d'água de lista verde existentes (ex: SynthID-Text) sem exigir mudanças nos pipelines de geração ou arquiteturas de modelo.
Aplicabilidade Retroativa: Pode identificar marcas d'água em conteúdos gerados anteriormente sem necessidade de regeneração.
Defesa em Profundidade: Trata a marca d'água como um sinal fixo e extrai evidências através de múltiplas lentes estatísticas, evitando as novas superfícies de ataque introduzidas por esquemas de geração complexos e adaptativos.

Os autores posicionam este trabalho como um passo em direção à otimalidade teórica para esquemas de marca d'água fixos, extraindo toda a informação disponível (estrutura local e estabilidade) antes de declarar a necessidade de mecanismos de marca d'água mais fortes e complexos. O método é apresentado como uma solução prática e de baixo overhead para atribuição no mundo real em educação, jornalismo e política científica.