💬 NLP

Linguistic Holonomy and Statistical Watermarks: Inner Geometry of Meaning-Preserving Transformations

Este artigo demonstra que as marcas d'água estatísticas para modelos de linguagem são fundamentalmente vulneráveis a transformações que preservam o significado porque sua detecção depende da similaridade semântica dos pontos finais em vez da "holonomia" oculta do caminho de transformação, levando a uma identidade matemática precisa mostrando que a sobrevivência do sinal depende criticamente da localização específica das edições, e não apenas da taxa de retenção global.

Autores originais: Daniele Corradetti

Publicado 2026-08-21

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Daniele Corradetti

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No panorama moderno da inteligência artificial, os grandes modelos de linguagem geram textos que são cada vez mais indistinguíveis da escrita humana. Para gerir os riscos desta tecnologia, como a propagação de desinformação, investigadores desenvolveram um método para marcar invisivelmente o conteúdo gerado por máquina. Estas marcas, conhecidas como marcas de água (watermarks), não alteram o significado ou a qualidade do texto; em vez disso, deslocam subtilmente a probabilidade estatística de quais palavras são escolhidas, criando um sinal oculto que pode ser detetado mais tarde. O desafio central para estas marcas de água é a robustez: elas devem sobreviver quando o texto é editado, traduzido ou parafraseado. Durante anos, a comunidade científica mediu o sucesso de um ataque a uma marca de água observando apenas o resultado final. Se uma frase reescrita ainda tivesse o mesmo significado que a original, assumia-se que a marca de água tinha sobrevivido tão bem quanto possível, independentemente da jornada que o texto percorreu para chegar lá. Esta suposição trata os passos intermédios da reescrita como mero andaime, irrelevantes para o resultado final.

Um investigador do Instituto Superior Técnico e da Universidade do Algarve desafiou esta visão mantida há muito tempo, demonstrando que o caminho que um texto percorre é tão importante quanto o seu destino. Ao tratar a sequência de escolhas de palavras como uma jornada geométrica, descobriram que dois textos podem terminar com significados idênticos, mas carregando quantidades de sinal de marca de água completamente diferentes. O investigador provou que o método padrão de medir a "similaridade semântica" — o quão próximo o significado final está do início — é cego a uma propriedade oculta da transformação. Eles descobriram que a sobrevivência da marca de água depende inteiramente do arranjo específico de edições feitas ao longo do caminho, não apenas de quantas palavras foram alteradas ou de quão semelhante o texto final parece. Em alguns casos, um atacante pode remover todo o sinal da marca de água alterando apenas uma pequena fração das palavras, desde que essas mudanças sejam espaçadas num padrão específico e rítmico.

O estudo começa por reexaminar a matemática por trás dos "loops linguísticos", que são cadeias de transformações que alteram a forma de uma frase sem alterar o seu núcleo de significado. O investigador mostrou que as ferramentas matemáticas anteriormente utilizadas para analisar estes loops eram falhas porque colapsavam numa simples contagem, perdendo a estrutura complexa da jornada. Eles substituíram isto por uma descrição geométrica mais precisa, mostrando que a transformação de um texto é como um caminho traçado numa esfera. A distância entre o ponto de partida e o ponto de chegada diz-lhe o quão longe o significado derivou, mas a própria forma do caminho carrega uma rotação oculta, uma propriedade conhecida como holonomia. Esta rotação é invisível para detetores que olham apenas para o significado final, mas é precisamente o que determina se a marca de água sobrevive. O investigador provou que o ponto final e o caminho são independentes; pode ter um texto que regressa ao seu significado original após uma viagem curta e direta ou um desvio longo e sinuoso, e a marca de água comportar-se-á de forma diferente em cada caso.

Do lado prático da investigação, o investigador derivou uma lei precisa que governa como as marcas de água decaem quando o texto é editado. Descobriram que a sobrevivência do sinal não é determinada pela percentagem global de palavras que permanecem inalteradas, mas sim por saber se as "janelas de sementeira" (seeding windows) específicas da marca de água permanecem intactas. Uma marca de água baseia-se frequentemente num grupo de palavras precedentes para decidir qual deve ser a próxima palavra. Se uma edição quebrar este grupo, o sinal é perdido. O investigador demonstrou que um atacante que conheça o tamanho deste grupo pode posicionar estrategicamente as edições para destruir toda a marca de água, deixando a vasta maioria do texto inalterada. Por exemplo, se a marca de água depender de um contexto de uma palavra precedente, um atacante poderia remover cada segunda palavra e apagar completamente o sinal, mesmo que metade do texto permaneça. Esta descoberta explica por que razão as marcas de água por vezes falham muito mais depressa do que o esperado quando o texto é editado em blocos ou padrões, em vez de ser de forma aleatória.

Para verificar estas percepções teóricas, o investigador realizou extensos experiências utilizando sistemas reais de tradução automática. Pegaram em milhares de frases e enviaram-nas através de cadeias de traduções de ida e volta, movendo-as através de línguas como alemão, francês e espanhol e de volta ao inglês. Mediram o sinal da marca de água em cada etapa e compararam-no com as propriedades geométricas do caminho que o texto percorreu. Os resultados confirmaram a sua teoria: a quantidade de sinal restante estava fortemente ligada à forma específica do caminho, não apenas à pontuação de similaridade final. Num teste marcante, mantiveram o significado final do texto constante enquanto variavam o comprimento e a complexidade do caminho. Descobriram que textos que terminavam no mesmo significado exato podiam reter desde um sinal total até nenhum sinal, dependendo unicamente da rota percorrida. Isto prova que o método atual de julgar a robustez da marca de água com base na similaridade final é fundamentalmente incompleto.

As implicações deste trabalho são significativas para o futuro da proveniência digital. Sugere que a resiliência de uma marca de água é uma função de todo o histórico do texto, não apenas do seu estado final. O investigador mostrou que as métricas padrão utilizadas para avaliar estes sistemas são insuficientes porque ignoram a estrutura geométrica da linguagem. Também destacaram uma vulnerabilidade nos designs atuais: como a sobrevivência do sinal depende do arranjo das edições, um adversário instruído pode explorar isto para neutralizar a marca de água sem fazer o texto parecer significativamente diferente. Embora o estudo tenha sido conduzido com modelos e cadeias de tradução específicos, os princípios geométricos que descobriram parecem ser universais. O trabalho conclui que, para compreender verdadeiramente como as marcas de água sobrevivem, devemos parar de olhar apenas para o destino e começar a mapear a jornada.

Resumo Técnico: Holonomia Linguística e Marcas d'Água Estatísticas

Enunciado do Problema
Os métodos atuais para avaliar a robustez de marcas d'água estatísticas em Grandes Modelos de Linguagem (LLMs) dependem de métricas de "ponto final" (endpoint). Essas métricas medem a similaridade semântica entre o texto original e o texto reescrito, ou simplesmente contam o número de etapas de edição (saltos/hops). O artigo argumenta que essa abordagem é fundamentalmente falha porque trata os estados intermediários como mero andaime. Duas cadeias de transformações podem resultar em textos com a mesma semântica (pontos finais idênticos), mas percorrer caminhos vastamente diferentes no espaço de incorporação (embedding space). O artigo postula que a robustez de uma marca d'água depende não apenas da distância semântica final, mas do caminho geométrico específico tomado pelo "significante" (a forma do texto) enquanto o "significado" (o sentido) permanece preservado.

Metodologia
O autor adapta o formalismo de "loops linguísticos" de trabalhos anteriores [4] para analisar a geometria das transformações de preservação de significado.

Estrutura Geométrica: O texto é mapeado para um espaço de incorporação $\mathbb{R}^n$ . Uma cadeia de transformações é vista como um caminho de vetores $v_0, \dots, v_L$ na esfera unitária.
Matriz de Loop: A cadeia é resumida por uma matriz de loop $R_U \in SO(n)$ , construída como o produto de rotações mínimas entre estados consecutivos. Esta matriz representa o transporte paralelo ao longo do polígono geodésico formado pela cadeia.
Modelagem do Detector: O artigo analisa esquemas de marca d'água de "lista verde" (green-list) e "exponenciais", que dependem de uma janela de contexto de tamanho $h$ . A estatística de detecção é modelada como uma função do número de "janelas intactas" — posições onde todo o contexto de semente (seeding context) sobreviveu ao ataque sem modificação.

Contribuições Principam e Resultados Teóricos

Degenerescência da Invariante de Assinatura:
O artigo prova que a invariante anteriormente proposta para loops linguísticos — a assinatura de Sylvester da matriz $I - R_U^*$ — é degenerada. A matriz é sempre semidefinida positiva, o que significa que sua assinatura é sempre $(2p, 0, n-2p)$ , não carregando mais informação do que seu posto (rank). A verdadeira invariante é o espectro angular (o conjunto de ângulos de rotação) da matriz de loop.
Fatoração Ponto Final-Caminho (Holonomia):
O autor prova uma fatoração canônica da matriz de loop: $R_U = R_{dir} H$ .

$R_{dir}$ é a rotação mínima do estado inicial para o estado final (determinada unicamente pelo déficit semântico).
$H$ é a holonomia, um elemento do grupo estabilizador $SO(n-1)$ que fixa o estado inicial.
Significância: O déficit semântico (ponto final) e a holonomia (geometria do caminho) são funcionalmente independentes. Uma cadeia pode ter déficit semântico zero (retornando exatamente ao mesmo significado) enquanto acumula holonomia arbitrária (vagando significativamente na forma). Em uma 2-esfera, esta holonomia corresponde à área varrida pelo caminho (teorema de Gauss-Bonnet).

A Identidade da Janela Intacta:
O artigo deriva uma identidade exata para a esperança da estatística de detecção residual $E[z_{att}]$ após um ataque:
$E[z_{att}] = \frac{|I|}{T'} E[z_0]$
onde $|I|$ é o número de posições cuja janela de semente inteira de tamanho $h+1$ sobreviveu intacta.

Corolário: Se as edições forem independentes, o sinal decai como $\rho^{h+1}$ (onde $\rho$ é a taxa de retenção de tokens).
Descoberta Crítica: Se as edições não forem independentes (como na edição do mundo real), a taxa de retenção $\rho$ é insuficiente para prever a robustez. Um adversário pode organizar as edições para destruir totalmente a marca d'água (reduzindo a estatística a zero), mantendo uma alta fração de tokens, desde que as edições sejam espaçadas para quebrar cada janela de contexto. Especificamente, se $1-\rho \ge 1/(h+1)$ , o sinal pode ser aniquilado.

Resultados Experimentais
O autor verificou suas afirmações teóricas usando detectores exatos (chaves mantidas pelo autor) e dados do mundo real:

Verificação Geométrica: Experimentos numéricos confirmaram a degenerescência da assinatura e a independência entre o ponto final e a holonomia. Cadeias com os mesmos déficits semânticos exibiram variando energias de holonomia dependendo do caminho percorrido.
Verificação do Detector: A "lei da janela intacta" foi confirmada com alta precisão (erros < 0,01) através de diferentes larguras de contexto ( $h=0,1,2,3$ ) e taxas de retenção.
Tradução para o Mundo Real: O autor aplicou tradução de máquina de ida e volta (Inglês $\to$ $\to$ Pivô $\to$ $\to$ Inglês) em texto com marca d'água.
- Os resultados mostraram que cadeias com o mesmo déficit semântico, mas diferentes comprimentos de caminho (diferentes números de pivôs), resultaram em diferentes níveis de erosão da marca d'água.
- Um teste de regressão pré-registrado confirmou que, mantendo o déficit semântico e a taxa de retenção constantes, uma maior energia de holonomia (caminho mais longo/complexo) correlaciona-se significativamente com um menor sinal residual da marca d'água.
- A métrica de "janela intacta" previu o sinal residual com maior precisão do que a simples taxa de retenção.

Significância e Alegações
O artigo afirma estabelecer que a robustez de uma marca d'água estatística é um funcional do caminho, e não apenas do ponto final.

Teórica: Reenquadra a analogia do "loop de Wilson" de uma metáfora para um teorema matemático, identificando o "déficit semântico" como cego à "holonomia" (a rotação geométrica da forma).
Prática: Demonstra que as avaliações de robustez atuais baseadas em similaridade semântica ou taxas de retenção de tokens são subespecificadas. Um adversário pode preservar o significado e a contagem de tokens enquanto destrói estrategicamente a marca d'água, explorando a estrutura da janela de contexto.
Limitações: O autor é modesto, observando que a identidade da janela intacta assume substituições que preservam o comprimento e uma hipótese de campo médio sobre a entropia. Ele reconhece que a energia de holonomia é uma redução escalar com perda da matriz de holonomia completa e que seus resultados empíricos são limitados pelos modelos e codificadores específicos utilizados.

O artigo conclui que a linguagem natural para descrever a erosão da marca d'água é a de transporte paralelo e holonomia, sugerindo que futuros designs de marcas d'água podem precisar considerar invariantes dependentes do caminho, em vez de apenas propriedades estáticas de tokens.

Resumo Técnico: Holonomia Linguística e Marcas d'Água Estatísticas

Mais como este