💻 computer science

Synchronization-Free Algebraic Fingerprints for Large Language Models: From Autoregressive to Diffusion Models

Este artigo propõe um novo esquema de marca d'água livre de sincronização para Grandes Modelos de Linguagem que incorpora identidades secretas em pares de tokens usando polinômios de Reed-Solomon e congruências binárias, permitindo uma atribuição robusta que resiste à edição, paráfrase e reordenação de tokens sem exigir sincronização de bloco.

Autores originais: Jaroslaw Janas, Josef Pieprzyk, Pawel Morawiecki

Publicado 2026-07-21

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jaroslaw Janas, Josef Pieprzyk, Pawel Morawiecki

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando deixar uma assinatura secreta em um monte de castelos de areia construídos por um robô muito talentoso, mas levemente travesso. Este robô é uma Inteligência Artificial (IA) que escreve histórias, responde perguntas e cria códigos. O problema é que o robô é tão bom em copiar o estilo humano que é impossível dizer se uma história foi escrita por uma pessoa ou pela máquina. Pior ainda, se alguém tentar "corrigir" a história — deletando uma frase, adicionando uma piada ou reorganizando os parágrafos — a assinatura geralmente é apagada, como uma pegada na areia quando a maré sobe.

Cientistas têm tentado resolver isso carimbando códigos invisíveis no texto, mas a maioria de seus métodos é como uma corrente longa e frágil de clipes de papel. Se você puxar um clipe (uma palavra deletada) ou adicionar um novo (uma palavra inserida), toda a corrente se quebra, e a mensagem secreta é perdida. Este novo artigo apresenta uma maneira completamente diferente de pensar o problema. Em vez de uma corrente frágil, imagine um campo de milhares de pequenos vaga-lumes independentes. Cada vaga-lume carrega um pequeno pedaço de um código secreto. Se uma tempestade (um editor) soprar metade dos vaga-lumes, ou se eles voarem em uma ordem diferente, você ainda poderá descobrir a mensagem secreta porque não precisa de todos eles em uma linha; você só precisa que alguns deles estejam lá. Os pesquisadores mostram que, ao usar truques matemáticos envolvendo polinômios (pense neles como receitas secretas para números) e tratar a edição de texto como um jogo de sorte, você pode recuperar a identidade secreta da IA mesmo após o texto ter sido pesadamente editado.

O Problema: A "Corrente" vs. A "Nuvem"

Por muito tempo, pesquisadores tentaram marcar o texto da IA organizando a mensagem secreta em uma sequência estrita, como contas em um colar. Eles diriam: "A primeira palavra recebe uma marca secreta, a segunda palavra recebe a próxima marca, e assim por diante". Isso funciona bem até que alguém edite o texto. Se você deletar a primeira palavra, a segunda palavra torna-se subitamente a "primeira", e todo o código secreto fica embaralhado. É como tentar ler um livro onde alguém arrancou a página 5; de repente, a página 6 torna-se a página 5, e a história perde o sentido. Isso é chamado de problema de "sincronização". O detector (a pessoa verificando a marca d'água) fica confuso porque a ordem das pistas mudou.

Os autores deste artigo argumentam que essa abordagem de "corrente" é fundamentalmente falha para textos que podem ser editados. Eles propõem uma mudança radical: pare de confiar inteiramente na ordem. Em vez de uma corrente, eles sugerem uma "nuvem" de pistas independentes.

A Solução: Vaga-lumes Independentes e Receitas Secretas

A ideia central deste artigo é uma marca d'água "livre de sincronização". Veja como funciona, usando a analogia de uma receita secreta e de dois vizinhos.

Imagine que a IA está escrevendo uma história, uma palavra por vez. Os pesquisadores propõem que, para cada par de palavras vizinhas (vamos chamar de "Palavra A" e "Palavra B"), o sistema verifica uma "receita" secreta (um polinômio matemático) para decidir qual tipo de "sabor" a Palavra B deve ter.

A Receita Secreta: O proprietário da IA tem uma identidade secreta (como um número de 32 ou 128 bits). Eles transformam esse número em uma fórmula matemática.
Os Vizinhos: Para cada par de palavras, o sistema olha para a primeira palavra para escolher um "ponto de teste" específico na fórmula.
A Decisão: A fórmula dá um resultado. Se o resultado for "par", a segunda palavra deve ser uma "Palavra do Tipo 1" (como um substantivo). Se o resultado for "ímpar", a segunda palavra deve ser uma "Palavra do Tipo 2" (como um verbo).
A Magia: A parte crucial é que essa decisão para a Palavra B depende apenas da Palavra A e da receita secreta. Não importa o que aconteceu antes da Palavra A ou o que vem depois da Palavra B.

Porque cada par de palavras é um "vaga-lume" autossuficiente, não importa se você deletar a Palavra A, inserir uma nova palavra entre elas ou reorganizar todo o parágrafo. Os pares restantes ainda mantêm suas próprias pistas independentes. Se você tiver pares suficientes, pode reconstruir matematicamente a receita secreta original, mesmo que o texto tenha sido cortado e rearranjado.

Como Eles Provam que Funciona

Os autores não apenas adivinharam que isso funcionaria; eles construíram um modelo matemático para provar. Eles trataram o processo de editar o texto (deletar palavras, mudar palavras) como um "Canal Simétrico Binário". Em termos simples, eles trataram cada erro de edição como um simples lançamento de moeda: ou a pista está correta, ou ela foi invertida para a resposta errada.

Eles rodaram a matemática para ver quantas pistas (pares de palavras) são necessárias para recuperar o segredo.

O Resultado: Eles descobriram que você precisa de muito pouco texto "extra". Mesmo que o texto seja pesadamente editado (até 30% das pistas estejam erradas ou faltando), você só precisa de algumas frases extras para recuperar um código secreto de 32 bits com 99% de confiança.
A Analogia: Se você estivesse tentando adivinhar uma senha de 32 bits jogando moedas, e acertasse 30% das vezes errado, você normalmente ficaria travado. Mas, como a matemática deles usa um tipo especial de código (Reed-Solomon), é como ter um anel decodificador mágico que pode corrigir esses lançamentos errados, desde que você tenha um número total de lançamentos suficiente.

Eles também testaram como lidar com segredos muito longos (como 128 bits). Descobriram que, se dividirem o grande segredo em partes menores (fragmentos) e tratarem cada fragmento como sua própria nuvem independente de vaga-lumes, podem recuperar o todo sem precisar de um volume massivo de texto.

E Quanto aos Diferentes Tipos de IA?

O artigo também observa um tipo mais novo de IA chamado "Modelos de Difusão". Ao contrário da IA padrão que escreve palavra por palavra da esquerda para a direita (como um digitador), os modelos de difusão começam com uma frase bagunçada e embaralhada e a limpam lentamente, como um escultor talhando a pedra para encontrar a estátua.

Os autores perceberam que seu método de "vaga-lumes independentes" funciona perfeitamente aqui também. Eles propuseram três maneiras diferentes para a IA se "comprometer" com a marca d'água enquanto limpa o texto:

Comprometimento Básico (Basic Commit): A IA trava uma palavra assim que ela se ajusta à regra do vizinho à esquerda. É rápido, mas se cometer um erro, não pode corrigi-lo.
Comprometimento Refinado (Refined Commit): A IA verifica ambos os vizinhos. Se um vizinho diz "sim" e o outro diz "não", ela pode mudar de ideia sobre o vizinho para corrigir o erro. É mais inteligente, mas leva um pouco mais de tempo.
Comprometimento Deslizante (Sliding Commit): A IA trata a fronteira entre as palavras "travadas" e "não travadas" como uma porta deslizante. Ela move a porta para frente e para trás até que tudo se encaixe perfeitamente. É o mais robusto, mas o que leva mais tempo.

Suas simulações sugerem que, para a IA padrão, o método "Básico" é rápido o suficiente. Para modelos de difusão, o método "Refinado" oferece um bom equilíbrio, corrigindo erros conforme eles ocorrem.

A Conclusão

Este artigo sugere uma nova maneira de marcar o texto da IA que é incrivelmente difícil de quebrar. Ao contrário dos métodos anteriores, que desmoronam quando o texto é editado, este método sobrevive a deleções, inserções e reorganizações porque cada pista se sustenta sozinha. Os autores mostram, através de matemática e simulações, que você pode recuperar a identidade secreta da IA com alta confiança, mesmo que o texto tenha sido pesadamente editado. Eles também fornecem um roteiro de como implementar isso tanto em geradores de texto padrão quanto nos modelos de difusão mais complexos e recentes.

Embora não pretendam ter resolvido todos os problemas possíveis (eles observam que trabalhos futuros poderiam explorar padrões de edição mais complexos), eles forneceram uma estrutura matematicamente comprovada que torna a marca d'água muito mais confiável do que antes. É uma mudança de construir uma corrente frágil para criar uma nuvem resiliente de pistas.

Resumo Técnico: Impressões Digitais Algébricas Livres de Sincronização para Grandes Modelos de Linguagem

1. Definição do Problema

A implantação generalizada de Grandes Modelos de Linguagem (LLMs) criou uma necessidade urgente de métodos de marca d'água confiáveis para atribuir a autoria de textos gerados, garantir a responsabilidade e detectar o uso indevido. Os esquemas de marca d'água existentes para LLMs geralmente se enquadram nas categorias estatística, lexical, sintática ou criptográfica. No entanto, uma limitação fundamental da maioria das abordagens atuais é a sua dependência de sincronização. Esses métodos tipicamente embutem bits de marca d'água sequencialmente ou dentro de blocos de tamanho fixo, dependendo da ordem posicional precisa dos tokens. Consequentemente, operações comuns de edição — como inserções, deleções, paráfrases ou reordenação de sentenças — destroem o alinhamento entre o codificador e o decodificador, tornando a marca d'água irrecuperável. O artigo identifica o desenvolvimento de técnicas de marca d'água livres de sincronização, capazes de detecção confiável após edições arbitrárias de texto, como um grande problema em aberto no campo.

2. Metodologia

Os autores propõem um novo framework de marca d'água que elimina a necessidade de alinhamento explícito de tokens durante a recuperação. A inovação central é um esquema de impressão digital algébrica baseado em códigos Reed–Solomon, onde cada bit de marca d' água é embutido independentemente em um par de tokens vizinhos.

2.1 Estrutura Algébrica

Representação de Identidade: Uma identidade secreta $S$ é representada como um vetor binário de $n$ bits, mapeado para um polinômio $f_S(x)$ de grau no máximo $n-1$ sobre um corpo finito $\mathbb{F}_q$ (onde $q > 2^n$ é um primo ímpar).
Impressão Digital Binária: Em vez de transmitir o valor total do corpo $f_S(\alpha)$ , o esquema extrai uma única observação binária: a paridade da avaliação, $\phi_S(\alpha) = f_S(\alpha) \pmod 2$ .
Mecanismo de Embutimento: Para cada par consecutivo de tokens $(t_i, t_{i+1})$ $(t_{i}, t_{i + 1})$ :
1. O primeiro token $t_i$ determina um ponto de avaliação único $\alpha_i = H(K, \text{id}(t_i)) \pmod q$ , onde $H$ é um hash criptográfico e $K$ é uma chave secreta.
2. O bit de marca d'água $w_i = \phi_S(\alpha_i)$ é computado.
3. O segundo token $t_{i+1}$ é gerado (ou enviesado) para pertencer a uma classe de token específica (ex: "verde" ou "vermelho") correspondente ao valor do bit $w_i$ .
Independência: Como cada bit depende apenas do par de tokens local e da chave secreta, o embutimento de um bit não depende da posição ou do estado de bits anteriores.

2.2 Recuperação e Decodificação

A recuperação não exige que os tokens estejam em sua ordem original. O detector coleta um conjunto de pares de tokens sobreviventes, recomputa os pontos de avaliação $\alpha_j$ usando a chave secreta e observa os bits correspondentes $\hat{w}_j$ . O objetivo é encontrar a identidade única $S$ tal que $\phi_S(\alpha_j) = \hat{w}_j$ para todos os pares observados.

Algoritmos: O artigo propõe três algoritmos de recuperação baseados no tamanho da identidade:
1. Busca Exaustiva: Para $n$ pequeno ( $n \lesssim 20$ ).
2. Meet-in-the-Middle: Para $n$ moderado ( $20 < n \le 60$ ), reduzindo a complexidade de $O(2^n)$ para $O(2^{n/2})$ .
3. Fragmentação: Para identidades grandes, o segredo é dividido em fragmentos independentes, permitindo a recuperação paralela de subproblemas menores.

2.3 Modelagem de Corrupção

Os autores modelam o processo de marca d'água como um Canal Simétrico Binário (BSC). Eles argumentam que inserções, deleções, substituições e imperfeições de embutimento podem ser todos abstraídos em uma única probabilidade de erro de crossover $p$ .

Inserções/Deleções: Ao contrário dos esquemas baseados em blocos onde uma única deleção desloca todos os bits subsequentes, aqui uma inserção ou deleção apenas remove ou adiciona observações independentes específicas. Mostra-se que a probabilidade de uma edição não detectada é aproximadamente $1/4$ , o que significa que a maioria das edições introduz inconsistências detectáveis.
Probabilidade de Recuperação: A probabilidade de recuperação bem-sucedida depende exclusivamente do número de observações corretas sobreviventes $r$ . Se $r \ge n + \lambda$ , a probabilidade de falha é limitada por $2^{-\lambda}$ .

2.4 Extensão para Modelos de Difusão

O framework é estendido para Modelos de Linguagem de Difusão (DLMs), que geram texto iterativamente em vez de autorregressivamente. Os autores propõem três "Algoritmos de Compromisso" (Commit Algorithms) para impor restrições de marca d'água durante o processo de denoising:

Compromisso Básico (Basic Commit): Compromete um token se a restrição à esquerda for satisfeita.
Compromisso Refinado (Refined Commit): Compromete com base em restrições à esquerda, mas revoga vizinhos se as restrições à direita falharem, permitindo autocorreção local.
Compromisso Deslizante (Sliding Commit): Permite que a fronteira entre regiões comprometidas e não comprometidas se desloque, tratando o processo como um passeio aleatório para resolver inconsistências locais.

3. Principais Contribuições

O artigo resume suas contribuições da seguinte forma:

Framework Livre de Sincronização: Um método onde cada bit de marca d'água é embutido independentemente, removendo a necessidade de alinhamento de tokens durante a recuperação.
Codificação Reed–Solomon: Uma construção que reconstrói a identidade a partir de qualquer coleção suficientemente grande de observações corretas, independentemente de sua posição no texto.
Modelagem por BSC: Uma demonstração de que todas as fontes de corrupção (erros de embutimento e edição) podem ser modeladas por um único Canal Simétrico Binário, permitindo uma avaliação de robustez analítica em vez de puramente empírica.
Fórmulas Probabilísticas: Derivação de fórmulas exatas e aproximadas que preveem o comprimento mínimo de texto necessário para uma recuperação bem-sucedida com um nível de confiança prescrito.
Escalabilidade: Variantes leves que particionam identidades longas em fragmentos para reduzir a complexidade computacional enquanto mantêm as propriedades livres de sincronização.
Extensão para Difusão: Uma extensão do framework para modelos de difusão com algoritmos de compromisso de tokens eficientes e análise probabilística.

4. Resultados e Análise

Robustez: A análise mostra que a recuperação confiável requer apenas redundância pequena, mesmo para altas taxas de corrupção de tokens. Por exemplo, recuperar uma identidade de 32 bits com 99% de confiança em um canal com uma taxa de erro de 30% ( $p=0.3$ ) requer apenas 25 pares de tokens adicionais (total de 57 pares).
Eficiência: O algoritmo "Meet-in-the-Middle" permite a recuperação prática para identidades de até $n \approx 60$ bits em estações de trabalho padrão. A fragmentação permite lidar com identidades arbitrariamente longas.
Convergência de Difusão:
- O algoritmo Basic Commit converge em $O(\ln N / \epsilon)$ iterações.
- O algoritmo Sliding Commit converge em $O(N)$ iterações, mas garante que as inconsistências locais sejam eventualmente resolvidas em vez de congeladas.
- O algoritmo Refined Commit oferece uma taxa de compromisso inicial mais rápida, mas introduz "churn" (revogação de compromissos válidos) que pode atrasar a estabilidade total da sequência em comparação com a abordagem Básica.

5. Significância e Alegações

O artigo afirma que sua principal significância reside em eliminar o problema da sincronização, que tem sido uma barreira fundamental para a marca d'água robusta de LLMs. Ao desacoplar os bits da marca d'água de suas posições sequenciais, o método proposto permanece robusto contra as próprias operações de edição que invalidam os esquemas existentes.

Além disso, os autores defendem uma mudança na metodologia de avaliação. Em vez de depender de experimentos extensos e específicos de cada modelo que se tornam obsoletos rapidamente, eles propõem o uso da abstração de Canal Simétrico Binário (BSC). Isso permite uma comparação matemática e principiológica de esquemas de marca d'água entre diferentes modelos e estratégias de edição baseada em um único parâmetro: a probabilidade de erro efetiva $p$ .

O artigo conclui que, embora o BSC seja uma simplificação, ele fornece uma aproximação notavelmente útil para esquemas livres de sincronização, pois todas as operações de edição acabam se manifestando como erros independentes nos bits de paridade recuperados. Esta abordagem oferece garantias explícitas sobre a probabilidade de recuperação e simplifica o design de sistemas de marca d'água robustos.