Watermark Forensics for Generative Models: An Information-Theoretic Perspective

Resumo Técnico: Forense de Marcas d'Água para Modelos Generativos: Uma Perspectiva Informacional-Teórica

Declaração do Problema
O artigo aborda as capacidades forenses de marcas d'água em modelos generativos, indo além da questão binária de "este conteúdo é feito por máquina?" (detecção) para uma hierarquia de tarefas mais complexas: atribuição (identificar qual de $N$ usuários o gerou), extração (recuperar um payload oculto) e localização (identificar a região específica do conteúdo que carrega a marca). Os autores argumentam que a literatura existente trata essas como problemas díspares com soluções ad-hoc, frequentemente confundindo o mecanismo de incorporação (ex: "incorporar" um padrão vs. "enviesar" uma distribuição) com os limites fundamentais da teoria da informação sobre o que pode ser recuperado. A questão central é: qual é a complexidade de amostragem (comprimento $n$) necessária para cada tarefa forense, e como esses custos se relacionam com as restrições de qualidade da marca d'água (fidelidade, orçamento de distorção ou entropia)?

Metodologia e Estrutura
Os autores introduzem um framework unificado organizado em torno de um único objeto: o perfil de informação $\nu(t)$.

• Definição: $\nu(t) := I(S; X_t | X_{<t})$, onde $S$ é o segredo (identidade do usuário ou payload), $X$ é o portador gerado (sequência de tokens), e $X_{<t}$ representa os tokens precedentes. Isso mede a informação sobre $S$ revelada pelo $t$-ésimo token, condicionado ao passado.
• A Escada Forense: O artigo modela as tarefas forenses como uma escada de problemas estatísticos:
  • Nível 0 (Detecção): A marca está presente? (Baseline cego ao mecanismo).
  • Nível 1 (Atribuição): Qual de $N$ usuários?
  • Nível 2 (Extração): Qual é o payload de $\ell$ bits?
  • Nível 3 (Localização): Onde está a marca? (Robusta a cortes/cropping).
• Modelos de Qualidade: O framework unifica dois modelos de qualidade distintos encontrados na literatura como "limites de norma" no mesmo perfil $\nu$:
  1. Distorção Limitada (Enviesamento) $B(\Delta)$: A marca é sutil em cada token, impondo um limite $L_\infty$ ($\nu(t) \le \Delta$). Exemplos: marcas d'água de "Green-list".
  2. Pegada/Footprint (Incorporação) $E(m)$: A marca é concentrada em um pequeno conjunto de posições (pegada $T$ com $|T| \le m$), impondo um limite $L_0$ ($\nu(t) = 0$ para $t \notin T$). Exemplos: Tree-Ring.
• O Orçamento de Recuperação Forense: Pela desigualdade do processamento de dados, a informação total recuperável é limitada pela massa do perfil: $\Phi(n) = \|\nu\|_1 = I(S; X)$. Este orçamento financia tanto a atribuição quanto a extração.

Principais Contribuições e Resultados

1. Fechando a Coluna de Entropia (Atribuição em Regimes Livres de Distorção):

   • O artigo estabelece a primeira lei de complexidade de amostragem apertada para atribuição multiusuário em esquemas estatisticamente livres de distorção (onde a saída média pela chave é indistinguível da distribuição natural).
   • Resultado: Para uma fonte estacionária-ergódica com taxa de entropia $h$, atribuir um texto a um de $N$ usuários custa $n_{att} = \Theta(\log N / h)$ tokens.
   • Mecanismo: Os autores propõem um decodificador de limiar de surpresa (surprisal-threshold decoder). Diferente dos decodificadores de "consistência" ingênuos (que contam chaves correspondentes e sofrem da "armadilha de colisão" e exigem $n \approx \log N / r_2$, onde $r_2$ é a taxa de Rényi-2), o decodificador de surpresa aceita uma chave apenas se a surpresa realizada $-\log p_{nat}(X)$ exceder um limiar $\tau = \log(N/\delta)$. Isso alcança a taxa de Shannon $h$ com uma garantia de falso-positivo por inocente exata e não assintótica ($\delta/N$).
   • Significância: Isso resolve o hiato entre o inverso (limite de Fano) e a alcançabilidade, mostrando que a taxa de entropia de Shannon, e não a taxa de colisão, governa a complexidade de decisão.

2. O Hiato Forense (Detecção vs. Atribuição):

   • O artigo prova que detecção e atribuição são custos fundamentalmente diferentes. A detecção é um teste de dois pontos fixo que custa $\Theta(1/\Delta)$ (ou $\Theta(\lambda/h)$ para livre de distorção), independente de $N$. A atribuição requer a extração de $\log N$ nats de identidade.
   • Resultado: Existe uma janela de "hiato forense" onde um texto é detectável (erro $\to 0$) mas não atribuível (erro $\to 1$). Especificamente, para esquemas de enviesamento, a atribuição requer $n \approx \log N / \Delta$, enquanto a detecção satura muito antes.
   • Implicação: Um texto pode ser provado como feito por máquina sem ser atribuível a um usuário específico.

3. Desacoplamento via Pegada (Os Dois Modelos de Qualidade):

   • O artigo formaliza a distinção entre esquemas de "enviesamento" (suporte total) e "incorporação" (pegada pequena).
   • Resultado:
     • Enviesamento ($B(\Delta)$): A atribuição custa $\Theta(\log N / \Delta)$. O custo é acoplado ao orçamento de distorção; tornar a marca mais furtiva ($\Delta \to 0$) torna a atribuição infinitamente cara.
     • Incorporação ($E(m)$): A atribuição custa $\Theta(\log N / \log q)$, independente de qualquer limite de distorção por token. A imperceptibilidade é alcançada por uma pegada evanescente ($m/n \to 0$), não por uma distorção sutil por token.
   • Limitação: O artigo nota que, embora o desacoplamento informacional-teórico exista, a única testemunha conhecida (um "carimbo de dígito") não é robusta a edições. Esquemas implantáveis que localizam (ex: SEAL, EditGuard) são encontrados como de suporte total (enviesamento), mas alcançam localização via leitura refinada, não por pegadas pequenas.

4. Localização e o Princípio da Incerteza:

   • O artigo deriva um princípio da incerteza de resolução de pegada para localização robusta contra cortes (cropping).
   • Resultado: Para localizar uma marca em uma janela de tamanho $w$ de forma robusta contra cortes, a pegada do portador deve satisfazer $|R| \cdot w = \Omega(n)$.
   • Implicação: Um esquema de incorporação de pegada pequena ($m = o(n)$) não pode ser robusto a cortes em alta resolução. A localização de alta resolução força a marca a ter suporte total (enviesamento), efetivamente descartando esquemas de pegada pequena para tarefas de localização robusta.

5. Validação Empírica:

   • Os autores validam a "armadilha de colisão" em modelos de linguagem reais (GPT-2, Pythia-410M, Qwen2.5). Eles medem a razão $h/r_2 \approx 1.6$ através dos modelos, confirmando que decodificadores de consistência ingênuos cobram um excesso de fator em comparação ao decodificador ideal de limiar de surpresa.
   • Experimentos com a marca d'água de "Green-list" confirmam o hiato forense: a detecção satura em $\approx 28$ tokens, enquanto a precisão da atribuição atrasa significativamente, crescendo linearmente com $\log N$.

Significância e Alegações
O artigo afirma fornecer as primeiras leis informacionais-teóricas apertadas e de dois lados para a complexidade de amostragem de atribuição e extração em modelos generativos.

• Unificação: Unifica tarefas forenses dísparas (detecção, atribuição, extração, localização) e modelos de qualidade (enviesamento vs. incorporação) sob uma única medida: o perfil de informação $\nu(t)$.
• Impacto Regulatório: Os autores argumentam que as regulamentações atuais (ex: Lei de IA da UE) frequentemente presumem um "objeto extraível" (ontologia de incorporação). Os resultados do artigo mostram que, para marcas d'água de enviesamento (a classe dominante na prática), tais mandatos vêm com um custo de amostragem divergente ($\Theta(\log N / \Delta)$) à medida que a marca se torna mais furtiva, enquanto esquemas de incorporação oferecem um custo fixo, mas são atualmente limitados por restrições de robustez.
• Problemas Abertos: O artigo identifica explicitamente a falta de um esquema de atribuição livre de distorção e robusto a edições como o problema aberto mais agudo. Embora a taxa teórica $\Theta(\log N / h)$ esteja resolvida, a testemunha existente (alinhamento exato) não é robusta a edições. Resta saber se um decodificador robusto a edições pode alcançar essa taxa ou se é forçado de volta ao custo superior de Rényi-2.

Em resumo, o artigo postula que o poder forense de uma marca d'água não é determinado pela mecânica de sua incorporação, mas pela informação que ela torna recuperável (o perfil $\nu$) e pela geometria de sua pegada. Os "preços" das tarefas forenses são estritamente governados por essas quantidades informacionais-teóricas.