Resumo Técnico: Um Framework Unificado para Marcas d'Água em LLMs

Declaração do Problema

As marcas d'água em Grandes Modelos de Linguagem (LLMs) são projetadas para inserir sinais detectáveis em textos gerados para rastrear origens de IA. Embora inúmeros algoritmos de marca d'água tenham sido propostos (ex: Red-Green, AAR/KTH, SynthID), eles são tipicamente desenvolvidos por meio de uma abordagem bottom-up com designs e motivações distintos. Consequentemente, não existe uma formulação geral e principiada para a marca d'água em LLMs. Essa falta de uma teoria unificada torna difícil comparar esquemas existentes em um nível fundamental, relacioná-los entre si ou projetar novos métodos de maneira sistemática. Além disso, os compromissos (trade-offs) entre a qualidade da marca d'água, a diversidade do conteúdo gerado e o poder de detecção permanecem subestudados.

Metodologia

Os autores propõem um framework unificado que formula a marca d'água em LLM como um problema de otimização restrita. O objetivo central é maximizar a detectabilidade do sinal da marca d'água inserida enquanto se limita seu impacto na qualidade do texto gerado.

A Formulação de Otimização

Dada uma distribuição de probabilidade do próximo token $p$ e pontuações pseudoaleatórias $g$ (amostradas de uma distribuição $G$ via um mecanismo de hashing), o objetivo é encontrar uma distribuição com marca d'água $q(g)$ que maximize a pontuação esperada:
$$\max_{q: G \to \Delta(\Sigma)} \mathbb{E}_G[G \cdot q(G)]$$

Para evitar que a marca d'água distorça a qualidade do texto original, uma restrição $D$ é introduzida:
$$\text{sujeito a } \forall g \in G, \quad D(q(g), \mathbb{E}_G[q(G)], p) \leq \varepsilon$$

O framework distingue dois tipos de restrições:

1. Restrições Fortes (Hard Constraints): A distorção é controlada para cada realização específica das pontuações $g$ (ex: $KL(q(g) || p) \leq \varepsilon$).
2. Restrições Suaves (Soft Constraints): A distorção é controlada apenas em expectativa sobre a distribuição das pontuações (ex: $KL(\mathbb{E}_G[q(G)] || p) \leq \varepsilon$).

Os autores também discutem uma formulação penalizada onde a restrição é movida para a função objetivo com um multiplicador de Lagrange $\delta$, o que é frequentemente mais prático para implementação.

Derivação e Extensão de Esquemas

O framework demonstra que a maioria dos esquemas de marca d'água existentes são instâncias específicas deste problema de otimização com escolhas particulares da métrica de restrição $D$ e da distribuição de pontuação $G$:

• Red-Green Watermarks: Derivados como a solução para uma restrição de divergência $KL$ forte.
• AAR/KTH Watermarks: Derivados como a solução para uma restrição $KL$ suave (livre de distorção) usando pontuações Gumbel. O framework estende isso para uma variante com distorção ao permitir $\varepsilon > 0$.
• SynthID: Visto como uma sequência de $m$ problemas de otimização encadeados, cada um resolvendo para uma restrição de distância $\chi^2$ relativa à distribuição da camada anterior.
• $\chi^2$ Watermark: Uma generalização do torneio de camada única do SynthID usando uma restrição de distância $\chi^2$.

Novos Esquemas

Usando este framework, os autores projetam novos esquemas adaptados a métricas de qualidade específicas, utilizando especificamente a Perplexidade (PPL) como um proxy para qualidade:

• Restrição de PPL Forte (Hard PPL Constraint): Otimiza o poder de detecção sujeito a uma restrição forte na diferença de log-verossimilhança esperada.
• Restrição de PPL Suave (Soft PPL Constraint): Otimiza o poder de detecção sujeito a uma restrição suave na diferença de log-verossimilhança esperada.

Principais Contribuições

1. Formulação Unificada: O artigo formula a marca d'água em LLM como um problema geral de otimização restrita, mostrando que diversos trabalhos anteriores (Red-Green, AAR/KTH, SynthID) são soluções para este problema sob restrições específicas.
2. Design Principiado: O framework fornece um método para derivar esquemas de marca d'água ideais para qualquer restrição dada, permitindo a criação de novos esquemas (como os baseados em PPL) que são teoricamente ótimos em relação aos seus objetivos específicos.
3. Compromisso Qualidade-Diversidade-Poder: O trabalho identifica e valida um compromisso fundamental entre a qualidade do texto com marca d'água, a diversidade da saída e o poder de detecção. Especificamente, destaca que marcas d'água de restrição suave (que preservam bem a qualidade) tendem a ser determinísticas e reduzem a diversidade, enquanto marcas d'água de restrição forte preservam a diversidade ao custo de maior distorção.

Resultados Experimentais

Os autores validam empiricamente o framework usando LLAMA3.1-8B e MINISTRAL-3-14B no dataset ELI5.

• Otimalidade: Demonstra-se que os esquemas derivados de uma restrição específica são Pareto-ótimos em relação a essa restrição. Por exemplo, as marcas d'água Red-Green alcançam o melhor compromisso detectabilidade-KL, e o esquema Soft PPL alcança o melhor comprom isso de detectabilidade-PPL.
• Compromisso Detectabilidade-Qualidade: O novo esquema Soft PPL supera os trabalhos anteriores (incluindo AAR/KTH e SynthID) no compromisso detectabilidade-qualidade. Mesmo quando a qualidade é medida via acurácia de benchmarks de LLM (HumanEval, MBPP, GSM8K) em vez de perplexidade, o esquema Soft PPL permanece superior.
• Impacto na Diversidade: Os experimentos confirmam que marcas d'água de restrição suave (como AAR/KTH e Soft PPL) reduzem significamente a diversidade da saída (altas pontuações de Self-BLEU), muitas vezes levando a saídas determinísticas para um determinado prompt. Em contraste, marcas d'água de restrição forte mantêm maior diversidade, mas podem introduzir mais distorção.

Significância e Alegações

O artigo afirma que seu framework unificado oferece três contribuições primárias:

1. Interpretação: Fornece uma maneira principiada de interpretar e relacionar esquemas de marca d'água existentes, revelando as restrições específicas que eles otimizam.
2. Design: Permite a instanciação prática de esquemas poderosos e personalizados para requisitos específicos (ex: preservar a perplexidade) sem design ad-hoc.
3. Insight: Oferece uma nova perspectiva sobre o compromisso fundamental qualidade-diversidade-poder, demonstrando que esquemas livres de distorção frequentemente vêm ao custo da diversidade da saída.

Os autores observam limitações, incluindo a restrição da otimização ao nível do token (em vez de nível de sequência) e o foco na otimização do mecanismo de amostragem independentemente do detector. Eles também reconhecem que marcas d'água totalmente criptográficas fogem do escopo deste framework estatístico.