Rethinking LLM Watermark Detection in Black-Box Settings: A Non-Intrusive Third-Party Framework

1. O Problema: A Barreira da Chave Secreta e a Auditoria Independente

O artigo identifica um obstáculo fundamental na governança de Conteúdo Gerado por IA (AIGC). Embora a marcação d'água (watermarking) seja uma solução promissora para rastrear a proveniência de textos gerados por Grandes Modelos de Linguagem (LLMs), as esquemas atuais são baseados em chaves secretas.

• Acoplamento Chave-Detecção: Nos métodos existentes (como KGW, SynthID, etc.), a detecção requer o acesso à mesma chave secreta usada para injetar a marca d'água ou depende de detectores específicos fornecidos pelo provedor do modelo.
• O Dilema de Confiança: Isso impede a auditoria independente. Para que um terceiro (como um regulador ou tribunal) verifique se um texto é marcado, o provedor do modelo precisaria revelar a chave secreta, o que comprometeria a segurança (permitindo que adversários removam ou imitem a marca) ou dependeria da "confissão" do provedor, que pode ser mal-intencionada.
• Limitação dos Métodos Públicos Recentes: Esforços recentes para marcações "publicamente verificáveis" ainda mantêm um acoplamento estrutural forte entre a injeção e a detecção, exigindo que a lógica de verificação seja adaptada a cada esquema específico, o que não escala para um ambiente heterogêneo de modelos.

Objetivo: Criar um framework de detecção em caixa preta que permita a um Terceiro Confiável (TTP - Trusted Third Party) verificar a presença de marcas d'água sem acesso à chave secreta, ao algoritmo de injeção ou aos estados internos do modelo.

---

2. Metodologia: O Framework TTP-Detect

Os autores propõem o TTP-Detect, um framework pioneiro que desacopla a detecção da injeção, reformulando o problema como um teste de hipótese relativa.

A. Formulação do Problema

Em vez de tentar detectar uma marca absoluta, o TTP-Detect pergunta: "O texto de consulta ($t_q$) é mais consistente com a distribuição de saída marcada do provedor ($P_{wm}$) ou com a distribuição não marcada ($P_o$)?"

B. Arquitetura do Framework

O processo envolve três partes: Usuário (U), Provedor do Modelo (S) e Auditor de Terceiro (D).

1. Construção de Referências Empíricas:

   • O auditor (D) consulta o provedor (S) para gerar dois conjuntos de referência: textos não marcados ($T_o$) e textos marcados ($T_{wm}$) usando o mesmo prompt de entrada.
   • Isso cria uma base local de comparação sem revelar a chave secreta.

2. Extração de Representação via Modelo Proxy:

   • Um modelo proxy (ajustado via instruction tuning para discriminar textos marcados de não marcados) é usado para transformar os textos em um espaço de representação vetorial.
   • O objetivo é amplificar as discrepâncias relevantes para a marca d'água que são sutis no texto bruto.

3. Módulos de Medição Relativa Complementares:
   O TTP-Detect não depende de uma única estatística, mas combina quatro módulos que analisam a consistência da marca d'água sob diferentes perspectivas estatísticas:

   • Teste de Consistência Local ($A_{Loc}$): Verifica se a representação do texto de consulta está cercada por vizinhos marcados no espaço de características (densidade local).
   • Teste de Geometria Global ($A_{Mah}, A_{Ene}$):
     • Score de Mahalanobis: Mede a distância estatística considerando a covariância entre as distribuições marcadas e não marcadas.
     • Score de Energia (Energy Distance): Uma métrica não paramétrica para capturar distribuições irregulares que violam suposições gaussianas.
   • Teste de Rank Adaptativo ($A_{Ada}$): Analisa padrões de probabilidade de geração (likelihood) e volatilidade local dos tokens, adaptando-se à direção do viés introduzido pelo esquema específico (usando Negative Log-Likelihood).

4. Ensemble e Decisão:

   • As pontuações dos quatro módulos são agregadas em uma pontuação única ponderada.
   • Um limiar de decisão é calibrado para controlar rigorosamente a taxa de falsos positivos (FPR), garantindo confiabilidade forense.

---

3. Contribuições Principais

1. Paradigma de Verificação Agnóstico à Chave: Introduz a primeira formulação para verificação de marca d'água de terceiros em configurações de caixa preta, eliminando a necessidade de chaves secretas ou acesso a detectores proprietários.
2. Framework Unificado (TTP-Detect): Propõe uma arquitetura que trata a detecção como um teste de hipótese relativa, utilizando representações de proxy e medições relativas complementares para capturar traços sutis sem acesso ao estado do modelo.
3. Universalidade e Robustez: Demonstra que o framework funciona eficazmente sobre uma ampla gama de esquemas de marcação (baseados em logits, amostragem, e preservação de distribuição) e mantém robustez contra diversos ataques de pós-processamento (edição, paráfrase).

---

4. Resultados Experimentais

Os autores avaliaram o TTP-Detect em múltiplos modelos (Llama-3.1-8B, OPT-6.7B) e conjuntos de dados (C4, OpenGen), comparando-o com o estado da arte (como UPV).

• Desempenho Superior: O TTP-Detect alcançou desempenho superior ou comparável aos detectores específicos de chave em esquemas clássicos (ex: KGW, Unigram) e obteve resultados perfeitos (AUC = 1.0) em esquemas sintéticos (SymMark).
• Robustez a Ataques: O framework demonstrou alta resiliência contra seis tipos de ataques, incluindo:
  • Edição: Deleção de palavras, substituição por sinônimos (WordNet e BERT).
  • Paráfrase: Reescrita global usando ferramentas como Dipper e GPT-5.1.
  • Mesmo sob ataques agressivos (como Rephrase-Dipper), o TTP-Detect manteve uma AUC média alta (ex: 0.980 para KGW), superando consistentemente o baseline UPV.
• Análise de Ablação:
  • A remoção do módulo de Rank Adaptativo causou a maior queda de desempenho na maioria dos cenários, destacando a importância da análise de padrões de geração.
  • O uso de um modelo proxy ajustado (fine-tuned) melhorou significativamente a detecção, embora o framework funcione mesmo sem ajuste fino (com degradação mínima).
• Eficiência: O custo computacional no lado do auditor é baixo (menos de 2 segundos para processamento interno), sendo o principal gargalo a geração das amostras de referência pelo provedor (cerca de 6 segundos).

---

5. Significado e Impacto

O trabalho do TTP-Detect representa um avanço crucial para a governança de IA e a forense digital:

• Neutralidade na Auditoria: Permite que reguladores, plataformas e tribunais verifiquem a origem de textos de forma independente, sem depender da boa-fé ou da infraestrutura técnica do provedor do modelo.
• Segurança Preservada: Resolve o dilema de segurança ao permitir a verificação sem expor chaves secretas, impedindo que adversários aprendam a remover as marcas.
• Escalabilidade: Por ser agnóstico ao esquema de marcação, o framework pode ser aplicado a novos métodos de marcação d'água sem necessidade de reengenharia do detector, servindo como uma camada de auditoria reutilizável.
• Aplicabilidade Prática: Oferece um caminho viável para a implementação de mecanismos de responsabilidade (accountability) em sistemas de IA generativa em escala global, preenchendo a lacuna entre o design técnico da marca d'água e a necessidade real de fiscalização.

Em resumo, o TTP-Detect transforma a detecção de marca d'água de um processo dependente de confiança e chaves secretas em um processo verificável, estatístico e independente, essencial para a confiança na era da IA generativa.