RLSpoofer: A Lightweight Evaluator for LLM Watermark Spoofing Resilience

Título: RLSpoofer: Um Avaliador Leve para a Resiliência de Marcações de Água em LLMs contra Falsificação (Spoofing)

1. Problema

Com o avanço dos Grandes Modelos de Linguagem (LLMs), a marcação de água (watermarking) tornou-se uma técnica crucial para detectar texto gerado por IA e rastrear sua origem. No entanto, a robustez desses esquemas contra ataques de falsificação (spoofing) em cenários de "caixa-preta" (black-box) permanece insuficientemente avaliada.

• Limitações dos Métodos Atuais: As avaliações existentes geralmente exigem:
  1. Acesso aos detalhes internos do algoritmo de marcação ou ao detector (acesso de caixa-branca).
  2. Conjuntos de dados de treinamento massivos (até 10.000 pares de amostras).
  3. Frequentemente falham em gerar textos semanticamente coerentes que se alinhem perfeitamente ao contexto original.
• O Cenário de Ameaça: Um adversário malicioso pode consultar um LLM com marcação de água para coletar amostras e treinar um modelo substituto (surrogate) capaz de imitar as regras de marcação, enganando os detectores sem conhecer a chave secreta ou o algoritmo interno.

2. Metodologia: RLSpoofer

Os autores propõem o RLSpoofer, um ataque de falsificação baseado em Aprendizado por Reforço (RL) que opera estritamente em modo caixa-preta. A abordagem é fundamentada em uma perspectiva distribucional, buscando deslocar a distribuição de saída do modelo de paráfrase da distribuição "humana" para a distribuição "marcada com água".

Conceitos Fundamentais:

• Gargalo de Capacidade Local (Local Capacity Bottleneck):
  • Os autores estabelecem teoricamente um limite sobre quanto "massa de probabilidade" pode ser realocada em nível de token sob atualizações locais limitadas por Divergência KL (KL-bounded), mantendo a fidelidade semântica.
  • Eles definem uma massa de capacidade local ($c_t$), que quantifica a probabilidade disponível fora da continuação humana dominante. Isso identifica quais tokens oferecem "espaço flexível" para inserir a marca de água sem alterar o significado do texto.
• Objetivo de Aprendizado por Reforço:
  • O ataque otimiza uma política ($\pi_\theta$) para maximizar a probabilidade de saída sob a distribuição marcada, minimizando a divergência da distribuição humana, sujeito a restrições de semântica.
  • Como as distribuições reais não são acessíveis, o método usa um modelo de referência leve para aproximar tanto a distribuição humana quanto a marcada.

Design de Recompensas e Treinamento:

O RLSpoofer utiliza o algoritmo GRPO (Group Relative Policy Optimization) e otimiza três componentes principais:

1. Recompensa Semântica em Nível de Sequência: Baseada no score P-SP (Paraphrastic Similarity), garantindo que o texto reescrito mantenha o significado original. Utiliza uma abordagem conservadora (mínimo entre a similaridade com o texto original e a reescrita marcada) para evitar alinhamento unilateral.
2. Recompensa em Nível de Token Consciente de Capacidade:
   • Calculada como: $r_t = c_t \cdot \log \frac{P_{wm}(x_t)}{P_{h}(x_t)}$.
   • A massa de capacidade ($c_t$) atua como um peso: amplifica recompensas em tokens flexíveis (ex: adjetivos, verbos) e suprime recompensas em tokens rígidos (ex: numerais), onde alterações causariam perda semântica.
3. Âncora de Entropia Cruzada (Cross-Entropy Anchor): Um termo de perda supervisionada que "ancora" a política à distribuição de reescrita marcada alvo, prevenindo que a otimização de RL desvie excessivamente da distribuição base ou explore atalhos de recompensa frágeis.

3. Contribuições Principais

1. Fundamentação Teórica: Estabelecimento de um "gargalo de capacidade local" que caracteriza teoricamente os limites de realocação de probabilidade em tokens sob restrições de fidelidade semântica.
2. Ataque Eficiente em Amostragem: Desenvolvimento do RLSpoofer, que requer apenas 100 pares de treinamento (texto humano vs. reescrita marcada) e zero acesso aos detalhes internos da marcação ou ao detector.
3. Avaliação Abrangente: Demonstração de que esquemas de marcação atuais são vulneráveis, mesmo os que são "livres de distorção" (distortion-free), através de experimentos em 5 modelos atacantes e 6 esquemas de marcação.

4. Resultados Experimentais

Os experimentos foram realizados em modelos atacantes leves (Qwen e Llama, de 0.6B a 4B) contra seis esquemas de marcação (baseados em logits como EWD, KGW, e baseados em amostragem como PF-Watermark e PMark).

• Desempenho Superior com Poucos Dados:
  • O RLSpoofer alcançou uma Taxa de Sucesso de Falsificação (SSR) de 62,0% contra o esquema PF-Watermark (considerado robusto e livre de distorção) usando apenas 100 amostras e um modelo de 4B.
  • Em comparação, métodos de base (baselines) como Distill (treinado com 10.000 amostras) e DITTO alcançaram apenas 6,0% de SSR no mesmo cenário.
• Eficiência em Esquemas Diversos:
  • Para marcas baseadas em logits (EWD, SWEET), o RLSpoofer consistentemente superou ou empatou com os baselines, mantendo alta fidelidade semântica (P-SP > 0.7).
  • O método demonstrou ser capaz de explorar deslocamentos de distribuição mesmo em esquemas que não alteram explicitamente os logits (distortion-free).
• Análise de Transferência: O modelo mostrou transferência assimétrica entre esquemas de marcação, indicando que a vulnerabilidade não depende apenas da família do algoritmo, mas de sobreposições específicas nas falhas induzidas.

5. Significância e Impacto

• Exposição de Vulnerabilidades: O trabalho revela que as defesas atuais de marcação de água em LLMs são frágeis contra ataques de falsificação baseados em RL, mesmo quando o atacante tem acesso limitado a dados e nenhuma informação interna.
• Novo Padrão de Avaliação: O RLSpoofer serve como um teste de estresse leve e prático para a comunidade. Ele demonstra que a robustez não pode ser avaliada apenas com grandes conjuntos de dados de treinamento; a eficiência na amostragem e a adaptação distribucional são fatores críticos.
• Implicações para o Futuro: Os resultados sugerem a necessidade urgente de desenvolver esquemas de marcação mais robustos que resistam não apenas a ataques de remoção, mas também a ataques de falsificação que aprendem a imitar a distribuição de saída semântica e estatística.

Em resumo, o RLSpoofer desafia a suposição de que a marcação de água é uma defesa segura, fornecendo uma ferramenta acessível e altamente eficaz para avaliar e, consequentemente, melhorar a resiliência dos sistemas de detecção de IA.