StealthRL: Reinforcement Learning Paraphrase Attacks for Multi-Detector Evasion of AI-Text Detectors

1. O Problema

Os detectores de texto gerado por IA enfrentam um desafio crítico de robustez: a vulnerabilidade a ataques de parafraseamento adversarial. Embora esses detectores (como RoBERTa, DetectGPT, etc.) funcionem bem em distribuições limpas (texto sem modificações), eles falham catastróficamente quando confrontados com adversários adaptativos que reescrevem o texto para preservar o significado semântico, mas alterar as estatísticas superficiais (como distribuição de tokens e perplexidade) para enganar o detector.

A maioria das avaliações anteriores ignora essa realidade, focando em métricas gerais (como AUROC) ou em pontos de operação permissivos. No entanto, em cenários do mundo real (como integridade acadêmica), os detectores devem operar em taxas de falsos positivos extremamente baixas (ex: 1% FPR) para evitar acusar erroneamente autores humanos. O artigo demonstra que, nesses pontos de operação estritos, a lacuna entre o desempenho em texto limpo e texto adversarial é devastadora.

2. Metodologia: StealthRL

O authors introduzem o StealthRL, um framework de Aprendizado por Reforço (RL) projetado para treinar uma política de parafraseamento que evada simultaneamente múltiplos detectores.

• Modelo Base: Utiliza o modelo de linguagem Qwen3-4B-Instruct com adaptação eficiente de parâmetros (LoRA - Low-Rank Adaptation).
• Algoritmo de Treinamento: Emprega GRPO (Group Relative Policy Optimization), uma variante eficiente do PPO que elimina a necessidade de uma rede de valor separada, reduzindo o custo computacional.
• Modelo de Ameaça (Threat Model):
  • Acesso: O atacante tem acesso "caixa-preta" aos escores de confiança dos detectores (apenas o valor escalar $p(y)$), sem acesso aos gradientes ou parâmetros internos.
  • Objetivo: Gerar um paráfrase $y$ de um texto original $x$ tal que a probabilidade de ser detectado como IA seja inferior a um limiar $\tau$, mantendo a equivalência semântica acima de um limiar $\delta$.
• Função de Recompensa (Reward Function):
  A recompensa é composta por dois termos principais:
  1. Recompensa de Evasão ($R_{det}$): Baseada na média ponderada dos escores de um ensemble de dois detectores durante o treinamento (RoBERTa e Fast-DetectGPT). O objetivo é minimizar a confiança do detector.
  2. Recompensa Semântica ($R_{sem}$): Calculada usando a similaridade de cosseno entre os embeddings E5 do texto original e do paráfrase, garantindo que o significado seja preservado.
  3. Penalidade KL: Uma penalidade implícita contra a política de referência (frozen) para manter a fluência e evitar esquecimento catastrófico.

3. Contribuições Principais

1. Ataque Adaptativo Multi-Detector: Implementação de um ataque de parafraseamento via RL treinado contra um ensemble de detectores, uma das primeiras aplicações de RL para evasão simultânea de múltiplas famílias de detectores.
2. Protocolo de Avaliação Rigoroso: Avaliação estrita no ponto de operação de 1% de Falsos Positivos (FPR), que é o padrão para aplicações seguras, e teste de transferência para detectores não vistos durante o treinamento.
3. Análise Abrangente: Inclui distribuição de escores dos detectores, avaliação de qualidade baseada em LLM (usando Likert scoring) e intervalos de confiança via bootstrap.
4. Reprodutibilidade: Código completo, pipeline de avaliação e checkpoints do modelo StealthRL foram disponibilizados publicamente.

4. Resultados Chave

O estudo foi realizado no conjunto de dados MAGE (15.310 textos humanos e 14.656 textos de IA) contra quatro detectores distintos: RoBERTa, Fast-DetectGPT, Binoculars e MAGE.

• Falha Catastrófica dos Detectores: O StealthRL (M2) alcançou uma Taxa de Verdadeiros Positivos (TPR) média de apenas 0,024 no ponto de 1% FPR. Isso significa que o detector falhou em identificar 97,6% dos textos de IA atacados.
• Redução drástica do AUROC: O AUROC médio caiu de 0,79 (sem ataque) para 0,43 (com StealthRL), aproximando-se do acaso aleatório para três dos quatro detectores.
• Transferência de Arquitetura (Generalização): O ataque treinado em RoBERTa e Fast-DetectGPT transferiu-se com sucesso para os detectores de held-out (não vistos no treinamento): Binoculars e MAGE.
  • TPR@1%FPR no Binoculars: 0,002
  • TPR@1%FPR no MAGE: 0,089
  • Isso revela que as vulnerabilidades são compartilhadas (baseadas em estatísticas superficiais) e não específicas de um único detector.
• Qualidade vs. Evasão: Embora o StealthRL tenha um custo de fidelidade semântica (similaridade E5 de 0,901 vs. 0,974 em paráfrases simples), ele produz texto significativamente mais natural e legível do que ataques baseados em substituição de caracteres (Homoglyphs), mantendo uma taxa de sucesso de ataque de 97,6%.

5. Significado e Implicações

O artigo expõe uma lacuna de robustez fundamental nos detectores de texto de IA atuais. Os resultados sugerem que os detectores aprendem correlatos superficiais (distribuição de tokens, perplexidade) em vez de compreender a semântica profunda.

• Implicações de Segurança: Adversários podem treinar ataques adaptativos com recursos computacionais modestos (um único fine-tuning com LoRA) para tornar os detectores ineficazes em ambientes de produção.
• Ineficácia de Defesas de Ensemble: A forte transferência do ataque para arquiteturas diferentes indica que simplesmente combinar múltiplos detectores não oferece proteção robusta contra ataques adaptativos bem-sucedidos.
• Direção Futura: O trabalho argumenta que a pesquisa deve migrar de métricas de precisão em distribuições limpas para avaliações de robustez adversarial. Defesas futuras devem focar em treinamento adversarial, detecção baseada em características linguísticas mais profundas ou métodos de marcação d'água (watermarking), já que a detecção puramente baseada em estatísticas de superfície parece fundamentalmente frágil.

Em resumo, o StealthRL serve como um "teste de estresse" que demonstra que, sob condições adversariais realistas, os detectores de texto de IA atuais estão essencialmente quebrados, exigindo uma reavaliação completa das estratégias de detecção.