StealthRL: Reinforcement Learning Paraphrase Attacks for Multi-Detector Evasion of AI-Text Detectors

Resumen Técnico: StealthRL

1. El Problema

Los detectores de texto generado por IA enfrentan un desafío crítico de robustez: son vulnerables a ataques de paráfrasis adversaria. Aunque estos detectores (como RoBERTa, Fast-DetectGPT, Binoculars y MAGE) logran altas tasas de precisión en distribuciones limpias (texto sin modificar), su rendimiento colapsa cuando un adversario adapta el texto para evadir la detección manteniendo el significado semántico.

El problema central es la brecha entre la evaluación estándar (que asume distribuciones limpias) y la realidad de despliegue, donde los adversarios pueden iterar y refinar paráfrasis. Además, los detectores deben operar en puntos de operación estrictos (bajas tasas de falsos positivos, ej. 1% FPR) para evitar acusar falsamente a escritores humanos. En estas condiciones estrictas, la diferencia entre el rendimiento limpio y el adversario es catastrófica, pero poco explorada sistemáticamente.

2. Metodología: StealthRL

Los autores introducen StealthRL, un marco de aprendizaje por refuerzo (RL) diseñado para probar la robustez de los detectores bajo condiciones adversarias adaptativas.

• Arquitectura del Modelo:

  • Se utiliza el modelo de lenguaje Qwen3-4B-Instruct como base.
  • Se aplica Fine-tuning eficiente de parámetros (LoRA) con adaptadores de rango 32.
  • Se emplea el algoritmo Group Relative Policy Optimization (GRPO), que elimina la necesidad de una red de valor separada, reduciendo los requisitos de memoria y mejorando la eficiencia del entrenamiento.

• Diseño de la Recompensa:
  El modelo se entrena para maximizar una recompensa compuesta que equilibra la evasión y la fidelidad semántica:
  $$R(x, y) = \alpha \cdot R_{det}(y) + \beta \cdot R_{sem}(x, y)$$

  • Recompensa de Evasión ($R_{det}$): Se basa en un ensamble de dos detectores (RoBERTa con 60% de peso y Fast-DetectGPT con 40%). La recompensa es inversamente proporcional a la puntuación de confianza del ensamble ($1 - p_{ensamble}$).
  • Recompensa Semántica ($R_{sem}$): Utiliza la similitud coseno de los embeddings E5 entre el texto original y el paráfraseado para asegurar que el significado se preserve.
  • Penalización KL: Se incluye una penalización implícita contra la política de referencia congelada para mantener la fluidez y evitar el olvido catastrófico.

• Entrenamiento y Evaluación:

  • Entrenamiento: Se entrena contra el ensamble de RoBERTa y Fast-DetectGPT usando 10,000 muestras de texto AI del conjunto de datos MAGE.
  • Evaluación (Transferencia): El modelo se prueba contra cuatro detectores: los dos usados en el entrenamiento (RoBERTa, Fast-DetectGPT) y dos detectores retenidos (held-out) no vistos durante el entrenamiento (Binoculars y MAGE).
  • Punto de Operación: La evaluación se realiza estrictamente en un 1% de Tasa de Falsos Positivos (FPR), simulando condiciones de despliegue realista.

3. Contribuciones Clave

1. Ataque Adaptativo Multi-Detector: Es uno de los primeros trabajos que aplica RL para entrenar una política de paráfrasis contra un ensamble de detectores simultáneamente, en lugar de contra un solo detector.
2. Protocolo de Evaluación Riguroso: Establece un protocolo que mide la evasión, la transferencia entre arquitecturas y la fidelidad semántica en puntos de operación de seguridad relevantes (bajo FPR).
3. Análisis Exhaustivo: Incluye análisis de distribuciones de puntuaciones, evaluación de calidad basada en LLM (puntuación Likert) y intervalos de confianza bootstrap para las métricas de AUROC.
4. Reproducibilidad: Se libera el código completo, el pipeline de evaluación y los checkpoints del modelo entrenado.

4. Resultados Principales

StealthRL demuestra un fracaso catastrófico en la robustez de los detectores actuales:

• Tasa de Éxito del Ataque (ASR): Logra una tasa de éxito del 97.6% en promedio.
• TPR@1%FPR: Reduce la Tasa de Verdaderos Positivos a un promedio de 0.024 (casi cero) en tres de los cuatro detectores.
  • En Binoculars y Fast-DetectGPT, la detección cae cerca del azar aleatorio.
  • En RoBERTa, la detección es casi nula (0.002 TPR).
• Transferencia de Arquitecturas: El ataque se transfiere con gran éxito a los detectores Binoculars y MAGE, que nunca fueron vistos durante el entrenamiento. Esto revela que las vulnerabilidades son compartidas (basadas en pistas estadísticas superficiales) y no específicas de un modelo.
• Métricas Globales:
  • El AUROC medio cae de 0.79 (sin ataque) a 0.43 (con StealthRL).
  • El detector MAGE mostró ser el más robusto, pero incluso su rendimiento se degradó significativamente.
• Compromiso Evasión-Calidad:
  • StealthRL (M2) logra una similitud semántica E5 de 0.901 y una puntuación de calidad juzgada por LLM de 2.51 (en escala 1-5).
  • Aunque hay una caída en la calidad respecto a paráfrasis simples (M1) o basadas en selección de candidatos (M3), el texto sigue siendo legible y coherente, superando a los ataques de sustitución de caracteres (Homoglyphs) que degradan la legibilidad.

5. Significado e Impacto

• Vulnerabilidad Fundamental: Los resultados indican que los detectores actuales dependen de pistas estadísticas superficiales (distribuciones de tokens, perplejidad, geometría de embeddings) en lugar de una comprensión semántica profunda. La paráfrasis simple es suficiente para romper estas señales.
• Ineficacia de las Defensas Actuales: La fuerte transferencia del ataque a arquitecturas no vistas sugiere que los ensambles de detectores (combinar múltiples modelos) ofrecen una mejora de robustez limitada, ya que el ataque explota la fragilidad fundamental de los enfoques de detección actuales.
• Implicaciones de Seguridad: Antes de desplegar detectores de texto AI en entornos de alto riesgo (integridad académica, moderación de contenido), es necesario abordar estas brechas de robustez. El trabajo sugiere que la investigación debe moverse hacia la robustez adversarial en lugar de solo la precisión en distribuciones limpias.
• Herramienta de Diagnóstico: StealthRL se posiciona como una herramienta de "prueba de estrés" esencial para desarrolladores de detectores, permitiendo cuantificar la brecha de robustez y guiar el desarrollo de defensas más fuertes (como entrenamiento adversarial o detección basada en marcas de agua).

En conclusión, el artículo demuestra que los detectores de texto AI actuales son altamente frágiles frente a ataques de paráfrasis adaptativos entrenados con RL, y propone un nuevo estándar para evaluar la seguridad de estos sistemas.