RLSpoofer: A Lightweight Evaluator for LLM Watermark Spoofing Resilience

1. Planteamiento del Problema

El uso generalizado de Modelos de Lenguaje Grandes (LLM) para generar contenido ha aumentado la necesidad de mecanismos de marcado de agua (watermarking) para detectar texto generado por IA y atribuir su origen. Sin embargo, la robustez de estos esquemas frente a ataques de suplantación (spoofing) en escenarios de caja negra no ha sido evaluada adecuadamente.

Los métodos de evaluación existentes presentan limitaciones críticas:

• Requieren acceso de caja blanca (conocimiento interno del algoritmo o del detector).
• Necesitan grandes volúmenes de datos de entrenamiento (hasta 10.000 pares).
• A menudo fallan en generar texto semánticamente coherente que imite fielmente el contexto original.

Esto deja una brecha en la capacidad de evaluar de manera práctica y eficiente la resistencia de los sistemas de marcaje de agua actuales ante adversarios que solo tienen acceso a la salida del modelo (caja negra).

2. Metodología Propuesta: RLSpoofer

Los autores proponen RLSpoofer, un ataque de suplantación basado en Aprendizaje por Refuerzo (RL) que opera en un entorno de caja negra. La metodología se basa en una perspectiva distribucional en lugar de intentar engañar instancia por instancia.

A. Perspectiva Distribucional

En lugar de optimizar para engañar al detector en un texto específico (lo cual es intratable sin conocer la clave secreta), el atacante busca desplazar la distribución de salida del paráfrasis desde la distribución humana ($P_h$) hacia la distribución marcada ($P_{wm}$), manteniendo la fidelidad semántica.

B. Cuello de Botella de Capacidad Local (Local Capacity Bottleneck)

Un aporte teórico fundamental es la identificación de un "cuello de botella" en la capacidad de redistribución de probabilidad.

• Teorema 1: Establece que bajo actualizaciones locales acotadas por la Divergencia de Kullback-Leibler (KL) que preservan la semántica, la cantidad de masa de probabilidad que se puede reasignar está limitada por la concentración de la distribución humana original.
• Masa de Capacidad ($c_t$): Se define como $1 - \max_{x} P_h(x|ht)$. Esta métrica cuantifica cuánto "espacio" hay para modificar un token sin alterar drásticamente el significado. Los tokens con alta masa de capacidad (como verbos o adjetivos) son más flexibles para la inyección de la marca de agua que los tokens rígidos (como números o artículos).

C. Diseño de la Recompensa y Entrenamiento

RLSpoofer utiliza un algoritmo de optimización de políticas (basado en GRPO) con una función de recompensa compuesta:

1. Recompensa Semántica (Nivel de Secuencia): Utiliza una puntuación P-SP conservadora (mínimo de la similitud con el texto original y con la reescritura marcada) para asegurar que el significado se preserve.
2. Recompensa Token-Level (Consciente de la Capacidad): Se define como $r_t = c_t \cdot \log \frac{P_{wm}(x_t)}{P_h(x_t)}$. Esto premia los tokens que son preferidos por la distribución marcada, pero atenúa la recompensa en posiciones donde la distribución humana es muy concentrada (baja capacidad), evitando cambios semánticos bruscos.
3. Anclaje de Entropía Cruzada (Cross-Entropy Anchor): Se utiliza una pérdida de entropía cruzada supervisada contra los pares de entrenamiento (texto humano -> texto marcado) para estabilizar la optimización y evitar que la política se desvíe demasiado de la distribución base.

Requisitos de Datos: El método requiere únicamente 100 pares de texto humano y su paráfrasis marcada generada por el modelo objetivo. No necesita acceso a las claves secretas, al detector ni a los pesos internos del modelo.

3. Contribuciones Clave

1. Marco Teórico: Establecen un límite teórico (cuello de botella de capacidad) que caracteriza cuánta probabilidad puede redistribuirse localmente bajo restricciones de fidelidad semántica.
2. Ataque Eficiente (RLSpoofer): Un ataque de caja negra que logra una alta tasa de éxito de suplantación con una eficiencia de datos sin precedentes (100 muestras vs. 10.000 en métodos anteriores).
3. Evaluación Exhaustiva: Demostración de vulnerabilidades críticas en esquemas de marcaje de agua tanto basados en logits (EWD, SWEET, KGW) como basados en muestreo sin distorsión (PF-Watermark, PMark).

4. Resultados Experimentales

Los experimentos se realizaron con 5 modelos atacantes (desde 0.6B hasta 4B/8B) y 6 esquemas de marcaje de agua.

• Rendimiento Superior: RLSpoofer superó consistentemente a las líneas base (Distill, DITTO, DPO).
  • En el esquema PF-Watermark (conocido por ser robusto y sin distorsión), RLSpoofer logró una tasa de éxito de suplantación (SSR) del 62.0% con un modelo de 4B usando solo 100 muestras.
  • En contraste, la línea base Distill, entrenada con 10.000 muestras, solo logró un 6.0% en el mismo escenario.
• Fidelidad Semántica: A pesar de la alta tasa de éxito, RLSpoofer mantuvo puntuaciones P-SP (similitud semántica) altas (generalmente > 0.70), demostrando que el texto generado es indistinguible del original en significado.
• Generalización: El método funcionó eficazmente en esquemas basados en logits y en los más desafiantes basados en muestreo, exponiendo que incluso los esquemas "sin distorsión" son vulnerables a ataques distribucionales bien dirigidos.
• Transferencia: Se observó una transferencia cruzada asimétrica entre esquemas, sugiriendo que las vulnerabilidades dependen de la interacción específica entre el esquema de marcaje y la capacidad del modelo atacante.

5. Significado e Impacto

• Alerta de Seguridad: El trabajo demuestra que los esquemas actuales de marcaje de agua para LLM son frágiles frente a ataques de suplantación que no requieren grandes cantidades de datos ni conocimiento interno. La suposición de que los esquemas "sin distorsión" son invulnerables es incorrecta.
• Herramienta de Evaluación Ligera: RLSpoofer ofrece un marco de evaluación práctico, ligero y de bajo costo computacional para que los investigadores y desarrolladores prueben la robustez de sus sistemas de marcaje de agua antes del despliegue.
• Necesidad de Nuevos Diseños: Los resultados subrayan la urgencia de desarrollar esquemas de marcaje de agua más robustos que no solo dependan de la distribución de salida, sino que puedan resistir la adaptación de políticas mediante aprendizaje por refuerzo con muy pocos ejemplos.

En resumen, RLSpoofer expone una vulnerabilidad fundamental en la infraestructura actual de atribución de contenido de IA, demostrando que la seguridad de los marcadores de agua no puede depender únicamente de la complejidad del algoritmo, sino que debe considerar la capacidad de los modelos para aprender y replicar distribuciones de salida con muy pocos ejemplos.