AliMark: Enhancing Robustness of Sentence-Level Watermarking Against Text Paraphrasing

Resumen Técnico: AliMark

Enunciado del Problema
Los métodos existentes de marcaje de agua a nivel de oración para Modelos de Lenguaje Grande (LLM), como SemStamp, buscan mejorar la robustez frente al parafraseo anclando las marcas de agua en la semántica de la oración en lugar de en patrones a nivel de token. Sin embargo, estos métodos suelen depender de un diseño basado en prefijos, donde la señal de marca de agua de una oración se condiciona a su contexto precedente (por ejemplo, la oración inmediatamente anterior).

El artículo identifica una vulnerabilidad crítica en este diseño: las perturbaciones estructurales. Los modelos avanzados de parafraseo (por ejemplo, DIPPER, GPT-3.5) alteran frecuentemente la estructura del texto dividiendo o fusionando oraciones. Cuando una oración se divide o fusiona, el contexto para las oraciones subsiguientes cambia. Dado que la señal de marca de agua se condiciona pseudorrandommente a este contexto específico, cualquier alteración del contexto rompe la relación pseudorrandom requerida para la detección. En consecuencia, un único cambio estructural puede provocar un efecto dominó, causando la pérdida de señales de marca de agua en múltiples oraciones subsiguientes, lo que vuelve a los marcos existentes frágiles ante ataques de parafraseo intensos.

Metodología: AliMark
Para abordar esto, los autores proponen AliMark, un marco que reformula el marcaje de agua a nivel de oración como un problema de codificación y alineación de secuencias de bits entre un texto potencialmente marcado y una secuencia de bits secreta, en lugar de depender de dependencias entre oraciones.

El marco opera en dos etapas principales:

1. Generación de texto marcado (Incrustación):

   • En lugar de condicionarse al contexto del prefijo, AliMark utiliza una secuencia de bits secreta global $s$ como clave de marca de agua.
   • Esta secuencia se divide en bloques de tamaño $M$, donde cada bloque corresponde a las señales de bits incrustadas en una sola oración.
   • Durante la generación, el LLM produce $Q$ oraciones candidatas para la siguiente posición.
   • Un Extractor de Señales de Bits (que utiliza un codificador de oraciones y vectores secretos) convierte la incrustación semántica de cada candidato en una secuencia de bits discreta.
   • El sistema selecciona el candidato cuya secuencia de bits extraída coincide con el bloque correspondiente de la secuencia de bits secreta. Esto asegura que todo el texto codifique un patrón de bits secuencial independiente de los límites de las oraciones.

2. Detección de texto marcado:
   Para manejar las perturbaciones estructurales (divisiones, fusiones, inserciones, eliminaciones) introducidas por el parafraseo, AliMark emplea una estrategia de detección en dos etapas:

   • Re-estructurador (RS): Este módulo opera a nivel de texto para recuperar estructuras originales potenciales. Genera múltiples variantes de texto realizando operaciones de re-fusión de un solo paso (combinar dos oraciones consecutivas) y re-división (dividir una oración en dos). Esto crea un conjunto candidato de textos reestructurados.
   • Alineación Adaptativa de Secuencia de Bits (ABSA): Este módulo opera a nivel de bits. Para cada candidato reestructurado, extrae la secuencia de bits y la alinea contra un conjunto de candidatos de secuencia de bits secretos de longitudes variables (para dar cuenta de los cambios en el número de oraciones).
   • Métrica de Alineación: Los autores introducen la Tasa de Edición de Bloques (BER), una adaptación de la Distancia de Levenshtein adaptada para escenarios a nivel de oración. A diferencia de la distancia de edición estándar, la BER trata la inserción o eliminación de una oración (un bloque de $M$ bits) como una única operación con un costo fijo, mientras que los costos de sustitución se basan en la distancia de Hamming entre bloques de bits.
   • Puntuación: El sistema calcula un puntaje $z$ para cada intento de alineación. La puntuación final de la marca de agua es el puntaje $z$ máximo obtenido en todas las variantes reestructuradas y en todos los candidatos de longitud de secuencia secreta.

Contribuciones Clave

1. Identificación de la Vulnerabilidad Estructural: El artículo demuestra que las perturbaciones estructurales (división y fusión de oraciones) son comunes en el parafraseo automatizado y degradan catastróficamente el rendimiento de los métodos de marcaje de agua a nivel de oración basados en prefijos.
2. Nueva Formulación: AliMark propone una nueva formulación del marcaje de agua a nivel de oración como una tarea global de codificación y alineación de secuencias de bits, desacoplando las señales de marca de agua de contextos de oración específicos.
3. Mecanismo de Detección Robusto: La integración de un Re-estructurador y una Alineación Adaptativa de Secuencia de Bits permite al sistema recuperar señales de marca de agua incluso cuando la estructura del texto ha sido alterada significativamente.
4. Validación Empírica: Experimentos extensivos muestran que AliMark supera sustancialmente a las líneas base más avanzadas (incluyendo SemStamp, k-SemStamp y métodos a nivel de token como KGW) bajo diversos ataques de parafraseo, particularmente contra modelos potentes como DIPPER y GPT-3.5.

Resultados Experimentales

• Rendimiento: En conjuntos de datos como Booksum y C4, AliMark mantiene altas Tasas de Verdaderos Positivos (TPR) bajo ataques de parafraseo intensos donde las líneas base fallan. Por ejemplo, utilizando OPT-1.3B, AliMark logra una TPR@5% de 61.6% bajo DIPPER y 66.6% bajo GPT-3.5, mientras que la mejor línea base (SemStamp) cae a 26.7% y 22.0% respectivamente.
• Robustez Adversarial: En experimentos de sondeo que involucran inserción, eliminación y reordenamiento aleatorio de oraciones, AliMark supera consistentemente a las líneas base, manteniendo la detectabilidad incluso con tasas de perturbación de 0.4–0.5.
• Calidad del Texto: El análisis de perplejidad indica que AliMark introduce una degradación insignificante en la calidad del texto en comparación con las salidas sin marca de agua, observándose solo pequeños aumentos a medida que aumenta el tamaño del bloque $M$.
• Eficiencia: Aunque el proceso de detección implica generar múltiples candidatos, las optimizaciones de ingeniería (como la consolidación de los cálculos de la tabla de programación dinámica) mantienen el tiempo de ejecución manejable, escalando linealmente con el número de oraciones de entrada.

Significado y Afirmaciones
El artículo afirma que AliMark proporciona una evolución necesaria en el marcaje de agua de LLM al abordar la fragilidad específica de los métodos basados en semántica ante cambios estructurales. Al pasar del hashing de prefijos dependiente del contexto a la alineación de secuencias globales, AliMark ofrece una defensa robusta contra las capacidades de reescritura sofisticadas de los LLM modernos. Los autores posicionan este trabajo como un paso crítico para garantizar la procedencia del contenido y la integridad académica en una era donde la escritura y el parafraseo automatizados son prevalentes. Reconocen limitaciones, específicamente que el Re-estructurador actual utiliza un enfoque de un solo paso y podría no manejar perfectamente cambios estructurales complejos de múltiples pasos, sugiriendo que trabajos futuros podrían involucrar heurísticas de reestructuración más sofisticadas o modelos entrenados a medida.