Watermarking Diffusion Language Models

Resumen Técnico: Marca de Agua para Modelos de Lenguaje Difusivos (DLMs)

1. El Problema

Los Modelos de Lenguaje Difusivos (DLMs) son un paradigma emergente que genera tokens en un orden arbitrario (no secuencial), a diferencia de los Modelos de Lenguaje Autoregresivos (ARLMs) tradicionales que generan tokens de izquierda a derecha. Los DLMs ofrecen ventajas significativas en velocidad de generación, corrección de errores y controlabilidad.

Sin embargo, existe una brecha crítica en la trazabilidad y seguridad:

• Las técnicas de marca de agua existentes para ARLMs (como las marcas "Rojo-Verde" de Kirchenbauer et al.) dependen de que los tokens anteriores ya hayan sido generados para calcular un hash del contexto y determinar la distribución de probabilidad del token actual.
• En los DLMs, los tokens se "desenmascaran" iterativamente y a menudo sin un contexto completo disponible en el momento de la generación.
• Desafío: Aplicar esquemas de marca de agua autoregresivos directamente a DLMs resulta en una marca de agua débil o inexistente, ya que la mayoría de los tokens no cumplen con el requisito de tener un contexto totalmente definido para calcular el hash.

2. Metodología Propuesta

Los autores proponen el primer esquema de marca de agua diseñado específicamente para DLMs, basado en la optimización de la distribución de probabilidad del modelo.

A. Formulación como Problema de Optimización
El problema se plantea como una optimización con restricciones. El objetivo es modificar la distribución de probabilidad factorizada del DLM ($p$) en una nueva distribución ($q$) que maximice la proporción esperada de tokens "verdes" (marcados), manteniendo al mismo tiempo la calidad del texto (minimizando la divergencia KL con la distribución original).

• Función Objetivo: Maximizar la proporción esperada de tokens verdes $\hat{\gamma}(\omega)$ sobre la secuencia generada.
• Restricción: $KL(q_t, p_t) \leq \varepsilon$ para cada posición $t$, asegurando que la distorsión en la calidad del texto sea mínima.

B. Solución Teórica y Algoritmo Práctico
Los autores derivan una solución óptima que modifica los logits del modelo. La solución se descompone en dos componentes intuitivos (ilustrados en la Figura 1 del paper):

1. Impulso por Esperanza (Expectation Boost): Aplica la lógica de la marca de agua Rojo-Verde en expectativa sobre la distribución de hashes del contexto. Dado que el contexto no es fijo, el algoritmo promedia la probabilidad de que un token sea verde sobre todas las posibles configuraciones de contexto futuras y pasadas.
2. Sesgo Predictivo (Predictive Bias): Promueve la selección de tokens que, al ser utilizados como contexto para otros tokens futuros, aumentan la probabilidad de que esos futuros tokens sean verdes. Esto aprovecha la capacidad de los DLMs de ver el futuro (tokens no generados aún) para fortalecer la marca global.

C. Implementación

• Hashing: Utilizan funciones de hash locales (SumHash o MinHash) que suman o toman el mínimo de los tokens circundantes. A diferencia de los ARLMs, el contexto puede incluir tokens posteriores al actual.
• Algoritmo: Se resuelve mediante un enfoque iterativo de punto fijo. En cada paso de difusión, se calcula la distribución de hashes del contexto, se deriva la función de energía y se aplica un "tilt" exponencial a los logits basado en el gradiente de dicha energía.
• Detección: El detector es idéntico al de las marcas Rojo-Verde estándar: se calcula el color de cada token y se realiza una prueba binomial sobre el número de tokens verdes. No se requiere modificar el detector.

3. Contribuciones Clave

1. Primera Marca de Agua para DLMs: Identifican la limitación fundamental de las marcas autoregresivas en entornos difusivos y proponen la primera solución viable.
2. Marco Teórico de Optimización: Formulan el problema como un problema de optimización restringida y derivan un algoritmo práctico que generaliza las marcas Rojo-Verde.
3. Generalización: Demuestran que su formulación recupera exactamente las marcas de agua Rojo-Verde para ARLMs cuando se restringe al caso autoregresivo.
4. Evaluación Exhaustiva: Validan el método en múltiples modelos (LLADA-8B, DREAM-7B) y tareas (generación de instrucciones, relleno de texto).

4. Resultados Experimentales

La evaluación se realizó utilizando el benchmark WATERBENCH y modelos como LLADA-8B y DREAM-7B.

• Detección (TPR@1% FPR):

  • El método propuesto logra una tasa de verdaderos positivos (TPR) superior al 99% con una tasa de falsos positivos del 1%.
  • Supera significativamente a las adaptaciones ingenuas de marcas de agua autoregresivas (que apenas alcanzan un 60-80% de TPR en las mismas condiciones).
  • Supera a las marcas de agua "agnósticas al orden" (como Unigram y PatternMark), que son menos seguras y tienen un control de error Tipo I deficiente.

• Calidad del Texto:

  • El impacto en la calidad (medido por Perplejidad y puntuaciones de GPT-4) es mínimo. La degradación de la calidad es comparable a la de las marcas de agua para ARLMs.
  • En tareas de benchmark (MMLU, GSM8K, etc.), la caída de precisión es pequeña y, en algunos casos, el método propuesto mantiene mejor la utilidad que las baselines.

• Robustez:

  • Modificaciones Locales: Mantiene alta detectabilidad incluso tras la sustitución o eliminación de hasta el 30% de las palabras.
  • Adversarios Fuertes: Es robusto contra reescritura (paráfrasis) y traducción inversa, especialmente a medida que aumenta la longitud de la secuencia.
  • Estrategias de Remasking: Funciona bien tanto con estrategias de desenmascaramiento aleatorio como basadas en entropía.

5. Significado e Impacto

Este trabajo es fundamental por varias razones:

• Habilitación de la Trazabilidad en DLMs: Permite por primera vez detectar de manera fiable si un texto fue generado por un modelo difusivo, lo cual es crucial para la regulación y el control de contenido generado por IA.
• Superación de Limitaciones de Orden: Resuelve el problema de la dependencia del orden de generación, demostrando que se puede insertar una señal robusta incluso cuando el contexto es parcial o dinámico.
• Eficiencia: El algoritmo tiene una sobrecarga computacional mínima durante la generación y utiliza el mismo detector eficiente que las marcas de agua existentes, facilitando su adopción en la industria.
• Seguridad: A diferencia de enfoques agnósticos al orden anteriores, este método mantiene un control estricto sobre la tasa de falsos positivos y es más resistente a ataques de "scrubbing" (eliminación de marca) y "spoofing" (falsificación).

En conclusión, los autores han desarrollado un marco teórico y práctico que cierra la brecha de seguridad en los modelos de lenguaje difusivos, permitiendo su despliegue seguro y trazable sin sacrificar la calidad de la generación.