QuantileMark: A Message-Symmetric Multi-bit Watermark for LLMs

1. El Problema: Asimetría en la Marca de Agua Multi-bit

Con el auge de los Modelos de Lenguaje Grande (LLMs), la necesidad de rastrear el origen del contenido generado (proveniencia) es crítica. Mientras que las marcas de agua de "cero bits" solo detectan la presencia de una marca, los despliegues reales requieren marcas multi-bit para codificar metadatos como IDs de usuario, versiones de modelos o marcas de tiempo.

El desafío principal identificado en el artículo es la asimetría del mensaje en los métodos existentes, especialmente en contextos de baja entropía (donde el modelo tiene una preferencia muy fuerte por ciertos tokens):

• Métodos basados en partición de vocabulario: Dividen el vocabulario en $M$ conjuntos desiguales. Si un mensaje asigna un token de alta probabilidad a un conjunto, la calidad del texto se mantiene y la detección es fácil. Sin embargo, otros mensajes pueden verse forzados a usar tokens de cola (baja probabilidad), degradando la calidad del texto y debilitando la evidencia estadística para la detección.
• Consecuencia: La calidad de la generación y la precisión de la decodificación dependen del mensaje específico que se está insertando, lo cual es inaceptable para la equidad operativa y la fiabilidad del servicio.
• Limitación de métodos de preservación de distribución: Aunque algunos métodos intentan mantener la distribución base, a menudo priorizan el sigilo (baja distorsión), lo que resulta en una evidencia estadística demasiado débil para una recuperación robusta de mensajes multi-bit en configuraciones internas de proveedores.

2. Metodología: QuantileMark

Los autores proponen QuantileMark, una marca de agua multi-bit de "caja blanca" (white-box) diseñada para garantizar la simetría del mensaje mediante la partición del espacio de probabilidad continuo en lugar del espacio de vocabulario discreto.

Principios Fundamentales

1. Espacio Continuo (CDF): En lugar de asignar tokens específicos a mensajes, QuantileMark opera sobre el intervalo de probabilidad acumulada $[0, 1)$.
2. Partición de Masa Igual (Equal-Mass Partitioning):
   • En cada paso de generación, el intervalo $[0, 1)$ se divide en $M$ bins (contenedores) de masa de probabilidad idéntica ($1/M$).
   • Para un símbolo de mensaje objetivo $s_i$, se selecciona un bin específico $B_{r^*}$ basado en una permutación clave-dependiente.
   • Se muestrea un valor aleatorio $u$ uniformemente dentro de ese bin $B_{r^*}$.
   • El token generado es aquel cuyo intervalo de probabilidad cubre el valor $u$.
3. Garantía de Presupuesto Fijo: Independientemente de la entropía del contexto o de la distribución del modelo, cada símbolo de mensaje recibe exactamente un presupuesto de probabilidad de $1/M$. Esto elimina la asimetría estructural.

Proceso de Detección (Caja Blanca)

Dado que el proveedor tiene acceso al modelo (caja blanca), el detector puede:

1. Reconstruir la Geometría: Recalcular la distribución base $p_0$ y la partición de cuantiles para cada paso.
2. Cálculo de Posteriores: Dado el token observado $x_t$, calcula la probabilidad posterior de que haya sido generado desde cada uno de los $M$ bins, basándose en la masa de superposición entre el token y los bins.
3. Evidencia Suave (Soft Evidence): A diferencia de los métodos que asignan un voto duro a un solo símbolo, QuantileMark asigna soporte proporcional a la superposición. Un token que cruza dos bins aporta evidencia a ambos.
4. Decodificación: Se utiliza el Log Posterior Odds (LPO) para agregar evidencia a lo largo de la secuencia y decodificar el mensaje más probable.

Propiedad Teórica: Imparcialidad del Mensaje

El artículo demuestra teóricamente que QuantileMark es imparcial al mensaje (message-unbiased). Esto significa que, al promediar sobre todos los posibles mensajes, la distribución de tokens generada es idéntica a la distribución base del modelo. Esto asegura que la calidad del texto no se degrade sistemáticamente para ningún usuario o mensaje específico.

3. Contribuciones Clave

1. Nuevo Marco de Marca de Agua: Introducción de QuantileMark, el primer marco multi-bit que garantiza un presupuesto de probabilidad uniforme para cada símbolo mediante partición de cuantiles, eliminando la asimetría inherente a las particiones de vocabulario.
2. Fundamento Teórico: Formalización y prueba de la propiedad de "imparcialidad del mensaje", proporcionando una base teórica para la simetría en la generación y una evidencia uniforme en la detección.
3. Rendimiento Superior: Demostración empírica de que QuantileMark supera a los métodos basados en vocabulario (como MPAC y StealthInk) en recuperación de bits y robustez de detección, manteniendo una calidad de generación casi idéntica a la del modelo base.

4. Resultados Experimentales

Los experimentos se realizaron en tareas de continuación de texto (C4) y preguntas de respuesta larga (LFQA) utilizando modelos Llama-2 y Llama-3.

• Recuperación de Bits y Detección:
  • QuantileMark logró una precisión de bits (Bit Acc) de 0.9893 en C4 y 0.9500 en LFQA, superando a MPAC (0.9702 y 0.8770) y StealthInk.
  • El AUC de detección fue casi perfecto (0.9995 en C4 y 0.9997 en LFQA), indicando una capacidad de distinción superior entre texto con y sin marca de agua.
• Calidad de Generación:
  • La Perplejidad (PPL) de QuantileMark fue 7.404 en C4, muy cercana a la línea base sin marca de agua (7.684), confirmando que la marca no degrada significativamente la calidad del texto. En contraste, MPAC mostró un aumento notable en la perplejidad (10.351) debido a la distorsión.
• Robustez:
  • Resistente a ataques de sustitución de sinónimos y mezcla de copiar-pegar.
  • Como es común en marcas de agua multi-bit, la robustez disminuye ante ataques de reescritura profunda (paráfrasis) y borrado, que desincronizan la asignación de posiciones, aunque QuantileMark sigue superando a los baselines en estos escenarios.
• Eficiencia:
  • El costo computacional de la detección es manejable, ya que requiere una pasada del modelo (forward pass) que es inherentemente asumible por el proveedor que aloja el servicio.

5. Significado e Impacto

QuantileMark representa un avance significativo para la atribución interna de proveedores de LLMs. Al resolver el problema de la asimetría del mensaje, permite:

• Equidad Operativa: Garantiza que todos los usuarios reciban la misma calidad de servicio y que la fiabilidad de la atribución no dependa de qué ID de usuario se esté codificando.
• Detección Robusta: Al utilizar una asignación de probabilidad fija y explotar el acceso de caja blanca, logra una evidencia estadística mucho más fuerte que los métodos sigilosos de caja negra, facilitando la recuperación de mensajes largos y complejos.
• Viabilidad Práctica: Ofrece un equilibrio óptimo entre la necesidad de rastrear el contenido (para seguridad, derechos de autor y cumplimiento normativo) y la preservación de la utilidad del texto generado.

En resumen, QuantileMark establece un nuevo estándar para las marcas de agua multi-bit en entornos controlados, demostrando que es posible lograr una alta capacidad de carga de información y robustez de detección sin sacrificar la calidad del lenguaje natural ni la imparcialidad del sistema.