Resumen Técnico: Cada Bit, En Todas Partes, Todo a la Vez: Una Marca de Agua Multibit Binomial para Modelos de Lenguaje Grande

Enunciado del Problema

La marca de agua para Modelos de Lenguaje Grande (LLM) ha transitado de la investigación teórica a la implementación comercial, centrándose principalmente en marcas de agua de cero bits que responden a una pregunta binaria: "¿Fue este texto generado por un modelo específico?". Sin embargo, las aplicaciones prácticas emergentes requieren marcas de agua multibit capaces de codificar cargas útiles complejas (por ejemplo, identificadores de usuario, marcas de tiempo, metadatos de licencia) directamente en el texto generado.

Los esquemas multibit existentes dependen predominantemente de la asignación de posiciones (por ejemplo, MPAC, MirrorMark), donde cada paso de generación codifica solo un solo bit de la carga útil en una posición específica. Este enfoque adolece de dos limitaciones principales:

1. Suboptimalidad: Codificar solo un bit por token es ineficiente, y las posiciones asignadas pueden distribuirse de manera desigual.
2. Escalabilidad: Los enfoques alternativos que evitan la asignación de posiciones (por ejemplo, Cycle-Shift, ArcMark) están limitados computacionalmente a cargas útiles cortas, ya que el tiempo de decodificación aumenta exponencialmente con la longitud del mensaje.

El desafío central abordado por este trabajo es diseñar un esquema de marca de agua multibit que pueda codificar eficazmente cadenas de bits largas sin depender de la asignación de posiciones, manteniendo al mismo tiempo una alta precisión del mensaje y robustez.

Metodología

Los autores proponen un enfoque fundamentalmente nuevo basado en la codificación binomial, que codifica toda la cadena de bits del mensaje en cada posición de token.

1. Codificación y Decodificación Binomial

A diferencia de trabajos anteriores que seleccionan un solo bit para codificar por token, este método codifica cada bit de la carga útil de $m$ bits en cada paso de generación.

• Codificación: En cada posición de token $t$, el sistema muestrea $m$ vectores de puntuación independientes Bernoulli(0.5) ($G^1_t, \dots, G^m_t$) utilizando un generador de números pseudoaleatorios (PRNG) semillado por el contexto y una clave privada. Para cada bit $M_i$ en la carga útil, el vector de puntuación correspondiente se invierte (complementa) si $M_i = 1$. El vector de puntuación final $\tilde{G}_t$ es la suma de estos $m$ vectores modificados. La distribución de tokens se sesga entonces hacia los tokens con puntuaciones $\tilde{G}_t$ más altas.
• Decodificación: Para decodificar, el sistema vuelve a calcular las puntuaciones Bernoulli para cada token en el texto. El bit decodificado para la posición $i$ se determina mediante una votación mayoritaria a través de todos los tokens. Crucialmente, el método proporciona puntuación de confianza por bit utilizando pruebas binomiales de dos colas, lo que permite al sistema evaluar la significancia estadística de cada bit decodificado sin asumir que el texto está marcado con agua.

2. Codificador con Estado

Para mejorar la precisión de los bits, los autores introducen un codificador con estado que redirige dinámicamente la presión de codificación durante la generación.

• El codificador rastrea la estadística de decodificación actual para cada bit basándose en la secuencia generada parcialmente.
• Calcula la precisión de bit en el peor caso esperado para cada bit si los tokens restantes se generan sin marca de agua.
• La función de puntuación se ajusta para priorizar los bits que están actualmente subcodificados (es decir, aquellos con estadísticas de decodificación cercanas al umbral de decisión), maximizando así la precisión global esperada de los bits.

3. Métricas de Evaluación

El artículo desafía las métricas de evaluación existentes (por ejemplo, precisión del mensaje en bruto) que asumen que el texto de entrada se sabe que ya está marcado con agua. Los autores argumentan que en la implementación del mundo real, primero se debe detectar si existe un mensaje. Introducen la Precisión de Bit a una Tasa de Falsos Positivos del $\alpha\%$ (BA@$\alpha\%$FPR) como una métrica más práctica. Esta métrica mide la probabilidad de decodificar correctamente un bit mientras se asegura que el texto sin marca de agua no se señale falsamente como que contiene un mensaje más del $\alpha\%$ de las veces.

Contribuciones Clave

1. Primera Marca de Agua Multibit sin Asignación de Posiciones: Los autores presentan el primer esquema que codifica la cadena de bits completa del mensaje en cada posición de token mediante codificación binomial, evitando los límites de escalabilidad y eficiencia de la asignación de posiciones.
2. Codificador con Estado: Un mecanismo novedoso que prioriza dinámicamente los bits con bajo rendimiento durante la generación, mejorando significativamente la precisión de los bits sin alterar la estrategia de decodificación.
3. Nuevo Marco de Evaluación: El artículo critica las métricas anteriores por carecer de información práctica sobre los falsos positivos y propone la puntuación de confianza por bit (BA@$\alpha\%$FPR) como un estándar para evaluar marcas de agua multibit en escenarios realistas.
4. Evaluación Exhaustiva: Experimentos extensos contra 8 líneas base con cargas útiles de 16, 32 y 64 bits demuestran un rendimiento superior en precisión de bits, precisión del mensaje y robustez, particularmente en regímenes de baja distorsión y con cargas útiles más grandes.

Resultados

La evaluación se realizó utilizando LLAMA3.1-8B y MINISTRAL-3-14B con cargas útiles de 16, 32 y 64 bits.

• Precisión del Mensaje: El esquema propuesto (específicamente la versión con estado, "Ours+") supera a las 8 líneas base (incluyendo MPAC, MirrorMark, ArcMark y StealthInk) en precisión del mensaje, ampliándose la brecha de rendimiento para cargas útiles más largas (32 y 64 bits) y configuraciones de baja distorsión.
• Precisión Basada en Confianza (BA@1%FPR): La versión sin estado del método propuesto logra una BA@1%FPR significativamente más alta que las líneas base, indicando una capacidad superior para distinguir los bits marcados del ruido aleatorio mientras se controlan los falsos positivos.
• Robustez: Si bien la robustez sigue siendo un desafío para todas las marcas de agua multibit (la precisión cae bruscamente con una eliminación o paráfrasis de palabras >10%), el método propuesto supera consistentemente a las líneas base en diversas modificaciones de texto.
• Escalabilidad: El esquema escala de manera más favorable con el número de tokens en comparación con las líneas base; a 500 tokens, el método propuesto logra una precisión de bits >90%, mientras que la mejor línea base alcanza ~80%.

Significado y Afirmaciones

El artículo afirma abrir una nueva dirección para la investigación de marcas de agua multibit al demostrar que la codificación binomial es un paradigma más poderoso que la asignación de posiciones. Los autores afirman que su enfoque codifica eficazmente cargas útiles grandes sin la intratabilidad computacional de los métodos anteriores de no asignación (como Cycle-Shift).

Además, el trabajo destaca una brecha crítica en el campo: la falta de métricas de evaluación prácticas para marcas de agua multibit. Al introducir la puntuación de confianza por bit, los autores argumentan que la investigación y la implementación futuras deben tener en cuenta la probabilidad de falsos positivos al decodificar mensajes de texto arbitrario, no solo de texto marcado con agua.

Los autores permanecen modestos respecto a las limitaciones, reconociendo que la robustez frente a modificaciones de texto (por ejemplo, paráfrasis) sigue siendo un problema abierto y que, aunque sus resultados empíricos muestran superioridad sobre la asignación de posiciones, no se proporcionan pruebas teóricas de optimalidad estricta para los métodos de no asignación de posiciones. También señalan que el codificador con estado, aunque mejora la precisión del mensaje, puede reducir ligeramente las métricas basadas en confianza, ya que optimiza la precisión esperada en lugar de la significancia estadística por bit.