Covert Multi-bit LLM Watermarking: An Information Theory and Coding Approach

Resumen Técnico: Marca de Agua Multi-bit Encubierta para LLM: Un Enfoque de Teoría de la Información y Codificación

Enunciado del Problema
El artículo aborda el desafío de la marca de agua multi-bit para Modelos de Lenguaje Grande (LLM). Si bien la marca de agua de tasa cero (binaria) ha sido estudiada extensamente para detectar texto generado por IA, incrustar mensajes más ricos (por ejemplo, para rastreo de origen o sellado de tiempo) requiere tasas de incrustación más altas sin comprometer la calidad del texto ni su detectabilidad. Los enfoques algorítmicos existentes a menudo carecen de una caracterización precisa de la información teórica de las tasas alcanzables, lo que conduce a un rendimiento subóptimo. Además, los LLM estándar operan bajo restricciones estrictamente autoregresivas, lo que impide que los codificadores accedan a distribuciones de tokens futuros, limitando la aplicación de marcos teóricos de información no causales clásicos como la codificación Gelfand-Pinsker (GP).

Metodología y Modelo del Sistema
Los autores proponen un modelo autoregresivo por bloques inspirado en arquitecturas de predicción de múltiples tokens (por ejemplo, descifrado autoespeculativo). En este modelo, se otorga al codificador acceso no causal limitado a las distribuciones de tokens dentro de un bloque de longitud $n$ antes del muestreo, siempre que la verificación ocurra antes de la selección final del token. Esta abstracción cierra la brecha entre los LLM prácticos y los modelos de teoría de la información.

El enfoque técnico central involucra tres componentes principales:

1. Formulación de Teoría de la Información: El problema se modela como un canal con estado (la distribución base de tokens $S$) conocido de forma no causal en el codificador pero no en el decodificador. Los autores combinan la codificación Gelfand-Pinsker (GP) (para la incrustación de mensajes) con la codificación de resolubilidad de canal (para asegurar que la distribución marcada permanezca estadísticamente cercana a la distribución base, garantizando el encubrimiento).
2. Caracterización de la Capacidad: El artículo deriva una caracterización exacta de la capacidad de marca de agua multi-bit encubierta. La capacidad se define como la tasa máxima $R$ tal que la distancia de variación total (TV) entre la distribución marcada y la distribución base desaparece asintóticamente, mientras que la probabilidad de error de decodificación tiende a cero.
3. Implementación Algorítmica:
   • Proceso de Decisión de Markov Constrained (CMDP): Para manejar longitudes de bloque finitas y los efectos de memoria de los LLM, la optimización de distribuciones conjuntas a través de bloques se formula como un CMDP. Esto permite al sistema equilibrar las tasas de incrustación inmediatas con el impacto en la evolución futura del estado.
   • Codificación Polar: Se desarrolla una construcción explícita basada en códigos polares. El codificador utiliza la distribución conjunta aprendida para seleccionar conjuntos de índices para los bits del mensaje ($H_{enc} \cap L_{dec}$) y emplea una regla de cancelación sucesiva modificada para manejar dependencias a nivel de secuencia (estados no i.i.d.).
   • Uso de Clave Secreta: Se utiliza una clave secreta para cifrar (OTP) bits específicos del mensaje, proporcionando la aleatoriedad necesaria para el recubrimiento suave (soft-covering) y satisfacer la restricción de encubrimiento.

Contribuciones Clave

1. Propuesta de Modelo: Introducción de un modelo autoregresivo por bloques que permite el acceso no causal a las distribuciones de tokens dentro de los bloques, facilitando la adaptación de esquemas GP y de resolubilidad de canal para LLM.
2. Análisis de Capacidad: Derivación de la capacidad exacta de teoría de la información para la marca de agua multi-bit encubierta bajo acceso no causal al estado, expresada como $\max_{p(u|s), W(x|u,s)} [I(U; X) - I(U; S)]$ sujeto a restricciones de coincidencia de distribución.
3. Diseño de Algoritmo: Desarrollo de un algoritmo de marca de agua práctico que integra CMDP para optimizar distribuciones de codificación sobre múltiples bloques y códigos polares para una construcción explícita que alcanza la capacidad.

Resultados
Se realizaron experimentos numéricos utilizando LLaMA3.2 1B con una longitud de bloque de $L=8$ y $B=2$ bloques.

• Rendimiento: El algoritmo propuesto logra una tasa de error de bits (BER) inferior al 10% a una tasa de incrustación de 0.375 bits/token sobre longitudes de token cortas.
• Calidad: El método mantiene una degradación insignificante en la perplejidad (PPL) y la calidad del texto, medida por el mecanismo de puntuación del modelo base.
• Encubrimiento: El estudio demuestra que aumentar el número de claves secretas reduce la distancia promedio de Variación Total (TV), alineándose con las predicciones teóricas. Sin embargo, para longitudes de bloque finitas ($L=8$), la polarización es insuficiente para realizar completamente las restricciones de TV teóricas a tasas más altas, lo que conduce a una compensación donde exceder ciertos umbrales de tasa de clave puede degradar la efectividad del encubrimiento.

Significado y Afirmaciones
El artículo afirma proporcionar la primera caracterización exacta de teoría de la información de la capacidad de marca de agua multi-bit para LLM bajo un modelo que tiene en cuenta las restricciones prácticas de los LLM (específicamente, la relajación de la autoregresión estricta mediante la predicción de múltiples tokens). Al unificar la codificación GP y la resolubilidad de canal, el trabajo establece un límite superior teórico sobre las tasas alcanzables mientras garantiza el encubrimiento estadístico.

Los autores enfatizan que su enfoque ofrece un marco principista para incrustar mensajes que equilibra robustez, distorsión y encubrimiento. Reconocen que la implementación actual está limitada por la complejidad computacional de optimizar distribuciones de codificación y calcular parámetros de Bhattacharyya para longitudes de bloque más largas, identificando el diseño de aproximaciones escalables (por ejemplo, decodificación desacoplada o alternativas neuronales) como una dirección principal para trabajos futuros. El trabajo se posiciona como un paso fundamental hacia marcas de agua rigurosas y de alta capacidad para arquitecturas de LLM de próxima generación.