Resumen Técnico: ArcMark

Enunciado del Problema

El artículo aborda el desafío del marcado de agua de múltiples bits para Modelos de Lenguaje Grande (LLM). Si bien los métodos existentes pueden incrustar un solo bit (marcado de agua de cero bits) para detectar texto generado por IA, o incrustar múltiples bits extendiendo los principios de cero bits (por ejemplo, un bit por token), estos enfoques tienen una capacidad limitada. Los métodos actuales luchan por incrustar de manera fiable más de unos pocos bits en secuencias de cientos de tokens.

Los autores identifican una brecha crítica: las aplicaciones prácticas (como la incrustación de identificadores de usuario, versiones de modelos o el propio prompt) requieren la capacidad de incrustar múltiples bytes de información. Además, un "estándar de oro" para el marcado de agua en LLM es la incrustación sin distorsión, donde el proceso de marcado de agua no altera las predicciones promedio del siguiente token del LLM, preservando así la calidad del texto y la perplejidad. El artículo plantea dos preguntas centrales:

1. ¿Cuál es el límite teórico (capacidad) de la información que puede incrustarse en la salida de un LLM sin distorsionar las predicciones del siguiente token?
2. ¿Puede un esquema práctico acercarse a este límite para lograr una inserción fiable de múltiples bytes?

Metodología: ArcMark

Los autores presentan ArcMark, una construcción de marcado de agua basada en la teoría de códigos y el transporte óptimo. La idea central es replantear el marcado de agua de múltiples bits no como una secuencia de decisiones de token independientes, sino como un problema de codificación de canal con información lateral disponible tanto en el codificador (marcador de agua) como en el decodificador.

1. Formulación Teórica de la Información

Los autores modelan el LLM como un canal ruidoso donde el "ruido" es la aleatoriedad inherente de la distribución del siguiente token ($Q_{X_t}$). Derivan la capacidad de Shannon para el marcado de agua de múltiples bits sin distorsión.

• Restricción sin distorsión: La distribución marginal de los tokens marcados con agua debe ser igual a la distribución original del LLM en expectativa sobre la información lateral compartida: $E_{S_t}[Q_{X_t|S_t, M=m}] = Q_{X_t}$.
• Derivación de la capacidad: Bajo el supuesto de que las distribuciones del siguiente token son variables aleatorias independientes e idénticamente distribuidas (i.i.d.), la capacidad se define como la información mutua máxima $I(W; X)$ entre el mensaje codificado $W$ y la salida $X$, sujeta a la restricción sin distorsión.
• Límite teórico: Para una clase específica de distribuciones de tokens binarios, la capacidad se deriva como aproximadamente 0.2787 bits/token a medida que el tamaño del vocabulario tiende a infinito.

2. La Construcción de ArcMark

ArcMark logra una incrustación fiable mapeando el problema a un espacio geométrico y resolviendo un problema de optimización:

• Representación geométrica: El vocabulario de tokens, los símbolos de palabras de código del mensaje y las claves aleatorias compartidas se mapean todos a puntos en un círculo unitario (ángulos).
  • Los tokens se mapean a $2\pi i / N$.
  • Los símbolos del mensaje se mapean a $2\pi c / p$.
  • La información lateral (desplazamiento aleatorio) se mapea a $2\pi v / r$.
• Codificación (Codificación lineal): El mensaje de $k$ bits se mapea a un símbolo de palabra de código $C_m(t)$ utilizando un código lineal aleatorio sobre enteros módulo $p$. Este símbolo se combina con un desplazamiento aleatorio compartido $V_t$ para producir un ángulo objetivo $z_t$ en el círculo.
• Incrustación (Transporte óptimo): Para incrustar el mensaje sin distorsionar la distribución de salida del LLM, el marcador de agua debe seleccionar un token $X_t$ que esté "cerca" del ángulo objetivo $z_t$ mientras satisface la restricción sin distorsión. Esto se formula como un problema de Transporte Óptimo (OT).
  • El marcador de agua resuelve una distribución condicional $Q^*_{X_t|Z_t}$ que minimiza la distancia angular esperada entre el token seleccionado y el ángulo objetivo, sujeto a la restricción de que la distribución marginal coincida con la distribución original del LLM.
  • Esto se resuelve de manera eficiente utilizando el algoritmo de Sinkhorn.
• Decodificación: El decodificador observa la secuencia de tokens y la información lateral compartida. Estima los ángulos transmitidos, elimina la aleatoriedad compartida para recuperar los símbolos de la palabra de código y realiza una decodificación de distancia mínima sobre todos los mensajes posibles para recuperar el mensaje completo.

Contribuciones Clave

1. Algoritmo ArcMark: Un nuevo esquema de marcado de agua de múltiples bits sin distorsión capaz de incrustar múltiples bytes de información en unos pocos cientos de tokens.
2. Caracterización de la capacidad: Una derivación formal de la capacidad de Shannon para el marcado de agua de múltiples bits sin distorsión en LLM, planteando el problema como codificación de canal con información lateral.
3. Optimalidad teórica: Una prueba de que, bajo supuestos simplificadores específicos (distribuciones de tokens binarios), ArcMark alcanza la capacidad de Shannon derivada.
4. Validación empírica: Una evaluación exhaustiva que demuestra que ArcMark supera a los métodos existentes de múltiples bits (específicamente BiMark y MPAC) en precisión del mensaje y robustez, manteniendo al mismo tiempo propiedades sin distorsión.

Resultados Experimentales

Los autores evaluaron ArcMark en tres modelos de pesos abiertos (Llama3-8B, Mistral-7B, Qwen3-8B) utilizando el conjunto de datos C4-RealNewslike.

• Precisión del mensaje: ArcMark supera significativamente a BiMark en la recuperación del mensaje completo (precisión del mensaje), particularmente para cargas útiles más grandes (2, 3 y 4 bytes). Si bien la precisión de bits es importante, el artículo enfatiza la precisión del mensaje como la métrica operativa, señalando que un solo error de bit hace que todo el mensaje (por ejemplo, un ID de usuario) sea incorrecto.
• Robustez: ArcMark demuestra una robustez superior frente a ataques de parafraseo (específicamente traducción inversa al francés). Incluso con altas proporciones de ataque (30% de las oraciones parafraseadas), ArcMark mantiene una mayor precisión del mensaje que BiMark sin ataques.
• Propiedades sin distorsión:
  • Perplejidad: La perplejidad de ArcMark es casi idéntica a la línea base sin marcado de agua y más cercana que BiMark, confirmando la preservación de la distribución de salida del LLM.
  • Utilidad en tareas posteriores: En la respuesta a preguntas extractivas (SQuAD), la finalización de código de contexto largo (LCC) y la corrección funcional del código (HumanEval), ArcMark no muestra degradación significativa en comparación con la línea base sin marcado de agua.
• Detección de cero bits: ArcMark admite la detección de cero bits (determinar si un texto está marcado con agua) con alta precisión, alcanzando tasas de detección casi perfectas desde 150 tokens en adelante.

Significado y Afirmaciones

El artículo afirma replantear el marcado de agua de múltiples bits de un problema heurístico a un problema de codificación de canal con información lateral, una formulación que se remonta a Claude Shannon. Al cambiar la perspectiva hacia la capacidad y el diseño de códigos, los autores argumentan que la teoría de la información proporciona tanto una base matemática para comprender los límites de los marcados de agua en LLM como una vía constructiva para diseñarlos.

El significado de ArcMark radica en su capacidad para incrustar bytes (no solo bits) de información de manera fiable y sin distorsionar la calidad del texto. Esto habilita aplicaciones prácticas como el seguimiento de prompts de usuarios, versiones de modelos y instancias específicas de modelos, lo cual es crucial para la rendición de cuentas y el cumplimiento normativo. Los autores señalan que, al optimizar para la precisión a nivel de mensaje en lugar de la precisión a nivel de bit, se reduce el riesgo de atribución errónea.

El artículo concluye que, si bien su análisis de capacidad se basa en supuestos distribucionales específicos, el marco abre la puerta a caracterizaciones teóricas más amplias y al diseño de marcados de agua con mayores tasas de recuperación y garantías de robustez más fuertes.