Resumen Técnico: Oculto en Tokens a la Vista

Declaración del Problema

El avance rápido de la IA generativa, particularmente los modelos autoregresivos para modalidades continuas como el audio, ha creado una necesidad urgente de procedencia de contenido robusta. Si bien las técnicas de marcaje de agua para dominios discretos (por ejemplo, texto) están bien establecidas, su aplicación a modalidades continuas enfrenta un obstáculo fundamental: la incompatibilidad de retokenización.

En los modelos de audio autoregresivos, el contenido se genera como una secuencia de tokens discretos pero se sintetiza en una onda continua. Para detectar un marcaje de agua, la onda debe volver a codificarse (retokenizarse) mediante el códec. Sin embargo, debido a que los códecs neuronales priorizan la calidad de reconstrucción sobre la preservación exacta de índices, la secuencia retokenizada a menudo difiere de la secuencia generada original. Este "error de retokenización" hace que la señal del marcaje de agua, típicamente incrustada sesgando logits específicos de tokens, desaparezca rápidamente, especialmente a medida que aumenta el tamaño de la ventana de contexto ($h$). Las soluciones existentes intentan solucionar esto ajustando finamente los módulos del códec para que sean idempotentes, un proceso que es computacionalmente costoso, requiere acceso de caja blanca y anula la ventaja "sin entrenamiento" de los esquemas de marcaje de agua estándar.

Metodología

Los autores proponen Oculto en Tokens a la Vista, un método de marcaje de agua ligero y sin gradiente que aprovecha la redundancia estructural inherente al aprendizaje de representaciones discretas. En lugar de forzar al códec a ser idempotente, el método adapta el esquema de marcaje de agua a los patrones de error naturales del códec.

1. Análisis Estadístico de la Retokenización

El artículo modela primero el proceso de retokenización como un canal ruidoso. Derivan que la estadística de detección esperada (puntuación $z$) para un marcaje de agua KGW estándar (Kirchenbauer et al., 2023) decae exponencialmente con el tamaño de la ventana de contexto $h$ y la tasa de coincidencia de tokens $r$:
$$E[z|H_1] \propto \sqrt{N} \cdot r^{h+1}$$
Dado que $r < 1$ en modalidades continuas, la señal desaparece rápidamente. Los autores observan que, aunque las coincidencias exactas de tokens son raras, los tokens a menudo se confunden con un pequeño conjunto de "vecinos semánticos".

2. Reducción de Vocabulario mediante Detección de Comunidades

Para mitigar esto, los autores introducen un enfoque de agrupamiento de vocabulario:

• Construcción de Grafos: Codifican y recodifican un conjunto de datos de ondas para construir una matriz de confusión, tratando los tokens como nodos en un grafo y las frecuencias de confusión como pesos de las aristas.
• Detección de Comunidades: Utilizando algoritmos no supervisados (específicamente el método Leiden), identifican grupos estables de tokens que se confunden frecuentemente entre sí. Esto reduce efectivamente el tamaño del vocabulario de $|V|$ a un conjunto más pequeño de grupos.
• Marcaje de Agua a Nivel de Grupo: En lugar de sesgar tokens individuales, el sesgo del marcaje de agua se aplica a nivel de grupo. Tanto el historial de contexto (utilizado para la hash) como la selección del token actual se mapean a sus índices de grupo antes de aplicar la regla del marcaje de agua.

3. Mejora Teórica

Al operar a nivel de grupo, el método reemplaza la tasa de coincidencia de tokens $r$ con una tasa de coincidencia de grupos $r_{cl}$. Dado que $r_{cl} > r$ (los grupos agregan vecinos más cercanos), el término de decaimiento exponencial se convierte en $r_{cl}^{h+1}$, aumentando significativamente la puntuación $z$ esperada y la robustez de detección sin modificar el modelo generativo subyacente ni el códec.

Contribuciones Clave

1. Análisis Estadístico: Los autores proporcionan una cuantificación teórica de cómo los errores de retokenización degradan la detectabilidad del marcaje de agua, destacando el decaimiento exponencial de la señal con respecto al tamaño de la ventana de contexto.
2. Método sin Gradiente: Introducen un método novedoso de caja negra que descubre estructuras subyacentes de vocabulario mediante detección de comunidades y las destila antes de aplicar reglas de marcaje de agua. Esto preserva el paradigma sin entrenamiento.
3. Robustez y Calidad: El método logra robustez incorporada frente a modificaciones de audio y ruido de retokenización, minimizando al mismo tiempo la degradación de la calidad de audio percibida.

Resultados Experimentales

El método fue evaluado en modelos de audio autoregresivos de última generación, incluidos Moshi (conversación hablada) y MusicGen (generación de música), así como modelos de texto a voz como CosyVoice3 y Spark-TTS.

• Detectabilidad: El método propuesto aumenta la detectabilidad en varias órdenes de magnitud en comparación con las líneas base, incluidos los métodos "Base" (KGW crudo) y "WMAR" (códec ajustado finamente). Incluso con contexto de orden superior ($h=1, 2$), el método mantiene altas Tasas de Verdaderos Positivos (TPR) con Tasas de Falsos Positivos (FPR) muy bajas.
• Robustez: El marcaje de agua permanece detectable bajo diversos ataques, incluido el procesamiento de señales (suavizado, filtrado, ruido), compresión (MP3, DAC, EnCodec) y modificaciones temporales (recorte, desplazamiento). Si bien la desalineación temporal sigue siendo un desafío para todos los métodos basados en tokens, el método propuesto supera significativamente a las líneas base.
• Calidad de Audio: La evaluación utilizando las métricas de Distancia de Audio Fréchet (FAD) y Puntuación de Opinión Media (MOS) indica que el proceso de marcaje de agua no degrada severamente la calidad del audio. En muchos casos, las puntuaciones de calidad del audio marcado son comparables o mejores que las de las líneas base WMAR ajustadas finamente.

Significado y Afirmaciones

El artículo afirma establecer un nuevo estado del arte para los marcas de agua a nivel de token en multimedia. Su principal significado radica en demostrar que la fragilidad percibida del marcaje de agua de audio a nivel de token es solucionable no mediante entrenamiento invasivo de modelos, sino destilando el espacio de representación discreta aprendido por el modelo.

Los autores argumentan que la alineación estructural en el espacio latente (capturada mediante detección de comunidades) se traduce directamente en robustez en el dominio de la señal. Este enfoque ofrece una alternativa práctica y eficiente al ajuste fino de códecs computacionalmente costoso, haciendo que el marcaje de agua robusto para audio sintético sea más accesible y desplegable. El trabajo sugiere que la redundancia en el aprendizaje de representaciones discretas es una característica que puede explotarse para superar las limitaciones de las modalidades continuas.