🤖 machine learning

dgMARK: Decoding-Guided Watermarking for Diffusion Language Models

El artículo presenta dgMARK, un método de marca de agua plug-and-play para modelos de lenguaje de difusión discreta que aprovecha su sensibilidad al orden de desmascarado de tokens para incrustar señales detectables mediante la selección de candidatos con restricciones de paridad, asegurando la robustez frente a diversas operaciones de edición de texto.

Autores originales: Pyo Min Hong, Albert No

Publicado 2026-06-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Pyo Min Hong, Albert No

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El gran problema: "¿Quién escribió esto?"

Imagina que los Modelos de Lenguaje Extensos (LLM) son escritores fantasma increíblemente talentosos. Pueden escribir historias, código y ensayos que parecen y suenan exactamente como si hubieran sido escritos por humanos. Pero esto crea un problema: si un mal actor utiliza estos modelos para escribir noticias falsas o correos de phishing, ¿cómo sabemos si no fue una persona real?

Necesitamos una forma de etiquetar el texto para poder demostrar: "Oye, una computadora escribió esto". Esto se llama marcado de agua (watermarking).

La forma antigua vs. La nueva forma

La mayoría de los métodos de marcado de agua actuales funcionan como un lanzamiento de moneda sesgado.

La analogía: Imagina a un chef (la IA) que normalmente elige ingredientes basándose en lo que sabe mejor. El método de marcado de agua antiguo obliga al chef a elegir un ingrediente "verde" (como un tipo específico de pimiento) el 60% de las veces, incluso si un ingrediente "rojo" (como un tomate) habría sabido mejor.
El fallo: Esto cambia el sabor del plato. El texto puede sonar ligeramente robótico o de menor calidad porque la IA está siendo forzada a tomar decisiones antinaturales solo para ocultar un código secreto.

El nuevo método: dgMARK (El "Controlador de Tráfico")

El artículo presenta dgMARK, un nuevo método diseñado específicamente para un tipo más reciente de IA llamado Modelos de Lenguaje de Difusión (dLLMs).

¿Qué es un Modelo de Difusión?
A diferencia de los modelos "Autorregresivos" antiguos que escriben oraciones estrictamente de izquierda a derecha (como un mecanógrafo), los modelos de Difusión son más como un solucionador de rompecabezas.

Comienzan con una página en blanco llena de signos de interrogación (máscaras).
Van llenando las palabras una por una, pero pueden llenarlas en cualquier orden que quieran. Pueden llenar primero la última palabra, luego la primera, luego la del medio.

La visión secreta
Los autores se dieron cuenta de que, aunque estos modelos deberían teóricamente funcionar de la misma manera independientemente del orden en que llenan los espacios, en la realidad son sensibles al orden. El orden en el que revelan las palabras cambia ligeramente el resultado final.

La analogía: El Controlador de Tráfico
En lugar de obligar al chef a elegir un ingrediente específico (cambiando el sabor), dgMARK actúa como un Controlador de Tráfico.

La IA mira todos los espacios vacíos en la página y dice: "Creo que podría poner un 'gato' aquí, o un 'perro' allá".
El Controlador de Tráfico (dgMARK) tiene una regla secreta: "Si la palabra que quieres poner coincide con un patrón secreto (como una comprobación de paridad), puedes pasar primero".
La IA sigue eligiendo la mejor palabra para ese lugar (el sabor no cambia), pero el orden en el que aparecen las palabras en la página es sutilmente guiado por la regla secreta.

Cómo funciona el código secreto

La "regla secreta" se basa en un truque matemático simple llamado paridad (números pares vs. impares).

Imagina que la IA está llenando una oración. Para cada posición (1ª palabra, 2ª palabra, etc.), hay una lista secreta de palabras "aprobadas".
Si la IA quiere llenar la 3ª palabra, y la palabra que quiere está en la lista de "aprobados" para el 3er lugar, dgMARK dice: "¡Genial! ¡Llena esa ahora!".
Si la palabra no está en la lista, la IA podría esperar un momento y llenar otro espacio primero.

A lo largo de un párrafo entero, esto crea un patrón estadístico. Si revisas el texto, encontrarás que las palabras aparecen en posiciones que coincen con el patrón secreto con más frecuencia de lo que permitiría el azar. Es como descubrir que un mazo de cartas ha sido sutilmente mezclado de modo que cada cuarta carta es siempre un Corazón.

Por qué esto es mejor

Sin cambio de sabor: Debido a que la IA sigue eligiendo la mejor palabra para el trabajo, el texto suena tan natural y de alta calidad como antes. El artículo muestra que la "perplejidad" (una medida de qué tan confuso es el texto) apenas cambia.
Difícil de eliminar: Si alguien intenta editar el texto (añadiendo, eliminando o intercambiando palabras), la lógica del "Controlador de Tráfico" deja una huella digital. El artículo utiliza un detector de ventana deslizante (como mirar el texto a través de una lupa en movimiento) para encontrar estos patrones incluso si el texto ha sido editado.
Plug-and-Play: Funciona con la forma de pensar existente de la IA. No necesitas reentrenar el modelo; solo añades esta capa de "Controlador de Tráfico" sobre el proceso de decodificación.

Los resultados

Los autores probaron esto en varios modelos avanzados (como LLaDA y Dream).

Detectabilidad: Podían identificar el texto con marca de agua con una precisión muy alta, incluso cuando el texto era editado o parafraseado.
Calidad: El texto con marca de agua era casi indistinguible del texto sin marca de agua en términos de calidad.
Robustez: Incluso si alguien intentaba "parafrasear" el texto (reescribirlo para ocultar la marca de agua), el método seguía siendo efectivo, especialmente cuando se utilizaba una función de "mirada hacia adelante" (donde la IA planifica un paso por delante para asegurar que el patrón continúe).

Resumen

dgMARK es una forma ingeniosa de marcar el texto de la IA mediante la orquestación del orden en el que se revelan las palabras, en lugar de forzar a la IA a elegir palabras específicas. Es como dirigir una orquesta: no le dices a los músicos que toquen las notas incorrectas (lo que arruinaría la música); simplemente les dices cuándo tocar sus mejores notas para que el ritmo siga un patrón secreto y detectable.

Resumen Técnico: dgMARK – Marcado de Agua Guiado por la Decodificación para Modelos de Lenguaje de Difusión

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLMs) presentan riesgos significativos en cuanto a desinformación, plagio y vulneración de derechos de autor, lo que requiere herramientas de procedencia fiables para distinguir el texto generado por máquinas del contenido de autoría humana. Si bien el marcado de agua es una solución práctica, los métodos existentes están diseñados predominantemente para modelos autorregresivos (ARMs) que generan texto estrictamente de izquierda a derecha. Estos métodos suelen sesgar las probabilidades de los tokens (por ejemplo, mediante la partición en listas de "verde/rojo") para incrustar señales. Sin embargo, los Modelos de Lenguaje de Difusión Discreta (dLLMs) operan de manera distinta: desenmascaran secuencias de forma iterativa y pueden finalizar los tokens en órdenes arbitrarios. En los dLLMs, el contexto del "token anterior" requerido por los ARMs suele estar indefinido durante la decodificación, lo que hace que los métodos de marcado de agua tradicionales basados en el sesgo de probabilidad sean ineficaces o requieran adaptaciones complejas que alteren la distribución de salida del modelo. Además, aunque los dLLMs ideales deberían ser invariantes al orden, los modelos prácticos exhiben sensibilidad al orden de decodificación, lo que crea una brecha entre la invarianza teórica y el comportamiento práctico que permanece infrautilizada para el marcado de agua.

Metodología: dgMARK
Los autores proponen dgMARK (Marcado de Agua Guiado por la Decodificación), un método que incrusta marcas de agua al dirigir el orden de decodificación en lugar de reponderar las probabilidades aprendidas del modelo. La premisa central es que los dLLMs seleccionan candidatos de alta recompensa en cada paso; dgMARK explota esto priorizando el desenmascaramiento de posiciones donde el token candidato satisface una restricción de paridad específica.

Restricción de Paridad: Dada una clave secreta $\xi$ , una función hash determinista $f(v, \xi)$ mapea cada token $v$ a un valor binario. Para una posición de decodificación $i$ , el "conjunto de coincidencia" $G_i$ contiene tokens donde $f(v, \xi) \equiv i \pmod 2$ .
Estrategia de Decodificación: Durante el proceso de decodificación, el algoritmo identifica los tokens candidatos para todas las posiciones no reveladas. Prioriza las posiciones $j$ donde el token predicho $v_j$ pertenece al conjunto de coincidencia $G_j$ . Entre estos candidatos válidos, se selecciona para el desenmascaramiento la posición con la mayor recompensa (basada en la estrategia de decodificación subyacente, por ejemplo, confianza, entropía o margen). Si ningún candidato satisface la condición de paridad, el sistema recurre al proceso de selección estándar.
Mirada hacia Adelante de un Paso (One-Step Lookahead): Para evitar que las elecciones codiciosas agoten las oportunidades futuras de coincidencia de paridad, dgMARK ofrece una variante que utiliza una búsqueda de haz (beam search) de top- $k$ con una mirada hacia adelante de un paso. Esta variante evalúa cuántas posiciones futuras permanecerían alineadas con la paridad si se comprometiera un token específico, seleccionando la ruta que maximiza la alineación futura.
Detección: La detección se basa en pruebas estadísticas de la tasa de coincidencia de paridad. Dado que la función hash está equilibrada, el texto no marcado debería exhibir una tasa de coincidencia cercana a 0.5. El texto con marca de agua exhibe una tasa significativamente elevada. Para garantizar la robustez frente a la edición posterior (inserciones, eliminaciones, sustituciones), el detector emplea un enfoque de ventana deslizante, agregando estadísticas $z$ a través de ventanas superpuestas para manejar los desplazamientos de índice.

Contribuciones Clave

Marcado de Agua Agnóstico al Orden: dgMARK es el primer método que utiliza el propio orden de decodificación como el canal principal para el marcado de agua en dLLMs, evitando la modificación directa de las probabilidades de los tokens.
Compatibilidad Plug-and-Play: El método funciona como un envoltorio (wrapper) alrededor de las estrategias de decodificación existentes (basadas en confianza, entropía o margen) y no requiere el reentrenamiento del modelo ni la alteración de sus parámetros internos.
Robustez: El mecanismo de detección de ventana deslizante asegura que la marca de agua siga siendo detectable incluso tras modificaciones significativas del texto, incluyendo el parafraseo y las ediciones a nivel de token.
Preservación de la Calidad: Al no sesgar explícitamente la distribución de probabilidad (logits), dgMARK busca minimizar la degradación de la calidad del texto en comparación con las líneas base de desplazamiento de probabilidad.

Resultados Experimentales
Los autores evaluaron dgMARK en conjuntos de datos de referencia (C4, Writing Prompts) utilizando dLLMs de última generación (LLaDA, LLaDA 1.5, LLaDA 2.0, Dream).

Detectabilidad: dgMARK logra una fuerte detectabilidad. Con una mirada hacia adelante de búsqueda de haz de 3 niveles, alcanza Tasas de Verdaderos Positivos (TPR) de casi el 100% con Tasas de Falsos Positivos (FPR) de 0.01% en el conjunto de datos C4, superando o igualando a las líneas base como KGW (Kirchenbauer et al., 2023) y PATTERN-MARK.
Calidad del Texto: El método incurre en una degradación mínima de la calidad del texto. Los aumentos de la perplejidad (PPL) son consistentemente menores que los observados con KGW y PATTERN-MARK. El rendimiento en las pruebas de referencia descendentes (MMLU, GSM8K, HumanEval) muestra solo caídas menores, con dgMARK preservando generalmente mejor la capacidad que los métodos de sesgo de probabilidad.
Robustez: Bajo ataques a nivel de token (inserción, eliminación, sustitución) con presupuestos de modificación de hasta el 40%, dgMARK mantiene altos puntajes de Área Bajo la Curva (AUC). También demuestra resiliencia contra ataques de parafraseo utilizando DIPPER y Llama 3, particularmente cuando se combina con la búsqueda de haz.
Escalabilidad: La detectabilidad mejora con la longitud de la secuencia, lo que hace que el método sea particularmente efectivo para tareas de generación de formato largo.

Significancia y Reivindicaciones
El artículo afirma que dgMARK establece el orden de decodificación como un canal de marcado de agua práctico y complementario para los dLLMs. Los autores enfatizan que su enfoque ofrece una ventaja distinta sobre los paradigmas existentes: logra una procedencia fiable sin la distorsión directa de las probabilidades condicionales aprendidas del modelo. El trabajo destaca que la sensibilidad inherente al orden de los dLLMs prácticos, a menudo vista como una limitación o un efecto secundario, puede aprovecharse como un control para la seguridad. Los autores señalan modestamente que la efectividad del método depende de la imperfección empírica de los modelos actuales (es decir, su sensibilidad al orden de decodificación), reconociendo que un dLLM perfectamente entrenado e invariante al orden haría teóricamente ineficaz este enfoque específico de marcado de agua. No obstante, para los dLLMs actuales y cercanos, dgMARK proporciona una solución robusta y de baja distorsión para la procedencia del contenido.