💬 NLP

Stability-Aware Feature Design for Robust Watermark Detection in Machine-Generated Text

Este artículo presenta el Pattern Stability Score (PSS), un novedoso marco de detección de marcas de agua que aprovecha las características estadísticas locales y la dinámica de estabilidad a través de variantes parafraseadas para mejorar significativamente la robustez frente a múltiples rondas de parafraseo y textos cortos, logrando un AUC más de 10 a 15 puntos porcentuales superior al de los métodos existentes, manteniendo al mismo tiempo una fuerte generalización a través de diversos modelos y dominios sin necesidad de reentrenamiento.

Autores originales: Sina Mansouri, Mohit Marvania, Abolfazl Safikhani

Publicado 2026-08-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sina Mansouri, Mohit Marvania, Abolfazl Safikhani

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el panorama digital moderno, los modelos de lenguaje extensos se han convertido en herramientas ubicuas, capaces de generar texto que imita la escritura humana con una precisión sorprendente. A medida que estos sistemas se integran en escuelas, redacciones de noticias e investigación científica, ha surgido un desafío crítico: cómo distinguir entre el contenido escrito por una persona y el contenido generado por una máquina. Una solución prometedora implica el "marcado de agua" (watermarking), una técnica en la que la máquina sesga sutilmente su elección de palabras durante el proceso de escritura. Imagine al modelo como un escritor que, mientras compone una historia, recibe la instrucción secreta de favorecer una lista específica y oculta de palabras. Para un lector casual, la historia se lee normalmente, pero para un detector que conoce la lista secreta, el texto revela un patrón estadístico que demuestra su origen artificial. Sin embargo, este método enfrenta un obstáculo significativo. Si un humano u otra computadora reescribe el texto para cambiar la redacción manteniendo el mismo significado —un proceso conocido como parafraseo—, el patrón oculto puede diluirse o dispersarse, causando que el detector falle. Esta vulnerabilidad es particularmente aguda cuando el texto es corto o cuando ha sido reescrito múltiples veces, dejando un vacío en nuestra capacidad para verificar la fuente de la información.

Investigadores de la Universidad George Mason han desarrollado un nuevo enfoque para cerrar esta brecha, cambiando el enfoque de intentar hacer que el marcado de agua sea más difícil de romper a hacer que el detector sea más inteligente para encontrarlo. En lugar de observar todo el texto como un único bloque de datos, su método, llamado Puntuación de Estabilidad de Patrones (Pattern Stability Score), divide el texto en pequeñas ventanas superpuestas para examinar la estructura local de la escritura. Observaron que, si bien un marcado de agua generado por máquina crea una firma estadística específica, la escritura humana no lo hace. Cuando una máquina reescribe su propio texto, el sesgo estadístico subyacente a menudo persiste en ciertos sectores, incluso cuando las palabras superficiales cambian. En contraste, cuando un humano reescribe un texto, los patrones estadísticos fluctúan aleatoriamente porque no hay una señal oculta que mantener. Los investigadores construyeron un sistema que rastrea estos patrones locales a través de múltiples versiones del mismo texto. Al medir qué tan estables permanecen estos patrones a medida que el texto es reescrito, el sistema puede identificar el marcado de agua incluso después de haber sido fuertemente alterado.

El equipo probó este método en tres tipos distintos de escritura: libros de largo formato, artículos de noticias y entradas de enciclopedia. Utilizaron varios modelos de lenguaje extensos diferentes para generar el texto original y luego sometieron esos textos a hasta ocho rondas de reescritura por parte de diferentes sistemas de IA. En estas rigurosas pruebas, el nuevo método demostró ser notablemente resiliente. Mientras que los detectores tradicionales que observan el texto como un todo vieron cómo su precisión caía significamente después de solo unas pocas rondas de reescritura, el nuevo enfoque mantuvo un alto rendimiento. Específicamente, el sistema logró una tasa de precisión de más del 91 por ciento incluso después de que el texto fuera reescrito ocho veces, mientras que otros métodos líderes, incluyendo complejos modelos de aprendizaje profundo, vieron cómo su precisión colapsaba a niveles cercanos al azar. Los investigadores también encontraron que su sistema funcionaba bien en textos cortos, un escenario donde los métodos anteriores solían tener dificultades, y que una sola versión de su detector podía manejar diferentes tipos de escritura y diferentes modelos de IA sin necesidad de ser reentrenado.

Un conocimiento clave que impulsó este éxito fue la comprensión de que los promedios globales ocultan la verdad. Cuando un texto es reescrito, la señal oculta no se borra de manera uniforme; algunas partes del texto conservan la huella del marcado de agua mientras que otras la pierden. Un detector que solo observa el recuento total de palabras marcadas a través de todo el documento pierde estas concentraciones de evidencia. Al deslizar una ventana a través del texto y analizar las estadísticas locales dentro de cada sección, el nuevo método captura estas concentraciones ocultas. Además, al comparar cómo se comportan estos patrones locales a través de diferentes versiones del texto, el sistema puede distinguir entre la persistencia consistente, aunque sutil, de un marcado de agua de máquina y la variación caótica de la reescritura humana. Este diseño consciente de la estabilidad permite al detector ignorar el ruido introducido por la reescritura y centrarse en la señal que permanece.

Las implicaciones de este trabajo se extienden más allá de la simple detección. Los investigadores demostraron que su método es práctico para el uso en el mundo real, requiriendo solo una fracción de la potencia de cómputo necesaria para sistemas más complejos. Puede procesar miles de documentos diariamente y opera con la rapidez suficiente para ser utilizado en situaciones de tiempo sensible. Es importante destacar que el método no requiere cambios en las máquinas que generan el texto; funciona como una herramienta independiente que puede aplicarse al contenido ya existente. Esto significa que vastos archivos de texto generado por máquinas podrían ser reevaluados para verificar su autenticidad sin necesidad de regenerar el contenido. El estudio sugiere que, al enfocarse en la estabilidad de los patrones locales en lugar de los promedios globales, podemos construir herramientas más robustas para verificar el origen del texto, ofreciendo una forma confiable de navegar en un mundo cada vez más lleno de contenido generado por máquinas.

Resumen Técnico: Diseño de Características Basado en la Estabilidad para la Detección Robusta de Marcas de Agua en Texto Generado por Máquina

Planteamiento del Problema

El despliegue generalizado de los Modelos de Lenguaje de Gran Escala (LLM) ha creado una necesidad urgente de distinguir el texto generado por máquinas de la escritura humana. Si bien el marcaje de agua (watermarking) ofrece una solución fundamentada al sesgar la selección de tokens hacia una "lista verde" oculta, los métodos de detección existentes enfrentan desafíos significativos de robustez. Específicamente, los detectores estándar que dependen de un $z$ -score global (que agrega el recuento total de tokens verdes) sufren una fuerte degradación del rendimiento cuando el texto se somete a parafraseo. Los ataques de parafraseo, particularmente las reescrituras de múltiples pasos, reordenan espacialmente o diluyen la señal de la marca de agua sin alterar necesariamente la semántica, lo que provoca que el agregado global pierca significancia estadística. Además, los métodos actuales tienen dificultades con textos cortos donde la evidencia es escasa, y muchos detectores basados en aprendizaje profundo no logran generalizar a través de diferentes dominios, LLMs o modelos de parafraseo sin un reentrenamiento.

Metodología

Los autores proponen el Pattern Stability Score (PSS), un marco centrado en el detector diseñado para explotar señales que el parafraseo preserva imperfectamente: la estructura local y la estabilidad a través de las profundidades de reescritura. La metodología consta de tres componentes principales:

1. Estadísticas de Ventana Deslizante Local

En lugar de agregar la evidencia sobre toda la secuencia, el método desliza una ventana (tamaño por defecto $w=50$ , salto $s=10$ ) a través de la secuencia de indicadores binarios (verde=1, rojo=0). Para cada ventana, calcula un conjunto de características de 20 dimensiones que capturan la concentración espacial y las dependencias de corto alcance:

Momentos del $z$ -score: Media, varianza, mínimo, máximo, asimetría y curtosis de los $z$ -scores locales.
Autocorrelación: Autocorrelaciones de rezago 1 y 2 de la secuencia de $z$ -score local.
Estadísticas de longitud de racha: Seis estadísticas de resumen de la racha consecutiva más larga de tokens verdes ( $R_i$ ) y seis estadísticas de su frecuencia ( $F_i$ ).

Estas características capturan bolsas de evidencia concentrada de la marca de agua que los tests globales promedian, y permanecen parcialmente intactas incluso cuando el parafraseo fragmenta las largas rachas de tokens verdes.

2. Pattern Stability Score (PSS)

Para abordar el parafraseo de múltiples pasos, el método introduce un funcional de estabilidad. Dada una un texto en una profundidad de parafraseo desconocida $j$ ( $x^{(j)}$ ) y sus parafraseos subsecuentes hasta la profundidad $K$ ( $x^{(j+1)}, \dots, x^{(K)}$ ), el detector calcula los $z$ -scores locales para cada posición de ventana a través de estas profundidades. El PSS para una ventana específica $i$ se define como la desviación estándar de los $z$ -scores locales a través de la trayectoria desde la profundidad $j$ hasta $K$ :
$PSS_i = \text{std}(z_i^{(j)}, z_i^{(j+1)}, \dots, z_i^{(K)})$

Racional: El texto con marca de agua exhibe patrones locales estables a través de las reescrituras porque el sesgo estadístico subyacente persiste a pesar de los cambios superficiales de tokens, lo que resulta en una baja variabilidad (bajo PSS). El texto humano, al carecer de este sesgo, muestra una alta variabilidad en los $z$ -scores locales a través de los parafraseos. El cálculo utiliza explícitamente la secuencia de parafraseos comenzando desde la profundidad actual $j$ hasta $K$ para asegurar al menos dos puntos para la desviación estándar, en lugar de incluir el texto original $D_0$ en el cálculo para una profundidad $j$ específica.

3. Clasificación Híbrida

El vector de características final concatena los valores de PSS (perfil de estabilidad) con las características locales estáticas de 20 dimensiones. Este vector híbrido se introduce en un clasificador supervisado ligero (por ejemplo, XGBoost). El enfoque está diseñado para ser "solo detector", lo que no requiere cambios en el flujo de generación o en la arquitectura del modelo.

Contribuciones Clave

Detección Basada en la Estabilidad: Introducción de PSS, una medida fundamentada que captura la persistencia de las señales de marca de agua a través de las profundidades de parafraseo, integrada con estadísticas de ventana deslizante local para mejorar la granularidad de la detección.
Diseño de Características Híbridas Compactas: Construcción de un conjunto de características de 20 dimensiones que incorpora momentos estadísticos, autocorrelaciones y propiedades de longitud de racha. Esta representación mantiene el poder discriminativo bajo un parafraseo agresivo y en regímenes de textos cortos.
Robustez Bajo Estrés Adversario: Evaluación sistemática que demuestra que PSS supera consistentemente a las líneas base de $z$ -score global y a los métodos de aprendizaje profundo de vanguardia (por ejemplo, DeepTextMark, Binoculars, RADAR) a través de múltiples conjuntos de datos (PG-19, CNN/DailyMail, WikiText) y hasta ocho rondas de parafraseo.
Generalización de Dominio Cruzado: Demostración de que un único clasificador universal, entrenado en una configuración (LLM, parafraseador, dominio), se generaliza efectivamente a configuraciones no vistas sin reentrenamiento, manteniendo un AUC alto incluso cuando todos los componentes difieren del conjunto de entrenamiento.
Análisis de Sensibilidad Exhaustivo: Confirmación empírica de que el método permanece robusto ante variaciones en el tamaño de la ventana, el salto, la longitud de entrada y los parámetros de la marca de agua (razón de la lista verde $\gamma$ ).

Resultados Experimentales

Las evaluaciones se realizaron en tres conjuntos de datos de referencia utilizando Llama-3-8B y Qwen2-7B para la generación, y Mistral-7B, Qwen2-7B y Gemma-7B para el parafraseo.

Rendimiento vs. Profundidad de Parafraseo: En 1,500 tokens y profundidad $D_8$ (ocho rondas de parafraseo), el método propuesto PSS + Static alcanzó un 91.2% de AUC. En contraste, las líneas base de aprendizaje profundo colapsaron al 41–44% de AUC, y la línea base de $z$ -score global cayó al 66.8%.
Robustez en Textos Cortos: El método mantuvo un rendimiento superior en textos de tan solo 300 tokens, donde las estadísticas globales suelen fallar debido a la falta de evidencia.
Transferencia de Dominio Cruzado: Al ser entrenado en PG-19 y probado en CNN/DailyMail, PSS mantuvo entre 83.8–88.6% de AUC a través de las profundidades, mientras que los métodos de aprendizaje profundo cayeron a un rendimiento cercano al azar (29–46% de AUC).
Clasificador Universal: Un clasificador entrenado en una sola configuración (Llama-3 + Mistral + PG-19) logró un 92.6% de AUC en $D_1$ y un 87.8% de AUC en $D_8$ cuando se probó en una configuración completamente diferente (Qwen2 + Qwen2 + WikiText).
Ataques Adaptativos: Bajo ataques adaptativos optimizados por DPO dirigidos al $z$ -score global, PSS mantuvo un >80% de AUC, mientras que la línea base global cayó a un nivel cercano al azar (~52%).
Eficiencia: El flujo de detección requiere solo de 0.8 a 3.2 segundos por documento y aproximadamente 200MB de memoria, lo que permite un procesamiento de alto rendimiento sin la pesada carga computacional de los detectores basados en transformadores.

Significado y Reivindicaciones

El artículo sostiene que el enfoque propuesto aborda brechas críticas en la detección de marcas de agua: la robustez al parafraseo de múltiples pasos y la estabilidad en textos cortos. Al desplazar el enfoque de modificar el generador hacia la mejora del detector, el método ofrece varias ventajas prácticas:

Compatibilidad de Despliegue: Funciona con esquemas de marcaje de agua de lista verde existentes (por ejemplo, SynthID-Text) sin requerir cambios en los flujos de generación o arquitecturas de modelos.
Aplicabilidad Retroactiva: Puede identificar marcas de agua en contenido generado previamente sin necesidad de regeneración.
Defensa en Profundidad: Trata la marca de agua como una señal fija y extrae evidencia a través de múltiples lentes estadísticas, evitando las nuevas superficies de ataque introducidas por esquemas de generación complejos y adaptativos.

Los autores posicionan este trabajo como un paso hacia la optimalidad teórica para esquemas de marcaje de agua fijos, extrayendo toda la información disponible (estructura local y estabilidad) antes de declarar la necesidad de mecanismos de marcaje de agua más fuertes y complejos. El método se presenta como una solución práctica y de baja sobrecarga para la atribución en el mundo real en ámbitos como la educación, el periodismo y las políticas científicas.