Optimal Watermark Localization in Mixed-Source Large Language Model Texts

En el panorama digital moderno, los grandes modelos de lenguaje se han convertido en herramientas poderosas para generar texto de apariencia humana, asistiendo en todo, desde la redacción de ensayos hasta la depuración de código. Sin embargo, esta capacidad trae consigo un desafío significativo: distinguir entre el texto escrito por un humano y el texto generado por una máquina. Para resolver esto, los investigadores han desarrollado una técnica llamada marca de agua (watermarking). Imagine una máquina que, mientras escribe, incrusta secretamente un patrón estadístico en su elección de palabras. Este patrón es invisible al ojo humano y no cambia el significado o el flujo del texto, pero actúa como una firma oculta que un verificador puede detectar si posee la clave correcta. Esto permite la autenticación de contenido generado por IA, ayudando a proteger la integridad académica y a prevenir la propagación de la desinformación.

No obstante, surge una complicación importante en el mundo real. Las personas rara vez utilizan el texto generado por IA exactamente como sale de la máquina. Editan, reescriben, parafrasean o eliminan partes de este antes de entregarlo o publicarlo. Estos cambios humanos pueden romper el patrón estadístico oculto, borrando la evidencia de la participación de la máquina en esas secciones específicas. Esto deja una pregunta difícil: si un documento es una mezcla de texto original de IA y ediciones humanas, ¿podemos determinar exactamente qué partes conservan aún la firma de la máquina y qué partes han sido alteradas más allá del reconocimiento? No se trata solo de saber si un documento contiene IA; se trata de encontrar las ubicaciones específicas donde la huella de la IA sobrevive.

Un equipo de investigadores de la Universidad de Stanford y la Universidad de Pensilvania ha abordado este problema tratándolo como una búsqueda estadística de señales ocultas dentro de una secuencia con ruido. Desarrollaron un nuevo método para localizar estas marcas de agua supervivientes al nivel de palabras individuales, o tokens, en lugar de simplemente mirar el documento como un todo. Su trabajo revela que encontrar estas ubicaciones específicas es fundamentalmente más difícil que simplemente detectar que un documento contiene IA. Además, descubrieron un límite estricto: es matemáticamente imposible separar perfectamente cada palabra escrita por una máquina de cada palabra escrita por un humano en un documento mixto, sin importar cuán sofisticado sea el método. Sin embargo, también crearon una nueva herramienta adaptativa que puede identificar con éxito las secciones escritas por la máquina que sobreviven con alta precisión, incluso sin saber exactamente cuánto se editó o cómo se generó originalmente el texto.

Los investigadores abordaron el problema comprendiendo primero la naturaleza del "ruido" creado por la edición humana. Cuando un humano edita un texto, puede reemplazar una palabra, insertar una nueva oración o eliminar una frase. Si la palabra original formaba parte del patrón oculto de la IA, reemplazarla rompe el vínculo. Los investigadores modelaron esto como una secuencia donde algunas posiciones aún mantienen la señal estadística original, mientras que otras han sido borradas. Definieron tres niveles de éxito para un sistema de detección. El primero es la detección global, que simplemente pregunta: "¿Hay algo de IA en este texto?". El segundo es el descubrimiento, que pregunta: "¿Podemos encontrar al menos algunas de las partes escritas por IA?". El tercero es la clasificación, que pregunta: "¿Podemos identificar perfectamente cada palabra escrita por la IA y cada palabra escrita por un humano?".

A través de su análisis, el equipo demostró que, si bien la detección global suele ser posible, encontrar las ubicaciones específicas es un desafío mucho más estricto. Demostraron que el descubrimiento es estrictamente más difícil que la detección porque requiere no solo detectar una señal, sino aislarla de un mar de ediciones humanas sin cometer demasiados errores. Más significativamente, demostraron que la clasificación perfecta es imposible bajo su modelo. Esto se debe a que algunas palabras escritas por máquinas, tras la edición, se parecen tanto a las palabras escritas por humanos que ningún test estadístico puede distinguirlas de manera fiable. Intentar capturar cada palabra de la máquina llevaría inevitablemente a acusar falsamente a palabras humanas de ser generadas por la máquina, y tratar de evitar acusaciones falsas significaría perder muchas palabras de la máquina. Por lo tanto, el objetivo debe ajustarse a encontrar un conjunto fiable de secciones escritas por la máquina en lugar de un mapa perfecto de todo el documento.

Para lograr este descubrimiento fiable, los investigadores desarrollaron un método llamado SPOT, que significa Scanning Pivots Over Thresholds (Escaneo de Pivotes sobre Umbrales). Este método funciona escaneando el texto y buscando palabras que exhiben un patrón estadístico que es inusualmente fuerte, lo que sugiere que probablemente fueron generadas por la IA y no fueron alteradas. El desafío consiste en establecer la sensibilidad adecuada para este escaneo. Si el escaneado es demasiado sensible, marcará demasiadas palabras humanas como generadas por la máquina. Si es demasiado estricto, perderá las palabras de la máquina que son más difíciles de detectar. SPOT resuelve esto ajustando automáticamente su sensibilidad basándose en los datos que observa. Estima qué parte del texto probablemente aún contiene la firma de la IA y luego selecciona un umbral que mantiene baja la tasa de falsas alarmas, capturando al mismo tiempo tantos signals verdaderos como sea posible. Esto permite que el sistema se adapte a diferentes tipos de documentos y estilos de edición sin necesidad de conocer los detalles específicos de cómo se creó o editó el texto previamente.

Los investigadores probaron su teoría y método mediante extensas simulaciones y experimentos con modelos de lenguaje reales. En sus simulaciones, crearon textos artificiales con diversos grados de edición y diferentes niveles de fuerza de la señal. Los resultados confirmaron sus predicciones teóricas: existe un límite claro donde encontrar las partes escritas por la máquina se vuelve posible, y un límite donde se vuelve imposible. Cuando la edición es demasiado pesada o la señal demasiado débil, el método falla correctamente al no encontrar un conjunto fiable de ubicaciones. Pero dentro del rango alcanzable, el método funciona con alta precisión. En experimentos utilizando un modelo de lenguaje real para generar texto y aplicando posteriormente ediciones humanas comunes, como sustituciones, inserciones y eliminaciones aleatorias, el método SPOT superó consistentemente a los enfoques existentes. Fue capaz de identificar una mayor fracción de las palabras escritas por la máquina que sobrevivieron, manteniendo bajo el número de acusaciones falsas.

El estudio también destacó cómo la dificultad de la tarea cambia según la naturaleza de la generación del texto. Cuando el modelo de lenguaje genera texto con alta aleatoriedad, hay más oportunidades para encontrar los patrones estadísticos ocultos, lo que facilita la localización. Cuando el modelo es más determinante, produciendo texto muy predecible, los patrones ocultos son más débiles y la tarea se vuelve más difícil. Los investigadores descubrieron que su método se mantuvo robusto en estas diferentes condiciones, aunque la precisión de la estimación inicial de cuánto texto fue editado sí influyó en el rendimiento. Señalaron que, si bien su método es altamente efectivo, la precisión de la estimación inicial de cuánto ocurrió la edición puede ser un cuello de botella, particularmente cuando el texto es muy predecible.

En última instancia, este trabajo proporciona un marco estadístico claro para comprender los límites de la localización de la marca de agua. Establece que, si bien no podemos reconstruir perfectamente la historia completa de un documento de fuente mixta, podemos identificar de manera fiable las partes que aún portan la marca de la máquina. Esta distincción es crucial para aplicaciones prácticas. Significa que, en lugar de esperar una solución perfecta que separe cada palabra, podemos construir sistemas que señalen con confianza las secciones de un documento que probablemente fueron generadas por IA. Esto permite una atribución más matizada, ayudando a educadores, editores e investigadores a comprender la procedencia del texto con mayor precisión. Los investigadores concluyen que su método adaptativo ofrece una forma práctica y teóricamente sólida de navegar la compleja realidad del texto de IA editado, proporcionando una herramienta que funciona bien incluso cuando las condiciones exactas de la creación del texto son desconocidas.