💬 NLP

Rethinking LLM Watermark Detection in Black-Box Settings: A Non-Intrusive Third-Party Framework

El artículo presenta TTP-Detect, un marco innovador de caja negra que permite la verificación no intrusiva de marcas de agua en modelos de lenguaje por parte de terceros, resolviendo la dependencia de claves secretas mediante el desacoplamiento de la detección de la inyección y el uso de modelos proxy para una auditoría independiente y robusta.

Autores originales: Zhuoshang Wang, Yubing Ren, Yanan Cao, Fang Fang, Xiaoxue Li, Li Guo

Publicado 2026-03-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhuoshang Wang, Yubing Ren, Yanan Cao, Fang Fang, Xiaoxue Li, Li Guo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que los Modelos de Lenguaje Grande (LLM), como los que escriben este texto, son como grandes fábricas de historias. Estas fábricas pueden producir millones de historias en segundos. El problema es que, si alguien usa una historia falsa para engañar a la gente o robar ideas, es muy difícil saber quién la escribió realmente: ¿fue un humano o la máquina?

Para solucionar esto, los dueños de las fábricas (los proveedores de IA) ponen un "secreto invisible" en sus historias. Es como si el fabricante de un billete de banco pusiera una marca de agua casi invisible que solo él puede ver con una luz especial. Esto se llama marcado de agua (watermarking).

El Problema: La Caja Negra y el Ladrón de Identidad

Hasta ahora, había un gran problema:

El Secreto: Solo el dueño de la fábrica tenía la "llave" (la clave secreta) para ver la marca de agua.
El Dilema: Si un juez o un auditor quería verificar si un texto era falso, tenía que pedirle la llave al dueño de la fábrica.
- Si el dueño se la daba, los hackers podrían robarla y borrar las marcas de agua o falsificar billetes perfectos.
- Si el dueño no se la daba, el auditor tenía que confiar ciegamente en lo que el dueño decía ("Sí, esto es falso", "No, esto es real"). ¡Pero el dueño podría estar mintiendo!

Necesitábamos a un Inspector de Confianza (Tercero de Confianza) que pudiera decir: "Este texto es falso" sin necesitar la llave secreta y sin que el dueño de la fábrica tenga que revelar sus secretos.

La Solución: TTP-Detect (El Detective de Patrones)

Los autores de este paper crearon TTP-Detect, un nuevo sistema para este Inspector. En lugar de buscar la "llave secreta", TTP-Detect usa un método inteligente basado en comparaciones.

Aquí tienes la analogía para entenderlo:

1. El Método de la "Firma de Paso" (No la huella dactilar)

Imagina que quieres saber si alguien caminó por un camino de barro.

El método antiguo: Necesitabas el molde exacto del zapato del sospechoso para comparar la huella.
El método TTP-Detect: No necesitas el zapato. Solo necesitas:
1. Pedirle al dueño de la fábrica que camine por el barro sin llevar sus zapatos especiales (texto normal).
2. Pedirle que camine con sus zapatos especiales (texto con marca de agua).
3. Observar las diferencias entre ambos caminos.

Ahora, cuando llega una historia sospechosa, el Inspector la compara con esos dos caminos de barro. Si la historia se parece más al camino de los "zapatos especiales" que al normal, ¡es una marca de agua!

2. El "Cuerpo de Entrenamiento" (El Modelo Proxy)

Para que el Inspector sea bueno, necesita entrenar a un ayudante (llamado proxy model).

Este ayudante es un robot que ha leído miles de historias normales y miles de historias con marca de agua.
El robot no sabe cómo se hizo la marca de agua, pero aprendió a sentir la diferencia. Es como un sommelier que puede distinguir un vino falso de uno real por el sabor, sin saber la receta química exacta del falsificador.

3. Los 4 Detectives (Módulos de Medición)

TTP-Detect no usa una sola regla, sino un equipo de 4 detectives que miran cosas diferentes:

Detective Local: Mira si las palabras vecinas en la historia se sienten "extrañas" o forzadas, como si alguien las empujara para que encajen en un patrón.
Detective Global: Mira la forma general de la historia. ¿Se parece a una montaña o a un valle? Las marcas de agua suelen cambiar la forma de la montaña.
Detective de Probabilidad: Se pregunta: "¿Qué tan seguro estaba el robot al escribir esta palabra?". A veces, las marcas de agua hacen que el robot elija palabras que no son las más obvias, pero que encajan en un código secreto.
Detective de Ritmo: Analiza si la historia fluye de manera natural o si tiene pequeños "tirones" estadísticos.

¿Por qué es genial esto?

Es como un juez imparcial: El Inspector (TTP) no necesita confiar en el dueño de la fábrica. Puede verificarlo él mismo.
Es a prueba de trucos: Incluso si alguien intenta borrar la marca de agua reescribiendo el texto (como un ladrón que intenta lavar un billete), TTP-Detect sigue viendo las "cicatrices" en la forma en que se escribió el texto.
Funciona con cualquier fábrica: No importa qué tipo de marca de agua use la fábrica (algunas cambian las palabras, otras cambian el orden). TTP-Detect es lo suficientemente flexible para detectar casi cualquier intento.

En resumen

TTP-Detect es como un detector de mentiras para textos generados por IA. En lugar de pedirle al mentiroso que muestre su credencial secreta, el detector simplemente compara el texto con ejemplos de "mentiras" y "verdades" que ha generado él mismo, y utiliza un equipo de expertos para decirte: "Este texto tiene el patrón de una máquina, no de un humano".

Esto permite que los reguladores, jueces y plataformas de internet auditen la IA de forma independiente, sin romper la seguridad de los sistemas ni depender de la buena voluntad de las empresas tecnológicas.

1. El Problema: La Dilema de la Verificación en Caja Negra

El artículo aborda una limitación fundamental en los actuales sistemas de marcaje de agua (watermarking) para Modelos de Lenguaje Grande (LLM):

Acoplamiento Secreto: La mayoría de los esquemas de marcaje de agua actuales (basados en claves privadas) vinculan estrechamente la inyección de la marca con su detección. Para verificar si un texto tiene una marca, el detector necesita acceso a la clave secreta o al esquema específico del proveedor.
Barrera para la Auditoría Independiente: Esto impide que terceros (como reguladores, tribunales o auditores) verifiquen la procedencia del contenido de forma independiente. Si un proveedor de servicios niega la presencia de una marca o un adversario intenta eliminarla, no hay un mecanismo neutral para resolver la disputa sin comprometer la seguridad de la clave o depender de la buena fe del proveedor.
Falta de Neutralidad: Los intentos recientes de "verificación pública" a menudo requieren que el detector esté diseñado específicamente para un esquema de inyección concreto, lo que impide su reutilización en modelos heterogéneos y mantiene la dependencia del proveedor.

Objetivo: Crear un marco de trabajo que permita a un Tercero de Confianza (TTP) detectar marcas de agua en un entorno de caja negra, sin acceso a claves secretas, estados internos del modelo o algoritmos de inyección.

2. Metodología: TTP-Detect

Los autores proponen TTP-Detect, un marco de trabajo pionero que desacopla la detección de la inyección. En lugar de buscar una señal absoluta basada en una clave, reformula la detección como un problema de prueba de hipótesis relativa.

A. Formulación del Problema

Dado un texto de consulta $t_q$ , el objetivo es determinar si es más consistente con la distribución de salida de un modelo con marca de agua ( $P_{wm}$ ) que con su contraparte sin marca ( $P_o$ ).

Hipótesis Nula ( $H_0$ ): $t_q \sim P_o$ (Texto sin marca).
Hipótesis Alternativa ( $H_1$ ): $t_q \sim P_{wm}$ (Texto con marca).

B. Componentes Clave del Marco

Extracción de Representaciones Basada en un Modelo Proxy:
- Dado que las señales de marca son sutiles, TTP-Detect utiliza un modelo proxy (ajustado mediante instruction tuning supervisado) para mapear los textos a un espacio de representación.
- Este modelo se entrena para discriminar entre pares de textos (con y sin marca) generados por el proveedor objetivo, amplificando así las discrepancias relevantes para la marca de agua en el espacio latente.
Construcción de Conjuntos de Referencia:
- El auditor (TTP) consulta al proveedor para generar dos conjuntos de referencia empíricos:
  - $\mathcal{T}_o$ : Textos generados sin marca.
  - $\mathcal{T}_{wm}$ : Textos generados con marca (usando el mismo prompt).
- Estos conjuntos sirven como anclajes locales para la hipótesis nula y alternativa.
Módulos de Medición Relativa Complementarios:
En lugar de depender de una sola métrica, TTP-Detect emplea cuatro módulos que capturan diferentes aspectos estadísticos de la marca:
- Prueba de Consistencia Local: Evalúa si la representación del texto de consulta está rodeada localmente por muestras con marca en el espacio de características (densidad de vecinos).
- Prueba de Geometría Global:
  - Puntuación de Mahalanobis: Mide la distancia estadística considerando la covarianza de las perturbaciones de la marca.
  - Puntuación de Energía (Energy Score): Una medida no paramétrica para capturar distribuciones irregulares que violan supuestos gaussianos.
- Prueba de Rango Adaptativo: Analiza los patrones de probabilidad de generación (log-likelihood) y volatilidad local. Utiliza un rango adaptativo para determinar si el texto se alinea más con la tendencia de los textos con marca en términos de fluidez global y variabilidad local.
Ensamble y Calibración:
- Las puntuaciones de los cuatro módulos se combinan mediante un ensamble ligero (regresión logística calibrada) para producir una puntuación final.
- El umbral de decisión se calibra estrictamente para controlar la tasa de falsos positivos (FPR), asegurando fiabilidad legal y regulatoria.

3. Contribuciones Principales

Nuevo Paradigma de Verificación: Introduce la primera formulación para la verificación de marcas de agua en caja negra agnóstica a la clave, permitiendo auditorías de terceros sin comprometer la seguridad del proveedor.
Marco Unificado TTP-Detect: Propone un sistema que trata la verificación como una prueba de hipótesis relativa, utilizando representaciones de proxy y medidas relativas complementarias para capturar huellas sutiles sin conocer el algoritmo de inyección.
Validación Empírica Robusta: Demuestra universalidad y robustez superiores frente a una amplia gama de esquemas de marcaje (desde KGW hasta SynthID y métodos sintéticos) y resiste diversos ataques de perturbación (edición, parafraseo).

4. Resultados Experimentales

Los experimentos se realizaron con modelos generadores (Llama-3.1-8B, OPT-6.7B) y un modelo proxy (Qwen2.5-3B).

Rendimiento General: TTP-Detect logra un rendimiento superior o comparable al estado del arte (incluyendo el esquema público UPV) en la detección de siete esquemas diferentes.
- Para esquemas basados en listas de colores (KGW, Unigram), alcanza un AUC > 0.99 e incluso F1 = 1.00 en algunos casos.
- Para esquemas que preservan la distribución (SynthID, Unbiased), donde la señal es más débil, TTP-Detect sigue siendo capaz de detectar discrepancias medibles, superando a las baselines existentes.
Robustez ante Ataques: El marco demostró una alta resistencia frente a seis tipos de ataques:
- Edición: Eliminación de palabras (Word-D), sustitución de sinónimos (Word-S, Word-S-BERT).
- Parafraseo: Reescritura global (Dipper-1, Dipper-2) y uso de GPT-5.1.
- En la mayoría de los casos, TTP-Detect mantuvo un AUC promedio de 0.98 para esquemas fuertes, superando a las soluciones basadas en claves públicas en escenarios de ataque realista.
Análisis de Ablación: Se demostró que la combinación de módulos es crucial. El módulo de "Prueba de Rango Adaptativo" fue el más influyente para la robustez general, mientras que la consistencia local y la geometría global aportaron estabilidad en diferentes escenarios.
Eficiencia: El costo computacional en el lado del TTP es bajo (< 2 segundos por consulta), siendo el mayor costo la generación de las muestras de referencia por parte del proveedor.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

Habilitador de Gobernanza Real: Resuelve el cuello de botella de la confianza en la auditoría de IA. Permite que reguladores y plataformas verifiquen el contenido generado por IA de manera independiente, sin depender de la transparencia del proveedor ni revelar secretos comerciales.
Neutralidad Técnica: Al desacoplar la detección de la inyección, el marco se vuelve reutilizable y aplicable a cualquier esquema de marcaje futuro, actuando como una capa de auditoría neutral.
Viabilidad Práctica: Demuestra que es posible realizar auditorías forenses de alta calidad en entornos de API (caja negra) con un costo computacional razonable, allanando el camino para la implementación de marcos regulatorios para el contenido sintético.

En resumen, TTP-Detect transforma la detección de marcas de agua de un proceso dependiente de secretos compartidos a una verificación estadística relativa robusta, sentando las bases para una gobernanza de IA más transparente y auditable.