Watermark Forensics for Generative Models: An Information-Theoretic Perspective

Resumen Técnico: Forense de Marcas de Agua para Modelos Generativos: Una Perspectiva de la Teoría de la Información

Planteamiento del Problema
El artículo aborda las capacidades forenses de las marcas de agua en modelos generativos, yendo más allá de la pregunta binaria de "¿es este contenido de origen artificial?" (detección) hacia una jerarquía de tareas más complejas: atribución (identificar qué uno de $N$ usuarios generó el contenido), extracción (recuperar una carga útil oculta) y localización (identificar la región específica del contenido que porta la marca). Los autores argumentan que la literatura existente trata estos como problemas dispares con soluciones ad-hoc, confundiendo a menudo el mecanismo de incrustación (por ejemplo, "incrustar" un patrón frente a "sesgar" una distribución) con los límites fundamentales de la teoría de la información sobre lo que puede ser recuperado. La cuestión central es: ¿cuál es la complejidad de muestra (longitud $n$) requerida para cada tarea forense, y cómo se relacionan estos costes con las restricciones de calidad de la marca de agua (fidelidad, presupuesto de distorsión o entropía)?

Metodología y Marco de Trabajo
Los autores introducen un marco unificado organizado alrededor de un único objeto: el perfil de información $\nu(t)$.

• Definición: $\nu(t) := I(S; X_t | X_{<t})$, donde $S$ es el secreto (identidad del usuario o carga útil), $X$ es el portador generado (secuencia de tokens), y $X_{<t}$ representa los tokens precedentes. Esto mide la información sobre $S$ revelada por el $t$-ésimo token, condicionado al pasado.
• La Escalera Forense: El artículo modela las tareas forenses como una escalera de problemas estadísticos:
  • Nivel 0 (Detección): ¿Está presente la marca? (Línea base ciega al mecanismo).
  • Nivel 1 (Atribución): ¿Qué usuario de $N$?
  • Nivel 2 (Extracción): ¿Cuál es la carga útil de $\ell$ bits?
  • Nivel 3 (Localización): ¿Dónde está la marca? (Robusta al recorte/cropping).
• Modelos de Calidad: El marco unifica dos modelos de calidad distintos encontrados en la literatura como "topes de norma" sobre el mismo perfil $\nu$:
  1. Distorsión Limitada (Sesgo) $B(\Delta)$: La marca es sutil en cada token, imponiendo un tope $L_\infty$ ($\nu(t) \le \Delta$). Ejemplos: marcas de agua de "Green-list".
  2. Huella (Incrustación) $E(m)$: La marca está concentrada en un pequeño conjunto de posiciones (huella $T$ con $|T| \le m$), imponiendo un tope $L_0$ ($\nu(t) = 0$ para $t \notin T$). Ejemplos: Tree-Ring.
• El Presupuesto de Recuperación Forense: Por la desigualdad de procesamiento de datos, la información total recuperable está acotada por la masa del perfil: $\Phi(n) = \|\nu\|_1 = I(S; X)$. Este presupuesto financia tanto la atribución como la extracción.

Contribuciones Clave y Resultados

1. Cerrando la Columna de Entropía (Atribución en Regímenes Libres de Distorsión):

   • El artículo establece la primera ley de complejidad de muestra ajustada para la atribución multiusuario en esquemas estadísticamente libres de distorsión (donde la salida promediada por la clave es indistinguible de la distribución natural).
   • Resultado: Para una fuente estacionaria-ergódica con tasa de entropía $h$, atribuir un texto a uno de $N$ usuarios cuesta $n_{att} = \Theta(\log N / h)$ tokens.
   • Mecanismo: Los autores proponen un decodificador de umbral de extrañamiento (surprisal-threshold decoder). A diferencia de los decodificadores de "consistencia" ingenuos que cuentan coincidencias de claves (los cuales sufren la "trampa de colisión" y requieren $n \approx \log N / r_2$, donde $r_2$ es la tasa de Rényi-2), el decodificador de extrañamiento acepta una clave solo si el extrañamiento realizado $-\log p_{nat}(X)$ excede un umbral $\tau = \log(N/\delta)$. Esto logra la tasa de Shannon $h$ con una garantía de falso positivo por inocente exacta y no asintótica ($\delta/N$).
   • Significancia: Esto resuelve la brecha entre la de la de la cónversa (cota de Fano) y la alcanzabilidad, mostrando que la tasa de entropía de Shannon, no la tasa de colisión, gobierna la complejidad de la decisión.

2. La Brecha Forense (Detección vs. Atribución):

   • El artículo demuestra que la detección y la atribución son costes fundamentalmente diferentes. La detección es una prueba de dos puntos fija que cuesta $\Theta(1/\Delta)$ (o $\Theta(\lambda/h)$ para casos libres de distorsión), independiente de $N$. La atribución requiere extraer $\log N$ nats de identidad.
   • Resultado: Existe una ventana de "brecha forense" donde un texto es detectable (error $\to 0$) pero no atribuible (error $\to 1$). Específicamente, para esquemas de sesgo (biasing), la atribución requiere $n \approx \log N / \Delta$, mientras que la detección se satura mucho antes.
   • Implicación: Un texto puede probarse como de origen artificial sin ser atribuible a un usuario específico.

3. Desacoplamiento vía Huella (Los Dos Modelos de Calidad):

   • El artículo formaliza la distinción entre esquemas de "sesgo" (soporte completo) e "incrustación" (huella pequeña).
   • Resultado:
     • Sesgo ($B(\Delta)$): La atribución cuesta $\Theta(\log N / \Delta)$. El coste está acoplado al presupuesto de distorsión; hacer la marca más sigilosa ($\Delta \to 0$) hace que la atribución sea infinitamente costosa.
     • Incrustación ($E(m)$): La atribución cuesta $\Theta(\log N / \log q)$, independiente de cualquier tope de distorsión por token. La imperceptibilidad se logra mediante una huella evanescente ($m/n \to 0$), no mediante una distorsión sutil por token.
   • Limitación: El artículo señala que, aunque el desacoplamiento de la teoría de la información existe, el único testigo conocido (un "sello de dígito") no es robusto a la edición. Se encuentran que los esquemas desplegables que localizan (ej. SEAL, EditGuard) son de soporte completo (sesgo), pero logran la localización mediante una lectura de grano fino, no mediante huellas pequeñas.

4. Localización y el Principio de Incertidumbre:

   • El artículo deriva un principio de incertidumbre de resolución de huella para la localización robusta al recorte (crop-robust).
   • Resultado: Para localizar una marca en una ventana de tamaño $w$ de forma robusta contra el recorte, la huella del portador debe satisfacer $|R| \cdot w = \Omega(n)$.
   • Implicación: Un esquema de incrustación de huella pequeña ($m = o(n)$) no puede ser robusto al recorte en una resolución fina. La localización de resolución fina obliga a la marca a tener soporte completo (sesgo), descartando efectivamente los esquemas de huella pequeña para tareas de localización robusta.

5. Validación Empírica:

   • Los autores validan la "trampa de colisión" en modelos de lenguaje reales (GPT-2, Pythia-410M, Qwen2.5). Miden la razón $h/r_2 \approx 1.6$ a través de los modelos, confirmando que los decodificadores de consistencia ingenuos sobrestiman el coste por este factor respecto al decodificador óptimo de umbral de extrañamiento.
   • Los experimentos con la marca de agua de "Green-list" confirman la brecha forense: la detección se satura en $\approx 28$ tokens, mientras que la precisión de la atribución se retrasa significamente, creciendo linealmente con $\log N$.

Significancia y Reivindicaciones
El artículo afirma proporcionar las primeras leyes de complejidad de muestra ajustadas y de dos lados para la atribución y la extracción en modelos generativos.

• Unificación: Unifica diversas tareas forenses (detección, atribución, extracción, localización) y modelos de calidad (sesgo vs. incrustación) bajo una única medida: el perfil de información $\nu(t)$.
• Impacto Regulatorio: Los autores argumentan que las regulaciones actuales (ej. la Ley de IA de la UE) a menudo presumen un "objeto extraíble" (ontología de incrustación). Los resultados del artículo muestran que para las marcas de agua de sesgo (la clase dominante en la práctica), tales mandatos conllevan un coste de muestra divergente ($\Theta(\log N / \Delta)$) a medida que la marca se vuelve más sigilosa, mientras que los esquemas de incrustación ofrecen un coste fijo pero están actualmente limitados por restricciones de robustez.
• Problemas Abiertos: El artículo identifica explícitamente la falta de un esquema de atribación libre de distorsión y robusto a la edición como el problema abierto más agudo. Aunque la tasa teórica $\Theta(\log N / h)$ está resuelta, el testigo existente (alineación exacta) no es robusto a las ediciones. Sigue siendo abierto si un decodificador robusto a la edición puede alcanzar esta tasa o si está forzado de nuevo al coste superior de Rényi-2.

En resumen, el artículo postula que el poder forense de una marca de agua no está determinado por la mecánica de su incrustación, sino por la información que hace recuperable (el perfil $\nu$) y la geometría de su huella. Los "precios" de las tareas forenses están estrictamente gobernados por estas cantidades de la teoría de la información.