Resumen Técnico: Huellas Digitales de Comportamiento de Codificadores de Visión en Modelos Generativos de Imagen-a-Imagen

Planteamiento del Problema

A medida que proliferan los sistemas comerciales de IA generativa de imagen-a-imagen (img2img), surge la necesidad crítica de comprender cómo estos sistemas de caja negra interactúan con las perturbaciones adversarias en el dominio de los píxeles (por ejemplo, Glaze, Mist, PhotoGuard). La literatura de atribución existente se centra principalmente en los resultados de texto-a-imagen (T2I) en entornos ciegos donde no existe una imagen de referencia. La atribución de img2img presenta un desafío metodológico distinto: por construcción, se dispone de una imagen de referencia limpia. El artículo aborda tres preguntas fundamentales:

1. ¿Cómo interactúan los sistemas comerciales de img2img con las perturbaciones adversarias de diferencia sub-perceptible (sub-JND)?
2. ¿Se pueden atribuir sistemas de IA específicos a partir de su comportamiento de salida cuando se dispone de una referencia limpia?
3. ¿Qué firmas de comportamiento dejan estos sistemas y están impulsadas por la arquitectura o por el paradigma de entrenamiento?

Metodología

El estudio emplea un marco de anclaje de referencia para analizar seis APIs de producción de img2img: gpt-image-1, Gemini 2.5 Flash Image, Flux Kontext, SDXL img2img, SD3 img2img y Qwen Image Edit.

Corpus de Datos

• Escala: 3,58 de llamadas API válidas (tras una tasa de éxito del 99.7%) derivadas de un corpus de 200 imágenes.
• Dominios: Fotografías de COCO val2017, retratos de CelebA-HQ-256 y generados por Flux.
• Repetición: Tres repeticiones por celda (imagen, IA).
• Perturbación: Un pipeline personalizado de contenido adaptativo aplica perturbaciones adversarias sub-JND ($L_\infty \le 0.10$, presupuesto JND 2.0) utilizando 120 pasos PGD contra un conjunto de codificadores de visión congelados.

Espacio de Características

Para cada imagen de salida $O$ y referencia limpia $R$ (redimensionada a 518×518), los autores computan un vector de características de comportamiento en 2D utilizando un codificador DINOv2 ViT-B/14 congelado:

1. patch_mean: La distancia de coseno promedio por parche entre los embeddings de tokens de la última capa de $O$ y $R$ sobre una cuadrícula de 37×37. Esto captura la modificación a nivel semántico.
2. ssim_clean: La similitud estructural de luminancia entre $O$ y $R$, capturando la preservación de la fidelidad visual a nivel de píxel.

Clasificación y Análisis

• Clasificación de Bandas: Las salidas se categorizan en bandas "ajustadas" (bajo patch_mean, $\le 0.25$) o de "deriva" (alto patch_mean, $> 0.25$) basadas en la distribución empírica.
• Atribución: Un clasificador de centroide más cercano de dejar uno fuera (LOO - leave-one-out) opera en el plano de características 2D sin parámetros aprendidos, clasificando puntos dejados fuera basándose en la distancia euclidiana al centroide medio de cada IA.
• Rigor Estadístico: Los intervalos de confianza se derivan mediante un bootstrapping de conglomerados no paramétrico de 2,000 iteraciones a nivel de imagen para dar cuenta de la correlación dentro de la imagen.

Resultados Clave

1. Una Taxonomía de Dos Bandas según el Paradigma de Entrenamiento

Los seis sistemas se dividen en dos bandas de comportamiento distintas e invariantes a la imagen en el plano 2D:

• Banda Ajustada (Tight Band): Flux Kontext, Qwen Image Edit y Gemini. Estos modelos preservan estrechamente la estructura de entrada.
• Banda de Deriva (Drift Band): SDXL, SD3 y gpt-image-1. Estos modelos exhiben una deriva semántica significativa respecto a la entrada.

Hallazgo Crucial: La variable discriminante es el paradigma de entrenamiento, no la familia de arquitectura.

• Los modelos entrenados con datos de edición (supervisión emparejada de limpio-a-editado) se agrupan en la banda ajustada, independientemente de si son basados en difusión (Flux) o multimodales autorregresivos (Qwen, Gemini).
• Los modelos que son arquitecturas base de T2I adaptadas en el tiempo de muestreo (comenzando el proceso de eliminación de ruido desde una entrada parcialmente ruidosa) se agrupan en la banda de deriva, independientemente de si son de difusión (SDXL/SD3) o autorregresivos (gpt-image-1).

Descomposición de Varianza: La identidad de la IA explica el 69.5% de la varianza de comportamiento, mientras que el dominio de la imagen explica solo el 0.2%.

2. Precisión de Atribución

• Precisión LOO de seis vías: El marco anclado en la referencia logra una precisión del 51.4% [49.3, 53.4] entre seis IAs, superando significativamente la línea base de azar del 16.7%.
• Precisión Piloto: En un piloto enfocado de 3 IAs, la atribución por imagen (promediando tres repeticiones) alcanza el 82.2% [73.3, 90.0].
• Comparación con la Línea Base Ciega: Al probarse en el mismo corpus, los métodos de atribución ciegos (AEROBLADE y un codificador DINOv2 tipo PRISM) logran solo 0.222 y 0.373 de precisión, respectivamente. Los métodos ciegos funcionan al nivel del azar dentro de la "banda ajustada" (donde las salidas son copias fieles cercanas), mientras que el método anclado en la referencia tiene éxito.

3. Supervivencia de la Perturbación Diferencial

El estudio cuantifica cuánto sobrevive la señal adversaria al pipeline de img2img:

• Gemini: ~98% de la señal de perturbación sobrevive (casi intacta).
• Flux Kontext: ~80% sobrevive, a pesar de lograr una fidelidad visual de SSIM 0.99. El proceso de difusión actúa como un filtro selectivo, atenuando el contenido de la perturbación de alta frecuencia mientras preserva detalles perceptibles para humanos.
• gpt-image-1: La perturbación es efectivamente sobrescrita por la propia varianza generativa del modelo.

Significancia y Reivindicaciones

El artículo redefine los pipelines de perturbación en el dominio de los píxeles de herramientas puramente defensivas a primitivas forenses para la atribución de procesamiento de IA anclada en la referencia.

• Paradigma de Entrenamiento sobre Arquitectura: La principal contribución es demostrar que las huellas digitales de comportamiento están determinadas por si un modelo fue entrenado para la edición o adaptado de T2I en el tiempo de muestreo (banda de deriva), en lugar de la familia de arquitectura subyacente (Difusión vs. AR).
• La Necesidad de la Referencia: El estudio valida empíricamente que la imagen de referencia limpia es la señal "de carga" para la atribución. Los métodos ciegos fallan al no poder distinguir modelos que preservan las entradas (la banda ajustada), mientras que el enfoque anclado en la referencia tiene éxito al medir la desviación del original conocido.
• Medición Sistemática: Este trabajo proporciona la primera medición sistemática del "efecto de purificación por difusión" en los sistemas de img2img comerciales desplegados, mostrando que las tasas de supervivencia varían sistemáticamente con el paradigma de entrenamiento.

Los autores concluyen que, si bien el esquema requiere una imagen de referencia original retenida (limitando su aplicabilidad ciega), ofrece un umbral listo para el despliegue y un espacio de características de comportamiento validado para atribuir reproducciones casi fieles generadas por IA comercial, un régimen donde la detección ciega actualmente falla.