Resumen Técnico: El Backbone es Todo lo que Necesitas

Enunciado del Problema

El rápido avance de las imágenes sintéticas generadas por IA ha hecho necesaria la creación de sistemas de detección robustos. Aunque los Vision Transformers (ViT) se han convertido en la piedra angular de la detección moderna de deepfakes debido a su capacidad para generalizar entre clases de generadores no vistas, una vulnerabilidad crítica sigue siendo en gran medida inexplorada. La mayoría de los detectores actuales dependen de backbones ViT preentrenados y congelados, con solo una cabeza de clasificación superficial entrenada para la tarea específica.

La investigación adversaria existente se ha centrado principalmente en ataques de caja blanca (acceso total a los pesos y logits del modelo) o en la transferibilidad entre diferentes arquitecturas. Sin embargo, la vulnerabilidad específica de los ataques de caja gris—donde un adversario posee conocimiento del backbone ViT congelado pero carece de acceso a la cabeza de clasificación del detector objetivo, a los datos de entrenamiento o a las estrategias específicas de aumento de datos—ha sido pasada por alto. Este trabajo postula que el conocimiento del backbone por sí solo puede ser suficiente para comprometer la fiabilidad del detector.

Metodología: Ataque Adversario Iterativo con Sustituto (SIAA)

Los autores proponen el Ataque Adversario Iterativo con Sustituto (SIAA), un ataque de caja gris diseñado para operar enteramente dentro del espacio de características del detector objetivo. El ataque asume conocimiento únicamente del backbone ViT preentrenado y sus pesos.

La metodología se implementa en dos fases distintas:

Fase 1: Entrenamiento de la Cabeza de Procesamiento de Características (FP) Sustituta

Para cerrar la brecha entre la cabeza de clasificación objetivo desconocida y el backbone conocido, los autores entrenan un modelo sustituto compuesto por:

1. Componentes Congelados: El backbone ViT objetivo ($F(\cdot)$) y el codificador de texto CLIP ($G(\cdot)$).
2. Componente Entrenable: Una Cabeza de Procesamiento de Características (FP) ($H(\cdot)$) que comprende dos ramas lineales:
   • $L_t$: Procesa las incrustaciones de texto derivadas de los prompts (por ejemplo, "La imagen es real" frente a "La imagen es falsa").
   • $L_v$: Procesa las características visuales extraídas por el backbone ViT.

La Cabeza FP se entrena utilizando una pérdida de contraste multi-término para alinear las características visuales ($v'$) y las características textuales ($t'$) en un espacio de incrustaciones compartido. El objetivo es aproximar los límites de decisión de la cabeza de clasificación objetivo desconocida agrupando las características visuales alrededor de sus incrustaciones de texto correspondientes. La función de pérdida incluye:

• $L_{pull}$: Minimiza la distancia entre las características visuales y las incrustaciones de texto de la verdad fundamental.
• $L_{push}$: Impone un margen frente a las incrustaciones de texto de la clase adversaria.
• $L_{text}$: Garantiza la separación entre los dos grupos de incrustaciones de texto.

Fase 2: Despliegue y Optimización de Perturbaciones

Una vez entrenada la Cabeza FP, el ataque genera ejemplos adversarios sin acceder a los logits del objetivo.

• Función Objetivo: En lugar de maximizar la entropía cruzada sobre los logits, SIAA optimiza una función objetivo personalizada basada en la distancia $J$ en el espacio de características sustituto:
  $$J = \|v' - t'_y\|^2 - \|v' - t'_{1-y}\|^2$$
  Maximizar $J$ empuja la representación visual lejos de la clase de verdad fundamental y hacia la clase objetivo adversaria.
• Optimización: Un algoritmo de Descenso de Gradiente Proyectado (PGD) actualiza iterativamente la imagen de entrada $I_j$ para maximizar $J$, sujeto a una restricción de norma $\ell_\infty$ ($\epsilon = 8/255$) para garantizar la imperceptibilidad.

Contribuciones Clave

1. Vector de Ataque Novel: Introducción de SIAA, el primer ataque de caja gris diseñado específicamente para explotar backbones ViT congelados en la forense de imágenes sintéticas sin requerir conocimiento de la cabeza de clasificación.
2. Explotación del Espacio de Características: Demostración de que las perturbaciones adversarias pueden optimizarse eficazmente en un espacio de características sustituto alineado mediante aprendizaje de contraste texto-imagen, evitando la necesidad de acceso a logits.
3. Evaluación Exhaustiva: Evaluación sistemática del ataque bajo diversos niveles de conocimiento de caja gris, incluidos escenarios de aprendizaje con pocos ejemplos, aumentos de datos desconocidos y discrepancias en los conjuntos de datos.
4. Análisis de Transferibilidad: Evaluación de la transferibilidad entre modelos a través de diferentes backbones ViT (CLIP, Swin, DINOv2).

Resultados Experimentales

Los autores evaluaron SIAA frente a detectores basados en backbones CLIP, Swin y DINOv2 utilizando el conjunto de datos Synthbuster.

• Rendimiento frente a Líneas Base: SIAA superó significativamente a las líneas base de caja gris existentes (PGD-ViT y una variante lineal PGD-L).
  • Frente a detectores CLIP y Swin, SIAA logró Tasas de Éxito del Ataque (ASR) de 1.00 y 0.99 respectivamente, con AUCs post-ataque cercanas a 0.00, igualando efectivamente el rendimiento de los ataques PGD de caja blanca.
  • Frente a DINOv2, SIAA logró un ASR de 0.56. Los autores atribuyen la mayor resiliencia de DINOv2 a sus objetivos de entrenamiento auto-supervisado y al uso de tokens de registro, que crean un paisaje de pérdida más suave.
• Robustez frente a Desalineación (Estudios de Ablación):
  • Variaciones de la Cabeza de Clasificación: SIAA mantuvo un ASR $\geq 0.98$ incluso cuando la profundidad de la cabeza de clasificación del detector objetivo variaba (1, 2 o 3 capas).
  • Aprendizaje con Pocos Ejemplos: Con solo 100 muestras reales y 100 falsas para entrenamiento, SIAA logró un ASR de 0.985.
  • Aumento de Datos Desconocido: Cuando las estrategias de aumento de datos eran desconocidas, el ASR se mantuvo alto en 0.96.
  • Discrepancia en el Conjunto de Datos: En el escenario más restrictivo (conjunto de datos de entrenamiento diferente y aumento desconocido), SIAA aún logró un ASR de 0.70, atacando con éxito más del 50% de las imágenes clasificadas correctamente.
• Transferibilidad:
  • Las perturbaciones optimizadas en CLIP o Swin se transfirieron bien entre sí (ASR $\approx 0.56$).
  • Las perturbaciones optimizadas en DINOv2 mostraron una transferibilidad moderada hacia CLIP (ASR 0.31) y Swin (ASR 0.28), a pesar de que DINOv2 es altamente resistente como objetivo.

Significado y Afirmaciones

El artículo afirma que la dependencia de modelos fundacionales congelados en la forense de imágenes sintéticas introduce una "vulnerabilidad sutil pero crítica". El hallazgo principal es que el conocimiento del backbone por sí solo es suficiente para socavar la fiabilidad del detector, generando a menudo tasas de éxito de ataque comparables a las de los ataques de caja blanca.

Los autores enfatizan que esta vulnerabilidad persiste incluso bajo condiciones de desalineación total en cuanto a datos de entrenamiento, aumento de datos y arquitectura de la cabeza de clasificación. En consecuencia, el artículo aboga por una necesidad urgente de desarrollar defensas más resilientes que no dependan únicamente de la suposición de que ocultar la cabeza de clasificación proporciona seguridad adecuada. El trabajo destaca que el espacio de características de los ViT congelados, cuando se alinea con prompts semánticos, es lo suficientemente predecible como para ser explotado por adversarios con acceso limitado.