Resumen Técnico: GenRes y GenRes++ para la detección generalizada de imágenes generadas por IA

Planteamiento del problema

El rápido avance de la IA generativa, incluyendo los modelos GAN, los modelos de difusión y los procesos híbridos, ha producido imágenes generadas por IA (AIGIs) que son cada vez más indistinguibles de las fotografías reales. Esta capacidad plantea amenazas sociales significativas, incluyendo la desinformación, el robo de identidad digital y el fraude financiero. Los métodos de detección actuales enfrentan un desafío crítico de generalización: a menudo fallan al encontrarse con modelos generativos no vistos durante el entrenamiento.

Los detectores existentes generalmente se dividen en dos paradigmas, ambos de los cuales exhiben limitaciones:

1. Métodos basados en artefactos: Estos explotan las huellas dactilares específicas del generador (por ejemplo, artefactos de frecuencia, trazas de sobremuestreo). Aunque son efectivos en generadores conocidos, se degradan drásticamente en familias no vistas (por ejemplo, modelos de difusión) porque los mecanismos de síntesis subyacentes difieren.
2. Métodos de aprendizaje de representaciones: Estos proyectan las imágenes en espacios de incrustación (embeddings) sensibles a la falsificación (por ejemplo, CLIP). Sin embargo, típicamente codifican cada imagen de forma independiente, ignorando la estructura relacional inducida por el procesamiento generativo y fallando en capturar artefactos sutiles y trans-generadores.

El problema central es la falta de una señal de detección que sea invariante a la familia específica del generador pero que siga siendo sensible a las diferencias estadísticas fundamentales entre los datos reales y los sintéticos.

Metodología: GenRes y GenRes++

Los autores proponen GenRes y su extensión GenRes++, marcos de trabajo basados en el concepto de residuos generativos. La hipótesis central es que las imágenes reales y las sintéticas responden de manera diferente cuando son procesadas por un segundo modelo generativo (por ejemplo, restauración, superresolución o eliminación de ruido). Mientras que las imágenes reales producen salidas consistentes con su rico contenido de alta frecuencia, las AIGIs exhiben discrepancias residuales características porque las suposiciones inductivas de la red de transformación interactúan de manera no trivial con los sesgos distribucionales embebidos del generador de origen.

Arquitectura Central

El marco consta de cuatro componentes primarios:

1. Codificador de Visión Compartido con LoRA:

   • Tanto la imagen original ($I_0$) como $N$ variantes transformadas ($I_i$) son codificadas utilizando un PE-Core ViT (Vision Transformer) compartido.
   • El backbone se mantiene congelado para preservar las representaciones semánticas preentrenadas.
   • Se aplica LoRA (Low-Rank Adaptation) a las matrices de proyección de consulta (query), clave (key) y valor (value) de las capas de autoatención. Esto permite la adaptación de características específicas de la tarea con un número mínimo de parámetros entrenables (rango $r=6$).
   • Las características se proyectan en un espacio de incrustación compacto ($d=256$).

2. *Agregación de Atención Cruzada (CCA) - Solo GenRes++:*

   • En GenRes++, las incrustaciones de las $N$ imágenes transformadas se agregan en un único vector representativo ($g_{agg}$).
   • La incrustación de la imagen original ($z_0$) actúa como la consulta (query), mientras que las incrustaciones transformadas sirven como claves (keys) y valores (values).
   • Este mecanismo pondera adaptativamente las variantes transformadas, permitiendo que el modelo se enfoque en los residuos más informativos para un 입력 específico en lugar de tratar todas las transformaciones por igual.

3. Red de Tensores Neuronales (NTN):

   • La innovación central es el uso de una NTN para modelar la estructura relacional entre la incrustación original ($z_0$) y la incrustación transformada agregada ($g_{agg}$).
   • A diferencia de la simple resta o concatenación, la NTN calcula una interacción bilineal: $f = \tanh(z_0^\top W g_{agg} + [z_0; g_{agg}]^\top V + b)$.
   • El tensor de pesos de tercer orden $W$ captura dependencias de características cruzadas multiplicativas. Esto permite al modelo detectar cómo las perturbaciones en una dimensión de característica modulan otra, un patrón característico de los residuos generativos que no está ligado a los artefactos de un generador específico.

4. Cabeza de Clasificación:

   • El vector de características relacionales $f$ se pasa a través de una capa lineal y una función sigmoide para producir una probabilidad de clasificación binaria (Real vs. AIGI).
   • El entrenamiento utiliza la pérdida de Entropía Cruzada Binaria (BCE).

Estrategia de Entrenamiento

• Datos: El modelo se entrena con imágenes generadas por una única fuente (ProGAN) y se prueba en 19 generadores no vistos a través de familias GAN, "otros" y de difusión.
• Transformaciones: Se aplican cinco transformaciones generativas específicas para crear los pares relacionales: EnlightenGAN (mejora), GFPGAN (restauración), Real-ESRGAN (superresolución), FFDNet (eliminación de ruido) y CodeFormer (restauración).
• Optimización: Solo se actualizan los adaptadores LoRA, las capas de proyección, el módulo CCA, la NTN y la cabeza de clasificación.

Contribuciones Clave

1. Marco GenRes: Un nuevo marco de aprendizaje de representación relacional que modela las discrepancias entre imágenes originales y transformadas para mejorar la generalización entre generadores.
2. Red de Tensores Neuronales: El empleo de una NTN para capturar interacciones bilineales finas entre las incrustaciones de características, yendo más allá de las simples diferencias aditivas para explorar relaciones multiplicativas intrínsecas.
3. Extensión GenRes++: Un mecanismo de agregación adaptativa (Atención Cruzada) que fusiona múltiples variantes transformadas, permitiendo al modelo enfocarse dinámicamente en los residuos más informativos.
4. Evaluación Exhaustiva: Pruebas extensas en el benchmark UniversalFakeDetect a través de 19 modelos generativos no vistos, demostrando un rendimiento robusto donde los métodos existentes fallan.

Resultados Experimentales

Los métodos propuestos fueron evaluados en el conjunto de datos UniversalFakeDetect, que incluye 19 modelos generativos no vistos que abarcan GANs, modelos de difusión y otros procesos de síntesis.

• Desempeño: GenRes++ logró resultados de vanguardia con un 95.7% de Precisión media (mACC) y un 99.1% de Precisión media (mAP).
• Comparación: El método superó a todos los baselines, incluyendo métodos basados en CLIP (ej., UniFD, C2P-CLIP) y enfoques basados en frecuencia (ej., FreqNet, F3Net).
  • En modelos basados en GAN, GenRes++ mantuvo una precisión casi perfecta (>99%).
  • En modelos de la familia "Otros" (ej., SITD, SAN), logró ganancias significativas (ej., 99.4% en CRN, 99.5% en IMLE) donde otros métodos tuvieron dificultades.
  • En modelos de Difusión (LDM, Glide), demostró una fuerte robustez, superando a los baselines de transformación única.
• Estudios de Ablación:
  • Rango de LoRA: El rango $r=6$ proporcionó el equilibrio óptimo entre capacidad y generalización; rangos más altos llevaron al sobreajuste.
  • Backbone: El backbone PE-Core-G14-448 superó a CLIP ViT-L/14 y DINO ViT-L/14, debido a sus representaciones de textura de bajo nivel más ricas.
  • Fusión: La estrategia de fusión NTN superó significativamente a otras alternativas más simples (lineal, elemento a elemento, concatenación), confirmando la necesidad de capturar interacciones de orden superior.
  • Cantidad de Transformaciones: El desempeño alcanzó su punto máximo con $N=5$ transformaciones; añadir más transformaciones introdujo redundancia y ligeras fluctuaciones en el desempeño.

Significancia y Limitaciones

Significancia:
El artículo afirma que GenRes++ establece un nuevo paradigma para la detección de AIGI al cambiar del extracción de características aisladas al aprendizaje de residuos relacionales. Al modelar explícitamente cómo las imágenes sintéticas reaccionan al procesamiento generativo secundario, el marco captura una propiedad general de los medios sintéticos que se transfiere entre las familias de generadores sin requerir acceso a los generadores objetivo durante el entrenamiento. Esto aborda el cuello de botella crítico de la generalización ante la evolución rápida de los modelos generativos.

Limitaciones:
Los autores reconocen varias restricciones:

1. Costo Computacional: El requisito de pasar las entradas a través de cinco transformaciones generativas separadas y el diseño de múltiples ramas de la NTN resulta en costos de inferencia elevados (~4625 ms por imagen), lo que limita el despliegue en tiempo real.
2. Conjunto de Transformaciones Fijo: El conjunto actual de transformaciones es seleccionado manualmente. Dos de las transformaciones (GFPGAN, CodeFormer) son modelos de restauración facial, lo que puede sesgar la señal hacia el contenido facial.
3. Robustez ante Degradaciones Compuestas: Aunque es robusto a perturbaciones individuales (desenfoque, JPEG, ruido), el desempeño cae significativamente (a 84.9% ACC) cuando se aplican múltiples degradaciones simultáneamente, lo que sugiere vulnerabilidad ante procesos de "lavado" complejos.
4. Alcance: La evaluación se limita actualmente a imágenes estáticas y a los 19 generadores específicos del benchmark.

Trabajo Futuro:
Los autores proponen extender el aprendizaje de residuos generativos a la detección de deepfakes en video (aprovechando la consistencia temporal) y escenarios de falsificación multimodal (imagen, audio, texto). También planean investigar la destilación de transformaciones para reducir la carga computacional y la selección adaptativa de transformaciones para manejar diversos dominios de imagen.