Micro-Defects Expose Macro-Fakes: Detecting AI-Generated Images via Local Distributional Shifts

Resumen Técnico: Micro-defectos exponen Macro-falsificaciones (MDMF)

Enunciado del Problema
Los avances recientes en modelos generativos profundos, particularmente las arquitecturas basadas en difusión (por ejemplo, Stable Diffusion, DALL·E, Midjourney), han producido imágenes con alta fidelidad visual, haciendo que la distinción entre contenido real y generado por IA sea cada vez más difícil. Los métodos de detección existentes a menudo dependen de extractores de características preentrenados y tratan la detección como una tarea de clasificación global. Los autores argumentan que estos enfoques dependen en exceso del contenido semántico global, lo que diluye los artefactos forenses críticos a microescala. Los generadores modernos tienden a dejar irregularidades estadísticas dispersas y localizadas en lugar de inconsistencias globales. Cuando estas señales localizadas se agregan en una única representación global, a menudo son suprimidas por las características semánticas dominantes, lo que lleva a detectores que clasifican inadvertidamente basándose en la semántica del objeto (por ejemplo, "gato vs. perro") en lugar de en los artefactos de generación.

Metodología
El artículo propone Micro-defectos exponen Macro-falsificaciones (MDMF), un marco diseñado para amplificar desviaciones estadísticas sutiles y localizadas en discrepancias distribucionales macroestables. La metodología consta de tres componentes principales:

1. Firma Forense de Parches (PFS):

   • En lugar de procesar una imagen como un único vector global, MDMF descompone las imágenes en parches locales utilizando una columna vertebral de visión preentrenada congelada (por ejemplo, DINOv2).
   • Una función de proyección aprendible, $\phi_\theta$ (una MLP ligera), mapea estas incrustaciones semánticas de parches a un espacio latente forense dedicado.
   • Esta proyección se entrena para reparametrizar las incrustaciones, suprimiendo específicamente las variaciones semánticas mientras preserva y amplifica las irregularidades estadísticas introducidas por el proceso generativo. Esto crea una "firma" para cada parche que es dominante en artefactos en lugar de dominante en semántica.

2. Detección Distribucional mediante Discrepancia Media Máxima (MMD):

   • En lugar de agregar puntuaciones de parches mediante agrupación simple (lo que puede promediar señales dispersas), MDMF trata el conjunto de firmas de parches en una imagen como una distribución.
   • Emplea la Discrepancia Media Máxima (MMD) para cuantificar la diferencia distribucional entre las firmas de parches de una imagen de prueba y un conjunto de referencia de imágenes reales.
   • El marco utiliza un kernel gaussiano profundo para medir esta discrepancia. El objetivo de entrenamiento maximiza el criterio de potencia de prueba regularizado, optimizando tanto los pesos de proyección ($\theta$) como el ancho de banda del kernel ($\gamma$) para maximizar la separación entre las distribuciones reales y generadas.

3. Fundamento Teórico:

   • Los autores proporcionan un análisis teórico basado en un "modelo de defectos dispersos". Demuestran que bajo supuestos específicos (incrustaciones de parches subgaussianas y defectos localizados dispersos), el modelado de PFS por parches produce un desplazamiento medio demostrablemente mayor ($\Delta_{PFS}$) en comparación con la agrupación global ($\Delta_{global}$).
   • Específicamente, el desplazamiento escala con el número de parches $K$ (es decir, $\|\Delta_{PFS}\|^2 \approx K \|\Delta_{global}\|^2$), demostrando que el modelado local evita la dilución de las señales forenses.
   • El análisis establece además garantías de concentración de muestra finita, mostrando que la puntuación empírica de MMD separa de manera confiable las imágenes reales y generadas cuando la discrepancia a nivel poblacional es positiva.

Contribuciones Clave

• Nueva Perspectiva: El artículo introduce una perspectiva de detección distribucional que modela las imágenes como colecciones de evidencia visual localizada, argumentando que los artefactos generativos modernos se manifiestan como desviaciones estadísticas sutiles en lugar de inconsistencias globales.
• Firma Forense de Parches (PFS): Una representación aprendible que reparametriza incrustaciones semánticas en un espacio latente diseñado para suprimir invarianzas semánticas mientras amplifica los artefactos generativos.
• Marco MDMF: Un sistema de detección que agrega evidencia forense localizada mediante MMD. El análisis teórico establece una separación demostrable entre imágenes reales y generadas, y el método evita la necesidad de un ajuste complejo de umbrales asociado con la votación por parche.
• Evaluación Exhaustiva: Experimentos extensos en múltiples puntos de referencia (ImageNet, LSUN-Bedroom, GenImage, WildRF, LDMFakeDetect) y un estudio de caso sobre videos generados por OpenSora.

Resultados Experimentales

• Rendimiento en Puntos de Referencia: MDMF supera consistentemente a las líneas base más avanzadas (incluyendo CNNspot, Ojha, DIRE, PatchCraft, FatFormer y F-ConV) en diversos modelos generativos (GANs, Difusión, Transformers). En el punto de referencia ImageNet, MDMF logra un AUROC promedio de 95.65% y una AP de 97.07%, superando a los métodos anteriores basados en entrenamiento.
• Generalización: El método demuestra una generalización robusta a generadores no vistos, incluidos modelos de difusión recientes (por ejemplo, DiT, LDM) y modelos de generación de video (OpenSora), donde muchos detectores existentes se degradan significativamente.
• Robustez: MDMF muestra una resiliencia superior a perturbaciones comunes de postprocesamiento, incluida la compresión JPEG, el desenfoque gaussiano y el ruido gaussiano. La brecha de rendimiento entre MDMF y las líneas base se amplía a medida que aumenta la gravedad de la perturbación.
• Estudios de Ablación:
  • PFS vs. Global: Reemplazar la agrupación global con el modelado PFS mejora significativamente el rendimiento, confirmando que la evidencia localizada es más efectiva que las características globales dominadas por la semántica.
  • MMD vs. Agregación: Acoplar PFS con la optimización MMD produce un rendimiento superior al de PFS con atención simple o agrupación media, validando el enfoque distribucional.
  • Granularidad de Parche: El método exhibe una dependencia no monótona del tamaño del parche, con una granularidad intermedia (por ejemplo, $W=32$) que proporciona el compromiso óptimo entre capturar desplazamientos locales y mantener la estabilidad de la estimación.
  • Votación Rígida: MDMF supera a las estrategias de votación rígida a nivel de parche en todos los umbrales probados, demostrando que la prueba distribucional continua es más confiable que las decisiones discretas por parche.

Significado y Afirmaciones
El artículo afirma que MDMF proporciona un marco principiado y robusto para la detección de imágenes generadas por IA al cambiar el enfoque de la semántica global a las irregularidades estadísticas locales. Al demostrar matemáticamente que el modelado por parches amplifica los defectos dispersos y al demostrar empíricamente un rendimiento superior en diversos y desafiantes puntos de referencia (incluidos datos en el mundo real y cuadros de video), los autores argumentan que su perspectiva distribucional aborda efectivamente las limitaciones de los detectores actuales centrados en la semántica. El método se presenta como un paso significativo hacia una detección confiable en una era donde los modelos generativos producen contenido cada vez más realista y con artefactos dispersos. Los autores también destacan la interpretabilidad del método, ya que las firmas a nivel de parche permiten la visualización de evidencia forense localizada, ayudando en la auditoría de las decisiones de detección.