Non-identifiability of Explanations from Model Behavior in Deep Networks of Image Authenticity Judgments

Título: No Identificabilidad de las Explicaciones del Comportamiento del Modelo en Redes Profundas de Juicios de Autenticidad de Imágenes

1. Planteamiento del Problema

Las redes neuronales profundas (DNN) han demostrado ser capaces de predecir con gran precisión los juicios humanos sobre la autenticidad de imágenes generadas por IA. Sin embargo, existe una brecha crítica: una alta capacidad predictiva no garantiza que el modelo utilice la misma información que los humanos, ni que las explicaciones generadas por el modelo (mapas de atribución o "heatmaps") revelen los verdaderos mecanismos cognitivos subyacentes.

El problema central abordado es la no identificabilidad de estas explicaciones. Específicamente, el estudio cuestiona si las explicaciones post-hoc (como Grad-CAM, LIME o enmascaramiento de píxeles) son robustas y consistentes. Si diferentes arquitecturas que predicen bien el comportamiento humano generan explicaciones contradictorias para la misma imagen, o si un mismo modelo genera explicaciones diferentes al ser reentrenado, entonces estas explicaciones no pueden considerarse evidencia válida de los procesos psicológicos humanos. Además, existe el riesgo de que los modelos aprendan a predecir la autenticidad basándose en correlatos de calidad de imagen (ruido, desenfoque, artefactos) en lugar de en cues específicos de autenticidad.

2. Metodología

Los autores utilizaron el conjunto de datos AIGCIQA2023, que contiene 2.400 imágenes generadas por IA con calificaciones humanas de Calidad, Autenticidad y Correspondencia. Tras filtrar categorías no realistas, se trabajó con 1.367 imágenes.

• Arquitecturas Evaluadas: Se utilizaron seis arquitecturas de visión por computadora preentrenadas y congeladas (frozen backbones): VGG-16, VGG-19, ResNet-152, DenseNet-161, EfficientNet-B3 y Barlow Twins (auto-supervisado). A cada una se le añadió una "cabeza de regresión" (un adaptador ligero) para predecir las puntuaciones de autenticidad humanas (MOS).
• Diseño Experimental:
  • Se generaron 10 variantes de cada modelo con diferentes semillas aleatorias (inicialización y partición de datos) para evaluar la consistencia interna.
  • Análisis de Varianza: Se utilizó correlación parcial para descomponer la varianza de la predicción: ¿El modelo predice la autenticidad basándose en la calidad de la imagen o en varianza única de autenticidad?
  • Métodos de Explicación: Se aplicaron tres técnicas para generar mapas de atribución:
    1. Grad-CAM: Basado en gradientes.
    2. MPM (Multi-scale Pixel Masking): Basado en perturbación (enmascaramiento de píxeles).
    3. LIME: Basado en modelos sustitutos locales sobre superpíxeles.
  • Métricas de Consistencia:
    • Intra-arquitectura: Correlación y IoU (Intersección sobre Unión) entre los mapas de las 10 variantes de un mismo modelo.
    • Inter-arquitectura: Correlación entre los mapas prototipo de diferentes arquitecturas.
  • Ensamblaje (Ensembles): Se probaron métodos de Bagging (promedio simple) y Stacking (meta-aprendizaje) para combinar las predicciones de los 60 modelos (6 arquitecturas x 10 variantes).

3. Contribuciones Clave

• Evaluación de la Robustez de las Explicaciones: Proporciona una de las primeras evaluaciones sistemáticas de la estabilidad de las explicaciones en el dominio de la percepción de autenticidad de imágenes, demostrando que la consistencia intra-arquitectura no garantiza consistencia inter-arquitectura.
• Desacoplamiento de Calidad y Autenticidad: Demuestra empíricamente que algunos modelos exitosos (específicamente la familia VGG) predicen la autenticidad humana simplemente rastreando la calidad técnica de la imagen, no cues específicos de autenticidad.
• Efecto Rashomon en Cognición: Evidencia que múltiples modelos con alto rendimiento predictivo pueden ofrecer explicaciones divergentes, lo que invalida el uso de un solo modelo como proxy de los mecanismos cognitivos humanos sin validación cruzada.
• Solución de Ensamblaje: Propone y valida que los modelos de ensamble no solo mejoran la precisión predictiva, sino que permiten generar mapas de atribución a nivel de imagen más robustos mediante técnicas de enmascaramiento (MPM).

4. Resultados Principales

• Rendimiento Predictivo: Los modelos alcanzaron un rendimiento moderado-alto, llegando a aproximadamente el 80% del "techo de ruido" (noise ceiling) humano (correlación PLCC ~0.62-0.63 para los mejores modelos como Barlow Twins).
• Dependencia de la Calidad:
  • Los modelos VGG-16 y VGG-19 lograron su rendimiento prediciendo principalmente la calidad de la imagen. Cuando se controló estadísticamente la calidad, su capacidad para predecir la autenticidad residual cayó a cero.
  • Modelos como Barlow Twins, ResNet-152 y EfficientNet-B3 mostraron una correlación residual significativa con la autenticidad tras controlar la calidad, indicando que aprendieron cues más específicos.
• Consistencia de las Explicaciones:
  • Intra-arquitectura: La consistencia fue generalmente alta dentro de la misma arquitectura (especialmente para Barlow Twins y EfficientNet-B3), y mayor para imágenes juzgadas como más auténticas.
  • Inter-arquitectura: La consistencia entre arquitecturas fue débil. Incluso modelos con buen rendimiento predictivo generaron mapas de atribución muy diferentes para la misma imagen. Las arquitecturas VGG mostraron patrones de explicación sistemáticamente distintos a los demás.
• Correlación con la Percepción Humana: La consistencia de las explicaciones (dentro de una arquitectura) se correlacionó positivamente con la puntuación de autenticidad humana para ciertos modelos (Barlow Twins, EfficientNet-B3), sugiriendo que las imágenes más auténticas tienen cues más consistentes y detectables.
• Ensamblajes: Los modelos de ensamble (Bagging y Stacking) superaron a todos los modelos individuales en precisión (RMSE más bajo, PLCC ~0.73). Además, permitieron generar mapas de atribución a nivel de imagen que segregaban espacialmente los elementos asociados a la autenticidad percibida.

5. Significado e Implicaciones

El estudio concluye que, en el estado actual de la tecnología, el éxito predictivo de un modelo de comportamiento no es suficiente para inferir los mecanismos cognitivos humanos.

1. Advertencia sobre la Explicabilidad Post-hoc: Las explicaciones generadas por modelos exitosos deben considerarse como evidencia débil de los mecanismos psicológicos subyacentes debido a la falta de consenso entre arquitecturas (efecto Rashomon).
2. Riesgo de Sesgo de Calidad: En tareas de autenticidad, existe un riesgo alto de que los modelos aprendan a predecir basándose en artefactos de baja calidad (ruido, compresión) en lugar de en la semántica de la imagen.
3. Nueva Dirección Metodológica: Se sugiere un marco de modelado donde la precisión predictiva y la consistencia de la explicación son dimensiones de evaluación separables. Cuando falta un consenso entre arquitecturas, el uso de modelos de ensamble se presenta como una solución viable para mejorar tanto la predicción como la generación de explicaciones agregadas.

En resumen, el trabajo advierte que confiar en una sola red neuronal para entender cómo los humanos juzgan la autenticidad de una imagen es metodológicamente inseguro, ya que diferentes modelos pueden llegar a la misma conclusión (predicción correcta) por razones fundamentalmente distintas (explicaciones divergentes).