How Do Diffusion Classifiers Decide? A Bias-Centric Evaluation

Resumen Técnico: ¿Cómo deciden los clasificadores de difusión? Una evaluación centrada en el sesgo

Planteamiento del problema
Los modelos de difusión han sido recientemente reconvertidos para la clasificación zero-shot mediante la selección del prompt de texto que minimiza el error de predicción de ruido (error de reconstrucción). Aunque estos "clasificadores de difusión" han demostrado una precisión competitiva, los mecanismos mediante los cuales alcanzan las decisiones de clasificación siguen siendo poco comprendidos. A diferencia de los modelos de visión-lenguaje discriminativos (por ejemplo, CLIP), donde los modos de fallo como la vinculación errónea de atributos y la dependencia del fondo están bien documentados, el perfil de sesgo y la lógica de decisión de los clasificadores de difusión permanecen mayoritariamente inexplorados. Esta falta de comprensión dificulta un despliegue fiable y oscurece los posibles modos de fallo en el panorama más amplio de la difusión, ya que estos clasificadores comparten su mecanismo generativo con los modelos de texto a imagen.

Metodología
Los autores introducen ASOB-Bench, un benchmark multidimensional diseñado para evaluar los clasificadores de difusión a lo largo de tres dimensiones de sesgo específicas:

1. Vinculación de Atributos (Attribute Binding): La tendencia a asociar erróneamente atributos con objetos no deseados en escenas de múltiples objetos.
2. Sesgo de Orden de Tamaño (Size-Order Bias): El tratamiento preferencial de objetos más grandes o de tokens de prompt anteriores, confundiendo la saliencia visual y la posición del token con la corrección semántica.
3. Dependencia del Fondo (Background Dependency): La excesiva dependencia del contexto del fondo en lugar de las claves del objeto en primer plano.

Configuración Experimental:

• Modelos: El estudio utiliza un clasificador de difusión construido sobre Stable Diffusion 2 (usando 50 pasos de tiempo, sin poda) y lo compara con una línea base de OpenCLIP ViT-H/14. Ambos comparten el mismo codificador de texto para aislar los efectos del mecanismo de clasificación (puntuación por error de reconstrucción frente a coincidencia contrastiva).
• Datasets:
  • Vinculación de Atributos: Datasets de frutas de colores naturales y no naturales (generados vía DALL-E 3), además de cinco categorías nuevas (parte-todo, material/textura, forma, tamaño, temperatura).
  • Orden de Tamaño: El dataset ComCo, que presenta escenas controladas de múltiples objetos con tamaños de objeto variables.
  • Dependencia del Fondo: ImageNet-B, aumentado con una condición de "sin fondo" (solo primer plano).
• Análisis Mecanístico: Los autores emplean mapas de calor de error de reconstrucción (mapas de diferencia por píxel tras un único paso de eliminación de ruido) y visualizaciones de la atención cruzada de la U-Net para rastrear los sesgos hasta causas concretas a nivel de píxel y de paso de tiempo.

Resultados Clave
La evaluación revela un perfil de sesgo distinto y no uniforme para los clasificadores de difusión en comparación con la línea base de OpenCLIP:

1. Vinculación de Atributos: Los clasificadores de difusión exhiben menos vinculación errónea de atributos que la línea base. En las siete categorías (incluyendo color, forma y material), el clasificador de difusión logra puntuaciones de Sesgo de Asociación de Conceptos (CAB) más bajas y una mayor precisión en dos objetos.

   • Mecanismo: Los mapas de calor muestran que, en imágenes naturales, el error se concentra en los distractores debido a las coocurrencias aprendidas de color-objeto. Sin embargo, en imágenes no naturales (donde las asociaciones prototípicas se rompen), este error se desplaza correctamente al objeto consultado. Esto sugiere que el sesgo es impulsado por estadísticas aprendidas más que por una incapacidad fundamental para vincular atributos.

2. Sesgo de Orden de Tamaño: Los clasificadores de difusión son sustancialmente más susceptibles a los atajos de orden de tamaño que la línea base. En escenarios donde el prompt correcto coloca el objeto más grande al final (conflicto con la saliencia visual), la precisión del clasificador de difusión cae significativamente (0.5853 frente a 0.7676 para OpenCLIP).

   • Mecanismo: La puntuación del error de reconstrucción agrega el error en todos los píxeles. Consecuentemente, los objetos más grandes contribuyen desproporcionadamente a la puntuación global. Si un prompt negativo altera un objeto pequeño mientras que un objeto grande permanece sin cambios, el residuo de error del objeto grande puede hacer que la puntuación del prompt negativo sea competitiva, provocando una clasificación errónea.

3. Dependencia del Fondo: Los clasificadores de difusión muestran una fuerte dependencia de las claves del fondo. La precisión cae entre 15 y 19 puntos porcentuales cuando los fondos son alterados (color/textura), mientras que la línea base permanece estable. Incluso en una condición de "sin fondo", el clasificador de difusión no logra recuperar sus niveles de rendimiento originales, a diferencia de la línea base.

   • Mecanismo: Los mapas de calor de error de reconstrucción muestran consistentemente una concentración del error en el fondo en lugar del primer plano, incluso en entornos no adversarios. La relación de error objeto-fondo permanece por debajo de 1 a lo largo de la trayectoria de eliminación de ruido, lo que indica un entrelazamiento estructural entre el reconocimiento del primer plano y el contexto.

Significancia y Contribuciones
El artículo realiza tres contribuciones principales:

1. ASOB-Bench: La introducción de un benchmark sistemático para evaluar sesgos en clasificadores de difusión a través de la vinculación de atributos, el orden de tamaño y la dependencia del fondo.
2. Perspectiva Mecanística: El primer análisis sistemático que rastrea las decisiones de error de reconstrucción hacia fallos específicos utilizando mapas de calor y mapas de atención. El estudio demuestra que, si bien los clasificadores de difusión son menos propensos a la vinculación errónea de atributos (debido a su naturaleza generativa), sufren de atajos intrínsecos ponderados por área y de un entrelazamiento con el fondo.
3. Perfil de Sesgo Distinto: Los hallazgos establecen que los clasificadores de difusión no simplemente reflejan los sesgos de los modelos de visión-lenguaje discriminativos. Su proceso de decisión está gobernado por la minimización del error total agregado por píxeles, lo que conduce a vulnerabilidades únicas respecto al tamaño del objeto y el contexto del fondo.

Conclusión
Los autores concluyen que las métricas de precisión de alto nivel revelan poco sobre cómo deciden realmente los clasificadores de difusión. Es necesaria una lente centrada en el sesgo para anticipar los modos de fallo. Debido a que los clasificadores de difusión comparten su mecanismo de eliminación de ruido con los modelos de texto a imagen, estos modos de fallo identificados (particularmente respecto al tamaño y el fondo) probablemente apuntan a problemas análogos en tareas generativas. El estudio proporciona orientación para construir modelos basados en difusión más robustos, resaltando la necesidad de mitigar los atajos de orden de tamaño y la dependencia del fondo.