How Do Diffusion Classifiers Decide? A Bias-Centric Evaluation

Resumo Técnico: Como os Classificadores de Difusão Decidem? Uma Avaliação Centrada em Viés

Problema
Modelos de difusão foram recentemente reaproveitados para classificação zero-shot através da seleção do prompt de texto que minimiza o erro de predição de ruído (erro de reconstrução). Embora esses "classificadores de difusão" tenham demonstrado uma precisão competitiva, os mecanismos pelos quais alcançam decisões de classificação permanecem pouco compreendidos. Diferente dos modelos de visão-linguagem discriminativos (ex: CLIP), onde modos de falha como vinculação de atributos (attribute misbinding) e dependência de fundo são bem documentados, o perfil de viés e a lógica de decisão dos classificadores de difusão são amplamente inexplorados. Essa falta de compreensão dificulta a implantação confiável e obscurece potenciais modos de falha no panorama mais amplo da difusão, uma vez que esses classificadores compartilham seu mecanismo generativo com modelos de texto-para-imagem.

Metodologia
Os autores introduzem o ASOB-Bench, um benchmark multidimensional projetado para avaliar classificadores de difusão ao longo de três dimensões específicas de viés:

1. Vinculação de Atributos (Attribute Binding): A tendência de associar incorretamente atributos a objetos não pretendidos em cenas com múltiplos objetos.
2. Viés de Ordem de Tamanho (Size-Order Bias): O tratamento preferencial de objetos maiores ou tokens de prompt iniciais, confundindo saliência visual e posição do token com correção semântica.
3. Dependência de Fundo (Background Dependency): Dependência excessiva do contexto de fundo em vez de pistas do objeto em primeiro plano.

Configuração Experimental:

• Modelos: O estudo utiliza um classificador de difusão construído sobre o Stable Diffusion 2 (usando 50 passos de tempo, sem poda) e o compara com uma linha de base OpenCLIP ViT-H/14. Ambos compartilham o mesmo codificador de texto para isolar os efeitos do mecanismo de classificação (pontuação por erro de reconstrução vs. correspondência contrastiva).
• Datasets:
  • Vinculação de Atributos: Datasets de frutas com cores naturais e não naturais (gerados via DALL-E 3), além de cinco novas categorias (parte-todo, material/textura, forma, tamanho, temperatura).
  • Ordem de Tamanho: O dataset ComCo, apresentando cenas controladas de múltiplos objetos com tamanhos variados.
  • Dependência de Fundo: ImageNet-B, aumentada com uma condição de "sem fundo" (apenas primeiro plano).
• Análise Mecanística: Os autores empregam mapas de calor de erro de reconstrução (mapas de diferença por pixel após um único passo de denoising) e visualizações de atenção cruzada da U-Net para rastrear os vieses até causas concretas nos níveis de pixel e passo de tempo.

Principais Resultados
A avaliação revela um perfil de viés distinto e não uniforme para os classificadores de difusão em comparação com a linha de base OpenCLIP:

1. Vinculação de Atributos: Os classificadores de difusão exibem menos vinculação incorreta de atributos do que a linha de base. Em todas as sete categorias (incluindo cor, forma e material), o classificador de difusão alcança pontuações de Viés de Associação de Conceito (CAB) menores e maior precisão de dois objetos.

   • Mecanismo: Os mapas de calor mostram que, em imagens naturais, o erro se concentra em distratores devido às coocorrências aprendidas de cor-objeto. No entanto, em imagens não naturais (onde as associações prototípicas são quebradas), esse erro se desloca corretamente para o objeto consultado. Isso sugere que o viés é impulsionado por estatísticas aprendidas, em vez de uma incapacidade fundamental de vincular atributos.

2. Viés de Ordem de Tamanho: Os classificadores de difusão são substancialmente mais suscetíveis a atalhos de ordem de tamanho do que a linha de base. Em cenários onde o prompt correto coloca o maior objeto por último (conflitando com a saliência visual), a precisão do classificador de difusão cai significativamente (0.5853 vs. 0.7676 para o OpenCLIP).

   • Mecanismo: A pontuação de erro de reconstrução agrega o erro em todos os pixels. Consequentemente, objetos maiores contribuem desproporcionalmente para a pontuação global. Se um prompt negativo altera um objeto pequeno enquanto um objeto grande permanece inalterado, o resíduo de erro do objeto grande pode fazer com que o prompt negativo tenha uma pontuação competitiva, levando ao erro de classificação.

3. Dependência de Fundo: Os classificadores de difusão mostram uma forte dependência de pistas de fundo. A precisão cai de 15 a 19 pontos percentuais quando os fundos são alterados (cor/textura), enquanto a linha de base permanece estável. Mesmo em uma condição de "sem fundo", o classificador de difusão não consegue recuperar seu nível original de desempenho, ao contrário da linha de base.

   • Mecanismo: Mapas de calor de erro de reconstrução mostram consistentemente a concentração de erro no fundo, em vez de no primeiro plano, mesmo em configurações não adversariais. A razão de erro objeto-fundo permanece abaixo de 1 durante toda a trajetória de denoising, indicando um emaranhamento estrutural entre o reconhecimento do objeto e o contexto.

Significância e Contribuições
O artigo apresenta três contribuições primárias:

1. ASOB-Bench: A introdução de um benchmark sistemático para avaliar vieses em classificadores de difusão através de vinculação de atributos, ordem de tamanho e dependência de fundo.
2. Insight Mecanístico: A primeira análise sistemática que rastreia decisões de erro de reconstrução até modos de falha específicos usando mapas de calor e mapas de atenção. O estudo demonstra que, embora os classificadores de difusão sejam menos propensos à vinculação incorreta de atributos (devido à sua natureza generativa), eles sofrem de atalhos intrínsecos ponderados pela área e emaranhamento de fundo.
3. Perfil de Viés Distinto: As descobertas estabelecem que os classificadores de difusão não apenas espelham os vieses dos modelos de visão-linguagem discriminativos. Seu processo de decisão é governado pela minimização do erro total agregado por pixel, levando a vulnerabilidades únicas em relação ao tamanho do objeto e contexto de fundo.

Conclusão
Os autores concluem que métricas de precisão de alto nível revelam pouco sobre como os classificadores de difusão realmente decidem. Uma lente centrada em viés é necessária para antecipar modos de falha. Como os classificadores de difusão compartilham seu mecanismo de denoising com modelos de texto-para-imagem, esses modos de falha identificados (particularmente em relação ao tamanho e ao fundo) provavelmente apontam para problemas análogos em tarefas generativas. O estudo fornece orientação para a construção de modelos baseados em difusão mais robustos, destacando a necessidade de mitigar atalhos de ordem de tamanho e a dependência de fundo.