How Do Diffusion Classifiers Decide? A Bias-Centric Evaluation

Technische Samenvatting: Hoe beslissen diffusie-classifiers? Een bias-gecentreerde evaluatie

Probleemstelling
Diffusiemodellen zijn recentelijk hergebruikt voor zero-shot classificatie door de tekstprompt te selecteren die de ruis-voorspellingsfout (reconstructiefout) minimaliseert. Hoewel deze "diffusie-classifiers" competitieve nauwkeurigheid hebben getoond, blijven de mechanismen waarmee zij tot classificatiebeslissingen komen slecht begrepen. In tegenstelling tot discriminatieve visuele-taalmodellen (bijv. CLIP), waarbij foutmodi zoals attribuut-misbinding en achtergrondafhankelijkheid goed gedocumenteerd zijn, zijn het bias-profiel en de beslissingslogica van diffusie-classifiers grotendeels onverkend. Dit gebrek aan begrip belemmert betrouwbare inzetbaarheid en maskeert potentiële foutmodi in het bredere diffusie-landschap, aangezien deze classifiers hun generatieve mechanisme delen met tekst-naar-beeldmodellen.

Methodologie
De auteurs introduceren ASOB-Bench, een multidimensionale benchmark ontworpen om diffusie-classifiers te evalueren langs drie specifieke bias-dimensies:

1. Attribuut-binding: De neiging om attributen verkeerd te associëren met onbedoelde objecten in scènes met meerdere objecten.
2. Grootte-volgorde Bias: De voorkeursbehandeling van grotere objecten of eerdere prompt-tokens, waarbij visuele salientie en token-positie worden verward met semantische correctheid.
3. Achtergrondafhankelijkheid: Overmatige afhankelijkheid van de achtergrondcontext in plaats van voorgrond-objectkenmerken.

Experimentele Opstelling:

• Modellen: De studie maakt gebruik van een diffusie-classifier gebouwd op Stable Diffusion 2 (met 50 tijdstappen, geen pruning) en vergelijkt deze met een OpenCLIP ViT-H/14 baseline. Beiden delen dezelfde tekstencoder om de effecten van het classificatiemechanisme te isoleren (reconstructiefout-scoring versus contrastieve matching).
• Datasets:
  • Attribuut-binding: Natuurlijke en onnatuurlijke gekleurde fruitdatasets (gegenereerd via DALL-E 3), plus vijf nieuwe categorieën (deel-geheel, materiaal/textuur, vorm, grootte, temperatuur).
  • Grootte-volgorde: De ComCo-dataset, met gecontroleerde scènes met meerdere objecten met variërende objectgroottes.
  • Achtergrondafhankelijkheid: ImageNet-B, uitgebreid met een "geen-achtergrond" (alleen voorgrond) conditie.
• Mechanistische Analyse: De auteurs maken gebruik van reconstructiefout-heatmaps (per-pixel verschilkaarten na één denoising-stap) en U-Net cross-attention visualisaties om biases te herleiden naar concrete oorzaken op pixel- en tijdstapniveau.

Belangrijkste Resultaten
De evaluatie onthult een duidelijk en niet-uniform bias-profiel voor diffusie-classifiers vergeleken met de OpenCLIP-baseline:

1. Attribuut-binding: Diffusie-classifiers vertonen minder attribuut-misbinding dan de baseline. Over alle zeven categorieën (inclusclusief kleur, vorm en materiaal) bereikt de diffusie-classifier lagere Concept Association Bias (CAB) scores en een hogere twee-object nauwkeurigheid.

   • Mechanisme: Heatmaps tonen aan dat bij natuurlijke afbeeldingen de fout concentreert op distractoren door geleerde kleur-object co-occurrences. Echter, op onnatuurlijke afbeeldingen (waar prototypische associaties zijn doorbroken), verschuift deze fout correct naar het bevraagde object. Dit suggereert dat de bias wordt gedreven door geleerde statistieken in plaats van een fundamenteel onvermogen om attributen te binden.

2. Grootte-volgorde Bias: Diffusie-classifiers zijn aanzienlijk gevoeliger voor grootte-volgorde shortcuts dan de baseline. In scenario's waar de correcte prompt het grootste object als laatste plaatst (in strijd met visuele salientie), daalt de nauwkeurigheid van de diffusie-classifier significant (0.5853 vs. 0.7676 voor OpenCLIP).

   • Mechanisme: De reconstructiefout-score aggregeert de fout over alle pixels. Bijgevolg dragen grotere objecten onevenredig veel bij aan de globale score. Als een negatieve prompt een klein object verandert terwijl een groot object ongewijzigd blijft, kan de residuele fout van het grote object ervoor zorgen dat de negatieve prompt competitief scoort, wat leidt tot misclassificatie.

3. Achtergrondafhankelijkheid: Diffusie-classifiers vertonen een zware afhankelijkheid van achtergrondkenmerken. De nauwkeurigheid daalt met 15–19 procentpunten wanneer achtergronden worden gewijzigd (kleur/textuur), terwijl de baseline stabiel blijft. Zelfs in een "geen-achtergrond" conditie slaagt de diffusie-classifier er niet in om terug te keren naar zijn oorspronkelijke prestatieniveau, in tegenstelling tot de baseline.

   • Mechanisme: Reconstructiefout-heatmaps tonen consistent foutconcentratie op de achtergrond in plaats van de voorgrond, zelfs in niet-adversariële settings. De object-naar-achtergrond foutratio blijft onder de 1 gedurende de gehele denoising-traject, wat wijst op een structurele verstrengeling tussen voorgrondherkenning en context.

Significantie en Bijdragen
Het papier levert drie primaire bijdragen:

1. ASOB-Bench: De introductie van een systematische benchmark voor het evalueren van biases in diffusie-classifiers op het gebied van attribuut-binding, grootte-volgorde en achtergrondafhankelijkheid.
2. Mechanistisch Inzicht: De eerste systematische analyse die reconstructiefout-beslissingen herleidt naar specifieke foutmodi met behulp van heatmaps en attention maps. De studie toont aan dat hoewel diffusie-classifiers minder gevoelig zijn voor attribuut-misbinding (door hun generatieve aard), ze lijden onder intrinsieke oppervlakte-gewogen shortcuts en achtergrondverstrengeling.
3. Distinct Bias Profiel: De bevindingen vestigen dat diffusie-classifiers niet simpelweg de biases van discriminatieve visuele-taalmodellen spiegelen. Hun besluitvormingsproces wordt beheerst door de minimalisatie van de totale pixel-geaggregeerde fout, wat leidt tot unieke kwetsbaarheden met betrekking tot objectgrootte en achtergrondcontext.

Conclusie
De auteurs concluderen dat koplijn-nauwkeurigheidsmetingen weinig onthullen over hoe diffusie-classifiers daadwerkelijk beslissen. Een bias-gecentreerde lens is noodzakelijk om foutmodi te voorzien. Omdat diffusie-classifiers hun denoising-mechanisme delen met tekst-naar-beeldmodellen, wijzen deze geïdentificeerde foutmodi (met name met betrekking tot grootte en achtergrond) waarschijnlijk op analoge problemen in generatieve taken. De studie biedt richtlijnen voor het bouwen van robuustere diffusie-gebaseerde modellen door de noodzaak te benadrukken om grootte-volgorde shortcuts en achtergrondafhankelijkheid te mitigeren.