Balancing Fidelity and Diversity in Diffusion Models via Symmetric Attention Decomposition: Hopfield Perspective

Technische Samenvatting: Balans tussen Fideliteit en Diversiteit in Diffusiemodellen via Symmetrische Attentie-Decompositie

Probleemstelling
Diffusiemodellen zijn uitgegroeid tot het leidende paradigma voor beeldgeneratie, grotendeels gedreven door het vermogen van het attentiemechanisme om globale context te integreren en lange-afstandsafhankelijkheden te modelleren. Deze globale connectiviteit creëert echter een fundamentele afweging: terwijl het vernieuwing en variatie bevordert, is het vatbaar voor het veroorzaken van "spurious mixing" (schijnbare menging) van incompatibele kenmerken (bijvoorbeeld het vermengen van materialen tussen verschillende objecten). Het onderscheid maken tussen heilzame contextintegratie en schadelijke semantische lekkage is niet triviaal, omdat ze hetzelfde onderliggende mechanisme delen. Huidige analyses behandelen attentie vaak louter als een token-voor-token ophaalmechanisme, waardoor ze de rijke interactiedynamiek die in de attentiematrix zelf is gecodeerd, niet vastleggen. Bijgevolg ontbreekt het aan principiële methoden om te identificeren wanneer attentie vastloopt in incoherente "metastabiele mengsels", en om dit gedrag te controleren om de afweging tussen fideliteit en diversiteit te navigeren.

Methodologie
De auteurs stellen een raamwerk voor dat de pre-softmax attentiematrix $QK^\top$ karakteriseert als een dynamisch associatief geheugen dat paarsgewijze kenmerkassociaties codeert. Op basis van het inzicht dat transformer zelf-attentie de updateregel van een moderne Hopfield-netwerk benadert, decomponeren ze de attentiematrix in twee distincte componenten:

1. Symmetrische Component ($M_{sym}$): Vertegenwoordigt het energielandschap. Het beheerst de stabiliteit van opgehaalde kenmerken, waarbij lagere energie overeenkomt met toestanden die sterk worden ondersteund door het associatieve geheugen.
2. Skeuwsymmetrische Component ($M_{skew}$): Vertegenwoordigt circulatiedynamiek. Omdat skeuwsymmetrische matrices nul kwadratische energie bijdragen voor reëelwaardige toestanden, fungeert deze component als een directionele kracht die circulatie aandrijft, wat mogelijk metastabiele toestanden verstoort.

Op basis van deze decompositie leiden de auteurs Hopfield-stijl stabiliteitsmaten af om ophaalkwaliteit te kwantificeren:

• Energie ($E_X$): Een globale maat voor hoe sterk een toestand wordt ondersteund door de symmetrische interactie.
• Instabiliteitsfractie ($r_X$): Een lokale maat die de fractie ruimtelijke posities identificeert waar het lokale veld in conflict is met de huidige toestand.
• Uitlijningsscore ($Align_X$): Een cosine-相似heidsmaat die de globale directionele overeenkomst kwantificeert tussen een opgehaald kenmerk en het door dat kenmerk geïnduceerde lokale veld.

Om het generatieproces te controleren, stellen de auteurs een trainingsvrij interventiemechanisme voor. Ze moduleren de skeuwsymmetrische component via een scalair controleparameter $\alpha$ (circulatieschaal) en mengen de resulterende verstoord opgehaalde toestand met de basisopgehaalde toestand met behulp van een parameter $\beta$. Dit maakt de injectie van "circulatie-gedreven drift" mogelijk om metastabiele mengsels te doorbreken zonder het onderliggende energielandschap te veranderen. Bovendien introduceren ze een adaptieve controle variant die de injectiesterkte moduleert op basis van de gerealiseerde functionele symmetrie-index ($\eta_M$) van de attentiematrix voor elke steekproef, waardoor overmatige verstoring van reeds hoogwaardige generaties wordt voorkomen.

Belangrijkste Bijdragen

• Associatief Geheugen Raamwerk: Het artikel stelt een raamwerk op dat paarsgewijze kenmerkassociaties codeert binnen de attentiematrix, en introduceert een symmetrische/skeuwsymmetrische decompositie die energie-gebaseerde stabiliteit ontkoppelt van circulatie-gedreven drift.
• Stabiliteitsmaten: Door gebruik te maken van de symmetrische component leiden de auteurs Hopfield-stijl stabiliteitsmaten af ($E_X$, $r_X$, $Align_X$) die kenmerkstabiliteit kwantificeren. Ze tonen een sterke correlatie aan tussen deze interne maten en externe fideliteit-diversiteit afwegingen.
• Controleerbare Circulatieknop: De auteurs stellen voor om de skeuwsymmetrische component te gebruiken als een instelbare knop voor interventie tijdens de testfase. Door directionele drift in te brengen, verstoort deze methode metastabiele mengsels om structurele coherentie te herstellen, en biedt een mechanisme om fideliteit en diversiteit in evenwicht te brengen.

Resultaten
De voorgestelde methode werd geëvalueerd op SDXL met 1.000 COCO2014 prompts. Belangrijkste bevindingen zijn:

• Correlatie met Kwaliteit: De voorgestelde stabiliteitsmaten tonen consistente correlaties met externe metrieken. Hoge uitlijningsscores ($Align_X$) correleren met hogere Aesthetic Scores en lagere LPIPS-diversiteit (wat structurele coherentie aangeeft), terwijl lage uitlijning correleert met hogere diversiteit maar verhoogde structurele incoherentie en artefacten.
• Regime-afhankelijke Effecten: De interventie vertoont staat-afhankelijk gedrag. Op "Instabiele" (laagwaardige) subsets verbetert circulatie-injectie significant de esthetische scores en ImageReward door schijnbare mengsels te doorbreken. Omgekeerd kan op "Stabiele" (hoogwaardige) subsets overmatige circulatie metrieken verslechteren door coherente structuren te verstoren.
• Adaptieve Controle: Een adaptieve variant die de verstoring moduleert op basis van de gerealiseerde symmetrie-index ($\eta_M$) van de steekproef, mitigeert succesvol de degradatie die wordt waargenomen bij hoogwaardige steekproeven onder statische, overmatige verstoring. Het behoudt winst bij laagwaardige steekproeven terwijl het de prestaties bij hoogwaardige steekproeven handhaaft.
• Vergelijking met Globale Temperering: In tegenstelling tot globale attentietemperatuur-schaling, die interacties indiscriminaat scherpt of dempt (vaak artefacten creërend zoals gedupliceerde ledematen), onderdrukt de voorgestelde circulatiecontrole selectief zwak ondersteunde mengsels-artefacten terwijl het dominante structurele ondersteuning behoudt.

Betekenis en Claims
Het artikel claimt een principieel perspectief te bieden voor het analyseren van attentie niet louter als een token-mengende operator, maar als een interactiematrix met distincte energie-ondersteunde en circulatie-gedreven componenten. Door schijnbare menging te herformuleren als gevangenschap in metastabiele toestanden, biedt het werk een diagnostisch hulpmiddel (stabiliteitsmaten) en een controlemechanisme (circulatiemodulatie) om de fideliteit-diversiteit afweging te navigeren. De auteurs suggereren dat dit perspectief verder reikt dan diffusiemodellen naar andere transformer-architecturen, zoals grote taalmodellen, en een nieuwe manier biedt om attentiedynamiek te bestuderen. De methode wordt gepresenteerd als een trainingsvrije, post-hoc interventie die de betrouwbaarheid en controleerbaarheid van generatieve systemen verbetert door de oorzaak van semantische lekkage in het attentiemechanisme aan te pakken.