Technische Samenvatting: Awakening Diffusion Transformers via Massive Activation Modulation

1. Probleemstelling

Diffusion Transformers (DiTs) zijn de dominante architectuur geworden voor hoogwaardige visuele generatie (bijv. SD3, Flux, Wan) en worden steeds vaker ingezet als feature extractors voor taken met dichte visuele begrip (bijv. semantische correspondentie, segmentatie). De interne activatiecomponenten die deze duale capaciteiten aansturen, blijven echter onvoldoende begrepen.

Een specifiek, onderbelicht fenomeen in DiTs is de aanwezigheid van Massive Activations (MAs): verborgen activaties met magnitudes die significant groter zijn dan de rest, geconcentreerd in een kleine subset van feature-dimensies. Hoewel MAs zijn bestudeerd in Large Language Models (contextuele kennis) en Vision Transformers (globale semantiek/achtergrondtokens), is hun rol in DiTs onderscheidend. DiTs voeren iteratieve denoising uit over een ruimtelijk raster waarbij elke token deelneemt aan lokale reconstructie. Het paper stelt dat de structuur en functionele rol van MAs in deze dichte generatieve context niet volledig zijn gekarakteriseerd, wat leidt tot twee specifieke problemen:

1. Generatie: Het is onduidelijk hoe MAs de synthese van fijnmazige details versus globale semantiek beïnvloeden.
2. Begrip: Wanneer ze als feature extractors worden gebruikt, kunnen de gedeelde hoog-magnitude richtingen van MAs over ruimtelijke tokens de representaties bias geven, waardoor lokale descriptoren tegelijkertijd te veel op elkaar gaan lijken, wat de ruimtelijke discriminatie voor dichte perceptietaken verzwakt.

2. Methodologie: Eliciting Massive Activation (EMA)

De auteurs stellen EMA voor, een verenigd, training-vrij framework dat MAs moduleert om zowel generatieve als representationele capaciteiten te verbeteren. Het framework bestaat uit twee taakspecifieke modules:

A. Analyse van Massive Activations

Voordat ze oplossingen voorstellen, vestigt het paper de structurele eigenschappen van MAs in DiTs:

• Ruimtelijke Verdeling & Kanaalconcentratie: MAs zijn verdeeld over alle ruimtelijke beeldtokens maar geconcentreerd in een kleine set vaste feature-dimensies (bijv. dimensie 810 in SD3).
• AdaLN Alignment: De dimensies die MAs huisvesten, komen nauw overeen met de residuele schaleringsfactoren ($\alpha_k$) geproduceerd door Adaptive Layer Normalization (AdaLN).
• Timestep Modulatie: MA-magnitudes worden primair gevormd door de denoising timestep (ruisniveau) in plaats van tekstcondities. Ze nemen toe naarmate het proces beweegt van hoge-ruis naar lage-ruis timesteps.
• Functionele Dualiteit:
  • Generatie: Het verstoren van MAs degradeert de fijnmazige details (texturen, ogen, haar) ernstig, terwijl de globale semantiek (layout, objectidentiteit) behouden blijft.
  • Begrip: De gedeelde hoog-magnitude richting van MAs maakt de ruwe DiT-features ruimtelijk ononderscheidbaar onder cosinus-gelijkenis, wat dichte matching belemmert.

B. Module 1: MA-driven Detail Guidance (DG) voor Generatie

Om visuele generatie te verbeteren, introduceert EMA Detail Guidance (DG), een self-guidance strategie die een "detail-tekortschietende" contrafeitelijke tak construeert om de sampling te leiden.

• Mechanisme: DG onderdrukt adaptief de geïdentificeerde MA-dimensies in de hidden states van een intermediaire DiT-block.
• Adaptieve Onderdrukking: Omdat details zich voornamelijk vormen in de latere denoising stadia, wordt onderdrukking toegepast via een timestep-afhankelijke retentiecoëfficiënt ($\rho_t$). MAs worden behouden in vroege stadia (voor globale structuur) en sterk gedempt in latere stadia (om de detail-synthese te verwijderen).
• Guidance Formulering: De uiteindelijke voorspelling wordt geleid weg van de detail-tekortschietende tak:
  $$\hat{D}_\theta(z_t, c) = D_\theta(z_t, c) + w (D_\theta(z_t, c) - D_\theta(\hat{z}_t, c))$$
  waar $\hat{z}_t$ de staat is met onderdrukte MAs.
• Efficiëntie & Flexibiliteit:
  • Partial-Forward Inference: Omdat de contrafeitelijke tak dezelfde berekening deelt met de originele tak tot aan de interventie-block, vereist DG alleen het herberekenen van het suffix van het netwerk, wat de latentie vermindert vergeleken met standaard CFG.
  • Lokale DG: Onderdrukking kan worden toegepast op specifieke ruimtelijke tokens (bijv. een bounding box), wat gerichte verfijning van regio's met zwakke details mogelijk maakt.
  • Compatibiliteit: DG is complementair aan Classifier-Free Guidance (CFG). Terwijl CFG de semantische alignment versterkt, verbetert DG de lokale detailgetrouwheid.

C. Module 2: MA-modulated Representation Extraction (MREP) voor Begrip

Om visueel begrip te verbeteren, introduceert EMA MREP, wat de directionele dominantie van MAs mitigeert terwijl hun nuttige ruimtelijke structuur behouden blijft.

• AdaLN Modulatie: MREP hergebruikt de getrainde AdaLN kanaalsgewijze gewichten ($\gamma_k, \beta_k$) om de hidden states te moduleren. Dit vermindert de dominantie van MA-kanalen zonder ze volledig te verwijderen.
• Ruimtelijke Normalisatie: Omdat MA ruimtelijke kaarten nog steeds betekenisvolle respons-patronen coderen, extraheert MREP deze kaarten, normaliseert ze ruimtelijk om de magnitude-bias te verwijderen, en concateneert ze met de gemoduleerde features.
• Resultaat: Dit produceert representaties die minder gedomineerd worden door globale MA-richtingen, maar wel informatieve ruimtelijke aanwijzingen behouden, wat de discriminatie voor dichte taken verbetert.

3. Belangrijkste Bijdragen

1. Systematische Analyse: Het paper biedt de eerste systematische studie van MAs in DiTs, waarbij ze worden gekarakteriseerd als ruimtelijk verdeelde, kanaalgeconcentreerde, AdaLN-gerelateerde en timestep-gemoduleerde componenten.
2. Onthulling van de Dubbele Rol: Het onthult de duale natuur van MAs: cruciaal voor fijnmazige detail-synthese in generatie, maar nadelig voor ruimtelijke discriminatie in representatie-leren door gedeelde hoog-magnitude richtingen.
3. EMA Framework: Introductie van een training-vrij framework met twee modules:
   • DG: Verbetert de detailkwaliteit van beeld/video-generatie en maakt lokale verfijning mogelijk.
   • MREP: Verbetert dicht visueel begrip (correspondentie, segmentatie, diepte) door feature extractie te moduleren.
4. Verenigde Tool: Demonstreert dat MA-modulatie dient als een verenigd mechanisme om sterkere capaciteiten uit pretrained DiTs te halen voor zowel generatieve als discriminatieve taken.

4. Experimentele Resultaten

De auteurs evalueerden EMA op een breed scala aan modellen (SD3, SD3.5, Flux1/2, Wan1.3B/14B, DiT-XL/2) en taken:

• Beeldgeneratie:
  • DG verbeterde consistent de kwaliteit van fijnmazige details (Aesthetic scores, HPSv2.1) over alle modellen heen, terwijl de prompt-alignment behouden bleef.
  • Op SD3.5 verbeterde DG de Aesthetic scores van 5.94 naar 6.16 (Cond) en van 6.01 naar 6.18 (CFG).
  • DG presteerde beter dan andere guidance methoden (CFG++, APG, S2-Guidance) op het gebied van detailkwaliteit.
  • DG gecombineerd met CFG bereikte de beste algehele prestaties, wat hun complementaire aard valideert.
• Videogeneratie:
  • Toegepast op Wan-modellen, verbeterde DG de algemene scores, kwaliteit en verschijningsgetrouwheid. DG+CFG behaalde de hoogste totale scores op Wan14B.
• Class-Conditional Generatie:
  • Op ImageNet (DiT-XL/2) verminderde DG de FID van 9.52 naar 5.77 en verhoogde de IS van 122.79 naar 179.26 onder class conditioning.
• Visueel Begrip:
  • Semantische Correspondentie: MREP verbeterde de PCK-scores op SPair-71k, AP-10K en PF-Pascal aanzienlijk vergeleken met ruwe DiTF-features.
  • Semantische Segmentatie: Op ADE20K bereikte MREP 54.9 mIoU (single-scale), waarmee het de ruwe DiTF (53.6) versloeg en concurreerde met sterke baselines.
  • Diepte-inschatting: Op NYUv2 verminderde MREP de RMSE naar 0.220 en de REL naar 0.060, waarmee het de ruwe features en andere op diffusie gebaseerde baselines versloeg.
• Efficiëntie:
  • Partial-forward DG verminderde de inferentie-latentie (bijv. van 15.7s naar 10.6s op SD3.5) vergeleken met volledige CFG re-evaluatie, terwijl de kwaliteit verbeterde.
• Generalisatie:
  • DG was effectief op niet-standaard DiT-architecturen (PixArt-$\alpha$, SANA) en class-conditional settings, wat aangeeft dat het een algemeen mechanisme vastlegt in plaats van architectuur-specifieke artefacten.

5. Betekenis en Claims

Het paper claimt dat Massive Activations geen incidentele numerieke uitschieters zijn, maar gestructureerde, fase-afhankelijke componenten die fundamenteel bepalen hoe DiTs visuele informatie verwerken. Door MAs te behandelen als een verenigd modulatiesignaal, demonstreren de auteurs dat:

• Voor Generatie: Het onderdrukken van MAs een natuurlijke "detail-tekortschietende" tak creëert, waardoor de extractie van een guidance-signaal mogelijk wordt dat specifiek gericht is op fijnmazige synthese zonder de globale semantiek te verstoren.
• Voor Begrip: De "ruis" die door MAs in dichte perceptie wordt geïntroduceerd, kan worden gemitigeerd door AdaLN-gebaseerde modulatie en ruimtelijke normalisatie, waardoor generatieve backbones worden omgezet in meer discriminerende feature extractors.

Dit werk vestigt MA-modulatie als een veelzijdige, training-vrije tool om het latente potentieel van pretrained DiTs te ontsluiten, waardoor zowel de getrouwheid van gegenereerde content als het nut van hun interne representaties voor downstream perceptietaken wordt verbeterd. De auteurs concluderen dat deze aanpak verdere exploratie stimuleert van interne activatiestructuren als controleerbare signalen in grote visuele generatieve modellen.