Self-transcendence: Is External Feature Guidance Indispensable for Accelerating Diffusion Transformer Training?

Probleemstelling

Diffusion Transformers (DiTs) hebben zich bewezen als krachtige modellen voor generatieve taken, maar hun training is computationeel intensief en kenmerkt zich door een trage convergentie.

• Huidige aanpak: Recent werk, zoals REPA, heeft aangetoond dat het gebruik van externe semantische kenmerken (bijvoorbeeld van een vooraf getrainde DINO-visionencoder) de training aanzienlijk kan versnellen. Deze methoden aligneren de interne DiT-kenmerken met deze externe signalen.
• Beperkingen: De afhankelijkheid van externe, vooraf getrainde netwerken introduceert extra complexiteit, vereist externe data en maakt het proces minder zelfstandig.
• Bestaande alternatieven: Zelf-contained methoden (zoals SRA en LayerSync) proberen interne kenmerken van diepere lagen te gebruiken om ondiepere lagen te sturen. Echter, deze presteren vaak slechter dan externe methoden omdat de interne signalen in de vroege trainingsfasen vaak "onvolwassen", ruisachtig en semantisch minder onderscheidend zijn.
• Kernvraag: Is externe feature-guidance onmisbaar om DiT-training te versnellen, of kan het model zichzelf sturen?

Methodologie: Self-Transcendence

De auteurs stellen Self-Transcendence voor, een volledig zelfgeleid trainingsframework dat externe supervisie elimineert en in plaats daarvan gebruikmaakt van de interne kenmerken van het DiT-model zelf. De methode bestaat uit een twee-fasen pijplijn om interne signalen te genereren die zowel structureel schoon als semantisch onderscheidend zijn:

1. Fase 1: VAE Structure Guidance (Warm-up)

   • Doel: Het oplossen van het probleem dat ondiepe lagen moeite hebben om ruis van het signaal te onderscheiden.
   • Aanpak: Het model wordt getraind met een extra verliesfunctie die de interne kenmerken van ondiepe lagen aligneert met de schone VAE-latent features (een native component van latent diffusion).
   • Redenering: Hoewel VAE-kenmerken beperkt zijn in semantische rijkdom, bieden ze een zeer "schone" en gestructureerde prior. Dit helpt het model om in de vroege fasen stabiele structurele representaties te leren zonder ruis.
   • Resultaat: Na een korte warm-up (bijv. 40 epochs) wordt dit model "bevroren" en fungeert het als een leraar.

2. Fase 2: Self-guided Representation Alignment

   • Doel: Het verbeteren van de semantische discriminatiekracht van de interne signalen.
   • Aanpak: Er wordt gebruikgemaakt van Classifier-Free Guidance (CFG), maar toegepast op de feature space in plaats van alleen de output.
     • Het model genereert zowel conditionele ($f_c$) als unconditional ($f_u$) kenmerken.
     • Deze worden gecombineerd volgens de formule: $f_g = f_u + \omega \cdot (f_c - f_u)$, waarbij $\omega$ de geleidingschaal is.
     • Dit verrijkte kenmerk $f_g$ (dat sterkere interne semantiek heeft) wordt gebruikt als supervisie voor de training van een nieuw DiT-model van scratch.
   • Mechanisme: De verrijkte kenmerken van de "leraar" (het in fase 1 getrainde model) worden gebruikt om de ondiepe lagen van het nieuwe model te sturen via een L2-verlies, naast de standaard diffusion loss.

Belangrijkste Bijdragen

1. Zelfgeleid Framework: Introductie van Self-Transcendence, een methode die DiT-training versnelt zonder enige afhankelijkheid van externe vision encoders (zoals DINO).
2. Twee-fasen Strategie: Een innovatieve aanpak die eerst structurele stabiliteit bereikt via VAE-alignement en vervolgens semantische rijkdom toevoegt via CFG op interne features.
3. Superieure Prestaties: Het bewijs dat interne DiT-kenmerken, wanneer correct verrijkt, kunnen concurreren met en zelfs superieur kunnen zijn aan externe DINO-gebaseerde methoden.
4. Efficiëntie: De methode elimineert de kosten en complexiteit van het pre-trainen van grote externe modellen, terwijl het trainingskosten en convergentietijd verlaagt.

Resultaten

De methode is uitgebreid geëvalueerd op ImageNet (256x256 en 512x512) en text-naar-image taken, met verschillende backbone-architecturen (SiT en LightningDiT).

• Convergentie en Kwaliteit: Self-Transcendence bereikt een FID (Fréchet Inception Distance) die lager is dan die van REPA (de state-of-the-art externe methode) en aanzienlijk beter dan andere zelf-contained methoden (LayerSync, Dispersive Loss).
  • Voorbeeld (SiT-XL/2, 256x256): Met slechts 80 epochs bereikt Self-Transcendence een FID van 7.51, terwijl REPA (met externe DINO) 7.90 haalt en de baseline 17.63.
  • Voorbeeld (LightningDiT-XL/1): Bereikt een FID van 3.55 in 64 epochs, wat beter is dan REPA (4.09).
• Schaalbaarheid: De prestatieverbetering neemt toe naarmate het model groter wordt.
• Visualisatie: PCA-visualisaties tonen aan dat de interne kenmerken van Self-Transcendence beter gescheiden en gestructureerd zijn dan die van de baseline of andere zelf-contained methoden, en vergelijkbaar met DINO.
• Trainingskosten: Hoewel er een kleine overhead is voor het trainen van het leidende model (warm-up), is de totale trainingstijd vergelijkbaar met de vanilla DiT en sneller dan REPA (die extra geheugen en tijd nodig heeft voor externe encoders).

Betekenis en Impact

Dit paper is significant omdat het een fundamentele vraag beantwoordt: externe supervisie is niet onmisbaar voor snelle DiT-training.

• Paradigmaverschuiving: Het toont aan dat DiT-modellen het potentieel hebben om zichzelf te "transcenderen" door hun eigen interne representaties te verrijken en te gebruiken als supervisie.
• Praktische Toepassing: Het maakt het trainen van hoge-kwaliteit generatieve modellen toegankelijker en goedkoper, omdat het geen afhankelijkheid creëert van zware, vooraf getrainde externe modellen of extra datasets.
• Toekomstige Richting: Het opent de deur voor verdere onderzoek naar self-supervised versnelling in andere generatieve modaliteiten (zoals video of 3D), hoewel dit paper zich momenteel beperkt tot afbeeldingen.

Kortom, Self-Transcendence bewijst dat een slimme combinatie van interne structuur (via VAE) en semantische verrijking (via CFG) leidt tot een trainingsparadigma dat zowel sneller convergentie biedt als hogere generatiekwaliteit, zonder de last van externe afhankelijkheden.