Technische Samenvatting: SEGA – Spectrale-Energie Gesteunde Attention voor Resolutie-extrapolatie in Diffusie-Transformers

Probleemstelling

Diffusie-Transformers (DiT's) hebben zich gevestigd als de dominante architectuur voor tekst-naar-beeld (T2I) generatie. Hun prestaties verslechteren echter aanzienlijk bij het genereren van afbeeldingen met resoluties die buiten hun trainingsbereik liggen (doorgaans 1024² tot 2048²). Extrapolatie naar hogere resoluties resulteert vaak in onscherpe texturen, repetitieve patronen en structurele instabiliteit.

Bestaande trainingsvrije oplossingen proberen dit te mitigeren door het attention-gedrag tijdens de inferentie te modificeren, voornamelijk via extrapolatie van Rotary Position Embedding (RoPE) gecombineerd met attention-schaling. Huidige methoden, zoals YaRN, passen een uniforme en content-agnostische schaling toe op alle RoPE-componenten. Deze aanpak behandelt kortegolf-componenten (die fijne textuur regelen) identiek aan langegolf-componenten (die globale structuur vormen). Het artikel betoogt dat deze statische uniformiteit een fundamentele afweging veroorzaakt: strategieën die de globale structuur behouden, falen vaak om fijne details te herstellen, en vice versa. Bovendien evolueert de spectrale verdeling van de latente representatie dynamisch tijdens het denoising-proces en varieert deze tussen verschillende afbeeldingsinhouden, waardoor statische schaling suboptimaal wordt.

Methodologie: SEGA

De auteurs introduceren SEGA (Spectral-Energy Guided Attention), een trainingsvrije methode die attention dynamisch schaalt over RoPE-componenten, gebaseerd op de ruimtelijk-frequentiestructuur van de latente variabele bij elke denoising-stap.

Kerninzicht

SEGA wordt gemotiveerd door de observatie dat RoPE-componenten gekoppeld zijn aan specifieke ruimtelijke frequenties. In plaats van een vaste schalingsfactor toe te passen, leidt SEGA schalingsgroottes per dimensie af door de energieverdeling van de huidige tussenliggende latente variabele te analyseren.

Algorithmische Werkwijze

1. Spectrale Analyse: Bij elke denoising-stap wordt de tussenliggende latente variabele $Z$ getransformeerd van het ruimtelijke domein naar het frequentiedomein met behulp van een 2D Fast Fourier Transform (FFT).

   • As-gerichte Profielen: Het 2D-vermogensspectrum wordt gemarginaliseerd over orthogonale assen om 1D-energieprofielen ($E_H, E_W$) voor horizontale en verticale frequenties te verkrijgen.
   • Radiaal Profiel: Het vermogensspectrum wordt gemiddeld binnen concentrische ringen om een rotatie-invariant profiel ($E_{iso}$) te verkrijgen dat de energieverdeling over ruimtelijke schalen vertegenwoordigt.

2. Per-dimension Correctie ($s_d$):

   • Voor elke RoPE-dimensie $d$ wordt het bijbehorende golflengte geïdentificeerd om deze te koppelen aan een specifiek frequentieband in het as-gerichte profiel.
   • De log-energie van dit band wordt gestandaardiseerd.
   • Een niet-lineariteit (tanh) wordt toegepast en het resultaat wordt nul-gecentreerd om een strikte herverdeling van schaling te garanderen. Dimensies die geassocieerd zijn met laag-energie banden ontvangen sterkere schaling om positiediscriminatie te behouden, terwijl hoog-energie banden zwakkere schaling ontvangen om over-versterking te voorkomen.

3. Globale Amplitudefactor ($\sigma$):

   • Het radiale profiel wordt gereduceerd tot een enkele scalar met behulp van spectrale vlakheid (Wiener-entropie).
   • Deze factor controleert de sterkte van de schaling. Als het spectrum van de latente variabele vlak is (ruis-gedomineerd), geldt $\sigma \to 0$, waardoor de correctie wordt onderdrukt. Naarmate structurele inhoud ontstaat en het spectrum minder vlak wordt, geldt $\sigma \to 1$, waardoor de correctie met volle kracht wordt toegepast.

4. Eind Schalingsformule:
   De uiteindelijke schalingsfactor $m_d$ voor een dimensie $d$ wordt berekend als:
   $$m_d = m_{ref} \cdot (1 - \sigma \cdot s_d)$$
   Waarbij $m_{ref}$ een referentieschaal is die wordt bepaald door de resolutieverhouding (met behulp van een power-law formulering). Dit stelt SEGA in staat zich continu aan te passen aan de spectrale inhoud van de latente variabele, waardoor attention wordt verscherpt bij onder-opgeloste frequenties en wordt verzacht bij over-geaccentueerde frequenties.

Belangrijkste Bijdragen

• Dynamische, Content-bewuste Schaling: In tegenstelling tot eerdere uniforme schalingsmethodes past SEGA attention-schaling aan aan de specifieke spectrale structuur van de latente variabele bij elke denoising-stap.
• Oplossing voor de Structuur-Details Afweging: Door te differentiëren tussen RoPE-componenten op basis van hun bijbehorende frequentiebanden en energieniveaus, verbetert SEGA zowel globale structurele coherentie als fijne detailtrouw tegelijkertijd.
• Trainingsvrij en Architectuur-agnostisch: De methode vereist geen fine-tuning, geen leerbare parameters en geen architecturale wijzigingen. Het integreert direct in standaard RoPE-gebaseerde pipelines (gedemonstreerd op Flux en Qwen).
• Superieure Prestaties bij Ultra-Hoge Resoluties: SEGA maakt stabiele generatie mogelijk bij resoluties die 36 miljoen pixels overschrijden (bijv. 6144²), een regime waar andere methoden vaak volledig falen.

Experimentele Resultaten

De auteurs hebben SEGA geëvalueerd op Flux en Qwen architecturen over meerdere hoog-resolutie instellingen (tot 6144²) met behulp van de Aesthetic-4K dataset en een aangepast zero-shot benchmark.

• Kwantitatieve Prestaties: SEGA presteerde consequent beter dan state-of-the-art baselines (waaronder NTK, YaRN, DyPE, UltraImage en multi-stage begeleidingsmethodes zoals HiFlow en I-Max) over alle metrieken: ImageReward (IR), PickScore (PS), CLIP Score (CS), MUSIQ (MSQ) en FID. Opmerkelijk is dat SEGA bij 4096² de beste scores behaalde op elke geëvalueerde metriek.
• Kwalitatieve Verbeteringen: Visuele vergelijkingen toonden aan dat SEGA effectief voorkomt dat veelvoorkomende faalmodi optreden, zoals repetitieve tegelartefacten, structurele instorting en verlies van semantische helderheid. Het behoudt complexe geometrieën en fijne texturen (bijv. vacht, stofdetailler) die door andere methoden worden vervaagd of vervormd.
• Robuustheid: De methode behield stabiliteit over niet-vierkante aspectverhoudingen en extreme extrapolatiefactoren (tot 36× het trainingsgebied), terwijl concurrerende methoden aanzienlijke prestatiedegradatie vertoonden naarmate de resolutie toenam.

Betekenis en Claims

Het artikel beweert dat SEGA een minimale maar effectieve oplossing vertegenwoordigt om de hoog-resolutie generatiecapaciteiten van voorgeprogrammeerde DiT's te ontsluiten. Door te verschuiven van statische, heuristisch gebaseerde schaling naar een dynamische, spectrale-energie-gestuurde aanpak, adresseren de auteurs een fundamentele beperking in huidige extrapolatiestrategieën.

De auteurs benadrukken dat hun werk een "spectraal perspectief" biedt op attention-schaling, waarbij een koppeling wordt blootgelegd tussen RoPE-dimensies en ruimtelijke frequenties die kan worden benut om aanpassing tijdens de inferentie te sturen. Ze positioneren SEGA niet als een vervanging voor trainingsgebaseerde benaderingen, maar als een krachtige, plug-and-play verbetering die bestaande modellen in staat stelt zich veel verder te generaliseren dan hun native trainingsresoluties, zonder de rekenkosten van hertraining of de complexiteit van multi-stage pipelines. De methode wordt gepresenteerd als een stap naar beter begrip en controle van het gedrag van attention-mechanismen in taken voor resolutie-extrapolatie.