Technische Samenvatting: Geresidualiseerde Temporele Sparse Auto-encoders voor het Interpreteren van Diffusiemodellen

Probleemstelling

Tekst-naar-beeld diffusiemodellen genereren afbeeldingen via een iteratief denoising-proces, waardoor interne neurale lagen trajecten van activaties produceren in plaats van enkele statische representaties. Hoewel Sparse Auto-encoders (SAE's) recentelijk zijn toegepast om diffusie-activaties te ontleden in interpreteerbare feature-richtingen, analyseren bestaande methoden doorgaans activaties op geïsoleerde tijdstippen, conditioneren op tijd, of passen SAE's toe op architecturen zoals Diffusion Transformers.

Een kritieke beperking van deze bestaande methoden is dat ze geen expliciete rekening houden met de sterke temporele correlatie die inherent is aan diffusie-activaties. Activaties op opeenvolgende tijdstippen zijn sterk gecorreleerd, waarbij een groot deel van het signaal op een stap lineair voorspelbaar is vanuit de vorige stap. Het trainen van een SAE direct op ruwe, temporeel geconcateneerde activaties riskeert modelcapaciteit te verspillen aan het leren van deze redundante, lineair voorspelbare dynamieken, in plaats van de onderliggende sparse structuur van de features vast te leggen.

Methodologie

De auteurs stellen Geresidualiseerde Temporele SAE's voor, een raamwerk ontworpen om sparse features te leren uit activatietrajecten door expliciet lineair voorspelbare dynamieken te scheiden van de residu-structuur.

1. Datacollectie en Preprocessing

• Bron: Activaties worden verzameld uit de conditionele tak van de U-Net in Stable Diffusion 1.5 tijdens classifier-free guidance. Specifiek wordt de residu-bijdrage van de mid-block cross-attention-laag geëxtraheerd.
• Trajectconstructie: Voor een gegenereerde afbeelding worden activaties elke $\ell$ denoising-stappen onderbemonsterd (bijvoorbeeld $\ell=10$) om een reeks activatietensors $\{a(\tau_i)\}$ te vormen.

2. Lineaire Residualisatie

Om temporele redundantie te verwijderen, past de methode lineaire voorspellers toe tussen opeenvolgende genormaliseerde activatieblokken:

• Normalisatie: Activaties worden per tijdstip genormaliseerd met behulp van statistieken van de trainingsset.
• Ridge-regressie: Voor elke opeenvolgende overgang $i-1 \to i$ wordt een ridge-regressor $(W_i, b_i)$ gefit om de huidige activatie $\bar{a}_{q,i}$ te voorspellen vanuit de vorige $\bar{a}_{q,i-1}$.
• Residuberekening: Het residu $r_{q,i} = \bar{a}_{q,i} - (W_i \bar{a}_{q,i-1} + b_i)$ vangt het component van de activatie op dat niet lineair voorspelbaar is vanuit de vorige stap.

3. SAE-training op Geresidualiseerde Trajecten

De invoer voor de SAE is een geconcateneerde vector $z_q$ bestaande uit de initiële activatie en de daaropvolgende residuen:
$$z_q = [\bar{a}_{q,0}, r_{q,1}, \dots, r_{q,T-1}]$$
Een BatchTopK SAE wordt getraind op deze geresidualiseerde representatie. Het doel is het reconstrueren van de genormaliseerde invoer terwijl sparsiteit wordt afgedwongen (alleen de bovenste $K$ actieve latents per batch behouden). Dit moedigt de sparse latents aan om structuur vast te leggen die bovenop de lineair voorspelbare temporele drift bestaat.

4. Interpretatie in Activatieruimte

Een kerncomponent van de methode is het terug映射en van de geleerde features naar de oorspronkelijke activatieruimte om ze te analyseren als trajecten:

1. Decoder-richtingen: De SAE-decodervectoren bevinden zich aanvankelijk in de genormaliseerde geresidualiseerde ruimte.
2. Un-normalisatie: Schalen wordt toegepast om terug te keren naar de genormaliseerde residu-ruimte.
3. Integratie van lineaire dynamiek: De residu-richtingen worden via de gefitte lineaire voorspellers ($W_i$) teruggemapped om de volledige trajectrichting te reconstrueren in de genormaliseerde activatieruimte.
4. Eindmapping: Het resultaat wordt un-genormaliseerd om de decoder-traject $\{\phi_{k,i}\}$ in de oorspronkelijke activatie-eenheden te verkrijgen. Dit maakt het mogelijk om elke latent te analyseren als een feature-traject dat evolueert over denoising-tijd.

Belangrijkste Bijdragen

1. Geresidualiseerde Temporele SAE's: De introductie van een methode die diffusie-activatietrajecten scheidt in lineair voorspelbare componenten en residuen, waarbij SAE's specifiek op laatstgenoemden worden getraind om het modelleren van redundante temporele dynamieken te vermijden.
2. Interpretatie van Decoder in Activatieruimte: Een afleiding die geresidualiseerde decoder-richtingen terugmapt naar de oorspronkelijke activatieruimte, waardoor de analyse van elke latent mogelijk wordt als een spatiotemporale feature-traject.
3. Empirische Karakterisering: Een uitgebreide evaluatie op Stable Diffusion 1.5 die aantoont dat deze representaties temporeel gestructureerde, ruimtelijk gelokaliseerde richtingen vangen met semantisch betekenisvolle generatieve effecten.

Resultaten en Evaluatie

Prestaties in Reconstructie

• Superioriteit van Residualisatie: Onder een vast budget voor traject-niveau sparsiteit presteren geresidualiseerde varianten consistent beter dan niet-geresidualiseerde tegenhangers (zowel geconcateneerd als per tijdstip) in Mean Squared Error (MSE) en Verklaarde Variantie (EV).
• Efficiëntie: Het Geresidualiseerde Geconcateneerde model bereikt concurrerende reconstructieprestaties terwijl het één enkele sparse code gebruikt voor het hele traject, waarbij tijdstip-gebaseerde baselines gedistribueerde codes vereisen.
• Vergelijking met Baselines: De methode presteert beter dan een Matryoshka SAE-baseline (die niet-geresidualiseerde, component-genormaliseerde trajecten gebruikt) in reconstructiekwaliteit.

Analyse van Spatiotemporale Structuur

• Temporele Specialisatie: Latents vertonen distincte temporele profielen. "Vroege" features hebben de neiging een brede temporele ondersteuning en hoge cross-tijdstip zelfgelijkenis te hebben, wat suggereert dat ze persistente structurele concepten vangen. "Late" features zijn meer tijdstip-specifiek en minder temporeel stabiel.
• Ruimtelijke Lokalisatie:
  • Vroege features tonen bredere positieve ruimtelijke ondersteuning (hogere ruimtelijke entropie), vaak diffuus of rand-achtige gebieden dekkend.
  • Midden- en late features zijn meer ruimtelijk geconcentreerd (lagere entropie), gelokaliseerd naar specifieke object-achtige gebieden of opvallende regio's.

Stuur-Experimenten

• Sturen met Enkele Features: Interveniëren met specifieke latents produceert zichtbare generatieve effecten. Vroege features beïnvloeden de globale structuur, terwijl midden-features veranderingen kunnen lokaliseren (bijvoorbeeld het toevoegen van sieraden aan een torso). Late features toonden in sommige voorbeelden minder duidelijke semantische effecten.
• Feature-overdracht: Met behulp van de RIEBench-dataset voerden de auteurs bron-naar-doel feature-overdracht uit. Het Geresidualiseerde Geconcateneerde model bereikte de beste balans tussen bewerkings-efficiëntie (verbetering van CLIP-gelijkheid met de doelprompt) en het behoud van de bronafbeeldingsstructuur (minimaliseren van LPIPS-afstand). Het presteerde beter dan niet-geresidualiseerde en tijdstip-gebaseerde varianten in bewerkings-efficiëntie.

Betekenis en Claims

Het artikel claimt dat Geresidualiseerde Temporele SAE's een nuttig raamwerk bieden voor het bestuderen van temporeel gestructureerde diffusie-activaties. Door expliciet lineair voorspelbare drift te verwijderen, stelt de methode sparse latents in staat zich te richten op de niet-redundante, semantisch betekenisvolle structuur van het generatieproces.

De auteurs benadrukken dat hun aanpak verschilt van eerdere werken door sparse dictionaries te leren over geresidualiseerde activatietrajecten in plaats van geïsoleerde tijdstippen of niet-geresidualiseerde temporele representaties. Het vermogen om deze latents terug te mappingen naar de activatieruimte als trajecten maakt een dieper begrip mogelijk van wanneer en waar specifieke features tot uiting komen tijdens het denoising-proces.

Beperkingen opgemerkt door de auteurs:

• De experimenten focussen op één enkele U-Net-activatiebron (mid-block cross-attention) in Stable Diffusion 1.5.
• Stuur-experimenten zijn kwalitatief; het artikel claimt geen geoptimaliseerde prestaties voor beeldbewerking, maar gebruikt sturen eerder om de interpreteerbaarheid en causale invloed van de geleerde features te valideren.