Technische Samenvatting: Deep Dreams zijn hieruit gemaakt

Probleemstelling

Hoewel mechanistische interpretatie voor convolutionele neurale netwerken (CNN's) aanzienlijke vooruitgang heeft geboekt door technieken zoals featurevisualisatie via optimalisatie, vormt het toepassen van deze methoden op Latent Diffusion Models (LDM's) unieke uitdagingen. LDM's opereren in een gecomprimeerde variational-autoencoder (VAE) latente ruimte en maken gebruik van een iteratief denoising-proces dat is gekoppeld aan tijdstappen. Klassieke featurevisualisatiemethoden, die pixelruimte-invoer optimaliseren om featureactivatie te maximaliseren, falen in deze context vanwege:

1. Polysemantiek: Ruwe neurale features vertegenwoordigen vaak meerdere niet-gerelateerde concepten tegelijkertijd, waardoor visualisaties oncoherent worden.
2. Beperkingen van de Latente Ruimte: Het direct optimaliseren in de latente ruimte introduceert faalmodi zoals decoder-waarden buiten het bereik (wat leidt tot oversaturatie) en artefacten van hoogfrequente ruis.
3. Temporele Complexiteit: Features in diffusiemodellen kunnen om verschillende redenen actief zijn op verschillende tijdstappen, wat een methode vereist om specifieke activatievoorwaarden te isoleren.
4. Beperkingen van Bestaande Hulpmiddelen: Huidige methoden voor interpretatie van diffusiemodellen, zoals datasetvoorbeelden en feature-sturing, worden beperkt door de inhoud van de dataset of onthullen alleen downstream-effecten in plaats van de specifieke invoer die een feature activeert.

Methodologie: Latente Visualisatie via Optimalisatie (LVO)

De auteurs stellen Latente Visualisatie via Optimalisatie (LVO) voor, een techniek die featurevisualisatie via optimalisatie uitbreidt naar LDM's. Het kerndoel is het optimaliseren van een latente vector $z_{opt}$ via gradiëntascentie om een specifieke doel-feature maximaal te activeren. De methode introduceert vier diffusiespecifieke componenten:

1. Tijdstap-Activiteitsanalyse: In plaats van features over alle 1.000 tijdstappen te visualiseren, identificeert de methode "activiteitspieken" waar een feature het meest frequent voorkomt onder de top-$k$-activaties over de dataset. Visualisaties worden specifiek gegenereerd voor deze piektijdstappen om de rol van de feature in die fase van denoising te isoleren.
2. Optimalisatie in de Latente Ruimte: Optimalisatie vindt plaats binnen de VAE-late ruimte in plaats van de pixelruimte om de rekenkosten en gradiëntartefacten te vermijden die gepaard gaan met backpropagatie door de decoder.
3. Schedulergematchte Ruisinjectie: Om de juiste conditionering voor de U-Net te behouden, wordt de geoptimaliseerde latente vector bij elke forward-pass opnieuw verstoord met behulp van de scheduler-coëfficiënten van de doel-tijdstap ($z_{noise} = \sqrt{\bar{\alpha}_t}z + \sqrt{1-\bar{\alpha}_t}\epsilon$). Dit zorgt ervoor dat het model het verwachte signaal-ruisverhouding ziet.
4. Prior-initialisatie: Optimalisatie wordt geïnitieerd vanuit een "prior"-afbeelding die is gegenereerd door de doel-feature te sturen op zijn actieve tijdstappen. Dit houdt de optimalisatietraject binnen het interpreteerbare manifold en voorkomt ineenstorting tot hoogfrequente ruis.

Regularisatiestrategieën:
Om hoogfrequente ruis en artefacten in de latente ruimte te bestrijden, passen de auteurs een stapel regularisatoren toe:

• Overgedragen naar Pixelruimte: Robuustheid tegen transformaties (jitter, rotatie, schaling), spectrale filtering (verzwakking van hoogfrequente gradiënten) en gradiëntgladmaking.
• Latent-specifieke Straffen: Een Range Penalty (straf voor waarden buiten het trainingsbereik van de decoder, doorgaans $[-3, 3]$) en een Moment Penalty (zorgen dat het gemiddelde en de variantie van de latente ruimte dicht bij een standaardnormale verdeling blijven).

Ontkoppeling via SAE's:
De studie vergelijkt twee varianten:

• Raw-Layer Baseline: Optimaliseert een enkele ruwe activatiekanaal.
• SAE-variant: Gebruikt een Sparse Autoencoder (SAE) die is getraind op de laag om polysemantische representaties te ontkoppelen in monosemantische features voordat de optimalisatie plaatsvindt.

Belangrijkste Bijdragen

1. LVO-raamwerk: Het voorstellen van een complete pijplijn voor featurevisualisatie in LDM's, die tijdstap-analyse, schedulergematchte ruis, prior-initialisatie en latent-specifieke regularisatie integreert.
2. Ontkoppelingsbaseline: Het bieden van een gecontroleerde raw-layer baseline om de interpretatieverbeteringen die door SAE-ontkoppeling worden geleverd, te isoleren.
3. Regularisatie-ablatie: De eerste systematische ablatie van pixelruis-regularisatoren in het latente domein, waarbij wordt aangetoond dat optimale regularisatiestrategieën aanzienlijk verschillen tussen raw-layer- en SAE-varianten (bijvoorbeeld: SAE-features profiteren van momentstraffen, maar zijn hypersensitief voor totale variatie en gradiëntgladmaking).
4. Complementaire Inzicht: Aantonen dat LVO inzichten biedt die verschillen van datasetvoorbeelden en sturing, door direct de invoercondities te onthullen die een feature activeren.

Resultaten

De methode werd geëvalueerd op Stable Diffusion 1.5, dat is fine-tuned op de Style50-dataset, met name gericht op de laag up_blocks.1.attentions.1.

• Polysemantische Baseline: Het optimaliseren van ruwe laagactivaties resulteerde in visualisaties die vaak oncoherent waren of meerdere concepten mengden (bijvoorbeeld het mengen van dierlijke delen zoals ogen en vacht zonder een herkenbaar dier te vormen). Sturing op deze ruwe features leverde oninformatieve, generieke afbeeldingen op.
• Monosemantische SAE-features: De op SAE gebaseerde LVO produceerde duidelijke, consistente visualisaties van herkenbare concepten over meerdere zaden en tijdstappen. Opmerkelijke voorbeelden zijn:
  • Feature 9984: Visualiseerde consequent een "diagonale compositie" (strepen georiënteerd van linksboven naar rechtsonder), een structureel concept dat niet voor de hand lag uit de diverse datasetvoorbeelden.
  • Feature 10331: Stelde menselijke figuren duidelijk voor.
  • Andere Features: Slaat succesvol objectdelen (kabels, rozen), texturen (waterval-schuim) en perspectieven in beeld.
• Effecten van Regularisatie: Kalibratie toonde aan dat prior-initialisatie essentieel was om ineenstorting tot ruis te voorkomen. Bovendien bleek dat regularisatietermen zoals robuustheid tegen transformaties en momentstraffen de optimizer hielpen om uit niet-interpretabele lokale maxima te ontsnappen, waardoor duidelijkere structuren werden onthuld (bijvoorbeeld het omzetten van een "modderige" textuur in een duidelijk kabelstructuur).

Betekenis en Claims

Het artikel beweert dat LVO een kritieke niche vult in de interpretatie van diffusiemodellen. Waar datasetvoorbeelden beperkt zijn door inhoudelijke diversiteit en sturing downstream-effecten onthult, beantwoordt LVO direct de vraag "wat activeert een feature". De auteurs benadrukken dat de techniek alleen levensvatbaar is wanneer alle vier de voorgestelde componenten worden gecombineerd (tijdstap-analyse, ruisinjectie, prior-initialisatie en adequate regularisatie).

Het werk wordt voornamelijk gepresenteerd als een hulpmiddel voor defensieve interpretatie, ter ondersteuning van veiligheidsaudits, gerichte conceptvergeten en contentmoderatie. De auteurs erkennen een dual-use-risico waarbij het identificeren van feature-activaties theoretisch kan helpen om veiligheidsfilters te omzeilen, maar beoordelen dit risico als beperkt, gezien het feit dat de onderliggende modellen en SAE's al publiek zijn en de methode de oorzaken van activatie onthult in plaats van onderdruktechnieken.

De studie concludeert dat LVO structurele en compositie-features aan het licht brengt (zoals diagonale arrangementen) die onzichtbaar zijn voor standaard inspectie van datasetvoorbeelden, en biedt een complementair perspectief dat essentieel is voor het mechanistische onderzoek naar latente diffusiemodellen.