Technische Samenvatting: Voorbij de Laatste Laag: Multi-Layer Representatiefusie voor Visuele Tokenisatie

1. Probleemstelling

De huidige state-of-the-art visuele tokenizers, met name die welke bevroren voorgetrainde Vision Foundation Models (VFMs) zoals DINOv2 als backbones gebruiken, lijden onder een kritieke single-layer informatiebottleneck. Bestaande methoden extraheren uitsluitend kenmerken uit de laatste encoderlaag om de latente ruimte te definiëren. Hoewel deze kenmerken van de laatste laag geoptimaliseerd zijn voor hoog-niveau semantiek, werpen ze systematisch laag-niveau visuele details (texturen, randen, kleurverlopen) weg door progressieve semantische abstractie.

Recente analyses wijzen uit dat laag-niveau informatie in de laatste laag slechts overleeft als verzwakte residuen via passieve residu-verbindingen, en met elke opeenvolgende laag steeds meer verliesgevend wordt. Bijgevolg werpen single-layer tokenizers de rijke hiërarchische informatie die over de tussenliggende lagen is verdeeld, weg, wat zowel de reconstructietrouw als de kwaliteit van downstream-generatie beperkt. Bovendien blijft het een open vraag of het verhogen van de "representatierijkdom" van visuele tokenizers een voorspelbare schaalwet volgt die analoog is aan de schaling van de vocabulairegrootte bij NLP-tokenizers.

2. Methodologie: DRoRAE

De auteurs stellen DRoRAE (Depth-Routed Representation AutoEncoder) voor, een lichtgewicht fusiemodule die is ontworpen om kenmerken uit alle encoderlagen te aggregeren, terwijl de compatibiliteit met bevroren decoders en downstream-generatiemodellen behouden blijft.

Kernarchitectuur

DRoRAE plaatst een trainbare fusiemodule tussen de bevroren VFM-backbone en de decoder. Het proces omvat drie sleutelmechanismen:

1. Laag-specifieke Experts: Elke van de $L$ encoderlagen is gekoppeld aan een dedicated expertnetwerk (een MLP met twee lagen). Deze experts projecteren heterogene lagenkenmerken op een gemeenschappelijke schaal, genormaliseerd door de lagen-normalisatie van de backbone om variatieverschillen op te vangen.
2. Energie-beperkte Routing: In tegenstelling tot standaard Mixture-of-Experts (MoE) die softmax-normalisatie gebruiken, hanteert DRoRAE een energie-beperkt routingmechanisme. Een routernetwerk produceert per-token gewichten over alle lagen. Cruciaal is dat deze formulatie negatieve gewichten toestaat, waardoor de router actief schadelijke lagenbijdragen kan onderdrukken (ruisonderdrukking) in plaats van alleen winnaars te selecteren. De output wordt genormaliseerd door de $\ell_2$-norm van het gewichtvector om de output-energie te begrenzen.
3. Incrementele Correctie: In plaats van de originele output van de laatste laag ($z_{base}$) te vervangen door de gefuseerde representatie ($z_{fuse}$), formuleert DRoRAE de output als een incrementele correctie:
   $$z_{final} = LN_{bb}(z_{base} + \beta \cdot (z_{fuse} - z_{base}))$$
   Hierbij regelt $\beta$ de fusiesterkte. Deze residu-formulering zorgt ervoor dat de gefuseerde latente ruimte verankerd blijft bij de originele verdeling, waardoor willekeurige drift wordt voorkomen die de compatibiliteit met downstream-generatie zou kunnen verbreken.

Driefasige Ontkoppelde Trainingsstrategie

Om de uitdaging aan te pakken om de latente verdeling te verschuiven van wat een bevroren decoder verwacht, stellen de auteurs een progressieve trainingsstrategie voor:

• Fase 1 (Decoder Training): Train de decoder op de standaard single-layer RAE-baseline om een sterke "decodercapaciteit" te vestigen en de doelverdeling te definiëren.
• Fase 2 (Fusiemodule Training): Bevries de backbone en de decoder uit Fase 1. Train uitsluitend de fusiemodule. De bevroren decoder fungeert als een impliciete distributie-beperking, waardoor de fusiemodule wordt gedwongen complementaire informatie te leren die de decoder al kan inverteren, wat distributiedrift voorkomt.
• Fase 3 (Decoder Fine-tuning): Bevries de geoptimaliseerde fusiemodule en ontdooi de decoder. Fine-tune de decoder om de verrijkte latente ruimte volledig te benutten, waardoor de reconstructiekwaliteit wordt gemaximaliseerd zonder de generatie te schaden.

3. Belangrijkste Bijdragen

1. Identificatie van het Bottleneck: Het artikel identificeert dat bestaande representatie-autoencoders hiërarchische visuele informatie wegwerpen door uitsluitend te vertrouwen op de laatste encoderlaag, waar laag-niveau details slechts verzwakte residuen zijn.
2. DRoRAE Architectuur: Een lichtgewicht (~29M parameters) diepte-gerouteerde fusiemodule die alle encoderlagen adaptief aggregeert via energie-beperkte routing (met toelating van negatieve gewichten) en incrementele correctie.
3. Trainingsstrategie: Een driefasige ontkoppelde trainingsprotocoll die generatiecompatibiliteit waarborgt door fusie te leren onder de beperking van een bevroren decoder voordat de decoder gezamenlijk wordt aangepast.
4. Ontdekking van Schaalwetten: Het artikel vestigt een log-lineaire schaalwet ($R^2=0.86$) tussen fusiecapaciteit (gedefinieerd door expertcapaciteit en aantal gefuseerde lagen) en reconstructiekwaliteit. Dit identificeert "representatierijkdom" als een nieuwe, voorspelbaar schaalbare dimensie voor visuele tokenizers, analoog aan vocabulairegrootte in NLP.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op ImageNet-256 (256x256) voor reconstructie en class-conditional generatie, en op CC12M-LLaVA-Next voor tekst-naar-afbeelding synthese.

• Reconstructie: DRoRAE verbetert reconstructiemaatregelen aanzienlijk ten opzichte van de RAE-baseline. De rFID daalt van 0,57 naar 0,29, de PSNR stijgt van 18,8 naar 24,32 dB, en LPIPS verbetert van 0,256 naar 0,134.
• Class-Conditional Generatie: Met behulp van een DiTDH-XL generator met AutoGuidance verbetert DRoRAE de generatie-FID (gFID) van 1,74 naar 1,65 terwijl de Inception Score (IS) en Precision/Recall behouden blijven of licht verbeteren.
• Tekst-naar-Afbeelding Synthese: De winsten transfereren naar tekst-naar-afbeelding taken, waarbij DRoRAE vergelijkbare of licht betere GenEval-scores behaalt (0,60 versus 0,56 voor RAE) over object-, tel- en ruimtelijke dimensies.
• Ablatiestudies:
  • Energie-beperkte Routing: Presteert beter dan softmax-routing door actieve onderdrukking van ruislagen mogelijk te maken.
  • Incrementele Correctie: Essentieel voor generatiecompatibiliteit; zonder deze verbetert de reconstructie licht, maar neemt de downstream-diffusietrainingsfout aanzienlijk toe, wat wijst op een distributiemismatch.
  • Trainingsstrategie: Gezamenlijke training zonder de beperking van Fase 2 slaagt er niet in dezelfde generatiekwaliteit te bereiken, wat de noodzaak van de ontkoppelde benadering bevestigt.

5. Betekenis en Claims

Het artikel stelt dat DRoRAE aantoont dat multi-layer fusie een praktische en effectieve upgrade is voor op representatie gebaseerde tokenizers, waarbij hoogfrequente details die verloren gaan bij single-layer extractie worden hersteld.

Een primaire betekenis van dit werk is de ontdekking van een voorspelbare schaalwet voor visuele tokenizers. Door aan te tonen dat het verhogen van het "representatiebudget" (via meer gefuseerde lagen of grotere expertcapaciteiten) log-lineaire verbeteringen in reconstructiekwaliteit oplevert, betogen de auteurs dat representatierijkdom een schaalbare dimensie is die vergelijkbaar is met vocabulairegrootte in NLP. Dit suggereert dat toekomstige verbeteringen in visuele tokenisatie systematisch kunnen worden geoogst door fusiecapaciteit te schalen, in plaats van uitsluitend te vertrouwen op architecturale veranderingen of grotere datasets.

Het werk concludeert dat, hoewel de huidige experimenten DINOv2-B gebruiken, de methodologie generaliseerbaar is naar grotere encoders en potentieel video-tokenisatie, waardoor multi-layer fusie wordt gepositioneerd als een fundamentele richting voor het verbeteren van visuele generatiesystemen.