💻 computer science

Hierarchical Image Tokenization for Multi-Scale Image Super Resolution

Dit artikel stelt een nieuwe multi-schaal methode voor beeldsuperresolutie voor die Hiërarchische Beeldtokenisatie (HIT) en Directe Preferentie-Optimalisatie (DPO) combineert binnen een visueel auto-regressief raamwerk om state-of-the-art prestaties te bereiken met een compact model van 300 miljoen parameters, waarbij de noodzaak voor externe trainingsdata wordt geëlimineerd terwijl flexibele, single-pass multi-schaal outputgeneratie mogelijk wordt gemaakt.

Oorspronkelijke auteurs: Isma Hadji, Enrique Sanchez, Adrian Bulat, Brais Martinez, Georgios Tzimiropoulos

Gepubliceerd 2026-05-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Isma Hadji, Enrique Sanchez, Adrian Bulat, Brais Martinez, Georgios Tzimiropoulos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een wazige, lage-resolutie foto van een kat hebt en je wilt deze omzetten in een kristalhelder, high-definition meesterwerk. Dit is de taak van Image Super-Resolution (ISR).

Lange tijd deden computers dit door ofwel de ontbrekende details te raden (wat soms valse kenmerken creëerde, zoals een kat met zes ogen) of door de afbeelding stap voor stap langzaam te "denoisen", wat zeer traag was.

Onlangs werd een nieuwe methode genaamd Visual Auto-Regressive (VAR) modellen populair. Denk aan deze modellen als een schilder die niet het hele doek in één keer schildert. In plaats daarvan schildert hij de afbeelding in lagen: eerst een ruwe schets, dan een versie met gemiddeld detail, en tot slot het high-definition meesterwerk. Elke laag bouwt voort op de vorige.

Echter, het artikel dat je deelt wijst twee grote problemen aan met de manier waarop deze "schilders" op dat moment werkten, en introduceert een slimme nieuwe manier om ze op te lossen.

De twee problemen met de oude manier

1. De "Alles-of-Geen" Ladder
Stel je voor dat de schilder een ladder heeft met sporten die verschillende maten vertegenwoordigen: een kleine schets, een middelgrote schets en het grote eindwerk.

Het probleem: Bij eerdere methoden was de ladder kapot. Je kon alleen klimmen naar de allerhoogste sport (de uiteindelijke 4x grootte). Als je probeerde te stoppen bij de middelste sport (een 2x grootte), zag de afbeelding eruit als onzin of een vervormde puinhoop. De "sporten" ertussen bestonden niet als geldige afbeeldingen; het waren slechts wiskundige stappen die nodig waren om bovenaan te komen.
De oplossing van het artikel (Hiërarchische Image Tokenization): De auteurs bouwden een echte, stevige ladder. Ze leerden het model om eerst de kleine schets te schilderen, dan de middelgrote schets en vervolgens de grote, waarbij ze zorgden dat elke enkele stap eruitzag als een echte, coherente afbeelding. Nu kun je het proces stoppen bij elke gewenste grootte (1x, 2x of 4x) en krijg je een perfecte afbeelding. Ze noemen dit Hierarchical Image Tokenization (HIT).

2. De behoefte aan een gigantische bibliotheek

Het probleem: Om goede resultaten te krijgen, hadden eerdere modellen enorme omvang nodig (zoals een gigantische encyclopedie met miljarden pagina's) of vereisten ze een enorme bibliotheek met speciaal gelabelde "goed versus slecht" voorbeelden om te leren hoe een scherp beeld eruitzag.
De oplossing van het artikel (DPO Regularization): De auteurs introduceerden een nieuwe "coach" voor het model genaamd Direct Preference Optimization (DPO). In plaats van een enorme bibliotheek met voorbeelden nodig te hebben, vertelt deze coach het model simpelweg: "Hé, de high-resolution versie is beter dan de wazige versie. Zorg ervoor dat je de scherpe details prefereert."
- Hierdoor kan een veel kleiner model (slechts 310 miljoen parameters, vergeleken met de 1 miljard die anderen gebruiken) effectief leren met standaard, alledaagse trainingsdata.

Het resultaat: Een slimmere, kleinere schilder

Door deze twee ideeën te combineren, creëerden de auteurs een nieuw systeem dat:

Op elke grootte werkt: Het kan een kleine afbeelding nemen en deze 2x groter maken, of 4x groter, of zelfs 8x groter, allemaal in één keer, zonder dat de afbeelding uit elkaar valt bij de tussenliggende stappen.
Efficiënt is: Het is veel kleiner en sneller dan zijn concurrenten. Terwijl andere modellen zware, traag bewegende tanks zijn, is dit een wendbare sportauto die toch de race wint.
Minder data nodig heeft: Het heeft geen geheime, enorme datasets nodig om goed te presteren; het werkt uitstekend met standaard publieke data.

De analogie in het kort

Denk aan de oude methoden als het proberen om een wolkenkrabber te bouwen waarbij je alleen de fundering mag leggen en vervolgens direct naar het dak moet springen. Als je probeerde halverwege te stoppen, had je alleen maar een hoop puin.

Dit artikel introduceert een methode waarbij je de eerste verdieping bouwt, dan de tweede, dan de derde. Elke verdieping is een complete, bruikbare woning. Je kunt stoppen bij de 2e verdieping en een fijne plek hebben om te wonen, of helemaal naar boven gaan. En ze deden dit door een kleinere, slimmere bouwvoorman in te huren die precies weet welke plattegronden te prefereert, zonder een bibliotheek van bouwtekeningen nodig te hebben die zo groot is als een stad.

Kortom: Ze maakten beeld-upscaling flexibel (werkend op elke grootte), efficiënt (met een kleiner model) en slimmer (met een nieuwe trainingstruc), terwijl ze tegelijkertijd de kwaliteit top-tier hielden.

Technische Samenvatting: Hiërarchische Image Tokenization voor Multi-Schaal Image Super Resolution

Probleemstelling

Image Super-Resolution (ISR) heeft als doel hoogresolutie (HR) afbeeldingen te genereren vanuit laagresolutie (LR) invoer. Hoewel recente Visual Auto-Regressive (VAR) modellen veelbelovend zijn gebleken door goed aan te sluiten bij het paradigma van "next-scale prediction", staan hun toepassing op ISR voor twee kritieke beperkingen:

Onvermogen om Intermediaire Schalen te Genereren: Bestaande VAR-gebaseerde ISR-methoden (bijv. VARSR) vertrouwen op Residual Quantization (RQ), waarbij residuen worden opgeteld om een finale, vastgestelde resolutie-afbeelding te reconstrueren. De intermediaire residuen garanderen geen semantisch zinvolle reconstructies op lagere schalen. Bijgevolg kunnen deze modellen geen geldige intermediaire output produceren (bijv. een 2× opgeschaalde afbeelding) tijdens één enkele forward pass; ze zijn beperkt tot een vooraf gedefinieerde, vaste schaalfactor.
Afhankelijkheid van Grote Resources: Huidige state-of-the-art benaderingen vereisen vaak enorme backbone-modellen (bijv. 1B+ parameters) of uitgebreide, zorgvuldig geannoteerde datasets (inclusief negatieve steekproeven voor classifier-free guidance) om concurrerende prestaties te behalen.

Methodologie

De auteurs stellen een nieuw raamwerk voor dat twee kerncomponenten integreert in de VAR-trainingstroom om de bovengenoemde tekortkomingen aan te pakken: Hierarchical Image Tokenization (HIT) en Direct Preference Optimization (DPO) regularisatie.

1. Hiërarchische Image Tokenization (HIT)

Standaard RQVAE tokeniseert een afbeelding door latente kenmerken te decomponeren in een reeks residuen, maar deze residuen zijn niet inherent uitgelijnd met specifieke afbeeldingsschalen. De voorgestelde HIT-benadering wijzigt dit proces:

Sequentiële Encoding: In plaats van de volledige resolutie te tokeniseren en vervolgens te downsamplen, wordt de invoerafbeelding progressief downgesampled naar doelschalen (bijv. 1×, 2×, 4×).
Token Overlap: De tokenisatie wordt sequentieel toegepast op deze gedownsamplede versies. Cruciaal is dat tokens gegenereerd voor lagere schalen worden hergebruikt en gedeeld bij het berekenen van residuen voor hogere schalen.
Fine-tuning: Het vocabulaire en de decoder van een voorgetrainde RQVAE worden gefine-tuned met behulp van een schaal-specifieke decoder en reconstructieverliezen voor elke doelschaal. Dit zorgt ervoor dat het vocabulaire semantisch consistent is over verschillende resoluties.
Resultaat: Dit creëert een "sterke inductieve bias" waarbij het model leert dat vroege tokens ruwe semantische structuren vertegenwoordigen die geldig zijn op meerdere schalen, waardoor de decoder geldige afbeeldingen kan reconstrueren op intermediaire resoluties (bijv. 128×128, 256×256, 512×512) vanuit dezelfde tokenreeks.

2. DPO Regularisatie

Om de beeldkwaliteit te verbeteren zonder afhankelijk te zijn van externe reward-modellen of grote datasets met negatieve steekproeven, introduceren de auteurs een regularisatieterm gebaseerd op Direct Preference Optimization (DPO):

Mechanisme: Het model wordt getraind om de log-waarschijnlijkheid van de ground-truth HR-tokenreeksen te maximaliseren, terwijl gelijktijdig de waarschijnlijkheid van tokens die lijken op een eenvoudige bilineaire upsampling van de LR-invoer wordt bestraft.
Formulering: De verliesfunctie is gedefinieerd als $\mathcal{L}_{DPO} = - \log \sigma \left ( \beta \log \frac {p(z_{HR})}{p(z_{LR})} \right )$ , waarbij $p(z_{HR})$ en $p(z_{LR})$ respectievelijk de kansen zijn van de HR- en LR-tokenreeksen.
Voordeel: Deze benadering maakt gebruik van het vermogen van het model zelf om te onderscheiden tussen HR- en LR-reeksen, waardoor de behoefte aan externe VLM's of verzameling van negatieve steekproeven wordt geëlimineerd.

Architectuur en Training

Modelgrootte: De auteurs maken gebruik van een relatief kleine transformer (310M parameters, 16 blokken) in vergelijking met de modellen met 1B+ parameters die in eerdere werken werden gebruikt.
Trainingsdata: Het model wordt getraind op standaard ISR-datasets (DIV2K, DIV8K, Flickr2k, OST, en een subset van FFHQ) zonder propriëtaire of enorme externe corpora.
Conditionering: In tegenstelling tot VARSR, dat ControlNet gebruikt, gebruikt deze methode direct de RQVAE-encoderkenmerken van de opgeschaalde LR-afbeelding als conditioneringssignalen.

Belangrijkste Bijdragen

Eerste Multi-Schaal VAR-gebaseerde ISR: Het artikel introduceert de eerste VAR-gebaseerde aanpak die in staat is om intermediaire schalen te decoderen naar de beeldruimte terwijl semantische consistentie over schalen wordt behouden, waardoor multi-schaal output in één enkele forward pass mogelijk wordt.
Sterke Inductieve Bias via HIT: De voorgestelde Hiërarchische Image Tokenization fungeert als een sterke inductieve bias, waardoor een klein model van 310M parameters state-of-the-art resultaten kan behalen zonder de noodzaak van grote backbones.
Vereenvoudigde Training via DPO: De introductie van een op DPO gebaseerde regularisatieterm vereenvoudigt het trainingsproces door de afhankelijkheid van grote, geannoteerde negatieve steekproeven of externe reward-modellen te verwijderen, en levert toch superieure scherpte en kwaliteit op.

Experimentele Resultaten

De voorgestelde methode (H-VAR) werd geëvalueerd op synthetische (DIV2K-Val) en real-world (RealSR, DRealSR) datasets tegenover GAN-gebaseerde, diffusion-gebaseerde en AR-gebaseerde baselines.

Multi-Schaal Capaciteit: In tegenstelling tot baselines (VARSR, Baseline) die geen coherente afbeeldingen produceren op intermediaire schalen (bijv. 256×256), reconstrueert H-VAR succesvol geldige afbeeldingen op 1×, 2× en 4× schalen vanuit één enkele pass.
Prestaties:
- Op RealSR bereikt H-VAR een PSNR van 25,55 en een LPIPS van 0,256, wat beter is dan VARSR (PSNR 24,61, LPIPS 0,350) en andere diffusion/GAN-methoden.
- Op DRealSR bereikt H-VAR een PSNR van 28,73, wat VARSR (28,16) en StableSR (27,87) overtreft.
Efficiëntie: Het model met 310M parameters presteert aanzienlijk beter dan het VARSR-model met 1B parameters, terwijl het minder rekenkracht vereist (0,25s inferentietijd versus 0,93s voor VARSR op DIV2K-Val).
Ablatie: Het verwijderen van het HIT-component resulteert in een aanzienlijke daling van de prestaties, wat zijn rol als kritieke inductieve bias bevestigt. Evenzo leidt het verwijderen van DPO-regularisatie tot vager resultaten en lagere PSNR/LPIPS-scores.

Betekenis en Claims

Het artikel claimt het paradigma van het toepassen van VAR op ISR te verbeteren door de "fixed-scale" beperking inherent aan standaard RQVAE-formuleringen op te lossen. Door Hiërarchische Image Tokenization in te voeren, tonen de auteurs aan dat het mogelijk is state-of-the-art super-resolution resultaten te bereiken met een compact model (310M params) getraind op standaard datasets, zonder de noodzaak van massale propriëtaire data of complexe externe guidance-mechanismen. Het werk benadrukt dat de structuur van de tokenisatie zelf (HIT) een krachtige drijver van prestaties is, die fungeert als een sterke inductieve bias die het model leidt naar semantisch zinvolle multi-schaal representaties.