🤖 AI

RaPD: Resolution-Agnostic Pixel Diffusion via Semantics-Enriched Implicit Representations

RaPD introduceert een resolutie-agnostisch pixeldiffusie-raamwerk dat werkt binnen een continue latente ruimte van neurale beeldvelden, waarbij het gebruikmaakt van semantische begeleiding en coördinaten-gequeryde aandacht om hoogwaardige beeldgeneratie mogelijk te maken bij willekeurige resoluties met vaste rekenkosten.

Oorspronkelijke auteurs: Yanhao Ge, Shanyan Guan, Weihao Wang, Ying Tai, Mingyu You

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yanhao Ge, Shanyan Guan, Weihao Wang, Ying Tai, Mingyu You

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een schilderij wilt maken. De meeste moderne AI-kunstgeneratoren werken als een pixelrooster. Ze besluiten te schilderen op een canvas dat al is verdeeld in tiny vierkantjes (pixels). Als je om een klein plaatje vraagt, vullen ze een klein rooster. Als je om een enorm, 8K-plaatje vraagt, moeten ze een enorm rooster bouwen, wat veel tijd en rekenkracht kost. Het is alsof je probeert een muurschildering te maken door miljoenen kleine, vooraf gemaakte vierkante tegels aan elkaar te lijmen; hoe groter de muurschildering, hoe meer tegels je moet maken.

Sommige oudere methoden probeerden dit op te lossen door Neural Image Fields (NIF's) te gebruiken. Denk hierbij niet aan een rooster van tegels, maar aan een continue, gladde vloeistof. Je kunt op elk punt een penseel in deze vloeistof dopen, en deze vertelt je precies welke kleur je daar moet schilderen. Dit is geweldig omdat je een klein stipje of een enorme muur kunt schilderen zonder de vloeistof zelf te veranderen.

Het Probleem:
Het artikel wijst op een groot gebrek in hoe deze "vloeibare" methoden tot nu toe zijn gebruikt. Ze zijn getraind als fotokopieerders, niet als scheppers.

Het Fotokopieerdersprobleem: Als je een foto met lage resolutie neemt en de AI vraagt om de ontbrekende details te "verbeelden" om deze hoog-res te maken, werkt de vloeistof goed. Het is goed in interpolatie (het invullen van gaten).
Het Scheppersprobleem: Maar als je de AI vraagt om een nieuw beeld uit het niets te bedenken op basis van een tekstprompt (zoals "een pluizige vos die skiët"), faalt de vloeistof. Het begrijpt het verhaal of de semantiek van het beeld niet goed genoeg om iets coherents te creëren. Het is alsof je een emmer verf hebt die weet hoe kleuren perfect op elkaar moeten aansluiten, maar geen idee heeft hoe een vos eruitziet.

De Oplossing: RaPD
De auteurs stellen RaPD (Resolution-Agnostic Pixel Diffusion) voor. Ze hebben een nieuw systeem gebouwd dat deze "fotokopieerdersvloeistof" omzet in een "scheppersvloeistof". Hier is hoe ze dit deden, met eenvoudige analogieën:

1. De "Slimme Vloeistof" (Semantische Representatiegids)

Stel je voor dat de "vloeistof" van de AI (de latente ruimte) als een blanco notitieboekje is.

Oude manier: Het notitieboekje was alleen geleerd om tekst perfect te kopiëren.
RaPD's manier: Voordat de AI begint met creëren, leren ze het notitieboekje met behulp van een slimme leraar (een krachtig visueel model genaamd DINOv2). Ze tonen het notitieboekje afbeeldingen en zeggen: "Kopieer niet alleen de pixels; begrijp dat deze vorm een 'vos' is en deze kleur 'vintage kleding'."
Het resultaat: De AI leert de betekenis van het beeld op te slaan in de continue vloeistof, niet alleen de visuele textuur. Dit overbrugt de kloof tussen "reconstrueren" en "genereren".

2. De "Universele Penseel" (Coördinaten-gequeryde Aandacht-Renderer)

Zodra de AI zijn "slimme vloeistof" heeft gecreëerd (de gedenoised latente ruimte), moet deze omgezet worden in een plaatje.

Oude manier: Het penseel was een eenvoudig, lokaal gereedschap. Het keek naar één klein druppeltje vloeistof en besliste de kleur voor één pixel. Het kon niet praten met zijn buren.
RaPD's manier: Ze bouwden een super-penseel genaamd de Coordinate-Queried Attention Renderer (CQAR). Dit penseel is speciaal omdat:
- Het precies weet waar het schildert (de coördinaten).
- Het naar het hele plaatje kan kijken terwijl het één stip schildert. Het vraagt: "Ik schilder hier een vosoren; zegt de rest van de vloeistof dat het lichaam daarover is?"
- Hierdoor kan het redeneren over het hele beeld, zodat de vos geen staart op de verkeerde plek krijgt, zelfs niet als het beeld enorm is.

3. Het "Magische Canvas" (Resolutie-onafhankelijk)

Dit is het coolste deel.

Het oude rooster: Om een 4K-beeld te maken, moest de AI een zware, trage procedure uitvoeren om 4K aan gegevens te genereren. Om een 8K-beeld te maken, moest het die procedure opnieuw uitvoeren voor nog meer gegevens.
RaPD's magie: De AI genereert de "slimme vloeistof" eenmaal. Dit kost een vaste hoeveelheid tijd, ongeacht hoe groot het uiteindelijke plaatje zal zijn.
- Wil je een 512x512-beeld? Je doopt je penseel op 512 plekken in de vloeistof.
- Wil je een 4096x4096-beeld? Je doopt je penseel op 4096 plekken in dezelfde vloeistof.
- De kosten: Het dure deel (het maken van de vloeistof) blijft hetzelfde. Het enige wat verandert, is hoe vaak je het penseel doopt. Dit betekent dat RaPD enorme, hoog-resolutie afbeeldingen bijna even snel kan genereren als kleine, terwijl andere methoden exponentieel trager worden.

Samenvatting van Resultaten

Het artikel toont aan dat RaPD kan:

Afbeeldingen genereren op basis van tekstprompts die er beter uitzien en minder fouten hebben (zoals gebroken vormen) dan eerdere pixelgebaseerde methoden.
Schalen naar willekeurige resoluties (van kleine miniatuurweergaven tot enorme 4K+-muren) zonder het model opnieuw te trainen.
Dit doen terwijl de rekenkosten voor het "creëren" vast blijven, en er alleen een kleine extra kostenpost is voor het "schilderen" naarmate het beeld groter wordt.

Kortom, RaPD leert een AI de betekenis van een continue afbeelding te begrijpen en geeft het een penseel dat die betekenis op elke grootte kan schilderen, direct, zonder dat elke keer de hele fabriek opnieuw gebouwd hoeft te worden als het canvas groter wordt.

Technische Samenvatting: RaPD (Resolutie-onafhankelijke Pixel Diffusie)

1. Probleemstelling

Natuurlijke afbeeldingen zijn van nature continu, maar moderne generatieve modellen opereren voornamelijk op discrete ruimtelijke roosters (hetzij in VAE-latentruimten, hetzij in pixelruimten). Deze discretisatie legt een fundamentele beperking op: het genereren van afbeeldingen in willekeurige, onbekende resoluties vereist het verhogen van het aantal tokens en de rekentijd, waardoor native generatie in hoge resolutie uitdagend wordt.

Bestaande benaderingen voor generatie in willekeurige resoluties introduceren continuïteit doorgaans pas op het decoderstadium.

GAN's gebruiken op coördinaten gebaseerde MLP's, maar lijden onder een beperkte generatiecapaciteit.
Latente Diffusiemodellen (LDM's) maken gebruik van flexibele decoders, maar het diffusieproces zelf blijft beperkt tot een discrete, gecomprimeerde latentruimte, wat de VAE-flesnek erfelijk maakt en de semantiek koppelt aan discrete inhoud.
Pixel Diffusiemodellen werken direct op pixels, maar genereren nog steeds op vaste discrete roosters.
Neurale Beeldvelden (NIF's) zoals LIIF en CLIF maken resolutievrije rendering mogelijk, maar worden voornamelijk getraind voor interpolatie en reconstructie. Hun latents zijn geoptimaliseerd voor lokale uiterlijke aanwijzingen en missen de semantische structuur die vereist is voor hoogwaardige generatieve modellering.

Het kernprobleem dat wordt aangepakt, is de reconstructie-generatie kloof: bestaande continue representaties zijn uitstekend voor superresolutiereconstructie, maar falen wanneer ze direct worden gebruikt voor tekst-naar-beeldgeneratie. Het artikel vraagt zich af of beeldgeneratie kan worden geformuleerd over "continue pixels" in plaats van discrete roosters of gecomprimeerde proxies.

2. Methodologie

De auteurs stellen RaPD (Resolutie-onafhankelijke Pixel Diffusie) voor, een kader dat diffusie direct uitvoert binnen een continue Neuraal Beeldveld (NIF) latentruimte. Het kader bestaat uit twee hoofdfasen en drie belangrijke technische componenten.

2.1 Basis Kader

RaPD hanteert een tweestapsontwerp:

Fase 1 (NIF-leren): Een encoder $E_\phi$ beeldt een invoerbeeld af op een dichte, hoge-resolutie NIF-latent $z$ zonder ruimtelijke downsampling. Een Coördinaat-gequeryde Aandacht-Renderer (CQAR) rendert deze latent op willekeurige doelcoördinaten.
Fase 2 (Diffusietraining): De encoder en de renderer worden bevroren. Een DiT-stijl denoiser wordt getraind om de flow-matching-snelheid te voorspellen op genormaliseerde NIF-latents, geconditioneerd op tekstembeddings.

Tijdens inferentie wordt een enkele gedenoiseerde latent gerenderd op elke doelresolutie door alleen het query-coördinatenrooster te wijzigen, waardoor de diffusiekosten onafhankelijk blijven van de uitvoergrootte.

2.2 Semantische Representatiegids (SRG)

Om de kloof te overbruggen tussen reconstructie-gerichte NIF's en generatieve modellering, introduceert RaPD SRG, die werkt op zowel het representatieniveau als het diffusietrainingsniveau:

Semantische Distillatie: Omdat standaard NIF-latents semantische structuur missen, injecteert RaPD semantiek vanuit een bevroren visuele fundamenteel model (DINOv2 ViT-B/14) in de dichte NIF-latent tijdens Fase 1.
- De NIF-latent $z$ wordt geprojecteerd om overeen te komen met het DINOv2-patchrooster.
- Een afstemmingsverlies, bestaande uit een cosinusverlies (dat per-positie semantische overeenkomst afdwingt) en een afstandsmatrix-similariteitsverlies (dat de relationele geometrie van paren behoudt), wordt geoptimaliseerd.
- Dit fungeert als vormende supervisie, waarbij de latent wordt gevormd tot een generatiebewuste representatie zonder de coördinaat-renderingscapaciteiten te offeren.
Latent-dichtheidsbewuste Tijdstapverschuiving: Standaard flow-matching-schema's zijn ontworpen voor gecomprimeerde VAE-latents. De NIF-latents van RaPD zijn dichte en hoge-resolutie. Om deze verhoogde informatiedichtheid te compenseren, introduceren de auteurs een grotere tijdstapverschuivingsfactor ( $s=32$ ) in het flow-matching-schema. Dit prioriteert zware ruisfasen (kleine $t$ ), die cruciaal zijn voor het genereren van coherente inhoud in dichte latentruimten.

2.3 Coördinaat-gequeryde Aandacht-Renderer (CQAR)

Bestaande impliciete decoders (zoals LIIF, CLIF) gebruiken puntsgewijze MLP's of ondiepe CNN's die lokale features onafhankelijk verwerken. Deze slagen er niet in om de globale semantische structuur die door SRG wordt ingebracht, te benutten.

RaPD vervangt deze door CQAR, die aandacht uitvoert over de gequeryde uitvoercoördinaten in plaats van het invoerlatentrooster.

Tokenconstructie: Voor elke doelcoördinaat wordt een token geconstrueerd uit de dichtstbijzijnde burenlatentfeature, absolute coördinaat, relatieve offset en celgrootte.
Gefenstrede Aandacht: Deze tokens worden verwerkt door Swin-stijl gefenstrede self-attention-blokken. Dit maakt semantische redenering tussen pixels mogelijk, waardoor de renderer globaal kan redeneren over de gequeryde pixels terwijl de rekentijd schaalbaar blijft.

3. Belangrijkste Bijdragen

RaPD Kader: Een resolutie-onafhankelijk pixeldiffusiekader dat continue beeldsignalen direct genereert in een NIF-latentruimte, waardoor de diffusiekosten worden ontkoppeld van de uitvoerresolutie.
Semantische Representatiegids (SRG): Een strategie om reconstructie-gerichte continue latents om te vormen tot generatiebewuste representaties via semantische distillatie en aangepaste flow-matching-schema's.
Coördinaat-gequeryde Aandacht-Renderer (CQAR): Een nieuwe decoder die lokale impliciete operatoren vervangt door coördinaat-geconditioneerde, schaalbewuste aandacht, waardoor ruimtelijk coherente rendering in willekeurige resoluties mogelijk wordt.

4. Experimentele Resultaten

Het artikel evalueert RaPD tegen state-of-the-art latente diffusiemodellen (zoals SD3, FLUX.1-dev) en pixeldiffusiemodellen (zoals PixelGen, DeCo, PixNerd).

Generatiekwaliteit: Op GenEval behaalt RaPD een totaalscore van 0,85, wat beter is dan PixelGen (0,79) en DeCo (0,83), met significante verbeteringen in compositie-categorieën (twee objecten, tellen, kleur). Op DPG-Bench scoort RaPD 81,6, en overtreft het pixeldiffusie-baselines.
Generatie in Willekeurige Resoluties: RaPD toont sterke generalisatie naar resoluties buiten de verdeling (tot $4096^2$ ), ondanks dat het is getraind met supervisie tot $512^2$ . De gegenereerde afbeeldingen behouden een coherente globale structuur en fijne details bij hoge resoluties.
Efficiëntie: Een kritiek voordeel is de rekenschalbaarheid. Terwijl vaste-rooster pixeldiffusiemodellen (PixelGen, DeCo) een kwadratische groei vertonen in inferentietijd met de resolutie, houdt RaPD de denoisingkosten bijna constant.
- Bij $4096^2$ duren PixelGen en DeCo >61 seconden.
- RaPD heeft slechts 2,13 seconden nodig voor dezelfde resolutie, omdat de diffusiekosten onafhankelijk zijn van de uitvoergrootte.

5. Betekenis en Beperkingen

Betekenis:
Het artikel beweert dat RaPD het paradigma van beeldgeneratie fundamenteel verschuift door het proces te formuleren over "continue pixels". Het toont succesvol aan dat hoogwaardige, resolutie-onafhankelijke generatie mogelijk is zonder de informatie-flesnek van VAE's of de kwadratische kostenskalering van discrete pixeldiffusie. Door de latentruimte te behandelen als een continu signaal in plaats van een discreet rooster, bereikt RaPD een unieke combinatie van generatiekwaliteit en inferentie-efficiëntie bij hoge resoluties.

Beperkingen:
De auteurs erkennen enkele beperkingen:

Dataschaal: Het model is getraind op ongeveer 36 miljoen afbeeldingen (BLIP3o), wat aanzienlijk minder is dan commerciële schaalmodellen (zoals SD3, FLUX), wat de absolute generatiekwaliteit mogelijk beperkt.
Tekstencoder: Het gebruik van een bevroren, relatief compacte Qwen3-1.7B tekstencoder kan het begrip van complexe prompts beperken in vergelijking met systemen die grotere taalmodellen gebruiken.
Inferentieoptimalisatie: De huidige implementatie maakt nog geen gebruik van geavanceerde optimalisaties zoals FlashAttention, samengevoegde kernels of FP8-quantisatie, wat betekent dat de gerapporteerde latentiteiten conservatieve bovengrenzen zijn.

Het artikel concludeert dat toekomstig werk zich kan richten op het schalen van datasets/modellen, het uitbreiden van het kader naar controleerbare generatie/bewerking, en het implementeren van hardware-bewuste inferentieversnelling.