💻 computer science

One Pass Is Not Enough: Recursive Latent Refinement for Generative Models

Het artikel introduceert RTM, een generatief model dat single-pass latente mapping vervangt door recursieve verfijning om mode-coverage expliciet te prioriteren, waardoor er superieure precisie en recall worden bereikt samen met concurrerende FID-scores over meerdere datasets.

Oorspronkelijke auteurs: Mehdi Esmaeilzadeh, Alexia Jolicoeur-Martineau, Chirag Vashist, Ke Li

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mehdi Esmaeilzadeh, Alexia Jolicoeur-Martineau, Chirag Vashist, Ke Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robotkunstenaar te leren hoe je portretten moet schilderen. Je laat hem duizenden foto's van mensen zien. Het doel is dat de robot uiteindelijk een nieuwe afbeelding van een persoon schildert die er echt uitziet, maar die nooit eerder heeft bestaan.

Lange tijd was de belangrijkste manier om deze robots te beoordelen door te vragen: "Ziet dit schilderij scherp en realistisch uit?" Als de robot 1.000 kopieën van exact dezelfde knappe man schilderde, zou hij een perfecte score krijgen omdat elk schilderij er geweldig uitzag. Maar dit is een probleem: de robot heeft niet geleerd dat mensen verschillende haarkleuren, leeftijden en uitdrukkingen hebben. Hij bleef steken in een "mode collapse" en schilderde slechts één type persoon.

Dit artikel introduceert een nieuwe methode genaamd RTM (Recursive Token Mapper) om dit op te lossen. Hieronder wordt uitgelegd hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Probleem: De "One-Shot" Kunstenaar

De meeste huidige AI-modellen (zoals de populaire StyleGAN) werken als een student die in één enkele, wanhopige haast een eindexamen aflegt.

De Oude Manier: De AI neemt een willekeurig ruis-signaal (zoals een leeg canvas) en voert dit in één keer uit via een lange keten van 8 stappen (een 8-laags "MLP") om te beslissen hoe het beeld eruit moet zien.
De Tekortkoming: Omdat het de gezichtsform, de huidskleur, de haartextuur en de belichting allemaal in één keer moet beslissen, raakt het vaak overweldigd. Het neigt om op veilig te spelen en kiest de "gemiddelde" of meest voorkomende kenmerken om ervoor te zorgen dat het beeld scherp blijft. Dit leidt tot hoge kwaliteit maar lage diversiteit (het "mode collapse"-probleem).

2. De Oplossing: De "Iteratieve Schets" Kunstenaar

De auteurs stellen een nieuwe aanpak voor genaamd RTM. In plaats van alles in één haast te doen, gedraagt de AI zich als een meesterkunstenaar die schetst en verfijnt.

De Analogie: Stel je een kunstenaar voor die niet probeert in één slag een meesterwerk te schilderen.
1. Eerste Doorgang (Grof): Ze schetsen snel de basiscontouren: "Oké, dit is een gezicht, het kijkt naar links, het haar is kort."
2. Tweede Doorgang (Verfijning): Ze kijken naar die schets en zeggen: "De kaaklijn moet scherper zijn en de ogen hebben meer detail nodig."
3. Derde Doorgang (Polijsten): Ze voegen de laatste handelingen toe: "Laten we de huidtextuur echt laten lijken en het licht aanpassen."

RTM doet precies dit. Het neemt het willekeurige ruis-signaal en voert dit meerdere keren uit via een klein, herbruikbaar "blok" logica.

Vroege cycli leggen het grote plaatje vast (identiteit, houding, compositie).
Latere cycli verfijnen de details (textuur, kleur, scherpte).

Omdat de AI zijn eigen werk kan "terugkijken" en fouten kan herstellen, blijft hij niet steken in slechts één type afbeelding. Hij kan een bredere variëteit aan gezichten verkennen terwijl ze er toch realistisch uitzien.

3. Het "Recursieve" Geheime Ingrediënt

Je zou kunnen vragen: "Waarom maken we de keten van 8 stappen niet gewoon langer (bijvoorbeeld 32 stappen)?"
Het artikel betoogt dat het simpelweg langer maken van de keten is alsof je de student een langere lijst met instructies geeft om uit het hoofd te leren zonder hen te laten nadenken. Het is inefficiënt en kan de zaak zelfs erger maken.

RTM is "Recursief". Dit betekent dat het dezelfde kleine set instructies keer op keer gebruikt, maar elke keer toegepast op het verbeterde resultaat van de vorige stap.

Analogie: Het is alsof je één zeer slimme redacteur hebt die een concept bekijkt, het bewerkt, het nieuwe concept bekijkt, het opnieuw bewerkt, en zo verder. Dit is veel effectiever dan het inhuren van 32 verschillende redacteuren die elk een klein deel van het werk doen zonder met elkaar te praten.

4. De Resultaten: Betere Kwaliteit EN Meer Variatie

De auteurs hebben dit getest op verschillende datasets (zoals CIFAR-10, met kleine afbeeldingen van katten, honden en auto's, en CelebA-HQ, met gezichten).

De Valstrik van de Oude Metriek: Ze merkten op dat de standaard score (FID) "verzadigd" raakt. Het is moeilijk om deze lager te krijgen, en een lage score garandeert niet dat de AI de volledige variatie van de data leert.
De Nieuwe Doelstelling: Ze richtten zich op Precisie (hoe realistisch de afbeeldingen eruitzien) en Recall (hoeveel verschillende soorten afbeeldingen de AI kan genereren).
Het Resultaat: RTM sloeg de vorige beste modellen. Het maakte niet alleen scherpere afbeeldingen; het maakte meer diverse afbeeldingen.
- Op het "Gezicht"-dataset genereerde het gezichten met een veel bredere variëteit aan leeftijden, huidskleuren en uitdrukkingen in vergelijking met de oude modellen, terwijl ze er nog steeds zeer realistisch uitzagen.
- Het werkte niet alleen voor hun specifieke trainingsmethode (IMLE), maar verbeterde ook de standaard StyleGAN-modellen.

Samenvatting

Denk aan de oude AI als een fotokopieerapparaat dat alleen weet hoe het één specifieke foto perfect kan kopiëren. De nieuwe RTM-AI is als een creatief directeur die een ruwe idee kan bekijken, stap voor stap verfijnt en een galerij van unieke, hoogwaardige portretten produceert die het volledige spectrum van menselijke diversiteit bestrijken.

Het artikel beweert dat dit wordt bereikt door het "one-shot" mapping-netwerk te vervangen door een recursieve lus die de AI in staat stelt om zijn latente "blauwdruk" iteratief te verfijnen voordat het de definitieve afbeelding genereert.

Technische Samenvatting: Één Doorloop Is Niet Genoeg: Recursieve Latente Verfijning voor Generatieve Modellen

Probleemstelling

Ondanks aanzienlijke vooruitgang in beeldgeneratie, staat het veld voor een kritieke evaluatieknelpunt. De dominante metriek, de Fréchet Inception Distance (FID), verwardt steekproefkwaliteit met modusdekking en verzadigt vaak bij lage waarden in het enkele cijferbereik. Deze verzadiging maskeert een hardnekkig probleem: modellen kunnen lage FID-scores behalen door een kleine set scherpe, bijna-identieke afbeeldingen te genereren (modusinstorting), terwijl ze falen in het bestrijken van de volledige dataverdeling.

Huidige generatieve paradigma's vertonen een afweging:

Diffusie- en Flow-Matching-modellen: Bereiken hoge kwaliteit maar vereisen vaak iteratieve steekproefneming (meerdere neurale functiebeoordelingen). Gedistilleerde varianten met één stap versnellen de inferentie, maar offeren consequent diversiteit en dekking op. Bovendien dekken diffusieoplossers systematisch gebieden met lage dichtheid in de dataverdeling ontoereikend.
Generative Adversarial Networks (GAN's): Bieden inferentie in één stap, maar zijn vatbaar voor modusinstorting, waarbij ze zich richten op modi met hoge kwaliteit terwijl andere worden verwaarloosd.
Implicit Maximum Likelihood Estimation (IMLE): Garandeert modusdekking door constructie (waarbij elke trainingsafbeelding een nabije gegenereerde steekproef heeft) en ondersteunt inferentie in één stap. IMLE-gebaseerde methoden hebben echter historisch gezien achtergehouden in steekproefkwaliteit. Deze beperking komt deels voort uit de architectuur van de generator: het mappernetwerk in op StyleGAN gebaseerde IMLE-modellen is een standaard Multi-Layer Perceptron (MLP) die in één doorloop wordt verwerkt. Dit dwingt het netwerk om alle aspecten van de style-code (identiteit, structuur, textuur, fijn detail) gelijktijdig te bepalen, waardoor de output zeer gevoelig is voor onnauwkeurigheden in de initiële latente mapping.

Methodologie: Recursieve Token Mapper (RTM)

De auteurs stellen voor om het MLP-mappernetwerk met één doorloop in op stijl gebaseerde generators te vervangen door een Recursieve Token Mapper (RTM). RTM past de "Tiny Recursive Model" (TRM)-architectuur aan op de generatieve setting, waardoor iteratieve verfijning van de latente ruimte mogelijk wordt zonder de parameteraantal te verhogen.

Kernarchitectuur

Recursieve Structuur: In plaats van een diepe stapel onafhankelijke lagen, gebruikt RTM een gedeeld blok $f$ $f$ dat iteratief wordt toegepast. Het proces omvat twee niveaus van recursie:
- Interne Cycli ( $L$ ): Een interne toestand $Z_L$ wordt $L$ keer per stap bijgewerkt, geconditioneerd op een externe toestand en de originele ruisvector.
- Verfijningstappen ( $H$ ): De externe toestand $Z_H$ wordt $H$ keer bijgewerkt.
Mechanisme: De mapper produceert eerst een ruwe schatting van de style-vector $w$ en corrigeert deze vervolgens progressief over meerdere cycli. Vroege cycli leggen ruwe structuren vast (identiteit, houding), terwijl latere cycli textuur en kleur verfijnen.
Parameter-efficiëntie: Omdat hetzelfde blok $f$ wordt hergebruikt, verhoogt het verhogen van $H$ of $L$ de effectieve computationele diepte zonder parameters toe te voegen.
Korte-Gradientenoptimalisatie: Om het geheugen tijdens het trainen te beheren, wordt alleen de laatste verfijningstap differentieel doorgevoerd; tussenliggende stappen worden losgekoppeld. Dit behoudt de representatieve voordelen van diepe recursie terwijl de trainingsgeheugenkosten vergelijkbaar blijven met die van één feed-forward blok.
Integratie: RTM is ontworpen als een "drop-in"-vervanging voor het mappernetwerk in zowel IMLE-gebaseerde generators (specifiek RS-IMLE) als adversariaal getrainde StyleGAN's (StyleGAN2 en StyleGAN2-ADA). De decoderarchitectuur blijft onveranderd.

Belangrijkste Bijdragen

Recursieve Token Mapper (RTM): Een nieuwe architectuur voor mappernetwerken die de standaard MLP met één doorloop in op stijl gebaseerde generators vervangt door een iteratief verfijningsproces.
Integratie met RS-IMLE: Bij integratie met Rejection-Sampling IMLE (RS-IMLE) verbetert RTM FID, Precisie en Recall over negen few-shot benchmarks, onvoorwaardelijke CIFAR-10 en CelebA-HQ (256×256), terwijl het de inferentie in één stap en de directe mapping van latent naar beeld van IMLE behoudt.
Generaliseerbaarheid naar Adversariaal Trainen: RTM verbetert StyleGAN2 en StyleGAN2-ADA op CIFAR-10 en AFHQ-v1 (512×512), wat aantoont dat de voordelen van recursieve verfijning niet specifiek zijn voor het IMLE-trainingsdoel.
Inferentie-flexibiliteit: Het aantal verfijningstappen ( $H$ ) fungeert als een computationele hyperparameter. Modellen kunnen bij inferentie worden geëvalueerd met verschillende $H$ -waarden zonder hertraining, waardoor een afweging mogelijk is tussen inferentiekosten en kwaliteit.

Experimentele Resultaten

Het artikel evalueert RTM aan de hand van Precisie, Recall, FID en Inception Score (IS) over meerdere datasets.

CIFAR-10 (32×32): RTM geïntegreerd met RS-IMLE bereikt de hoogste Precisie (0,896) en Recall (0,773) onder alle vermelde methoden, inclusief diffusie- en flow-matching baselines. Het verlaagt FID met 30% ten opzichte van de vanilla RS-IMLE-baseline (3,97 versus 5,69) terwijl het inferentie in één stap behoudt.
CelebA-HQ (256×256): RTM verlaagt FID met 27% ten opzichte van de RS-IMLE-baseline (10,67 versus 15,43) en verbetert tegelijkertijd Precisie (0,952) en Recall (0,592).
Few-Shot Benchmarks: Op negen standaard few-shot datasets (bijvoorbeeld Obama, Dog, Anime) halveert RTM ongeveer de gemiddelde FID van de overeenkomstige RS-IMLE-reproductie (13,94 versus 25,2).
StyleGAN2/ADA: Op CIFAR-10 verlaagt RTM FID van 3,88 naar 3,55 voor StyleGAN2 en behoudt FID op 2,31 voor StyleGAN2-ADA, terwijl het Precisie en Dekking verbetert. Op AFHQ-v1 verbetert RTM FID (4,79 versus 4,99) en Recall (0,565 versus 0,507).
Diepte versus Recursie: Een ablatiestudie op CIFAR-10 toont aan dat het simpelweg verhogen van de diepte van een niet-recursieve MLP (tot 32 lagen) de Precisie verbetert, maar Recall ernstig verslechtert (0,550 versus 0,664 baseline). RTM bereikt een betere FID met 13 keer minder parameters dan de op diepte afgestemde MLP, wat suggereert dat recursie een superieure inductieve bias biedt voor distributiegetrouwheid zonder dekking op te offeren.

Betekenis en Claims

Het artikel betoogt dat het doel van beeldgeneratie moet verschuiven van het louter verlagen van FID (dat bijna verzadigd is) naar het expliciet verbeteren van diversiteit en dekking (Recall) naast kwaliteit (Precisie).

Voorbij FID: De auteurs beweren dat FID alleen onvoldoende is omdat het scherpe, geconcentreerde steekproeven beloont die grote delen van de dataverdeling kunnen negeren. Precisie en Recall zijn essentiële aanvullingen.
Gelijktijdige Verbetering: In tegenstelling tot flow-matching baselines die vaak dekking opofferen voor FID, of gedistilleerde diffusiemodellen die diversiteit verliezen bij inferentie in één stap, verbetert RTM zowel kwaliteit als diversiteit gelijktijdig.
Architectueel Inzicht: Het artikel stelt dat verfijning een kwalitatief andere berekening is dan een enkele forward pass. Door de mapper toe te staan vroege beslissingen (ruwe structuur) te herzien in het licht van latere berekeningen (fijn detail), overwint RTM de gevoeligheid van de decoder voor onnauwkeurigheden in de latente code.
Bescheidenheid: De auteurs erkennen beperkingen en merken op dat experimenten beperkt zijn tot datasets waar de nearest-neighbor zoekopdracht van IMLE computationeel haalbaar is (exclusief ImageNet). Ze claimen niet beeldgeneratie opgelost te hebben, maar eerder een methode te hebben geboden die de afweging tussen kwaliteit en diversiteit binnen huidige evaluatiekaders beter in evenwicht brengt.