💻 computer science

Test-Time Conditioning with Representation-Aligned Visual Features

Dit artikel introduceert Representation-Aligned Guidance (REPA-G), een raamwerk voor tijdens de inferentie dat de generatie van diffusiemodellen stuurt naar specifieke visuele kenmerken geëxtraheerd uit vooraf getrainde zelfgesuperviseerde modellen, wat veelzijdige en precieze controle mogelijk maakt over textuur, semantiek en multi-concept compositie zonder hertraining te vereisen.

Oorspronkelijke auteurs: Nicolas Sereyjol-Garros, Ellington Kirby, Victor Letzelter, Victor Besnier, Nermin Samet

Gepubliceerd 2026-02-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nicolas Sereyjol-Garros, Ellington Kirby, Victor Letzelter, Victor Besnier, Nermin Samet

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotkunstenaar probeert te leren hoe hij een schilderij van een "konijn" moet schilderen.

De Oude Manier (Tekstprompts):
Je zou een lange, gedetailleerde beschrijving kunnen schrijven: "Een pluizig wit konijn dat op een vulkaan zit met gebarsten zwarte aarde en gloeiende lava." Maar de robot kan in de war raken. Is het konijn wit of grijs? Is de lava rood of oranje? Tekst is als een vage kaart; het geeft richtingen aan, maar de robot moet de details zelf invullen.

De Nieuwe Manier (REPA-G):
In plaats van een beschrijving te schrijven, laat je de robot simpelweg een foto zien van een echt konijn en een foto van een echte vulkaan. De robot kijkt niet alleen naar de foto's; hij kijkt naar het "geheime DNA" dat erin zit.

Dit artikel introduceert een nieuwe methode genaamd REPA-G (Representation-Aligned Guidance). Zo werkt het, met eenvoudige analogieën:

1. De "Geheime Taal" van Afbeeldingen

De meeste AI-modellen leren afbeeldingen te genereren door fouten te raden en te corrigeren (zoals een beeldhouwer die steen weghakt). Onlangs ontdekten onderzoekers een manier om deze modellen een "geheime taal" aan te leren door ze afbeeldingen te tonen en hen te vragen de interne kenmerken van een slimme, vooraf getrainde leraar (zoals DINOv2) te matchen.

Beschouw deze "geheime taal" als een universele vertaler. Wanneer de AI een konijn ziet, ziet hij niet alleen pixels; hij begrijpt het concept van "konijn-achtigheid" in een wiskundige code. Het artikel laat zien dat als je de AI leert deze code te spreken, de AI de wereld veel beter begrijdt dan wanneer hij alleen zou leren om te schilderen.

2. Het Schip op het Laatste Moment Bijsturen

Normaal gesproken kun je een AI-model niet gemakkelijk van gedachten doen veranderen zonder het volledig opnieuw te trainen; dat is alsoal een auto bouwen en er dan achter komen dat je eigenlijk een boot wilde; je zou dan een nieuwe moeten bouwen.

REPA-G is anders. Het werkt op het allerlaatste moment (tijdens "inference" of generatie).

De Analogie: Stel je voor dat de AI een schip is dat door een mistige oceaan vaart (het proces van het creëren van een afbeelding uit ruis).
De Oude Manier: Je stelt de bestemming vast voordat het schip de haven verlaat (training).
De REPA-G Manier: Je kunt het schip bijsturen terwijl het vaart. Als je een konijn wilt, houd je een "konijn-signaal" omhoog (een kenmerk van een echte foto van een konijn). Het schip voelt een magnetische aantrekkingskracht naar dat signaal en stuurt zichzelf om aan dat signiaal te voldoen.

3. Drie Niveaus van Controle

Het artikel laat zien dat je de AI kunt aansturen met verschillende niveaus van precisie, zoals inzoomen of uitzoomen op een kaart:

Het "Gemiddelde" Signaal (Brede Controle): Je laat de AI een hele foto van een konijn zien en zegt: "Maak iets dat aan dit voelt." De AI vangt de algemene sfeer op (een konijn), maar kan de houding of de achtergrond veranderen. Het is alsof je zegt: "Teken een hond," en je krijgt een Golden Retriever, een Poedel of een Beagle.
Het "Gemaskeerde" Signaal (Vormcontrole): Je neemt een foto van een konijn, dekt de achtergrond af met een zwart masker en laat de AI alleen de vorm van het konijn zien. De AI tekent dan een konijn in die exacte vorm, maar kan het overal plaatsen (op een strand, in de ruimte, op een vulkaan). Het is als het gebruik van een koekjesvorm; de vorm staat vast, maar het deeg kan van alles zijn.
Het "Volledige" Signaal (Exacte Kopie): Je laat de AI de volledige afbeelding zien, en de AI probeert de specifieke texturen en details van die exacte afbeelding te recreëren.

4. Mixen en Matchen (Compositie)

Het coolste deel is dat je deze signalen kunt mengen.

De Analogie: Stel je voor dat je een "Tijger op een Surfplank" wilt.
Je laat de AI een foto van een tijger zien (om de kenmerken van de tijger te krijgen).
Je laat de AI een foto van een surfplank of een golf zien (om de achtergrondkenmerken te krijgen).
De AI mengt deze twee "geheime codes" samen. Hij plakt niet zomaar een tijger op de golf; hij begrijpt dat de tijger bij deze omgeving hoort, wat een natuurlijk ogende afbeelding creëert.

Waarom dit ertoe doet (volgens het artikel):

Geen hertraining nodig: Je hoeft het AI-model niet opnieuw te bouwen. Je gebruikt gewoon deze stuurtechniek aan het einde.
Beter dan tekst: Het artikel betoogt dat het tonen van een afbeelding (of de "geheime code" ervan) veel preciezer is dan het schrijven van een lange paragraaf. Tekst is vaag; een feature map is een directe instructie.
Hoge Kwaliteit: Wanneer ze dit testten op beroemde afbeeldingen-datasets (ImageNet en COCO), waren de resultaten scherper, diverser en volgden ze de instructies beter dan eerdere methoden.

Samenvattend:
REPA-G is als het geven van een set magnetische stuurwielen gemaakt van echte foto's aan een robotkunstenaar. In plaats van te gissen naar wat je wilt op basis van een vage beschrijving, geef je de robot een "magneet" (een kenmerk uit een foto), en de interne kompas van de robot trekt de uiteindelijke afbeelding naar die magneet toe, waardoor precies creëert wat jij voor ogen had zonder dat de robot opnieuw gebouwd hoeft te worden.

Technische Samenvatting: Test-Time Conditionering met Representatie-Gealigneerde Visuele Kenmerken (REPA-G)

Probleemstelling

Hoewel representatie-alignement met zelf-gesuperviseerde modellen heeft aangetoond de training van diffusiemodellen te versnellen en de kwaliteit van samples te verbeteren, blijft het potentieel voor het verbeteren van inferentie-tijd conditionering grotendeels onverkend. Huidige conditioneringsstrategieën in beeldgeneratie vertrouwen doorgaans op klasse-labels of tekstuele beschrijvingen. Klasse-gebaseerde conditionering biedt slechts grove controle die beperkt is tot vooraf gedefinieerde categorieën, terwijl tekstprompts, hoewel flexibel, vaak onnauwkeurig en ambigu zijn. Er is een methode nodig die precieze, flexibele en fijnmazige controle over generatie mogelijk maakt zonder het model opnieuw te trainen of te vertrouwen op ambigue prompts.

Methodologie: REPA-G

De auteurs introduceren Representation-Aligned Guidance (REPA-G), een framework dat gebruikmaakt van de interne representaties van diffusiemodellen die getraind zijn met representatie-alignement om visuele conditionering tijdens de test-tijd mogelijk te maken.

Kernmechanisme

REPA-G werkt door het optimaliseren van een gelijkenis-doelstelling (een "potentiaal") tijdens het inferentieproces. De methode stuurt het denoising-proces naar een doel-representatie die geëxtraheerd is uit een vooraf getrainde zelf-gesuperviseerde feature-extractor (bijv. DINOv2).

Feature Extractie: Visuele tokens worden geëxtraheerd uit een referentie (anker) afbeelding met behulp van hetzelfde zelf-gesuperviseerde netwerk dat gebruikt is tijdens de alignement-fase van het model.
Gradient Guidance: Het sampling-procedure wordt gewijzigd door de gradiënt van een potentiaalfunctie $\mathscr{V}$ te berekenen die de alignement tussen de interne kenmerken van de gegenereerde sample en de conditionerende kenmerken kwantificeert.
Tilted Distribution: Theoretisch stuurt deze guidance het sampling-proces naar het trekken uit een "tilted distribution" $\tilde{p}_0(x; x_c) \propto p_0(x) e^{\lambda \mathscr{V}(\phi(x), \phi(x_c))}$ , waarbij $p_0$ de oorspronkelijke datadistributie is en $\lambda$ de sterkte van de guidance controleert.

Ontwerpkeuzes voor de Potentiaal

Het framework ondersteunt meerdere granulariteiten van controle door de potentiaalfunctie $\mathscr{V}$ aan te passen:

Independent Patch Alignment (IPA): Maakt ruimtelijke flexibiliteit mogelijk.
- Full Feature Map: Dwingt dichte ruimtelijke restricties af voor stochastische reconstructie.
- Masked Feature Map: Behoudt informatie binnen specifieke regio's (bijv. objectvorm) terwijl variatie elders wordt toegestaan.
- Average Concept: Aligneert het globale semantische gemiddelde, waardoor ruimtelijke restricties worden verwijderd om de algemene categorie (bijv. "konijn") te sturen.
- Single Concept: Richt de guidance op een specifieke lokale patch.
Selective Patch Alignment (SPA): Gebruikt een soft-max mechanisme met een temperatuurparameter $T$ om patches adaptief te wegen op basis van hun gelijkenis met een doelconcept. Dit stelt het model in staat om concepten adaptief te lokaliseren, waardoor rigide ruimtelijke restricties worden omzeild.

Vereisten

De methode vereist dat het diffusiemodel getraind is met representatie-alignement (bijv. met REPA of REPA-E doelstellingen). Dit zorgt ervoor dat de interne feature-ruimte semantisch betekenisvol en goed-geconditioneerd is, wat betekent dat afstanden in de feature-ruimte correleren met afstanden in de conditionele densiteitsruimte. Zonder deze alignement mist de feature-ruimte de semantische structuur die nodig is voor effectieve conditionering.

Belangrijkste Bijdragen

REPA-G Framework: Het eerste test-tijd visuele conditioneringsframework voor diffusiemodellen getraind met representatie-alignement. Het aligneert interne diffusie-features met targets van een zelf-gesuperviseerde encoder zonder fine-tuning of hertraining te vereisen.
Theoretische Rechtvaardiging: De auteurs bieden een theoretische analyse die aantoont dat deze guidance sampling mogelijk maakt uit een potentiaal-geïnduceerde tilted distribution. Ze rechtvaardigen ook dat zelf-gesuperviseerde features zeer geschikt zijn voor deze taak vanwege de semantische coherentie en de gladde mapping-eigenschappen van de gealigneerde representatieruimte.
Veelzijdige Controle: De methode maakt controle mogelijk over concrete en abstracte visuele concepten op meerdere schalen, variërend van fijnmazige textuur-matching via enkele patches tot brede semantische guidance met globale tokens. Het ondersteunt ook multi-concept compositie (bijv. het combineren van een object uit één afbeelding met de achtergrond van een andere).

Experimentele Resultaten

De auteurs hebben REPA-G geëvalueerd op de ImageNet en COCO datasets met behulp van flow matching modellen (SiT) die getraind zijn met representatie-alignement.

Prestaties op Distributieniveau: Op ImageNet presteert REPA-G aanzienlijk beter dan onconditionele baselines en standaard SiT-modellen wanneer geconditioneerd. Bijvoorbeeld, bij het gebruik van REPA-E met DINOv2 features (FDINO), bereikte de methode een Fréchet Inception Distance (FID) van 1.45 (Full Feature Map) en 2.30 (Masked), vergeleken met 15.07 voor de onconditionele baseline. De methode vertoonde ook hoge Inception Scores (IS) en Precision/Recall metrieken.
Instance-Level Alignment: De gegenereerde afbeeldingen vertoonden een hoge cosinus-gelijkenis met de anker-afbeeldingen over DINOv2, JEPA en CLIP feature-ruimtes, waarbij PSNR-waarden duidelijke pixel-niveau getrouwheid aangaven in gemaskeerde reconstructies.
Vergelijking met Text-to-Image: Bij vergelijking met een text-to-image baseline (CAD-I) op COCO, behaalde REPA-G met visuele features superieure prestaties (FID van 2.11 vs. 37.98 voor tekst), wat suggereert dat visuele features een dichtere en meer informatieve signaal bieden dan tekstuele captions.
Multi-Concept Compositie: In compositorische generatie-taken (het combineren van anker-objecten met doel-achtergronden), presteerden REPA-G varianten (IPA en SPA) aanzienlijk beter dan klasse-geconditioneerde en geïnterpoleerde baselines in termen van CLIP-scores en patch-wijze gelijkenis-metrieken.

Betekenis en Claims

Het artikel claimt dat REPA-G een flexibel en precies alternatief biedt voor vaak ambigue tekstprompts of grove klasse-labels. Door volledig tijdens de inferentie-tijd te opereren, vermijdt het de computationele kosten en complexiteit van het trainen van nieuwe conditioneringsmechanismen of het fine-tunen van modellen. De auteurs benadrukken dat de effectiviteit van de methode afhankelijk is van het feit dat het model getraind is met representatie-alignement, wat garandeert dat de interne feature-ruimte over de nodige semantische structuur beschikt. Hoewel de aanpak momenteel het instellen van de guidance scale $\lambda$ vereist voor compositorische taken en kampt met uitdagingen bij variërende scène-gezichtspunten, vormt het een belangrijke stap richting controleerbare, feature-gestuurde generatieve modellering.