💻 computer science

Trajectory Forcing: Structure-First Generation with Controllable Semantic Trajectories

Het artikel stelt Trajectory Forcing (TF) voor, een structure-first generatief framework dat beeldsynthese transformeert naar een expliciete, bewerkbare sequentie van semantisch gestructureerde stadia van globale lay-out tot fijne details, wat lokale controle en inspectie van tussenliggende toestanden mogelijk maakt terwijl de competitieve kwaliteit van samples behouden blijft.

Oorspronkelijke auteurs: Merve Kocabas, Gege Gao, Bernhard Schölkopf, Andreas Geiger

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Merve Kocabas, Gege Gao, Bernhard Schölkopf, Andreas Geiger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een tovenaar ziet die een konijn uit een hoed tovert. Bij de meeste moderne AI-beeldgeneratoren gebeurt de magie in een "black box". Je geeft de AI een prompt (zoals "een kat"), en de AI produceert direct de uiteindelijke afbeelding. Je hebt geen idee hoe het daar gekomen is, en je kunt het proces niet halverwege stoppen om te zeggen: "Wacht, maak de oren groter voordat je klaar bent met de vacht." De tussenliggende stappen zijn slechts onzichtbare wiskundige berekeningen die worden weggegooid zodra de uiteindelijke afbeelding verschijnt.

Trajectory Forcing (TF) is een nieuwe methode die de gordijnen van die black box opent. In plaats van een goocheltruc, verandert het beeldgeneratie in een stap-voor-stap schilderproces, vergelijkbaar met hoe een menselijke kunstenaar werkt.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. De "Speed Painting"-analogie

Denk aan hoe een kunstenaar een scène schildert. Ze beginnen niet direct met het schilderen van elk haartje op de kop van een hond.

Eerst schetsen ze de grote vormen en waar de belangrijkste objecten zich bevinden (de "Global Layout").
Daarna definiëren ze de belangrijkste onderdelen (de kop, het lichaam en de poten van de hond).
Vervolgens verfijnen ze de sub-onderdelen (de snuit, de oren).
Ten slotte voegen ze de minuscule details toe (de textuur van de vacht, de glans in de ogen).

Huidige AI slaat stap 4 direct over. Trajectory Forcing dwingt de AI om bij elke stap te stoppen. Het genereert een "ruwe versie" van de lay-out, dan een "schets" van de onderdelen, dan een "gedetailleerde tekening", en tot slot de "afgewerkte foto".

2. De "Bewerkbare Blauwdruk"

Het coolste deel van dit paper is dat elke stap een echte, zichtbare afbeelding is.

In normale AI zijn de tussenliggende stappen slechts getallen.
In Trajectory Forcing worden de tussenliggende stappen gedecodeerd naar echte plaatjes.

Dit betekent dat je naar de fase van de "ruwe versie" kunt kijken en kunt zeggen: "Ik vind de positie van de hond niet leuk." Je kunt de hond in deze ruwe versie verplaatsen, en de AI zal de rest van de afbeelding (de onderdelen, de details) automatisch opnieuw schilderen op basis van jouw nieuwe positie. Je bewerkt het pad dat de AI aflegt, niet alleen de uiteindelijke bestemming.

3. Hoe ze de "Docent" bouwden

Om de AI te leren dit te doen, hebben de onderzoekers niet simpelweg geraden hoe "onderdelen" en "sub-onderdelen" eruitzien. Ze gebruikten een slim "docent"-systeem gebaseerd op een vooraf getraind visueel brein (genaamd DINOv2).

Stel je voor dat je een stapel Lego-blokjes hebt.

Oude methoden probeerden deze te sorteren op grootte of kleur, wat vaak leidde tot slordige stapels.
Trajectory Forcing gebruikt een slimme docent die naar de blokjes kijkt en ze op natuurlijke wijze groepeert op basis van betekenis: "Deze blokjes maken een wiel," "Deze maken een deur," "Deze maken het hele auto-object."

De AI leert de afbeelding op te bouen door een logische hiërarchie te volgen: eerst het "auto-object" (object), dan de "wielen en deuren" (onderdelen), en dan de "banden en de handgrepen" (sub-onderdelen).

4. De "One-Step" Snelheidstransactie

Normaal gesproken is het genereren van een afbeelding in fasen traag omdat de computer bij elke fase veel werk moet verrichten.

Het probleem: Als je 4 fasen hebt en elke fase duurt 10 stappen, zijn dat in totaal 40 stappen.
De oplossing: De onderzoekers gebruikten een slimme wiskundige truc (genaamd One-Step Flow Matching) waardoor de AI in één enkele sprong van de ene fase naar de volgende kan springen.
Het resultaat: Het kost evenveel tijd om een 4-fasen afbeelding te genereren als een normale, eenfasige afbeelding. Je krijgt de controle van een traag proces met de snelheid van een snel proces.

5. Waarom dit ertoe doet (volgens het paper)

Het paper beweert dat deze methode ons controle geeft zonder in te boeten op kwaliteit.

Controle: Je kunt fouten vroegtijdig herstellen. Als de "object"-fase fout is, verbeter je die daar, en de AI verspilt geen tijd aan het genereren van details voor een foutief object.
Consistentie: Het paper laat zien dat als je een klein onderdeel verandert (zoals een sub-onderdeel), de rest van de afbeelding stabiel blijft. Als je een groot onderdeel verandert (zoals het hele object), verandert de hele afbeelding op een natuurlijke manier.
Snelheid: Het bereikt hoogwaardige afbeeldingen op de ImageNet-dataset (een standaard test voor AI) in slechts 4 "sprongen" (fasen), wat zeer snel is vergeleken met oudere multi-fase methoden.

Samenvatting

Trajectory Forcing verandert beeldgeneratie van een "black box" goocheltruc in een transparante, bewerkbare assemblageband. Het dwingt de AI om afbeeldingen op te bouwen van het "grote plaatje" naar de "kleine details", waardoor mensen in staat zijn om het werk in elke fase te inspecteren en te corrigeren, terwijl het proces snel blijft.

Technische Samenvatting: Trajectory Forcing (TF)

1. Probleemstelling

Huidige diffusie- en flow-gebaseerde generatieve modellen blinken uit in het produceren van hoogwaardige afbeeldingen, maar opereren als "endpoint-centrische" systemen. Gebruikers specificeren condities (bijv. klasse-labels) en ontvangen een definitieve output, terwijl de tussenliggende generatieve dynamiek verborgen, ongestructureerd en computationeel opaak blijft. Hoewel recente methoden generatievolgorde hebben gebruikt om de kwaliteit van samples te verbeteren, behandelen zij tussenliggende toestanden louter als interne computationele bijproducten (bijv. frequentiecomponenten of token-completions) in plaats van als semantische objecten die beschikbaar zijn voor menselijke inspectie of interventie.

Dit staat in contrast met menselijke visuele creatie, die een proces van grof naar fijn volgt: het vaststellen van de globale compositie voordat lokale details worden verfijnd, waarbij elke tussenliggende fase inspecteerbaar en reviseerbaar is. Het artikel stelt dat generatieve trajecten zelf interpreteerbaar, semantisch gestructureerd en bewerkbaar kunnen worden gemaakt, waarbij de focus verschuift van de uiteindelijke afbeelding naar het generatieve pad.

2. Methodologie: Trajectory Forcing (TF)

Trajectory Forcing is een traject-centraal framework dat beeld-synthese organiseert als een sequentie van semantisch gestructureerde stadia, voortbewegend van globale lay-out naar representaties op object-, onderdeel- en detailniveau.

2.1 Representatieruimte en Hiërarchieconstructie

In plaats van te opereren in ruwe pixelruimte of standaard latente ruimtes (zoals VQ-VAE) waar geometrie mogelijk niet overeenkomt met de semantische structuur, opereert TF in de feature-ruimte van DINOv2, een vooraf getrainde visuele encoder.

Teacher Hiërarchie: Het framework afleidt een grof-naar-fijn hiërarchie door DINOv2 latente tokens te clusteren via ongesuperviseerde methoden.
- Object/Achtergrond: K-means ( $K=2$ ) scheidt de afbeelding in object en achtergrond op basis van een centrum-prior.
- Onderdelen en Subonderdelen: Agglomeratieve clustering met een gecombineerde semantische-ruimtelijke afstandmetriek ( $\mathcal{D} = \cos \langle \mathbf{z}_i, \mathbf{z}_j \rangle + \alpha \|\mathbf{p}_i - \mathbf{p}_j\|_2$ ) deelt het object op in onderdelen en subonderdelen.
Level Canvases: Deze clusters definiëren "level canvases" ( $z^{(l)}$ ). Grovere niveaus ( $l=0$ ) representeren stuksgewijs constante gemiddelde features van regio's, terwijl fijnere niveaus ( $l=L-1$ ) de volledige resolutie latente features representeren.

2.2 Hiërarchie-geconditioneerde One-Step Flow Matching

Om de hoge inferentiekosten van progressieve multi-step diffusie ( $L \times T$ ) te vermijden, gebruikt TF een hiërarchie-geconditioneerd one-step flow-matching model.

Architectuur: Een enkel gedeeld netwerk (DiT) wordt getraind over alle hiërarchie-niveaus.
Conditionering: Bij elke trainingsstap wordt een niveau $l$ $l$ gesampled. Het netwerk ontvangt:
1. De ruisende huidige-niveau canvas $z^{(l)}(t)$ .
2. De vorige-niveau canvas $z^{(l-1)}$ als een ruimtelijke conditie (gefuseerd via kanaal-concatenatie en projectie).
3. Standaard globale condities (klasse-label, tijdsinterval, guidance scale).
Trainingsdoel: Het model minimaliseert een gecombineerde loss:
- Flow Loss: Gebruikt $x$ -predictie (het voorspellen van gedenoised latents) met een $v$ -loss objectief gebaseerd op MeanFlow (iMF) om one-step generatie mogelijk te maken.
- Structural Loss: Een cosine distance penalty die ervoor zorgt dat tokens binnen een voorspelde regio uitlijnen met de grondwaarheid gemiddelde feature van die regio, wat structurele consistentie afdwingt.

2.3 Hiërarchische Sampling en Editing

Inference: Generatie verloopt sequentieel van $l=0$ naar $L-1$ . Elk niveau vereist slechts één enkele netwerkfunctie-evaluatie (NFE), wat resulteert in een totale kosten van $L$ -NFE (bijv. 4 NFEs voor $L=4$ ). Elke tussenliggende output is decodeerbaar naar een visuele afbeelding via een gedeelde Representation Autoencoder (RAE) decoder.
Interactieve Editing: Gebruikers kunnen gedecodeerde afbeeldingen inspecteren op elk niveau $l^*$ , de canvas aanpassen (via feature swapping of vorm/regio herverdeling), en daaropvolgende niveaus opnieuw genereren. Vanwege het Markoviaanse karakter van het proces propageren edits op niveau $l^*$ naar fijnere niveaus, maar laten zij de grovere niveaus ongewijzigd, wat een gecontroleerde reikwijdte van modificatie mogelijk maakt.

3. Belangrijkste Bijdragen

Traject-centraal Framework: Stelt TF voor, dat synthese modelleert als een gestructureerd, interpreteerbaar grof-naar-fijn traject, wat inspectie en editing op elk semantisch niveau mogelijk maakt.
Hiërarchie-geconditioneerde One-Step Flow: Breidt one-step generatie uit naar multi-level trajecten via niveau-gewijze conditionering en structurele consistentie supervisie, waarbij een competitieve kwaliteit wordt bereikt met $L$ -NFE.
Traject-bewuste Metrieken: Introduceert metrieken voorbij FID om Lokale Invariantie (hoe edits onbewerkte regio's beïnvloeden) en Structurele Consistentie (coherentie tussen ouder- en kindregio's) te meten.
Empirische Validatie: Demonstreert op ImageNet dat TF een competitieve samplekwaliteit (FID) bereikt terwijl het coherente tussenliggende toestanden blootlegt en gelokaliseerde edits ondersteunt.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op ImageNet bij een resolutie van $256 \times 256$ met behulp van DINOv2 features en een ViT-XL decoder.

Samplekwaliteit: TF bereikt competitieve FID-scores. Bijvoorbeeld, de TF-L/16+FD-loss variant bereikt een FID van 2.02 en een IS van 259.3 met slechts 80 trainingsepochs en 4 NFEs, vergelijkbaar met multi-step baselines die honderden epochs en NFEs vereisen.
Efficiëntie: In tegen tegenstelling tot hiërarchische baselines zoals NVG (die ~184 NFEs vereist), heeft TF slechts $L=4$ NFEs nodig.
Traject-metrieken:
- Local Invariance Score (LIS): Toont aan dat edits op grovere niveaus (object/achtergrond) sterker propageren naar de uiteindelijke afbeelding, terwijl fijnere edits (subonderdelen) gelokaliseerd blijven.
- Parent Misrouting Rate (PMR): Zowel de ruimtelijke als de feature PMR blijven laag, wat aangeeft dat kindregio's ruimtelijk binnen ouderregio's liggen en semantische consistentie behouden.

5. Betekenis en Claims

Het artikel claimt dat door de focus te verleggen van de uiteindelijke afbeelding naar het generatieve pad, TF een route opent naar controleerbare, traject-bewuste beeld-synthese.

Interpreteerbaarheid: In tegenstelling tot standaard diffusie, waarbij tussenliggende toestanden worden weggegooid, maakt TF elke tussenliggende toestand visueel decodeerbaar en semantisch betekenisvol.
Editbaarheid: Het stelt gebruikers in staat om te interveniëren op specifieke semantische granulariteiten (globale lay-out versus lokale details) met voorspelbare effecten op de uiteindelijke output.
Efficiëntie: Het demonstreert dat hoogwaardige, gestructureerde generatie geen dure multi-step iteratieve denoising op elk niveau vereist, door gebruik te maken van one-step flow matching in plaats daarvan.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de hiërarchie afhankelijk is van ongesuperviseerde clustering met een centrum-prior (die moeite kan hebben met niet-gecentreerde objecten) en dat de huidige resultaten gebaseerd zijn op vroege trainingsepochs (40–80), waarbij verdere schaalingsanalyse wordt uitgesteld. Echter, de kernbijdrage blijft de vestiging van een framework waarbij het generatieve traject zelf dient als een door de gebruiker te bedienen interface voor controle.