Technische Samenvatting: Coarse-to-Fine Compositional Diffusion voor Long-Horizon Planning

Probleemstelling

Diffusiemodellen blinken uit in het genereren van gestructureerde data, maar worden doorgaans getraind op korte horizon-schalen. Veel real-world taken, zoals robotische navigatie over lange afstanden, panoramische beeldgeneratie of lange video-generatie, vereisen outputs die de trainingsschaal van deze modellen overstijgen. Het direct trainen van modellen voor dergelijke lange horizon-outputs is vaak onpraktisch vanwege schaarste aan data en de snelle groei van modelleringskosten bij toenemende sequentielengte of ruimtelijke omvang.

Compositionele generatie biedt een oplossing door overlappende lokale plannen te assembleren vanuit een vooraf getrainde korte horizon-prior naar één enkele lange horizon-output. Echter, standaard compositionele benaderingen leggen primair lokale consistentie af (overeenstemming tussen naburige lokale plannen bij hun overlap) zonder expliciet de globale structuur te specificeren. Gevolgen hiervan is dat lokaal compatibele plannen er niet toe kunnen leiden dat er een plausibele globale route, taakvolgorde of temporele evolutie ontstaat. Bestaande methoden proberen de globale coherentie te verbeteren door herhaaldelijk lokale consistentiesignalen te propageren of door inference-time optimalisatie toe te voegen (bijv. iteratieve zoekopdrachten of populatiegebaseerde pruning). Hoewel effectief, worden deze procedures computationeel duur naarmate het aantal lokale plannen of hun dimensionaliteit toeneemt.

Methodologie: Coarse-to-Fine Compositional Diffusion (CoFi)

De auteurs stellen CoFi voor, een inference-time sampler die de vorming van de globale structuur ontkoppelt van de verfijning van lokale details. In tegenstelling tot methoden die vertrouwen op herhaaldelijk message passing of dure inner-loop optimalisatie, werkt CoFi in twee duidelijke stadia:

1. Constructie van een Coarse Global Scaffold

Het eerste stadium heeft als doel lokale denoising-schattingen uit te lijnen rond een gedeelde grove structuur om globale coherentie te vestigen.

• Scaffold Alignment: Voor elke denoising-stap $t$ berekent de methode een "Tweedie-schatting" $\hat{X}^i_{0|t}$ voor elk lokaal plan. Om globale uitlijning af te dwingen, wordt een vereenvoudigd optimalisatiedoel opgelost dat lokale getrouwheid balanceert met een gedeelde globale component. Dit levert een gesloten vormoplossing op waarbij elke lokale schatting wordt ingekrompen naar een gedeeld scaffold-gemiddelde $\bar{X}_{0|t}$:
  $$\bar{X}^i_{0|t} = (1 - \lambda_t) \bar{X}_{0|t} + \lambda_t \hat{X}^i_{0|t}$$
  Hier is $\lambda_t$ een schedule-afhankelijke coëfficiënt die de afweging controleert. In het begin van het diffusieproces is $\lambda_t$ klein, waardoor lokale plannen sterk worden uitgelijnd met de globale scaffold. Naarmate $t$ afneemt, neemt $\lambda_t$ toe, waardoor lokale details kunnen ontstaan.
• Guided Update: De reverse diffusion-stap wordt bijgewerkt met deze uitgelijnde schatting, waarbij een bias wordt toegepast richting een globaal coherente maar lokaal grove scaffold:
  $$X^i_{t-1} = \text{DDIM}_\theta(\bar{X}^i_{0|t}, t) + \sigma_t \nabla \hat{r}_t(X^i_t, X^{i+1}_t)$$
  De eerste term dwingt globale uitlijning af, terwijl de tweede term (lokale guidance) zorgt voor grenscoherentie tussen aangrenzende segmenten.

2. Structure-Preserving Refinement

Het tweede stadium herstelt de fijne lokale details die tijdens de grove fase zijn onderdrukt, terwijl de gevestigde globale structuur behouden blijft.

• Re-noising: Het grove globale plan $Y^c_0$ wordt vooruit gediffundeerd naar een intermediair ruisniveau $t^*$ met behulp van een gedeelde ruis-realisatie. Dit is cruciaal; het toepassen van onafhankelijke ruis op lokale plannen zou de uitlijning die in de eerste fase is bereikt, verbreken.
  $$Y^r_{t^*} = \sqrt{\bar{\alpha}_{t^*}} Y^c_0 + \sqrt{1 - \bar{\alpha}_{t^*}} \epsilon$$
• Refinement: Vanaf $t^*$ voert de sampler een tweede reverse diffusion-pass uit met gebruik van dezelfde vooraf getrainde lokale prior en lokale guidance. Deze fase herstelt de hoogfrequente lokale details en texturen, terwijl de globale scaffold de algemene structuur verankert.

Belangrijkste Bijdragen

1. Decoupled Design: CoFi scheidt de vorming van de globale structuur van de verfijning van lokale details, waardoor de noodzaak voor dure iteratieve message passing of zoekgebaseerde optimalisatie wordt vermeden die bij eerdere compositionele methoden wordt gebruikt.
2. Shared Scaffold Mechanisme: Door een grove uitlijningsfase te introduceren die lokale schattingen projecteert op een gedeelde scaffold, zorgt de methode voor langetermijncoherentie zonder complexe reward-functies te vereisen die moeilijk te ontwerpen zijn voor hoog-dimensionale ruimtes.
3. Structure-Preserving Refinement: Het gebruik van een gedeelde ruis-realisatie tijdens de re-noising stap zorgt ervoor dat de verfijnde lokale plannen compatibele weergaven blijven van hetzelfde globale object, wat de "drift" voorkomt die vaak bij lange horizon-generatie wordt gezien.
4. Efficiëntie: De methode vereist aanzienlijk minder denoiser-evaluaties (NFE) vergeleken met baselines die vertrouwen op inner-iteraties of populatiezoekopdrachten.

Experimentele Resultaten

De auteurs hebben CoFi geëvalueerd op drie domeinen: long-horizon robotische planning, panoramische beeldgeneratie en lange video-generatie.

• Robotische Planning (OGBench): Op de uitdagende "Giant" en "Scene-Play" taken behaalde CoFi succespercentages van 96% (PointMaze-Giant) en 63% (Scene-Play), waarmee het de vorige state-of-the-art CDGS (respectievelijk 82% en 51%) overtrof. De scaffold-fase bleek cruciaal voor het oplossen van langetermijn-inconsistenties in doolhofachtige trajecten.
• Panoramische Beeldgeneratie: CoFi behaalde de beste scores over alle metrieken (Intra-LPIPS, Intra-Style loss en CLIP score) vergeleken met baselines zoals Multi-Diffusion, SyncDiffusion en CDGS. Het produceerde panorama's met stabielere globale stijlen en minder abrupte overgangen tussen patch-grenzen.
• Lange Video-generatie: Bij het genereren van 273-frame video's vanuit 50-frame priors, verbeterde CoFi de subject-consistentie (94.11 vs. 91.67 voor CDGS) en de esthetische kwaliteit, waarbij het de kwaliteit van native korte horizon-generatie benadert. Het voorkwam effectief subject-drift over lange temporele horizonten.
• Computationele Efficiëntie: CoFi demonstreerde een 2–8× reductie in het aantal functie-evaluaties (NFE) vergeleken met CDGS, terwijl de samplekwaliteit gelijk bleef of verbeterde. Dit wordt toegeschreven aan het vervangen van iteratieve zoekopdrachten door een enkele coarse-to-fine pass.

Betekenis en Claims

De auteurs beweren dat CoFi een eenvoudige en effectieve inference-time sampler is die zowel lokale consistentie als globale coherentie bevredigt zonder de computationele overhead van bestaande methoden. Door de constructie van de globale scaffold te scheiden van de lokale verfijning, adresseert CoFi de beperking waarbij lokale consistentie alleen niet garandeert dat er een plausibele globale structuur ontstaat. De auteurs positioneren dit als een praktisch alternatief voor het schalen van korte horizon-priors naar lange horizon-taken in robotica, visie en video-generatie, waarbij een gunstige afweging wordt geboden tussen prestaties en computationele kosten.

De auteurs merken bescheiden de beperkingen op: de kwaliteit van de output wordt begrensd door de expressiviteit van de vooraf getrainde lokale prior, en de hyperparameters (scaffold schedule $\lambda_t$ en refinement diepte $t^*$) vereisen selectie per domein. Daarnaast past het huidige consensusmechanisme een uniforme weging toe op alle lokale plannen, wat suboptimaal kan zijn als segmenten variëren in structurele belangrijkheid.