Compositional Visual Planning via Inference-Time Diffusion Scaling

Probleemstelling

Diffusiemodellen hebben bewezen uitstekend te zijn in het plannen van robotgedrag op korte termijn (short-horizon). Het uitbreiden van deze modellen naar taken met een lange horizon (long-horizon) blijft echter een grote uitdaging vanwege twee factoren:

1. Computatiekosten en geheugen: De complexiteit schaalt ongunstig met de sequentielengte.
2. Beperkte trainingsdata: Er is vaak geen data beschikbaar voor complete lange taken.

Bestaande compositional benaderingen proberen lange taken op te lossen door korte segmenten aan elkaar te naaien (stitching). Ze doen dit door elk component apart te denoisen en overlappende gebieden te middelen. Het paper identificeert echter een fundamenteel probleem hierbij: de factorisatie-aannames breken samen in de ruisse (noisy) data-ruimte. Wanneer men probeert overlappende gebieden te middelen terwijl de data nog vol ruis zit, leidt dit tot instabiliteit en inconsistente globale plannen. Bestaande methoden (zoals DiffCollage of Generative Skill Chaining) vertrouwen op het middelen van scores in deze ruisse ruimte, wat resulteert in "brittle" gedrag en fouten bij het doorgeven van langeafstandsbeperkingen.

Methodologie

De auteurs stellen een nieuwe methode voor die het plannen van lange horizon-taken formuleert als inference over een factorgraf (factor graph) van overlappende videofragmenten, zonder extra training van het onderliggende diffusiemodel.

Kerninzicht:
In plaats van consistentie af te dwingen op de ruisse tussenstappen ($x_t$), dwingt de methode consistentie af op de geschatte schone data (de Tweedie-estimates, $x_{0|t}$). De auteurs bewijzen dat de factorisatie-aannamen wel geldig zijn in de schone ruimte, maar niet in de ruisse ruimte (zie Noisy-Bethe Gap Theorem).

Technische Componenten:

1. Factor Graph Formulering:

   • Het plan wordt voorgesteld als een lineaire keten van variabelen (videoframes).
   • Het plan wordt opgesplitst in overlappende factoren (chunks) van 3 opeenvolgende frames.
   • De start- en doelvariabelen ($s$ en $g$) zijn verankerd aan de uiteinden.
   • Overlappende grenzen tussen factoren worden geregeld door transition boundary variables.

2. Message Passing op Tweedie-estimates:
   De methode gebruikt een unieke combinatie van synchrone en asynchrone berichtuitwisseling (message passing) om de grenzen tussen de videofragmenten consistent te maken:

   • Synchrone Message Passing: Behandelt de keten als een lineair Gaussisch systeem en probeert een gezamenlijke residual ($\Sigma^{-1}x - \eta = 0$) naar nul te drijven via parallelle updates. Dit is conceptueel schoon maar kan numeriek stijf zijn.
   • Asynchrone Message Passing: Gebruikt "bootstrapped" targets en stop-gradient operatoren (vergelijkbaar met Temporal Difference updates) om beperkingen voorwaarts en achterwaarts te propageren. Dit is sneller en stabieler, maar introduceert een lichte bias.
   • Combinatie: Door beide te combineren wordt een evenwicht gevonden tussen strikte consistentie en flexibiliteit.

3. Diffusion-Sphere Guidance:
   Om de balans te vinden tussen het volgen van de consistentie-beperkingen en het behoud van diversiteit in de gegenereerde samples, gebruiken de auteurs Diffusion Sphere Guidance. Dit interpolatieert tussen de onvoorwaardelijke steekproefrichting en de afstijgende richting van de loss-functie (die de grensovereenkomst minimaliseert). Dit gebeurt volledig tijdens de inferentie (inference-time) zonder het model opnieuw te trainen.

4. Workflow:

   • Een korte-horizon video-diffusiemodel wordt eenmalig getraind op korte clips.
   • Tijdens inferentie wordt een lange trajectoïde opgesplitst in overlappende chunks.
   • Via DDIM-stappen worden de chunks gedenoised, waarbij de message-passing loss de grenzen tussen de chunks corrigeert.
   • De uiteindelijke video wordt omgezet naar robotacties via een inverse dynamiek-model.

Belangrijkste Bijdragen

1. Nieuwe Formulierings: Een diffusie-planningsframework dat lange-horizon plannen modelleert als een keten-structuur factorgraf, waarbij consistentie wordt afgedwongen op Tweedie-estimates in plaats van op ruisse toestanden.
2. Novel Message Passing: Een gezamenlijk synchroon en asynchroon berichtuitwisselingsmechanisme op gedenoised variabelen, gekoppeld aan een training-vrije sampler die gebruikmaakt van Diffusion Sphere Guidance. Dit behoudt lokale kwaliteit en diversiteit terwijl globale consistentie wordt gewaarborgd.
3. Benchmark en Empirisch Bewijs: Een nieuwe benchmark voor compositional planning en empirische studies die aantonen dat de methode significant beter presteert dan bestaande baselines (zoals DiffCollage) op zowel in-distribution als out-of-distribution (ongezien) start-doel combinaties.

Resultaten

De methode is geëvalueerd op robotmanipulatie-taken (Tool-Use, Drawer, Cube, Puzzle) in simulatie en op echte hardware (Franka Emika Panda robot).

• Kwaliteit van Video: De gegenereerde video's tonen een aanzienlijke verbetering in Motion Smoothness en Background Consistency vergeleken met DiffCollage. De frames zijn scherper en minder wazig.
• Succespercentages:
  • Op In-Distribution (IND) taken (start/doel gezien tijdens training) behaalde de methode hoge successpercentages (bijv. 97% op Tool-Use).
  • Cruciaal is de prestatie op Out-of-Distribution (OOD) taken (nieuwe combinaties van start en doel). Waar andere methoden (zoals DiffCollage) vaak faalden (0% succes) of instabiel gedrag vertoonden, behaalde de voorgestelde methode zeer hoge successpercentages (bijv. 96% op Tool-Use OOD).
  • Dit bewijst dat het systeem effectief generaliseert naar nieuwe combinaties die niet in de trainingsdata zaten, zolang de onderliggende fragmenten bekend zijn.
• Real-World Validatie: Op de echte robot slaagde de methode in 9/10 en 7/10 gevallen voor IND-taken en 10/10 en 8/10 voor OOD-taken, terwijl DiffCollage in bijna alle gevallen faalde.

Betekenis en Impact

Dit paper biedt een doorbraak in het gebruik van diffusiemodellen voor robotplanning op lange termijn. De belangrijkste implicaties zijn:

• Training-vrije Schaalbaarheid: Het stelt onderzoekers in staat om lange-horizon taken te plannen met bestaande, op korte clips getrainde modellen, zonder dat er nieuwe, dure trainingsdata voor lange sequenties nodig is.
• Robuustheid: Door het probleem te verplaatsen van de ruisse ruimte naar de schone ruimte (Tweedie), lost het de fundamentele instabiliteit op die compositional generatie tot nu toe beperkte.
• Generalisatie: De methode demonstreert dat robotgedrag kan worden samengesteld uit bekende fragmenten naar volledig nieuwe situaties, wat een grote stap is richting algemene robotica.
• Brede Toepasbaarheid: Hoewel gericht op robotica, is het raamwerk ook toepasbaar op andere domeinen zoals het genereren van panoramische afbeeldingen of lange video's uit tekst.

Kortom, de auteurs tonen aan dat het "naaien" van diffusieplannen niet hoeft te gebeuren door het middelen van ruis, maar door het coördineren van de geschatte schone wereldbeelden via een gestructureerde factorgraf-inferentie.