Technische Samenvatting: Verfijning van Compositional Diffusion voor Betrouwbare Planning op Lange Termijn

1. Probleemstelling

Diffusieprobabilistische modellen hebben zich ontwikkeld tot een krachtig raamwerk voor trajectplanning, waarbij ze leren direct te bemonsteren uit de verdeling van haalbare plannen. Hun effectiviteit is echter inherent beperkt door de horizon van beschikbare trainingsdata. Het verzamelen van demonstraties met een lange horizon die alle start-doelcombinaties bestrijken, is onbetaalbaar duur. Om dit aan te pakken, compositional approaches lange trajecten op in overlappende korte segmenten, gemodelleerd door afzonderlijke diffusiemodellen met een korte horizon, en combineren ze hun scorefuncties tijdens de inferentie.

De primaire faalmodus van bestaande compositionele methoden (zoals GSC, CompDiffuser) is mode-averaging. Wanneer lokale planningsverdelingen multimodaal zijn (bijvoorbeeld: een robot kan een gangkruising links of rechts passeren), kunnen aangrenzende segmenten onafhankelijk van elkaar vastlopen in incompatibele modi. De standaardcompositiestrategie, die de ruisvoorspellingen (scores) van aangrenzende segmenten in overlappingsgebieden middelt, mengt deze incompatibele modi. Dit resulteert in samengestelde trajecten die liggen in gebieden met lage dichtheid van de ware verdeling – plannen die noch lokaal haalbaar zijn, noch globaal coherent. Hoewel populatiegebaseerde zoekmethoden (zoals CDGS) proberen dit te mitigeren via pruning en resampling, brengen ze aanzienlijke overhead tijdens de inferentie met zich mee en vertrouwen ze op post-hoc selectie van kandidaten in plaats van het sturen van het denoising-proces zelf.

2. Methodologie: Verfijning van Compositional Diffusion (RCD)

De auteurs stellen Refining Compositional Diffusion (RCD) voor, een trainingsvrije geleidingsmethode die compositionele bemonstering stuurt naar verdelingen met hoge dichtheid en globale coherentie, zonder dat extra training of architecturale wijzigingen aan het lokale diffusiemodel nodig zijn. RCD werkt door twee geleidingssignalen te combineren die uitsluitend zijn afgeleid van de vooraf getrainde lokale modellen:

A. Self-Reconstruction Error als Proxy voor Dichtheid

RCD maakt gebruik van de observatie dat samples in gebieden met hoge dichtheid van de data-maantrouw trouw worden gereconstrueerd via een ruis-denoise-cyclus, terwijl samples buiten de maantrouw (inclusief mode-averaging-artefacten) grote reconstructiefouten vertonen.

• Mechanisme: Gegeven een kandidaat schoon traject $\hat{\tau}_0$ (verkregen via de Tweedie-schatting), verstoort de methode dit met ruis op een proeftijdstap $s$ en reconstrueert het met behulp van de lokale diffusiemodellen.
• Theoretische Basis: De self-reconstruction error ($E_{recon}$) blijkt een differentieerbare proxy te zijn voor de lokale log-dichtheid. Formeel biedt een gewogen som van reconstructiefouten over proeftijdstappen een bovengrens op de negatieve Evidence Lower Bound (ELBO) van de samengestelde verdeling. Het minimaliseren van deze error leidt de bemonstering naar gebieden met hoge dichtheid.

B. Term voor Overlap-Consistentie

Hoewel reconstructiefouten globale fideliteit vastleggen, kunnen ze lokale inconsistenties op segmentgrenzen missen.

• Mechanisme: RCD introduceert een term voor overlap-consistentie ($E_{ov}$) die score-oneenstemming tussen aangrenzende segmenten op hun gedeelde grensvariabelen bestraft.
• Theoretische Basis: In het Bethe-approximatiekader dat wordt gebruikt voor compositionele diffusie vereist marginale consistentie dat aangrenzende segmenten identieke scores produceren in hun overlappingsgebieden. $E_{ov}$ meet het kwadraat van het verschil tussen de Tweedie-schattingen van aangrenzende segmenten, beperkt tot de overlap. Het minimaliseren van deze term dwingt de marginale consistentie af die nodig is voor een coherent globaal plan.

C. Het Geleidingsdoel

Het gecombineerde geleidingsdoel wordt gedefinieerd als:
$$E_{RCD}(\hat{\tau}_0; s) := E_{recon}(\hat{\tau}_0; s) + \lambda_{ov} E_{ov}(\hat{y}_{1:M})$$
waarbij $\lambda_{ov}$ de overlap-consistentie weegt. Tijdens het reverse diffusion-proces wordt de gradiënt van dit doel ten opzichte van het ruisige sample berekend en toegepast als correctie op de standaard reverse-stap. Dit stuurt de bemonstering naar een gekantelde verdeling die zich concentreert op plannen met hoge dichtheid en globale coherentie.

3. Belangrijkste Bijdragen

1. Theoretische Analyse: Het artikel legt een formele connectie tussen de self-reconstruction error van een samengesteld traject en de diffusie Evidence Lower Bound (ELBO), en biedt zo een principiële rechtvaardiging voor het gebruik van reconstructiefouten als dichtheidsproxy. Het toont ook aan dat de term voor overlap-consistentie score-oneenstemming meet, een directe schending van Bethe marginale consistentie.
2. Algoritmevoorstel: De auteurs introduceren RCD, een plug-and-play, trainingsvrije geleidingsmethode. Het maakt uitsluitend gebruik van het vooraf getrainde lokale diffusiemodel om een gecombineerd signaal te genereren (reconstructiefout + overlap-consistentie) dat compositionele bemonstering stuurt, en mitigeert effectief mode-averaging zonder de overhead van populatiegebaseerde zoekopdrachten.
3. Empirische Validatie: RCD wordt geëvalueerd op de OGBench-benchmark, die diverse taken met een lange horizon bestrijkt, waaronder locomotie (PointMaze, AntMaze, HumanoidMaze), objectmanipulatie (Cube, AntSoccer) en pixelgebaseerde observaties (Visual AntMaze).

4. Experimentele Resultaten

• Haalbaarheid van Plannen: In visuele analyses van de AntMaze-Giant-Stitch-omgeving presteert RCD aanzienlijk beter dan CompDiffuser en CDGS in het produceren van fysiek haalbare plannen (het vermijden van muurpenetratie). Waar CompDiffuser lijdt aan mode-averaging wat leidt tot geldige rates zo laag als 15%, handhaaft RCD geldige rates boven de 85-100% over alle taken.
• Succespercentages: RCD bereikt consistent de hoogste succespercentages over alle OGBench-taken. Opmerkelijk is dat op de meest uitdagende "Giant"-mijltaak, waar de planningshorizon de trainingsdata ver overtreft, RCD bijna perfect succes behaalt (bijvoorbeeld 100% op PointMaze-Giant, 89% op AntMaze-Giant), en zo zowel standaard compositionele methoden als zoekgebaseerde alternatieven zoals CDGS overtreft.
• Efficiëntie: RCD is aanzienlijk sneller dan zoekgebaseerde basismethoden. Het is een orde van grootte sneller dan CDGS (dat herhaaldelijke resampling en pruning vereist) en sneller dan de autoregressieve bidirectionele conditionering van CompDiffuser, aangezien RCD alle segmenten in één gebatchte call per denoising-stap evalueert.
• Ablatiestudies: Experimenten bevestigen dat zowel de self-reconstruction error als de term voor overlap-consistentie complementair zijn. De self-reconstruction error alleen biedt een aanzienlijke verbetering, terwijl het toevoegen van overlap-consistentie de prestaties verder verbetert, met name in complexe omgevingen zoals AntMaze-Giant.

5. Betekenis en Claims

Het artikel stelt dat RCD de dominante faalmodus van compositionele diffusieplanning – mode-averaging – aanpakt door het denoising-proces direct te verfijnen in plaats van kandidaten post-hoc te filteren. Door gebruik te maken van het intrinsieke dichtheidssignaal van het vooraf getrainde model (via self-reconstruction) en grensconsistentie af te dwingen, maakt RCD betrouwbare planning op lange termijn mogelijk zonder extra trainingsdata of hertraining van het model.

De auteurs positioneren RCD als een universele, plug-and-play component voor diffusiemodellen. De methode is bijzonder significant vanwege het vermogen om hoge succespercentages en fysieke haalbaarheid te handhaven in scenario's waar de planningshorizon willekeurig lang is en de lokale verdelingen multimodaal zijn, terwijl het tegelijkertijd een rekenkundige efficiëntie behoudt die superieur is aan populatiegebaseerde zoekmethoden. Het werk suggereert dat het verfijnen van de bemonsteringstrajectie via intrinsieke modelsignalen een effectievere strategie is voor compositionele planning dan het vertrouwen op externe zoekopdrachten of nabewerking.