Mixed-Density Diffuser: Efficient Planning with Non-Uniform Temporal Resolution

Probleemstelling

In offline versterkingsleer (RL) is het trainen van een beleid met online rollouts vaak kostbaar, gevaarlijk en inefficiënt. Bestaande methoden voor offline RL worstelen met het genereren van effectieve beleidslijnen zonder interactie met de omgeving, vooral bij taken met hoge dimensies, lange planningshorizonten en schaarse beloningen.

Diffusiemodellen zijn recentelijk opgekomen als een krachtig kader voor het genereren van complexe acties. Echter, bestaande diffusieplanners hebben een fundamentele beperking: ze gebruiken een uniforme temporale dichtheid. Dit betekent dat de tijdsintervallen tussen geplande stappen constant zijn.

• Te hoge dichtheid: Leidt tot inefficiëntie en over-planning van redundante informatie.
• Te lage dichtheid (spaarzaam): Kan prestaties verslechteren, vooral bij taken die kritieke korte-termijn precisie vereisen (zoals locomotie).
• Huidige oplossingen: Hiërarchische planners proberen dit op te lossen door modellen met verschillende resoluties te combineren, maar dit leidt tot een complex ensemble-structuur, verhoogde geheugenvereisten, en problemen met robuustheid en end-to-end training.

Methodologie: Mixed-Density Diffuser (MDD)

De auteurs introduceren de Mixed-Density Diffuser (MDD), een diffusieplanner die de tijdsdichtheid binnen een enkele, vlakke (flat) diffusiestructuur dynamisch aanpast.

• Kernconcept: In plaats van een constante stapgrootte $K$ te gebruiken, behandelt MDD de tijdsintervallen als niet-uniforme hyperparameters. De output-traject $\tau$ wordt gedefinieerd als:
  $$\tau = [x_t, x_{t+K_1}, x_{t+K_1+K_2}, \dots, x_{t+\sum K_i}]$$
  Waarbij elke $K_i$ een onafhankelijke, instelbare parameter is. Dit stelt het model in staat om delen van het traject met hoge resolutie (kleine $K$) te genereren waar precisie nodig is, en andere delen met lage resolutie (grote $K$) voor lange-termijn planning.
• Architectuur: MDD is gebaseerd op het state-of-the-art Diffusion Veteran (DV) framework. Het gebruikt een Diffusion Transformer (DiT) als denoising-backbone, Monte Carlo Sampling voor geleiding, en een diffusie-gebaseerd invers dynamisch model om acties af te leiden uit de geproduceerde staten.
• Implementatie: De auteurs tonen aan dat deze variabele dichtheid kan worden geïntegreerd zonder extra modelgewichten of inferentiekosten. In de experimenten werden de $K_i$-waarden handmatig getuned (bijv. kleine stappen aan het begin, grotere stappen later, of andersom), wat de zoekruimte voor hyperparameters beperkte en de interpretatie vergemakkelijkte.

Belangrijkste Bijdragen

1. Niet-uniforme Planning: MDD is de eerste diffusieplanner die niet-uniforme temporale dichtheden genereert binnen één enkel, vlak model, waardoor de beperkingen van uniforme planners en de complexiteit van hiërarchische planners worden overwonnen.
2. State-of-the-Art Prestaties: Het framework bereikt nieuwe SOTA-resultaten op de D4RL-benchmark (Deep Data-Driven Reinforcement Learning), specifiek op de Maze2D, Antmaze en Franka Kitchen datasets.
3. Efficiëntie: Het verbetert de prestaties zonder extra rekenkracht of modelgrootte, en bevestigt de hypothese dat niet-uniforme horizonten essentieel zijn voor efficiënt diffusieplanning.

Resultaten

De auteurs evalueerden MDD op drie D4RL-domeinen en vergeleken het met bestaande methoden zoals BC, SfBC, DQL, IDQL, Diffuser, HD (Hiërarchisch) en DV.

• Overkoepelende Prestaties: MDD overtreft het vorige SOTA-framework (DV) in de gemiddelde scores op alle drie de domeinen.
  • Franka Kitchen: MDD behaalde een gemiddelde score van 87.4 (Mixed) en 87.4 (Partial), vergeleken met DV's 83.8 en 83.2.
  • Antmaze: MDD behaalde een gemiddelde van 83.5, tegenover DV's 83.2.
  • Maze2D: MDD behaalde een gemiddelde van 166.3, wat een verbetering is op DV's 163.6.
• Aanpassingsvermogen: Hoewel MDD op enkele specifieke sub-taken (zoals Umaze) lichtjes wordt verslagen door gespecialiseerde kortetermijnplanners, overtreft het deze modellen aanzienlijk op lange-horizont taken. Dit bevestigt dat MDD een betere balans vindt tussen lange-termijn visie en korte-termijn precisie.
• Ablatie: Experimenten toonden aan dat het simpelweg verhogen van de spronggrootte (sparsiteit) in het DV-model de prestaties op de Kitchen-taken verbeterde, maar MDD bleef hierboven uit door de gemengde dichtheid te benutten.

Betekenis en Conclusie

Dit paper biedt een fundamenteel inzicht in hoe diffusiemodellen voor planning kunnen worden geoptimaliseerd. De conclusie is dat uniforme temporale resolutie een beperking is voor complexe RL-taken. Door de dichtheid van de planning dynamisch aan te passen aan de behoeften van specifieke trajectsegmenten, kan een enkel model zowel lange-termijn afhankelijkheden vastleggen als korte-termijn precisie behouden.

De Mixed-Density Diffuser (MDD) bewijst dat complexe hiërarchische structuren niet noodzakelijk zijn om deze voordelen te bereiken; een eenvoudige, vlakke architectuur met aanpasbare tijdsintervallen is voldoende om nieuwe state-of-the-art resultaten te behalen. Dit opent de deur voor verdere onderzoek naar het automatisch leren van optimale tijdsintervallen ($K_i$) in plaats van handmatige tuning.