Denoising Tells When to Replan: Denoising-Variance Adaptive Chunking for Flow-Based Robot Policies

Technische Samenvatting: Denoising-Variance Adaptive Chunking (DVAC)

1. Probleemstelling

Op basis van flows gebaseerde robotbeleid (flow-based policies), zoals die gebruikmaken van Diffusion of Flow Matching, zijn de standaard geworden voor het genereren van continue actiesequenties. Een veelgebruikte implementatiestrategie is action chunking, waarbij het beleid een sequentie van toekomstige acties voorspelt, en een prefix van deze sequentie wordt uitgevoerd voordat het beleid opnieuw plant (replan). Hoewel chunking de temporele coherentie verbetert en de kosten van inferentie amortiseert, vertrouwen huidige implementaties op een vaste executiehorizon (bijv. altijd de eerste 10 van een voorspelde 50 acties uitvoeren).

Deze vaste aanpak creëert een inherente afruil:

• Voorspelbare fasen (bijv. vrije beweging van een arm) vereisen vaak minder frequente herplanning om de efficiëntie te behouden.
• Precisiegevoelige fasen (bijv. interacties met contactrijk contact, manipulatie van objecten) vereisen frequente herplanning om fouten te corrigeren.
  Een statische horizon kan niet adapteren aan deze variërende dynamiek, wat leidt tot ofwel inefficiënte overmatige herplanning, ofwel risicovolle ontoereikende herplanning tijdens kritieke taken. Bestaande adaptieve methoden vereisen vaak extra kandidaat-chunks, extra selectieheuristieken of taakspecifieke training, wat de implementatie bemoeilijkt.

2. Methodologie: DVAC

De auteurs stellen Denoising-Variance Adaptive Chunking (DVAC) voor, een training-vrij framework voor testtijd dat de executiehorizon dynamisch bepaalt op basis van de interne dynamiek van het denoising-proces van het flow-gebaseerde beleid.

Kerninzicht:
Tijdens de flow matching-inferentie verfijnt het beleid iteratief een ruisige actie-chunk naar een schone actie-schatting door middel van een denoising-traject. De auteurs observeren dat de variantie van deze tussenliggende schone actie-schattingen ($\hat{x}_0$) over de laatste stappen van de denoising een intrinsiek signaal is voor de stabiliteit van de taalfase:

• Lage Variantie: Treedt op tijdens voorspelbare bewegingsfasen, wat duidt op stabiele voorspellingen.
• Hoge Variantie: Treedt op tijdens contactrijke of precisiegevoelige operaties, wat duidt op onzekerheid en de noodzaak tot herplanning.

Algoritme Overzicht:

1. Variantie-estimatie: Voor een voorspelde actie-chunk met horizon $H$, monitort DVAC de laatste $L$ stappen van het denoising-proces. Het berekent de variantie ($V_s(k)$) van de schone actie-schattingen voor elke toekomstige actie-index $k$.
2. Drempelwaarde (Thresholding): In plaats van een vaste numerieke drempelwaarde (die varieert per taak en rollout), gebruikt DVAC een schaal-adaptieve drempelwaarde ($\tau_s$). Het houdt een rolling buffer bij van recente variantie-statistieken om een lokaal gemiddelde ($\mu_s$) en standaarddeviatie ($\sigma_s$) te berekenen. De drempelwaarde wordt ingesteld als $\tau_s = \mu_s + \alpha\sigma_s$, waarbij $\alpha$ een hyperparameter is die de tolerantie voor onzekerheid definieert.
3. Adaptieve Executie: Het beleid voert de langste prefix van acties uit waar de variantie onder de drempelwaarde blijft. Zodra de variantie de $\tau_s$ overschrijdt (wat wijst op een naderende instabiele fase), stopt de uitvoering en triggert het beleid een herplanning.
4. Restricties: De lengte van de uitvoering wordt begrensd door minimale ($N_{min}$) en maximale ($N_{max}$) limieten om stabiliteit te garanderen en excessieve herplanning te voorkomen.

3. Belangrijkste Bijdragen

1. Identificatie van Intrinsiek Signaal: Het artikel stelt vast dat de convergentiestabiliteit van denoising een intrinsiek, training-vrij signaal is voor adaptieve executie in flow-gebaseerde beleidsmodellen, dat direct correleert met contactrijke en precisiegevoelige taalfasen.
2. DVAC Framework: De voorstel van een plug-and-play, training-vrij inference-time methode die executiehorizons aanpast met behulp van denoising-variantie en een online schaal-adaptieve drempelwaarde.
3. Empirische Validatie: Uitgebreide evaluatie over meerdere benchmarks (LIBERO, RoboTwin, CALVIN), diverse flow-gebaseerde backbones (inclusief $\pi_0.5$, Qwen2.5-VL, en GR00T) en real-world manipulatietaken.

4. Experimentele Resultaten

De auteurs evalueerden DVAC op simulatie-benchmarks en real-world hardware, waarbij ze het vergeleken met fixed-horizon baselines en andere adaptieve methoden.

• LIBERO Benchmark: Gebruikmakend van een $\pi_0.5$-gebaseerd beleid, verbeterde DVAC het gemiddelde succespercentage van 94,75% naar 98,00% terwijl de frequentie van herplanning met 43,0% werd verminderen (van 32,6 naar 18,6 herplanningen per episode). Het presteerde beter dan andere adaptieve baselines zoals AAC en AutoHorizon.
• RoboTwin & CALVIN: DVAC verbeterde het gemiddelde succespercentage op RoboTwin van 0,359 naar 0,416 en verhoogde het gemiddelde aantal voltooide subtaken op CALVIN-5 van 3,905 naar 4,040. Opvallend genoeg presteerden varianten met een vaste drempelwaarde slechter op CALVIN, wat de noodzaak van het schaal-adaptieve ontwerp van DVAC benadrukt.
• Backbone Overdraagbaarheid: De methode demonstreerde "plug-and-play" capaciteiten, waarbij de prestaties werden verbeterd over verschillende modelarchitecturen (bijv. Qwen2.5-VL en Qwen3-VL-GR00T) zonder hertraining.
• Real-World Manipulatie: In taken die het plaatsen van kubussen, stapelen en het verplaatsen van reageerbuizen omvatten, behaalde DVAC consistent hogere succespercentages dan fixed-horizon baselines (bijv. 0,867 versus 0,800 voor het plaatsen van kubussen) terwijl de taakduur en het aantal herplanningen aanzienlijk werden verminderd.
• Fase Correlatie: Analyse bevestigde dat DVAC erin slaagt de executiehorizons te verkorten tijdens operatiegevoelige fasen en te verlengen tijdens bewegingsfasen, wat overeenkomt met de theoretische motivatie.

5. Betekenis en Claims

Het artikel claimt dat DVAC een eenvoudige maar effectieve mechanisme biedt voor de vertrouwensbewuste (confidence-aware) deployment van ge-chunkte robotbeleid. Door gebruik te maken van het denoising-traject dat al berekend wordt tijdens de inferentie, elimineert DVAC de noodzaak voor:

• Aanvullende training.
• Extra generatie van kandidaat-acties.
• Taakspecifieke afstemming van numerieke drempelwaarden.

De auteurs argumenteren dat denoising-stabiliteit een direct beschikbaar, intrinsiek signaal is dat beleid in staat stelt om een balans te vinden tussen dynamische responsiviteit (herplannen wanneer nodig) en inferentie-efficiëntie (langere chunks uitvoeren wanneer stabiel). Deze aanpak verbetert de taaksuccesratio en vermindert tegelijkertijd de computationele overhead van frequente herplanning, wat een kritieke bottleneck aanpakt bij de deployment van grootschalige visuele motorische beleidsmodellen.

Erkende Beperkingen:
De auteurs merken op dat DVAC denoising-variantie gebruikt als een empirische proxy in plaats van een gekalibreerde onzekerheidsschatting. Het is momenteel beperkt tot flow-gebaseerde of diffusion-stijl beleid die tussenliggende trajecten blootstelt en gaat ervan uit dat toegang tot deze interne staten mogelijk is. De real-world evaluatie was beperkt in taakdiversiteit en embodiment-schaal.