💻 computer science

DiscreteRTC: Discrete Diffusion Policies are Natural Asynchronous Executors

Het artikel stelt DiscreteRTC voor, een raamwerk dat gebruikmaakt van de native onmaskeringscapaciteit van discrete diffusiebeleid om efficiënte, fine-tuning-vrije asynchrone uitvoering voor fysieke AI mogelijk te maken, wat aanzienlijk hogere successpercentages en lagere inferentiekosten oplevert in vergelijking met bestaande flow-matching-gebaseerde benaderingen.

Oorspronkelijke auteurs: Pengcheng Wang, Kaiwen Hong, Chensheng Peng, Katherine Driggs-Campbell, Masayoshi Tomizuka, Chenfeng Xu, Chen Tang

Gepubliceerd 2026-04-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pengcheng Wang, Kaiwen Hong, Chensheng Peng, Katherine Driggs-Campbell, Masayoshi Tomizuka, Chenfeng Xu, Chen Tang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het Dilemma "Denken versus Handelen"

Stel je voor dat je een snel spelletje video game speelt, zoals een tenniswedstrijd tegen een computer.

De Taak van de Robot: De robot moet de bal raken.
Het Probleem: Het brein van de robot (de AI) heeft even tijd nodig om de perfecte slag te berekenen. Terwijl het "denkt", blijft de bal vliegen.
De Oude Manier (Synchroon): De robot stopt, denkt, berekent en slaat daarna. Tegen de tijd dat hij slaat, is de bal al voorbij. Dit is dodelijk voor dynamische taken.
De Betere Manier (Asynchroon): De robot moet denken terwijl hij al beweegt. Hij moet doorgaan met slaan op basis van zijn laatste gedachte, terwijl hij tegelijkertijd de volgende slag berekent.

De Huidige Oplossing: "Real-Time Chunking" (RTC)

Om dit op te lossen, gebruiken ingenieurs een methode genaamd Real-Time Chunking (RTC).

De Analogie: Stel je voor dat de robot een verhaal schrijft in stukjes van 10 woorden tegelijk.
1. Hij schrijft woorden 1–10.
2. Terwijl hij woorden 11–20 schrijft, begint hij woorden 1–10 uit te voeren.
3. De Glitch: Wanneer de robot overschakelt van het eerste stukje naar het tweede, kan de overgang houterig zijn. Het is alsof een schrijver midden in een zin plotseling van handschrift verandert. De robot kan zijn arm laten schokken omdat het nieuwe plan niet perfect overeenkomt met het oude.

Om deze houterigheid op te lossen, probeert de huidige beste methode (met Flow-Matching) de overgang te "over te schilderen". Het bevriest de woorden die al geschreven zijn en probeert de rest van de zin in te vullen ("inpainten") om het glad te maken.

De Vangst: Dit "inpainten" is alsof je een schilder vraagt een schilderij te repareren terwijl ze nog steeds verf aan het mengen zijn. Het vereist een speciale, ingewikkelde leidraad (een heuristiek) om de AI te vertellen hoe ze het oude en nieuwe moeten mengen. Het is traag, vereist extra training en voelt vaak onhandig.

De Nieuwe Oplossing: DiscreteRTC

De auteurs stellen een nieuwe manier voor genaamd DiscreteRTC. Ze vervangen het "brein" van de robot (het beleid) door een Discrete Diffusion Policy.

De Analogie: Het "Invul de Gaten"-Spel
Stel je voor dat de robot geen verhaal van nul af schrijft. In plaats daarvan speelt hij een spelletje "Invul de Gaten" (zoals een Mad Libs of een kruiswoordraadsel).

Hoe het werkt: De robot is getraind om naar een zin te kijken met enkele verborgen (gemaskerde) woorden en te raden wat de ontbrekende woorden zijn.
De Magie: Omdat de robot al een expert is in het raden van ontbrekende woorden, hoeft hij geen speciale truc te leren om de overgang in te vullen. Hij doet gewoon wat hij van nature doet.

Hier is waarom deze nieuwe methode een game-changer is, volgens het paper:

1. Geen Extra Training Nodig (Fine-Tuning Vrij)

Oude Manier: Je moest de robot een speciale "overgangsvaardigheid" leren nadat hij al getraind was, wat moeilijk en riskant was.
Nieuwe Manier: De robot is al getraind om gaten in te vullen. Wanneer hij moet overschakelen tussen stukjes, behandelt hij de overgang gewoon als een nieuw "invul de gaten"-raadsel. Het werkt perfect direct uit de doos.

2. Natuurlijke Leiding (Geen Ingewikkelde Regels)

Oude Manier: Ingenieurs moesten complexe, handmatige regels (heuristieken) schrijven om de AI te vertellen hoe ze het oude en nieuwe gedrag moesten mengen. Het was alsof je een bestuurder een handleiding gaf over hoe ze moeten sturen, in plaats van ze gewoon te laten rijden.
Nieuwe Manier: De robot weet van nature hoe hij de overgang moet afhandelen. Als hij de eerste paar woorden van het nieuwe stukje al heeft bedacht, stopt hij daar gewoon en wacht hij op de volgende gedachte. De "ongemaskerde" woorden leiden de volgende stap op natuurlijke wijze, zonder dat er een handleiding nodig is.

3. Sneller en Goedkoper (Lagere Inferentiekosten)

Oude Manier: De methode van "overschilderen" vereiste dat de robot het dubbele werk deed (het originele plan berekenen plus de correctie), waardoor het trager was.
Nieuwe Manier: Omdat de robot alleen hoeft te "ontmaskeren" (onthullen) de woorden die hij nog niet heeft bedacht, slaat hij het werk over dat hij al heeft gedaan. Het is alsof je een boek leest waarbij je alleen de pagina's leest die je nog niet hebt gezien, in plaats van het hele boek opnieuw te lezen elke keer dat je een pagina omdraait.
- Resultaat: Het is ongeveer 30% sneller (0,7x berekening) dan de oude methode.

De Resultaten: Werkt het echt?

De auteurs hebben dit op twee manieren getest:

Gesimuleerde Wereld (Kinetix): Een digitaal speelplein met bewegende doelen.
- Resultaat: De nieuwe methode loste taken vaker op en ging veel beter om met vertragingen dan de oude methode.
Echte Robot (Wereld): Een fysieke robotarm die probeert bewegende objecten op te pakken en ze op bewegende platformen te plaatsen.
- Resultaat: De oude methode faalde volledig (0% succes) bij de moeilijkste bewegende taken. De nieuwe methode slaagde 95–100% van de tijd.
- Snelheid: De nieuwe methode was ook sneller in realtime uitvoering.

Samenvatting in Eén Zin

DiscreteRTC is een nieuwe manier voor robots om na te denken terwijl ze bewegen, die actieplanning behandelt als een "invul de gaten"-spel, waardoor het van nature soepeler, sneller is en geen enkele extra training vereist in vergelijking met de huidige onhandige methoden.

1. Probleemstelling

Fysieke AI-systemen (robots) opereren in dynamische omgevingen waar de wereld continu evolueert. In tegenstelling tot chatbots of afbeeldingsgeneratoren kunnen robots het zich niet veroorloven de uitvoering te pauzeren terwijl het beleid (policy) rekent.

De Bottleneck: Moderne Vision-Language-Action (VLA)-modellen gebruiken vaak Action Chunking (het genereren van een reeks toekomstige acties in één keer) om stabiliteit te verbeteren. Echter, standaard synchrone uitvoering dwingt een verplichte pauze af tussen chunks terwijl de volgende chunk wordt gegenereerd.
Het Gevolg: Bij dynamische taken (bijvoorbeeld het volgen van bewegende objecten) zorgt deze pauze tussen chunks ervoor dat de robot inactief wordt terwijl de wereld beweegt, wat leidt tot falen.
Huidige Oplossing & Beperkingen: Real-Time Chunking (RTC) probeert dit op te lossen door chunk-overgangen te behandelen als een inpainting-probleem: de vastgelegde acties uit de vorige chunk worden bevroren en de rest wordt gegenereerd om gladheid te waarborgen.
- Huidige RTC-implementaties vertrouwen op Flow-Matching-beleid.
- Kritieke Gebreken van Flow-Matching RTC:
  1. Pre-training Mismatch: Flow-matching-modellen worden vooraf getraind op consistente ruisniveaus, niet op de gemengde ruispatronen die vereist zijn voor inpainting (bevroren prefix + ruisige toekomst). Het schalen van pre-training verbetert de asynchrone prestaties niet.
  2. Fine-Tuning Overhead: Het bereiken van goede inpainting vereist specifieke fine-tuning met bepaalde ruispatronen en verliesfuncties, wat rekenkundig duur is en het risico loopt de basisgeneratiekwaliteit te verslechteren.
  3. Heuristische Gids: RTC vereist externe, handgemaakte gidsplanningen (bijvoorbeeld $\Pi$ GDM) om de generatie te sturen naar de bevroren prefix. Deze zijn onflexibel en vereisen tuning.
  4. Latentieboete: De externe correctieterm in flow-matching verdubbelt de inferencekosten per stap ongeveer, wat ironisch genoeg de latentie die RTC probeert te verbergen, juist verhoogt.

2. Methodologie: DiscreteRTC

De auteurs stellen DiscreteRTC voor, een kader dat de Flow-Matching actie-head vervangt door een Discrete Diffusion Policy. De kerninzicht is dat discrete diffusie-beleid "natuurlijke asynchrone uitvoerders" zijn omdat hun native werking iteratief onmaskeren is, wat perfect aansluit bij de inpainting-eis.

Sleutelmecanismen

Native Inpainting via Pre-training:
- Discrete diffusiemodellen worden vooraf getraind om willekeurig gemaskeerde tokenreeksen te reconstrueren.
- In RTC worden de "bevroren" acties uit de vorige chunk behandeld als ongemaskerde tokens, en de toekomstige acties als gemaskeerd.
- Het model voert simpelweg een forward pass uit om de toekomstige tokens ongemaskeerd te maken. Er is geen externe correctie of fine-tuning nodig omdat het model deze exacte taak al tijdens pre-training heeft geleerd.
Natuurlijke Gids via Vroegtijdig Stoppen:
- In tegenstelling tot continue diffusie, waarbij de output pas geldig is aan het einde van het proces, produceert discrete diffusie geldige semantische tokens zodra ze ongemaskeerd zijn.
- Het systeem kan inference vroegtijdig afbreken zodra het benodigde aantal acties (het uitvoeringshorizon) is ongemaskeerd.
- De resterende deels gemaskeerde tokens van de huidige inference dienen als een natuurlijk, adaptief gidsignaal voor de volgende inferentiecyclus, waardoor de noodzaak voor heuristische wegingsplanningen wordt geëlimineerd.
Verminderde Inferencekosten:
- Omdat het model start vanuit een tussentijdse staat (deels ongemaskeerd) en alleen de resterende toekomstige tokens hoeft te onmaskeren, is het totale aantal onmaskeringsstappen per inference aanzienlijk verminderd in vergelijking met het genereren van een volledige chunk vanaf nul.
- Dit leidt tot lagere rekenkundige overhead in vergelijking met Flow-Matching RTC, wat zware correctiekosten toevoegt.

3. Belangrijkste Bijdragen

Structureel Inzicht: Geïdentificeerd dat Discrete Diffusion Policies structureel superieur zijn aan Flow-Matching voor asynchrone uitvoering omdat inpainting hun native werking is.
DiscreteRTC Kader: Een methode voorgesteld die asynchrone uitvoering bereikt met 0 regels code voor asynchrone inpainting-logica (alleen leunend op de forward pass van het basisbeleid).
Eliminatie van Overhead: De noodzaak is verwijderd voor:
- Inpainting-specifieke fine-tuning.
- Heuristische gidsplanningen ( $\Pi$ GDM).
- Extra inferenceberekening voor correcties.
Prestatiewinsten: Aangetoond dat DiscreteRTC sneller (lagere latentie) en accurater (hogere slagingspercentage) is dan state-of-the-art Flow-Matching RTC.

4. Experimentele Resultaten

A. Gesimuleerde Benchmarks (Kinetix)

Opstelling: Geëvalueerd op dynamische fysicataken met variërende inferencevertragingen ( $d$ ).
Metingen: Oplossingspercentage (Solve Rate) en Doorvoer (Throughput).
Resultaten:
- DiscreteRTC presteerde consequent beter dan ContinuousRTC (Flow-Matching) en andere baselines (Naive, Bidirectional Decoding) over alle vertraginginstellingen.
- Efficiëntie: DiscreteRTC vereiste minder iteratieve stappen per beleid in vergelijking met ContinuousRTC.
- Fine-tuning: DiscreteRTC behaalde hogere slagingspercentages dan "Training-time Continuous RTC" (die expliciete fine-tuning vereiste), wat de effectiviteit van de "fine-tuning-vrije" benadering bewijst.

B. Dynamische Manipulatie in de Reële Wereld

Opstelling: UR5e-robot met een Robotiq-grijper die Dynamic Pick (pikken van bewegende objecten) en Dynamic Place (plaatsen op bewegende platformen) uitvoert.
Baselines: Synchrone (Sync) en RTC-varianten die zowel Flow-Matching als Discrete Diffusion gebruiken.
Belangrijkste Bevindingen (Tabel 1):
- Slagingspercentage: Synchrone methoden faalden volledig (0%). DiscreteRTC behaalde 100% op Dynamic Place en 95% op Dynamic Pick, aanzienlijk beter dan ContinuousRTC (45% op Dynamic Pick).
- Inference Latentie:
  - ContinuousRTC verhoogde de inferenti tijd met ~1,7x (van 151ms naar 256ms) door $\Pi$ GDM-correcties.
  - DiscreteRTC verminderde de inferenti tijd met ~0,7x (van 303ms naar 206ms) omdat minder tokens ongemaskeerd hoefden te worden.
- Conclusie: DiscreteRTC is in reële scenario's zowel sneller als accurater dan Flow-Matching RTC.

5. Betekenis

Paradigmaverschuiving: Het paper daagt de dominantie van Flow-Matching in VLA-actie-heads voor real-time controle uit, en suggereert Discrete Diffusion als een superieur alternatief voor dynamische taken.
Praktische Implementatie: Het biedt een "plug-and-play"-oplossing voor real-time robotica die geen complexe engineering vereist (geen aangepaste verliesfuncties, geen heuristische tuning, geen extra rekenkracht).
Schaalbaarheid: Door pre-training direct te benutten voor asynchrone uitvoering, schaalt de methode natuurlijk met grotere modellen en datasets, in tegenstelling tot Flow-Matching RTC dat een prestatieplafond bereikt zonder dure fine-tuning.
Toekomstige Richtingen: De auteurs benadrukken dat verdere winsten kunnen worden behaald door tijdsbewuste tokenizers en geünificeerde discrete-diffusie VLA's te ontwikkelen, maar de huidige methode vestigt al een nieuwe state-of-the-art voor asynchrone uitvoering.

Kortom, DiscreteRTC demonstreert dat door de beleidsarchitectuur (Discrete Diffusion) af te stemmen op de uitvoeringseis (Asynchrone Inpainting), men superieure prestaties, lagere latentie en een eenvoudigere implementatie kan bereiken in vergelijking met huidige Flow-Matching-gebaseerde benaderingen.