Technische Samenvatting: Elastic Queries Reinforcement Learning (EQRL)

Probleemstelling

Vision-Language-Action (VLA) modellen zijn opgekomen als krachtige generatoren voor robotmanipulatie, waarbij ze doorgaans gebruikmaken van flow-gebaseerde of diffusie-gebaseerde architecturen om temporeel coherente actiechunks te produceren. De huidige executie-interfaces zijn echter rigide: ze maken gebruik van vaste denoising-budgetten (samplingstappen) en vaste actiechunk-lengtes, ongeacht de moeilijkheidsgraad van de staat. Deze rigiditeit leidt tot inefficiëntie; eenvoudige staten (bijv. beweging in de vrije ruimte) ontvangen vaak overmatige berekening en frequente herplanning, terwijl moeilijke staten (bijv. contact-rijke uitlijning of herstel) juist kunnen lijden onder onvoldoende feedback en computationele middelen. Bestaande post-training methoden die VLA's aanpassen via latent-ruimte sturing laten het executieschema (sampling-budget en chunk-lengte) vaak als handmatige hyperparameters achter, waardoor de policy niet dynamisch rekenkracht kan toewijzen op basis van de moeilijkheidsgraad van de staat.

Methodologie: EQRL-framework

De auteurs stellen Elastic Queries Reinforcement Learning (EQRL) voor, een framework dat VLA-executie behandelt als een gezamenlijk beslissingsprobleem over latent sturing, denoising-budget en actiechunk-lengte, zonder het onderliggende bevroren VLA-model te finetunen.

1. Latent-Schedule Query Acties

Bij elke query $j$ observeert een lichtgewicht RL-adaptor (actor) de huidige staat $o_{t_j}$ en geeft een gezamenlijke actie $u_j = (w_j, z^K_j, z^C_j)$ uit:

• $w_j$: Een latente sturingsvariabele die de bevroren VLA-sampler stuurt.
• $z^K_j, z^C_j$: Continue schedule-variabelen die residuen vertegenwoordigen rondom basis-schedules voor het denoising-budget ($K$) en de chunk-lengte ($C$).

2. Moeilijkheidsgraad-gestuurde Schedule Parameterisatie

Om ervoor te zorgen dat het schema zich bewust is van de moeilijkheidsgraad van de staat, gebruikt EQRL een critic ensemble $\{Q^{(i)}_\psi\}$ dat getraind is over de gezamenlijke latent-schedule actieruimte.

• Moeilijkheidsgraad-signaal: Het systeem afleidt een staat-moeilijkheidssignaal $s(o)$ uit de discrepantie (standaarddeviatie) van de voorspellingen van het critic ensemble bij het basis-schema. Hoge discrepantie duidt op een hoge moeilijkheidsgraad.
• Schedule Prior: Dit signaal genereert een "schedule prior" die meer denoising-stappen ($K$) en kortere chunks ($C$) toewijst aan moeilijke staten, en minder stappen/langere chunks aan eenvoudige staten.
• Definitieve Schedule: De uiteindelijke executieparameters zijn een combinatie van deze moeilijkheidsgraad-afgeleide prior en de geleerde residuen van de actor, afgeklemd naar geldige gehele getallen.

3. Query-niveau Leerdoel

EQRL formuleert het probleem als query-niveau macro-actie Reinforcement Learning:

• Macro-transities: Het uitvoeren van een chunk van lengte $C$ induceert een macro-transitie in de omgeving. De Bellman-update gebruikt een chunk-afhankelijke kortingsfactor $\gamma^L$ (waarbij $L$ de daadwerkelijk uitgevoerde stappen zijn).
• Beloningsstructuur:
  • Taakbeloning: Een finale succesbonus wordt toegekend aan de laatste query van een succesvolle episode.
  • Computatiekosten: Een episode-niveau geamortiseerd aantal function-evaluaties (NFE) budget wordt afgedwongen. De kosten worden gedefinieerd als de ratio van het totaal aantal denoising-stappen tot het totaal aantal uitgevoerde acties ($\sum K / \sum C$). Episodes die een budgetband overschrijden krijgen straffen, terwijl zij die binnen de band blijven een besparingsbonus ontvangen.
• Optimalisatie: De actor wordt geoptimaliseerd met een maximum-entropie objectief (SAC-stijl) om de Q-waarde van de critic te maximaliseren terwijl de entropie behouden blijft. Een hulp-alignement-loss moedigt de lokale computetoewijzing van de actor aan om overeen te komen met het door de critic afgeleide moeilijkheidsgraad-signaal.

Belangrijkste Bijdragen

1. Formulering van Elastische Executie: Het artikel formuleert bevroren VLA-executie als een query-niveau RL-probleem waarbij de policy gezamenlijk de latente sturing, het denoising-budget en de actiechunk-lengte selecteert.
2. Door Critic Afgeleide Moeilijkheidsgraad-sturing: Het introduceert een mechanisme om staat-afhankelijke computetoewijzingssignalen af te leiden uit de discrepantie van een critic ensemble, wat de policy in staat stelt om te "weten" wanneer er meer rekenkracht moet worden besteed.
3. Variabele-lengte Macro-actie RL: De auteurs ontwikkelen een trainingsframework voor variabel-lengte chunks met behulp van chunk-afhankelijke korting en een episode-niveau geamortiseerd NFE-objectief om prestaties en efficiëntie in balans te brengen.

Experimentele Resultaten

De auteurs evalueerden EQRL op LIBERO en ALOHA simulatie-benchmarks, evenals op offline en online real-robot manipulatie-taken (met behulp van DISCOVER Robotics platforms).

• Simulatieprestaties: EQRL behaalde state-of-the-art of verbeterde succespercentages vergeleken met baselines (DSRL, RLinf-Noise, RLinf-SDE), terwijl het de inferentie-kosten aanzienlijk verminderde.
  • Op LIBERO-4Tasks verbeterde EQRL de Success AUC met 0,04 en verminderde de relatieve NFE met 24,3%.
  • Op ALOHA-Cube bereikte EQRL 100% finale succes (vs. 0,94 voor DSRL) en verminderde de relatieve NFE met 20,0%.
• Real-Robot Prestaties: In zowel offline als online settings behield EQRL vergelijkbare of hogere taaksucces terwijl de relatieve NFE met ongeveer 32% werd verminderd en de wall-clock trajecttijd met 11–17% werd verkort.
• Ablatie-studies: Experimenten op de "Put Cheese" taak toonden aan dat de winst niet enkel voortkomt uit het verlagen van het gemiddelde computiebudget. Varianten die alleen stappen aanpasten, alleen chunks aanpasten, of een vast budget gebruikten zonder moeilijkheidsgraad-bewustzijn, presteerden slechter. Dit bevestigt de noodzaak van gezamenlijke scheduling en door critic afgeleide moeilijkheidsgraad-bewustzijn.

Betekenis en Claims

Het artikel claimt dat VLA-executie fundamenteel een staat-afhankelijk hulpbron-allocatieprobleem is. EQRL demonstreert dat een bevroren VLA-policy "elastisch" gemaakt kan worden door middel van een lichtgewicht adaptor die leert om computationele middelen dynamisch toe te wijzen.

• Efficiëntie zonder Finetuning: De methode behoudt de gedrags-priors van de voorgetrainde VLA terwijl de executie-efficiëntie wordt aangepast, waardoor de kosten van volledige model-finetuning worden vermeden.
• Adaptieve Executie: Door meer rekenkracht en feedback te besteden aan moeilijke fasen (bijv. contact-uitlijning) en minder aan eenvoudige fasen (bijv. vrije ruimte benadering), verbetert EQRL de afweging tussen inferentie-kosten en taaksucces.
• Praktische Bruikbaarheid: De resultaten suggereren dat elastische querying een levensvatbaar interface is voor real-world robotica, waarbij computationele besparingen worden vertaald naar praktische versnellingen en verbeterde contact-tijd afwegingen.

De auteurs erkennen beperkingen, waarbij zij opmerken dat offline training niet perfect de causale effecten van verschillende schema's kan observeren zonder feedback van de omgeving, en dat de huidige real-robot adaptatie per taak specifieke finetuning vereist, wat de generalisatie over zeer verschillende manipulatie-vaardigheden beperkt.