Technische Samenvatting: Adaptieve Chunkgrootte Actor-Critic met Causale Transformer Q-Netwerk (ACSAC)

Probleemstelling

Taken met een lange horizon en schaarse beloningen vormen een fundamentele uitdaging voor versterkingsleren (RL). Standaard temporal difference (TD)-lering op één stap lijdt aan accumulatie van bootstrapping-fouten, waarbij kleine fouten zich versterken over opeenvolgende Bellman-updates. Hoewel multi-step returns de propagatie van waarden kunnen versnellen, introduceren ze vaak off-policy bias omdat tussentijdse beloningen worden verzameld onder een gedragsbeleid in plaats van het huidige beleid.

Actie-chunking is opgekomen als oplossing, waarbij critici en beleidsregels worden getraind op actie-sequenties in plaats van op enkele acties. Dit maakt multi-step waarde-backups mogelijk zonder off-policy bias en bevordert temporeel coherente exploratie. Echter, bestaande methoden voor actie-chunking vertrouwen op een vaste chunkgrootte die handmatig per taak wordt afgesteld. Deze starheid dwingt een statische afweging tussen reactievermogen en temporele consistentie af:

• Grote vaste chunks verminderen het reactievermogen op nieuwe waarnemingen, wat ertoe kan leiden dat agenten zich "te vast" committeren aan een traject in gevoelige staten (bijvoorbeeld bochten), waardoor ze van het optimale pad worden gedreven.
• Kleine vaste chunks produceren incoherente bewegingen en slagen er niet in om de voordelen van planning op lange termijn te benutten.

De optimale balans tussen reactievermogen en consistentie is inherent staatsafhankelijk, maar huidige methoden kunnen de uitvoeringshorizon niet dynamisch aanpassen.

Methodologie: ACSAC

De auteurs stellen Adaptive Chunk Size Actor-Critic (ACSAC) voor, een kader dat adaptief de chunkgrootte selecteert bij elke herplanningsstaat om de verwachte return te maximaliseren.

1. Causale Transformer Critic

ACSAC maakt gebruik van een causale Transformer-critic om actie-chunks van variërende lengtes te evalueren. In tegenstelling tot standaard MLP-critici die invoer met een vaste lengte vereisen (wat leidt tot causale lekken bij het hergebruiken van gewichten op sub-prefixen), verwerkt de Transformer de staat en een kandidaat-chunk met volledige lengte $(s_t, a_{t:t+H})$ als een tokenreeks.

• Prefix-geconditioneerde Outputs: Het netwerk geeft $H$ waarden tegelijkertijd uit: $\{Q_\phi(s_t, a_{t:t+h})\}_{h \in [H]}$, waarbij elke waarde overeenkomt met de verwachte return van het uitvoeren van precies de eerste $h$ acties van de chunk.
• Causale Maskering: Een causale attentie-mask zorgt ervoor dat de $h$-de output alleen afhankelijk is van de prefix $a_{t:t+h}$, waardoor afhankelijkheid van toekomstige acties in de chunk wordt geëlimineerd.
• Vergelijkbaarheid over Horizonten: Omdat alle $H$ waarden dezelfde backbone delen en worden getraind tegen doelen per horizon op een gemeenschappelijke schaal voor gediskonteerde returns, zijn de Q-waarden voor verschillende prefixlengtes direct vergelijkbaar.

2. Multi-Step TD Doelstelling

De critic wordt getraind met een multi-step TD-verlies dat de kwadratische fouten middelt over alle prefixlengtes $h \in [H]$.

• Definitie van Doel: Voor elke prefixlengte $h$ is het doel de som van $h$ on-policy beloningen uit de dataset plus een bootstrap-waarde van de target-critic in de staat $s_{t+h}$.
• Bootstrap-mechanisme: De bootstrap-waarde $Q_{\bar{\phi}}(s_{t+h}, \pi^*(s_{t+h}))$ wordt berekend door $N$ kandidaat-chunks te bemonsteren in de volgende staat en de prefix te selecteren die de Q-waarde maximaliseert over alle $N \times H$ kandidaten. Dit generaliseert de EMaQ-operator tot een gezamenlijke maximum over kandidaat-indexen en prefixlengtes.
• Theoretische Garantie: De auteurs bewijzen dat deze Bellman-operator een $\gamma$-contractie is met een uniek vast punt dat overeenkomt met de actie-waardefunctie van het adaptieve beleid.

3. Adaptieve Beleidsextractie

De actor maakt gebruik van een Flow Matching behavior cloning (BC)-beleid om expressieve, multi-modale actie-chunks te genereren.

• Generatie van Kandidaten: Bij elke herplanningsstaat $s_t$ bemonstert het beleid $N$ kandidaat-chunks van maximale lengte $H$.
• Gezamenlijke Afwijzingsstalen (Joint Rejection Sampling): In plaats van een chunkgrootte vast te leggen, voert ACSAC een gezamenlijke argmax uit over alle $N$ kandidaten en alle $H$ prefixlengtes:
  $$(n^*, h^*) = \arg\max_{n \in [N], h \in [H]} Q_\phi(s_t, a^{(n)}_{t:t+h})$$
• Uitvoering: De agent voert de optimale prefix $a^{(n^*)}_{t:t+h^*}$ uit en plant opnieuw bij de volgende grens. Dit stelt de agent in staat om lange chunks uit te voeren tijdens stabiele fasen (bijvoorbeeld rechte paden) en korte chunks tijdens gevoelige fasen (bijvoorbeeld bochten of grijpen), waardoor een balans wordt gevonden tussen reactievermogen en coherentie zonder handmatige afstelling.

Belangrijkste Bijdragen

1. Adaptieve Chunkselectie: Introductie van ACSAC, de eerste actie-chunking actor-critic die adaptief chunkgroottes per staat selecteert met behulp van een causale Transformer-critic en gezamenlijke afwijzingsstalen.
2. Theoretische Fundamenten: Bewijs dat prefix-geconditioneerde Q-waarden vergelijkbaar zijn over horizonten en dat de ACSAC Bellman-operator een contractie is waarvan het unieke vast punt de waardenfunctie is van het adaptieve beleid.
3. Empirische Prestaties: Aantonen dat ACSAC state-of-the-art prestaties behaalt op taken met een lange horizon en schaarse beloningen voor manipulatie (OGBench) in zowel offline als offline-naar-online settings, en dat het single-step, multi-step en vaste-chunk baselines overtreft.

Experimentele Resultaten

De methode werd geëvalueerd op de OGBench-suite, bestaande uit 25 taken over vijf domeinen (scene-sparse, puzzle-3x3-sparse, cube-double, cube-triple, cube-quadruple).

• Algemene Prestaties: ACSAC presteerde consequent beter dan alle baselines (inclusief IQL, ReBRAC, FQL, BFN en vaste-chunk methoden zoals QC en DEAS) in zowel de offline voortrainingsfase als de online fijnafstelfase.
• Taken met Lange Horizon: De verbeteringen waren het meest significant in domeinen die een mix vereisten van grove transport en precieze manipulatie (bijvoorbeeld cube-triple en scene-sparse), waarbij adaptieve chunking de agent in staat stelde om de uitvoeringshorizon te wisselen op basis van taakfasen.
• Kwalitatieve Analyse: Visualisaties van de uitgevoerde chunkgroottes toonden aan dat ACSAC natuurlijk aansloot bij taaksemantiek: het selecteren van langere chunks voor fasen van grove benadering en progressief kortere chunks voor fasen van precieze plaatsing.
• Kalibratie: Experimenten bevestigden dat de prefix-geconditioneerde Q-waarden goed gekalibreerd waren ten opzichte van gerealiseerde returns en vergelijkbaar waren over verschillende horizonlengtes, wat de strategie van gezamenlijke argmax valideert.
• Ablatiestudies:
  • Chunkgrootte ($H$): Executie op één stap ($H=1$) faalde bij taken met schaarse beloningen, terwijl overmatig lange maximale chunks ($H=7$) de prestaties in sommige domeinen verslechterden.
  • Bemonsteringsgrootte ($N$): Het vergroten van de afwijzingsstalen-grootte boven $N=4$ leverde afnemende meeropbrengst op.
  • Architectuur: Het vervangen van de MLP-critic in baselines door alleen de causale Transformer verbeterde de prestaties, maar kwam niet in de buurt van ACSAC, wat bevestigt dat het adaptieve selectiemechanisme en het multi-horizon doelstelling kritiek zijn.

Betekenis en Claims

Het artikel claimt dat ACSAC de fundamentele beperking van vaste chunkgroottes in actie-chunking RL aanpakt. Door gebruik te maken van een causale Transformer om cross-horizon vergelijkbare Q-waarden te leren, stelt ACSAC staatsafhankelijke uitvoeringshorizonten in staat. Dit stelt agenten in staat om de snelle waarde-backups en temporele consistentie van lange chunks te behouden, terwijl ze tegelijkertijd het reactievermogen behouden dat vereist is voor precieze controle in gevoelige staten.

De auteurs positioneren ACSAC als een stap naar robuuster RL voor toepassingen in de echte wereld, met de opmerking dat toekomstig werk deze staatsafhankelijke chunkgroottes kan integreren met grote vision-language-action (VLA)-modellen, voortbouwend op recente trends waarbij chunked waarde-lering schaalt naar complexe multi-modale settings. De methode wordt gepresenteerd als een verenigde aanpak voor zowel offline als offline-naar-online leren, zonder gespecialiseerde technieken te vereisen boven het toevoegen van online transities aan de dataset.