Runtime-Incremental Transformer for Reinforcement-Learning-Based Adaptive Control

Technische Samenvatting: Runtime-Incremental Transformer voor Reinforcement-Learning-gebaseerde Adaptieve Controle

Probleemstelling
Het artikel behandelt de uitdaging van op leren gebaseerde adaptieve controle voor robotmanipulatoren die onderhevig zijn aan niet-observeerbare wrijvingsgeheugen, specifiek Stribeck-wrijving. In dergelijke systemen hangt de wrijvingskracht af van een verborgen interne toestand met een eindige "geheugenhorizon" ($\tau_z$), wat het gesloten lus systeem niet-Markoviaans maakt met betrekking tot de gemeten toestanden. Vorig werk van de auteurs (INCRT-1L) maakte gebruik van een single-layer transformer encoder met een vast aantal attention heads ($K$) om een glijdend venster van het verleden aan metingen te verwerken. Echter, deze aanpak vertrouwde op een offline, twee-fasen procedure (Fase-1/Fase-2) om $K$ te selecteren via een surrogaat operator-analyse. Hoewel dit effectief was voor korte en middelmatige geheugenhorizonten ($\tau_z \in \{1, 2\}$ s), leed deze aanpak met een vaste capaciteit aan catastrofale fouten in 40% van de trainings-seeds bij lange geheugenhorizonten ($\tau_z = 5$ s). Deze fouten werden toegeschreven aan lokale attractoren in het landschap van de reinforcement learning (RL) optimalisatie, die onzichtbaar waren voor de offline surrogaatanalyse.

Methodologie: Runtime-INCRT
Het artikel introduceert Runtime-INCRT, een mechanisme dat de attention heads van de transformer encoder dynamisch vergroot en inkrimpt (pruning) tijdens de reinforcement learning trainingslus, waardoor de noodzaak voor offline architectuurzoek wordt geëlimineerd.

1. Variabele-Head Architectuur: De meta-controller maakt gebruik van een transformer block met een maximale capaciteit van $K_{max}$ heads. Op elk trainingsstap $t$ bepaalt een actieve maskering het huidige aantal heads $K(t)$.
2. Runtime Triggers:
   • Groei (Growth): Wordt getriggerd wanneer de effectieve rang ($\hat{\rho}_\alpha$) van de on-policy context-token distributie de huidige capaciteit overschrijdt, geschaald met een drempelwaarde ($K(t)(1+\epsilon_{grow})$). Dit geeft aan dat de huidige representationele capaciteit onvoldoende is om de complexiteit van de inputdistributie van het beleid (policy) te vatten.
   • Inkrimping (Pruning): Wordt getriggerd wanneer de relatieve output-magnitude van een actieve head onder een drempelwaarde ($\epsilon_{prune}$) valt, wat de head als redundant markeert.
3. Operationele Beperkingen:
   • Cooldown: Een minimaal aantal stappen ($\Delta_{grace}$) wordt afgedwongen tussen gebeurtenissen om het beleid de tijd te geven zich aan te passen.
   • Zachte Initialisatie (Soft Initialization): Wanneer een nieuwe head wordt toegevoegd, wordt de output projectie matrix ($W^O$) geïnitialiseerd op nul. Dit zorgt ervoor dat de nieuwe head aanvankelijk een output van nul genereert, waardoor de continuïteit van het beleid behouden blijft.
   • Inkrimpingsgrens (Pruning Bound): Wanneer een head wordt verwijderd, wordt de verandering in de output van het beleid begrensd door de inkrimping-drempelwaarde.

Theoretische Garanties
De auteurs stellen drie analytische garanties vast om de stabiliteit van het leerproces te waarborgen:

• Zero-Loss bij Groei (Proposition 7): Door de zachte initialisatie ($W^O=0$) resulteert de toevoeging van een head in geen enkele verandering aan de output van het beleid op het moment van groei.
• Beleidscurriculum-grens (Theorem 9): De cumulatieve discontinuïteit geïntroduceerd door inkrimpingsgebeurtenissen wordt lineair begrensd door het aantal inkrimping-gebeurtenissen en de drempelwaarde $\epsilon_{prune}$.
• Convergentie van het aantal Heads (Proposition 11): Indien de empirische effectieve rang van de context-distributie stabiliseert, convergeert het actieve aantal heads $K(t)$ naar een steady-state interval dat wordt bepaald door de groei- en inkrimping-drempelwaarden.

Experimentele Resultaten
De methode werd geëvalueerd op een 2-DOF manipulator met Stribeck-wrijving over drie geheugenregimes ($\tau_z \in \{1, 2, 5\}$ s) met 10 willekeurige seeds per regime (totaal 30 runs).

• Succespercentage: Runtime-INCRT behaalde een succespercentage van 100% (30/30 runs), waarmee het de lange-horizon foutmodus die werd waargenomen bij de fixed-K baseline succesvol elimineerde.
• Prestaties: Het bereikte volledig succes over alle geheugenregimes met een enkele set hyperparameters, waarmee het de fixed-K aanpak versloeg die faalde bij $\tau_z = 5$ s.
• Capaciteitsdynamiek: In tegenstelling tot de verwachting dat de controller $K(t)$ zou aanpassen aan de taakcomplexiteit, verzadigde het mechanisme de maximale head-cap ($K_{max}=8$) in alle runs. De prune-trigger werd nooit geactiveerd.
• Ablatie-inzichten:
  • Het variëren van $K_{max}$ bij $\tau_z = 2$ s toonde aan dat kleinere caps ($K_{max}=2$) een betere gemiddelde prestatie en lagere variantie opleverden dan grotere caps ($K_{max}=16$), wat suggereert dat grotere capaciteit de prestaties niet inherent verbetert.
  • De prestaties waren niet-monotoon met betrekking tot de cooldown-parameter ($\Delta_{grace}$), waarbij de standaardwaarde optimaal bleek te zijn.
  • Conclusie over het Mechanisme: De auteurs concluderen dat het voordeel van Runtime-INCRT voortkomt uit de trainings-traject in plaats van de finale capaciteit. De geleidelijke activatie van heads fungeert als een impliciet capaciteitscurriculum binnen een enkele RL-run, wat de optimizer wegvoert van slechte lokale attractoren.

Betekenis en Claims
Het artikel claimt dat Runtime-INCRT een principieel alternatief biedt voor offline architectuurzoek voor adaptieve controle in niet-Markoviaanse omgevingen. De primaire bijdrage is de demonstratie dat runtime adaptatie van modelcapaciteit, gedreven door de effectieve rang van de on-policy datadistributie, de optimalisatiefouten geassocieerd met lange geheugenhorizonten kan oplossen. De auteurs benadrukken dat de methode de noodzaak voor per-taak hyperparameter-zoek naar het aantal heads wegneemt en analytische garanties biedt op beleidscontinuïteit, wat het onderscheidt van standaard "restart-and-resize" benaderingen. Het werk suggereert dat het proces van capaciteitsgroei dient als een cruciale inductieve bias voor succesvolle RL-training in complexe controle-taken, in plaats van dat de uiteindelijke modelgrootte de enige bepalende factor is voor succes.