Cognitively-Grounded On-Device Runtime Learning for Ground Robots in Unknown Physical Environments

Technische Samenvatting: CogRun – Cognitief-gegronde On-Device Runtime Learning voor Grondrobots

1. Probleemstelling

Het artikel behandelt de beperkingen van huidige AI-belichaamde robots bij het opereren in ongestructureerde, dynamische en onbekende fysieke omgevingen (bijv. wilde bossen, rampgebieden). Het identificeert drie fundamentele uitdagingen:

• Niet-stationaire en onbekende omgevingen: Bestaande "train-then-deploy"-paradigma's lijden onder sim-to-real gaps en domeinverschuivingen, wat leidt tot prestatievermindering in omgevingen die niet volledig gekarakteriseerd kunnen worden voorafgaand aan de inzet.
• Communicatiebeperkte restricties: Huidige leerframeworks vertrouwen vaak op cloud-edge architecturen. Deze afhankelijkheid van draadloze connectiviteit is onpraktisch voor afgelegen, chaotische omgevingen waar communicatie onbetrouwbaar of afwezig is, en waarbij de inherente latentie real-time veiligheidskritische adaptatie verhindert.
• Inefficiënte Experience Replay: Standaard experience replay-strategieën houden vaak geen rekening met de relevantie van opgeslagen ervaringen voor de huidige staat van de robot. In complexe, niet-stationaire omgevingen leidt het ophalen van verouderde of irrelevante data tot een verslechtering van de leer-efficiëntie, terwijl on-policy methoden lijden onder een slechte sample-efficiëntie.

2. Methodologie: Het CogRun Framework

Om deze uitdagingen aan te pakken, stellen de auteurs CogRun voor, een framework voor cognitief-gegronde, on-device runtime learning. Het systeem werkt volledig op edge-AI hardware (specifiek NVIDIA Jetson AGX Orin), waardoor afhankelijkheid van de cloud wordt geëlimineerd. CogRun bestaat uit drie nauw gekoppelde componenten:

A. De Coordinator
De Coordinator fungeert als de veiligheidsbewaker. Het monitort de real-time staat $s(t)$ van de robot tegenover een vooraf gedefinieerde Safety Set $S$ (bijv. botsingsvermijding, snelheidslimieten).

• Als $s(t) \in S$, voert de Coordinator de actie $a_{learning}(t)$ uit die gegenereerd is door de Learning-Agent.
• Als $s(t) \notin S$, schakelt de Coordinator de controle onmiddellijk over naar de Rational-Agent, die $a_{rational}(t)$ uitvoert om veiligheid te garanderen.
• Zodra de staat terugkeert naar de safety set, gaat de controle terug naar de Learning-Agent.

B. De Rational-Agent
Dit is een niet-lerende module die uitsluitend gewijd is aan veiligheidskritische functies. Het dient als een verifieerbare veiligheidsfallback (bijv. gebruikmakend van Interactive-FAR of physics-model-gebaseerde controllers). Wanneer geactiveerd, voorkomt het catastrofale fouten en deelt het zijn "safety-assurance experiences" met de Learning-Agent om risicovolle trial-and-error exploratie te verminderen.

C. De Learning-Agent
Deze component beschikt over een nieuwe cognitieve-neurale leerarchitectuur die ontworpen is voor runtime adaptatie. Het integreert Reinforcement Learning (RL) met Instance-Based Learning (IBL) via drie belangrijke innovaties:

1. Dedicated Replay Buffers: Er worden twee aparte buffers bijgehouden:
   • $B_L$: Slaat taakgeoriënteerde ervaringen op van de exploratie van de Learning-Agent.
   • $B_R$: Slaat veiligheidsgegarandeerde ervaringen op die gegenereerd zijn door de Rational-Agent tijdens interventies.
   • Mini-batches voor training worden geconstrueerd door te samplen uit beide buffers, waardoor de agent kan leren van veilige strategieën direct uit de interventies van de Rational-Agent.
2. Cognitie-gestuurde Batch Sampling: Geïnspireerd door menselijke geheugenretrieelprincipes, rangschikt het systeem opgeslagen ervaringen op basis van drie metrieken ten opzichte van de huidige staat:
   • Similarity (Gelijkenis): Structurele en oppervlakkige gelijkenis met de huidige context.
   • Frequency (Frequentie): Hoe vaak een specif kind van een ervaring is voorgekomen.
   • Recency (Recentheid): Hoe recent de ervaring heeft plaatsgevonden.
   • Een gelijktijdige frequentie-recentheid maatstaf wordt berekend met behulp van een geheugenvervalfactor en "familie"-clustering van ervaringen.
3. Safety-Aware RL-IBL Blending: De agent vertrouwt niet alleen op de output van het neurale netwerk ($a_{actor}$). In plaats daarvan mengt het de actie van de actor met een "experience action" ($a_{experience}$) afgeleid van de geretourneerde rationele instanties. Een staat-afhankelijke blending parameter $\eta(s)$, geformuleerd via convexe optimalisatie om aan veiligheidsrestricties te voldoen, weegt deze twee acties dynamisch:
   $$a_{learning} = (1 - \eta(s)) \cdot a_{actor} + \eta(s) \cdot a_{experience}$$

D. Edge-AI Executie
Het framework maakt gebruik van een gedecoupleerde multi-rate executiestrategie op het edge-apparaat:

• CPU (ARM-gebaseerd): Draait de Coordinator en de Rational-Agent op hoge frequenties (200–1000 Hz) voor real-time veiligheidsborging.
• GPU: Draait de Learning-Agent op lagere frequenties (10–20 Hz) voor policy updates.
  Dit zorgt voor temporele consistentie en lage latentie, terwijl de energie-efficiëntie behouden blijft.

3. Belangrijkste Bijdragen

• Volledige On-Device Autonomie: CogRun biedt een volledige autonomie-stack (perceptie, leren, controle) op edge-apparaten, waardoor de afhankelijkheid van cloud-connectiviteit voor veiligheidskritische runtime learning wordt weggenomen.
• Cognitieve-Neurale Architectuur: De integratie van IBL met Actor-Critic RL via dedicated buffers en cognitie-gestuurde sampling biedt een geprincipeerde aanpak voor ervaringsefficiëntie in niet-stationaire omgevingen.
• Safety-Aware Blending: Het mechanisme om RL-acties te mengen met IBL-afgeleide rationele acties maakt continue adaptatie mogelijk terwijl strikt aan veiligheidsrestricties wordt voldaan.

4. Experimentele Resultaten

De auteurs valideerden CogRun via twee primaire experimentele opstellingen:

A. Quadruped Robot in Real-World Wilde Bossen

• Taken: Runtime navigatie en end-to-end vision-to-action leren in onbekende bossen met obstakels zoals dode zones, geulen en door bladeren bedekte gaten.
• Bevindingen:
  • CogRun waarborgde strikt de veiligheid (nul botsingen of vallen) gedurende het hele leerproces, terwijl baseline fault-tolerant RL-frameworks (Real-DRL, RLM, MPS) leden onder balansverlies en botsingen.
  • De robot bereikte stabiele, efficiënte navigatie binnen tientallen episodes, waarmee het de baselines op het gebied van taakvoltooiingspercentages aanzienlijk versloeg (19/20 voor CogRun versus 10–11/20 voor baselines).
  • Het systeem demonstreerde robuustheid door geleerde policies te transfereren over drie verschillende, niet-stationaire bosomgevingen zonder herinitialisatie.

B. Off-Road Autonome Voertuig (Gazebo Simulatie)

• Ablatie Studie: De auteurs vergeleken CogRun met drie configuraties: "Random" (standaard RL), "Cognition" (alleen cognitie-gestuurde sampling) en "Cognition+Blending" (volledige CogRun).
• Bevindingen:
  • "Cognition" presteerde consequent beter dan "Random."
  • "Cognition+Blending" behaalde de hoogste beloningen, wat bevestigt dat het safety-aware RL-IBL blending mechanisme zowel de veiligheid als de taakprestaties aanzienlijk verbetert.

5. Betekenis en Claims

Het artikel claimt dat CogRun een belangrijke stap is naar het bereiken van menselijk niveau autonomie in ongestructureerde fysieke omgevingen. De primaire betekenis ligt in:

• Mogelijk maken van Veilige Runtime Adaptatie: Het stelt robots in staat om continu te leren en zich aan te passen aan onbekende condities zonder voorafgaande kaarten of perceptuele kennis, terwijl veiligheid wordt gegarandeerd door een dual-agent architectuur.
• Overwinnen van Connectiviteitsbarrières: Door volledig op edge-AI apparaten te opereren, maakt het runtime learning haalbaar in afgelegen, communicatiebeperkte scenario's waar cloud-ondersteund leren onmogelijk is.
• Verbeteren van Sample Efficiëntie: De cognitief-gegronde aanpak van experience replay adresseert de inefficiëntie van standaard RL in fysieke robots, wat effectief leren mogelijk maakt uit schaarse real-world interacties.

De auteurs concluderen dat hoewel het framework effectief is, toekomstig werk zich zal richten op het verfijnen van geprincipeerde ervaring-ranking, geheugenvervalmechanismen en effectievere maten voor frequentie, recentheid en gelijkenis om cognitief-gegronde runtime learning verder vooruit te helpen.