COHORT: Hybrid RL for Collaborative Large DNN Inference on Multi-Robot Systems Under Real-Time Constraints

Dit paper introduceert COHORT, een hybride reinforcement learning-framework voor multi-robotsystemen dat de inferentie van grote deep neural networks efficiënt coördineert door offline en online leertechnieken te combineren, waardoor batterijverbruik wordt verminderd, GPU-gebruik wordt geoptimaliseerd en real-time deadlines in missiekritische scenario's worden gehaald.

De kern

COHORT: Het Slimme Teamwerk van Robotjes voor Reddingsmissies

Stel je voor dat je een groep robotjes hebt die samenwerken om mensen te redden in een verwoeste stad na een ramp. Deze robots moeten heel snel kijken, herkennen wat ze zien (bijvoorbeeld: "Is dat een mens of een auto?") en beslissen wat ze moeten doen. Maar hier is het probleem: deze robots zijn niet onuitputtelijk. Ze hebben kleine batterijen, hun "hersenen" (de computer) worden snel warm, en ze kunnen niet altijd internetten met een grote server in de wolken.

Als elke robot alles zelf probeert te doen, raken ze hun batterij snel op en stopt de missie. Als ze alles naar de cloud sturen, werkt het niet omdat er geen internet is.

COHORT is de oplossing. Het is een slimme manier om deze robots te laten samenwerken, alsof ze een goed georganiseerd team zijn in plaats van een groep losse individuen.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. Het Probleem: De Zware Tassen

Stel je voor dat elke robot een zware tas met taken moet dragen. Sommige robots zijn sterk (zoals een grote vrachtwagen), andere zijn kleiner en kwetsbaarder (zoals een fiets).

• De "taken" zijn heel complexe rekenwerkjes (zoals het analyseren van foto's met AI).
• Als de kleine robot de zware tas probeert te dragen, valt hij om (batterij leeg, te traag).
• Als de grote robot alles zelf doet, is hij ook snel moe.
• In een rampgebied kunnen ze niet wachten op een bestelling van buitenaf; ze moeten nu en hier beslissen.

2. De Oplossing: COHORT (Het Slimme Team)

COHORT is als een slimme teamcaptain die in het hoofd van elke robot zit. Deze captain weet precies wie er op dat moment energie heeft en wie er rustig is.

Het werkt in drie stappen, net als het trainen van een sportteam:

Stap 1: De Oefenronde (Offline Leren)

Voordat de robots de echte missie ingaan, laten de onderzoekers ze eerst oefenen in een veilige omgeving. Ze gebruiken een oude, bewezen methode (een veiling) om te leren wie wat doet.

• Analogie: Het is alsof je een groep kinderen laat oefenen voor een wedstrijd. Ze proberen verschillende manieren om de zware tassen te verdelen. De slimste manieren worden opgeslagen in hun "geheugen". Dit kost geen echte batterijtijd tijdens de missie.

Stap 2: De Slimme Verdeling (Hybride RL)

Nu gaan ze de missie in. De robots gebruiken hun "geheugen" uit de oefenronde, maar ze zijn ook slim genoeg om zich aan te passen.

• De Veiling: Als er een nieuwe taak is (bijvoorbeeld: "Zoek een mens in de puinhopen"), roept de robot: "Wie kan dit het beste doen?"
• De robots bieden een "prijs" (een inschatting van hoeveel energie het kost). De robot die het goedkoopst en snelst kan doen, pakt de taak.
• Het Magische Trucje: In plaats van dat de robots alleen naar hun eigen batterij kijken, kijken ze naar het hele team. Als de grote robot (Husky) al moe is, biedt de kleine robot (Spot) misschien aan om te helpen, of andersom. Ze leren van elkaar.

Stap 3: Aanpassen in Realtime (Online Leren)

Tijdens de missie leren de robots nog steeds bij. Als ze merken dat een bepaalde taak toch te lang duurt of te veel batterij kost, passen ze hun strategie direct aan.

• Analogie: Stel je voor dat je tijdens een voetbalwedstrijd merkt dat de tegenstander een zwak punt heeft. Je coach (de AI) fluistert je direct toe: "Doe het anders!" Zonder dat je de hele wedstrijd hoeft te stoppen om een nieuwe tactiek te bedenken.

Wat is het resultaat?

De onderzoekers hebben dit getest met echte robots (zoals de Jackal, Husky en Spot) in de buitenwereld. Het resultaat is indrukwekkend:

1. Minder Batterijverbruik: De robots gaan 15% langer mee. Ze verspillen geen energie aan onnodig heen-en-weer sturen van data.
2. Sneller Werken: De robots zijn 50% efficiënter in het gebruik van hun computerkracht.
3. Betrouwbaarder: Ze halen hun deadlines veel vaker. In plaats van dat ze vastlopen, blijven ze soepel werken, zelfs als een robot uitvalt of de omgeving verandert.

Waarom is dit belangrijk?

Vroeger moesten robots ofwel alles zelf doen (te traag, te snel leeg) ofwel verbinding maken met een supercomputer (wat in een rampgebied vaak niet kan). COHORT maakt het mogelijk dat een groepje robots, zonder internet en met beperkte batterijen, samenwerken alsof ze één super-intelligente eenheid zijn.

Het is alsof je een groep wandelaars in een berggebied hebt: in plaats dat iedereen zijn eigen zware rugzak draagt en snel moe wordt, delen ze de last slim op. De sterke wandelaar draagt de zware tent, de snelle wandelaar draagt de kaart, en als iemand struikelt, nemen de anderen direct de last over. Zo komen ze allemaal veilig en snel aan hun doel.

Kortom: COHORT zorgt ervoor dat robotteams in noodsituaties slimmer, langer en sneller kunnen werken door samen te werken in plaats van te concurreren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "COHORT: Hybrid RL for Collaborative Large DNN Inference on Multi-Robot Systems Under Real-Time Constraints", geschreven in het Nederlands.

Probleemstelling

Grote Deep Neural Networks (DNN's), met name transformer-gebaseerde en multimodale architecturen zoals Vision-Language Models (VLMs) (bijv. CLIP en SAM), zijn computationeel zeer veeleisend. Het is uitdagend om deze modellen te deployen op hulpbronnen-beperkte edge-platforms zoals veldrobots. Deze uitdagingen worden versterkt in missie-kritieke scenario's (zoals reddingsoperaties na rampen) waar robots moeten samenwerken onder strikte beperkingen op bandbreedte, latentie en batterijduur, vaak zonder toegang tot cloud-infrastructuur of servers.

Bestaande oplossingen vertrouwen vaak op een edge-cloud continuüm, wat in disaster-response situaties onpraktisch is door gebrekkige connectiviteit. Daarnaast zijn robots heterogeen (verschillende rekenkracht, geheugen, sensoren) en dynamisch (batterijstatus en netwerkcondities veranderen voortdurend). Eenvoudige, statische taakverdelingsstrategieën of centrale schedulers falen vaak in deze omgevingen, wat leidt tot snelle energiedrupping, het missen van real-time deadlines (FPS) en verminderde missie-resilience.

Methodologie: Het COHORT Framework

COHORT is een collaboratief framework voor DNN-inferentie en taakuitvoering, gebouwd op ROS (Robotic Operating System), dat gebruikmaakt van een hybride offline-online Reinforcement Learning (RL) strategie. Het doel is om DNN-modules dynamisch te plannen en te verdelen over een zwerm van heterogene robots.

De architectuur en het leerproces zijn als volgt opgebouwd:

1. Systeemarchitectuur:

   • Het systeem bestaat uit heterogene robots (bijv. Husky, Jackal, Spot) die als autonome peers opereren.
   • De perceptiepijplijn (CLIP en SAM) is opgesplitst in zes modulaire eenheden (detector, encoder, decoder, etc.).
   • Elke robot heeft een lokaal beslissingsmodule (RL-policy) die, op basis van lokale resource-monitoring (CPU/GPU, batterij, wachtrijen), beslist of een taak lokaal wordt uitgevoerd, wordt overgedragen (offloaded) aan een peer, of een binnenkomende taak accepteert.

2. Hybride RL Trainingspipelijn (Drie Fasen):
   Om het probleem van sample-inefficiëntie en veiligheidsrisico's bij directe training op fysieke robots te omzeilen, gebruikt COHORT een curriculum:

   • Fase A: Behavior Cloning (BC): De policy wordt geïnitieerd door imitatie van een bestaande, veilige veiling-gebaseerde heuristiek. Dit voorkomt gevaarlijke verkenning in de beginfase.
   • Fase B: Offline Policy Improvement (AWR): Er wordt gebruikgemaakt van Advantage-Weighted Regression (AWR) op verzamelde offline data (van de veiling-heuristiek). Hierbij worden acties die betere resultaten opleverden (lagere latentie, minder energie) zwaarder gewogen, waardoor de policy verbetert zonder nieuwe interacties met de fysieke wereld.
   • Fase C: Online MAPPO Fine-tuning: De voorgetrainde policy wordt online verfijnd met Multi-Agent Proximal Policy Optimization (MAPPO) in een Centralized Training, Decentralized Execution (CTDE) setting.
     • De agents gebruiken Lagrange-multiplicatoren om harde constraints (deadline, energiebudget) te respecteren.
     • De policy past zich realtime aan aan veranderende werklasten, teamgroottes en omgevingscondities.

3. Schaalbaarheid en Fault Tolerance:

   • Nieuwe robots kunnen direct worden toegevoegd door de policy van een bestaande robot met vergelijkbare hardware te "maskeren" (geen hertraining nodig).
   • Het systeem is ontworpen om uitval van robots te overleven door taken dynamisch te herverdelen.

Belangrijkste Bijdragen

1. Resource-Aware Distributed Framework: Een twee-staps RL-pijplijn die werklasten verdeelt over heterogene agents met minimale communicatie-overhead, zonder afhankelijkheid van centrale servers.
2. Fouttolerante Herallocatie: Een mechanisme dat taken dynamisch herverdeelt bij resource-falen, overbelasting of energietekort, terwijl de perceptie-accuraatheid en real-time responsiviteit behouden blijven.
3. Real-World Validatie: Uitgebreide evaluatie op drie verschillende robotplatforms (Husky, Jackal, Spot) met echte VLM-werklasten (CLIP en SAM), inclusief schaalbaarheidstests en tests onder dynamische omstandigheden.

Resultaten

Het framework is getest in real-world scenario's en vergeleken met een lokale baseline, een veiling-baselines, een genetisch algoritme (GA) en andere RL-baselines. De resultaten tonen aan dat COHORT:

• Performance: De kans om zowel de FPS-doelstelling als de latentie-deadline te halen, is 2,55 keer hoger dan bij de beste niet-lerende baselines.
  • Op de Husky-robot bereikte COHORT een succesrate van 54,0% (vs. 21,2% voor de baseline).
  • Op de Jackal-robot was dit 41,5% (vs. 11,6%).
• Efficiency:
  • Batterijverbruik: Een reductie van 15,4% in batterijconsumptie.
  • GPU-gebruik: Een toename van 51,67% in GPU-utilisatie, wat aangeeft dat de rekenkracht effectiever wordt benut.
  • Resource Utilization: 41,27% verbetering in resource-utilisatie vergeleken met veiling-baselines.
• Schaalbaarheid en Robuustheid:
  • Het systeem blijft stabiel bij het toevoegen van een vierde apparaat (een Linux-node) of bij het uitvallen van een robot (bijv. Spot offline).
  • Het kan extra zware werklasten (zoals het toevoegen van een YOLOv8-detectietaken) verwerken zonder dat het systeem instort.

Significantie

Het paper presenteert een doorbraak in het gebied van autonome multi-robot systemen voor missie-kritieke toepassingen. COHORT bewijst dat het mogelijk is om zware AI-modellen (VLMs) efficiënt en robuust uit te voeren op een zwerm van heterogene robots zonder cloud-aansluiting.

De belangrijkste implicaties zijn:

• Onafhankelijkheid: Robots kunnen langdurig opereren in omgevingen zonder infrastructuur (zoals rampgebieden).
• Levensduur: Door energie-efficiëntie te optimaliseren, wordt de operationele levensduur van de missie aanzienlijk verlengd.
• Adaptiviteit: De hybride RL-aanpak biedt een praktische oplossing voor het "koud-start" probleem in RL, waardoor veilige deploy op fysieke hardware mogelijk wordt.
• Toekomstbestendigheid: Het framework is schaalbaar en fault-tolerant, wat essentieel is voor grootschalige inzet van robotzwermen in onvoorspelbare omgevingen.

Kortom, COHORT biedt een robuust, zelflerend systeem dat de kloof overbrugt tussen de hoge rekenkracht-eisen van moderne AI en de beperkte middelen van veldrobots.