Robust Optimal Tracking Control for Center-of-Mass-Offset Mecanum Mobile Robots Using Off-Policy Integral Reinforcement Learning

In de wereld van de robotica is beweging vaak een kwestie van afwegingen. Een standaard wieltjesrobot beweegt vooruit en draait, maar om zijwaarts te bewegen, moet hij eerst zijn hele lichaam draaien. Deze beperking maakt het navigeren door krappe ruimtes, zoals overvolle magazijnen of smalle fabrieksgangen, een traag en onhandig proces. Om dit op te lossen, hebben ingenieurs het Mecanum-wiel ontwikkeld. Dit zijn standaard wielen voorzien van een ring van kleine, schuine rollers. Deze eenvoudige toevoeging stelt de robot in staat om in elke richting te glijden—vooruit, achteruit, zijwaarts of zelfs diagonaal—zonder ooit de richting van de voorkant te veranderen. Het is een krachtig hulpmiddel voor automatisering, waardoor machines met de behendigheid van een persoon die door een drukke menigte loopt, tussen obstakels door kunnen weven.

Het maken van deze robots om precies te bewegen is echter veel moeilijker dan het lijkt. De fysica van een Mecanum-robot wordt bemoeilijkt door twee hoofdfactoren. Ten eerste zijn de wielen zelf gevoelig voor slippen; de rollers grijpen niet perfect aan op de grond, wat leidt tot kleine, onvoorspelbare fouten in de beweging. Ten tweede, en misschien wel belangrijker, is het probleem van balans. Wanneer een robot een lading draagt, zoals een doos of een robotarm, verschuift het zwaartepunt vaak weg van het geometrische midden. Deze verschuiving verandert hoe de robot weerstand biedt aan draaien en hoe het gewicht over de vier wielen wordt verdeeld. Als een controlesysteem geen rekening houdt met dit verschuivende gewicht en de onvermijdelijke wielslip, zal de robot uit koers raken, oscilleren of niet het beoogde pad volgen.

Onderzoekers aan de Electric Power University in Hanoi, Vietnam, hebben dit probleem aangepakt door een nieuwe manier te ontwikkelen om deze robots te leren hoe ze op koers moeten blijven. Hun werk richt zich op een specifiek type intelligente besturing dat leert van ervaring in plaats van te vertrouwen op een perfect, vooraf berekende kaart van de fysica van de robot. In hun studie creëerden ze een systeem waarmee een vierwielige Mecanum-robot een gewenst pad met hoge precisie kan volgen, zelfs wanneer de gewichtsverdeling van de robot constant verandert en de wielen slippen. Ze bereikten dit door gebruik te maken van een methode genaamd off-policy integral reinforcement learning, een techniek waarmee de robot de beste manier van bewegen kan leren door data te observeren die tijdens de operatie worden verzameld, in plaats dat hij vooraf elk detail van zijn eigen mechanica moet kennen.

De kernuitdaging die de onderzoekers hebben aangepakt, is dat robots in de echte wereld rommelig zijn. Theoretische modellen gaan uit van perfecte omstandigheden, maar in de werkelijkheid kan een robot een zware lading dragen die verschuift terwijl hij beweegt, of kunnen de wielen de grip verliezen op een gladde vloer. Traditionele besturingsmethoden worstelen vaak met deze onzekerheden, waardoor ingenieurs het systeem conservatief moeten afstemmen of altijd exacte kennis moeten hebben van het gewicht en de wrijving van de robot. De nieuwe aanpak voorgesteld in dit artikel behandelt het besturingsprobleem als een spel tussen twee tegenovergestelde krachten. Aan de ene kant staat de controller van de robot, die de inspanning wil minimaliseren om op het pad te blijven. Aan de andere kant staat de "worst-case" verstoring, die de maximale fout vertegenwoordigt die wordt veroorzaakt door slippen of verschuivend gewicht. Het doel is om een strategie te vinden die het beste werkt, zelfs wanneer de omgeving probeert de robot zo hard mogelijk van het koers af te duwen.

Om dit op te lossen, gebruikten de onderzoekers een wiskundig kader dat bekend staat als de Hamilton–Jacobi–Isaacs-vergelijking. Hoewel deze vergelijking te complex is om met een eenvoudige formule op te lossen voor een echte robot, gebruikte het team een slimme workaround met behulp van kunstmatige intelligentie. Ze gebruikten drie neurale netwerken, computergestuurde systemen gemodelleerd naar het menselijk brein, om de oplossing te leren. Eén netwerk fungeert als een criticus, die evalueert hoe het met de robot gaat. Een tweede netwerk, de control actor, beslist welke motorcommando's naar de wielen worden gestuurd. Het derde netwerk, de disturbance actor, leert de mogelijke slechtste fouten te voorspellen die de omgeving de robot kan toewerpen. Door deze netwerken samen te trainen met behulp van data verzameld uit de bewegingen van de robot, leert het systeem een robuuste strategie die een balans vindt tussen vloeiende beweging en het vermogen om weerstand te bieden aan verstoringen.

De onderzoekers testten hun nieuwe controller in twee verschillende scenario's met behulp van computersimulaties. In het eerste scenario simuleerden ze een robot met een vaste, onveranderlijke gewichtsafwijking, vergelijkbaar met een robot die een zware doos draagt die nooit beweegt. In deze stabiele omgeving presteerde de nieuwe controller net zo goed als een standaard leermethode, waarbij de robot zijn cirkelvormige pad met hoge nauwkeurigheid volgde. De motoren van de robot produceerden een vloeiend, constant koppel en het systeem leerde snel zonder instabiel te worden. Dit bevestigde dat de nieuwe methode werkt, zelfs wanneer de fysieke eigenschappen van de robot constant zijn maar verschillen van het ideale ontwerp.

Het tweede scenario was veel veeleisender. Hierin simuleerden de onderzoekers een robot waarbij het zwaartepunt constant verschoof, alsof de robot een robotarm droeg die zijn eigen gewicht rondbewoog. Ze introduceerden ook tijdvariërende wielslip en veranderingen in het totale gewicht van de robot, wat een machine nabootst die zware ladingen oppakt en neerzet. In deze chaotische omgeving begon de standaard leermethode te worstelen, wat leidde tot grotere fouten in de koers van de robot en minder vloeiende besturing. In contrast hiermee hield de nieuwe off-policy controller een strakke grip op het gewenste pad. Het slaagde erin om te compenseren voor het verschuivende gewicht en de slippende wielen, waardoor de koersfouten klein bleven en de motorcommando's vloeiend waren. De simulatie toonde aan dat de nieuwe controller de fout in de koershoek van de robot effectiever verminderde dan de standaardmethode, wat zijn superieure vermogen bewijst om complexe, veranderende onzekerheden aan te pakken.

De studie concludeert dat deze nieuwe aanpak een significante verbetering biedt voor mobiele robots die opereren in onvoorspelbare omgevingen. Door expliciet rekening te houden met de worst-case verstoringen en te leren van data in plaats van te vertrouwen op perfecte modellen, bereikt het systeem een niveau van robuustheid dat traditionele methoden missen. De onderzoekers hebben geverifieerd dat het systeem stabiel blijft en dat het leerproces niet leidt tot grillig gedrag, zelfs niet onder extreme onzekerheid. Hoewel de resultaten tot nu toe gebaseerd zijn op computersimulaties, vormen ze een sterk fundament voor toekomstig werk. De volgende stap zal zijn om deze controller op een fysieke robot te testen, waarbij de stap wordt gemaakt van de veiligheid van een digitale simulatie naar de rommelige, onvoorspelbare realiteit van een fabrieksvloer. Indien succesvol, zou deze technologie Mecanum-robots in staat kunnen stellen om meer autonoom en betrouwbaar te opereren in dynamische omgevingen, van geautomatiseerde magazijnen tot dienstverlenende omgevingen waar de omstandigheden voortdurend veranderen.