Robot Arm Control via Cognitive Map Learners

Titel: Robotarmbesturing via Cognitieve Kaart-Leraren (CML)

Auteurs: Nathan McDonald, Christian Brazeau (Air Force Research Laboratory) en Colyn Seeley (Rochester Institute of Technology).

---

1. Het Probleem

Traditionele diepe neurale netwerken (DNN's) worden vaak als monolithische oplossingen getraind voor specifieke taken. Een groot nadeel hiervan is dat ze niet eenvoudig na het trainen kunnen worden samengesteld (composability) om complexere problemen op te lossen zonder opnieuw te moeten worden getraind. Voor robotica, en specifiek voor het besturen van multi-gewrichtsrobotarmen, wordt de positie van het eind-effector (de "hand") meestal berekend met behulp van inverse kinematica. Dit vereist complexe wiskundige vergelijkingen die soms singulariteiten (niet-oplosbare posities) vertonen en niet flexibel zijn voor modulaire uitbreiding.

Het paper stelt de vraag of het mogelijk is om robotarmen te besturen via compositional machine learning, waarbij onafhankelijk getrainde modules worden gecombineerd zonder hertraining, en dit te doen zonder gebruik te maken van traditionele inverse kinematica-vergelijkingen.

2. Methodologie

De auteurs gebruiken een hybride aanpak die Hyperdimensional Computing (HDC) en Cognitive Map Learners (CML) combineert.

A. Cognitieve Kaart-Leraren (CML)

Een CML is een verzameling van enkele laag-neurale netwerken (matrices) die de topologie van een abstract graf leren. Ze bestaan uit drie componenten:

1. Nodestaten (S): Representaties van de huidige toestand.
2. Randacties (A): Representaties van mogelijke bewegingen tussen toestanden.
3. Beschikbaarheid (G): Welke acties mogelijk zijn vanuit een bepaalde toestand.

In deze toepassing heeft elke armsegment (gewricht) zijn eigen CML. Deze CML's zijn getraind om padplanning uit te voeren tussen een huidige hoek en een gewenste hoek, zonder expliciet te zijn getraind voor padplanning, maar puur op basis van overgangen tussen toestanden.

B. Hyperdimensional Computing (HDC) en Fractional Power Encoding (FPE)

De communicatie tussen de modules gebeurt via hypervectoren in een hoge dimensie (d ≥ 1024).

• FPE: De doelcoördinaten (x, y) in het Cartesisch vlak worden gecodeerd als een phasor-hypervector ($p = x^a \odot y^b$). Hierbij is vermenigvuldiging van vectoren equivalent aan optelling van de exponenten.
• Toestandsencoding: De mogelijke hoeken van elk armsegment worden eveneens gecodeerd als phasor-hypervectoren op basis van de eenheidscirkel.

C. Het Workflow-Principe

Het besturingsproces verloopt als volgt:

1. Doelcodering: Een doelwitpunt $(a, b)$ wordt omgezet in een hypervector $p$ via FPE.
2. Factorisatie (Het "Knapsack"-probleem): Het vinden van de juiste hoeken voor de armsegmenten wordt geherformuleerd als het ontbinden (factoriseren) van de product-hypervector $p$ in een set van individuele hoekvectoren ($s_1 \odot s_2 \odot s_3 \approx p$). Dit is analoog aan het oplossen van een subset-sum probleem.
3. Factorisatie-algoritmen: Twee methoden worden gebruikt om deze factorisatie uit te voeren:
   • Resonator Network: Een iteratief netwerk dat schattingen van de factoren convergeert door ze te "ontkoppelen" van de rest van de som.
   • Modern Hopfield Network: Een energie-minimalisatie netwerk dat na één iteratie een bijna optimale patroonherstel bereikt.
4. Actie: De gefactoriseerde vectoren (de gewenste hoeken) worden als doeltoestand ($s_d$) ingevoerd in de respectievelijke CML's van elk armsegment.
5. Beweging: Elke CML plant parallel een pad van de huidige hoek naar de gewenste hoek, waardoor de robotarm zich verplaatst naar het doelwit.

D. Uitbreiding naar 3D

Voor 3D-armen (waar rotaties niet commutatief zijn) wordt een specifieke oplossing geboden:

• De doelcoördinaten worden omgezet naar bolcoördinaten $(\rho, \theta, \phi)$.
• De $x$ en $y$ componenten worden gebruikt voor de 2D-armsegmenten (via FPE).
• De rotatiebasis ($\theta$) wordt bestuurd door een aparte CML die gebruikmaakt van cirkelvormige codering (egocentrische oriëntatie) in plaats van FPE, met alleen voorwaartse en achterwaartse acties.

3. Belangrijkste Bijdragen

• Compositional Learning Framework: Een werkend bewijs dat onafhankelijk getrainde CML-modules kunnen worden samengesteld om complexe robotbewegingen te controleren zonder hertraining.
• Inverse Kinematics-vrij: Een methode om robotarmen te positioneren zonder gebruik te maken van traditionele inverse kinematica-vergelijkingen, wat singulariteiten omzeilt.
• FPE en Factorisatie: De interpretatie van het vinden van armhoeken als een factorisatieprobleem van hypervectoren, opgelost via resonator- of Hopfield-netwerken.
• Schalbaarheid: Een algemene oplossing voor 2D-armen met een willekeurig aantal segmenten en een specifieke oplossing voor 3D-armen met een roterende basis.

4. Resultaten

De auteurs testten hun methode op een 3-segment robotarm in zowel een onbeperkte 2D-omgeving als een beperkte 3D-omgeving (met fysieke beperkingen zoals geen botsing met de grond).

• Bereikbaarheid:
  • Bij een uniforme verdeling van hoeken (29 posities per segment) was slechts 74,5% van het raster bereikbaar.
  • Door gebruik te maken van coprieme aantallen hoekposities per segment (bijv. 19, 23, 29), steeg de bereikbaarheid tot 98,8% van de beschikbare rasterpunten, ondanks minder totale eindtoestanden.
• Nauwkeurigheid:
  • De gemiddelde verplaatsingsfout (Euclidische afstand) was zeer laag: ongeveer 0,071 voor de Resonator en 0,061 voor de Hopfield-netwerken in 2D.
  • Er was een sterke correlatie tussen de hypervector-similariteit en de fysieke nauwkeurigheid.
• Convergentie:
  • De systemen vereisten soms meerdere initialisaties om een oplossing te vinden (gemiddeld ~15 voor Resonator en ~31 voor Hopfield in 2D), maar vonden consistent oplossingen boven de drempelwaarde.
  • Het systeem kon meerdere geldige configuraties vinden voor hetzelfde doelwitpunt.
• 3D-resultaten: De methode bleek ook effectief voor de beperkte 3D-omgeving met een bereikbaarheid van 99,4% in het eerste kwadrant.

5. Betekenis en Toekomstperspectief

Dit onderzoek toont aan dat Hyperdimensional Computing en Cognitive Map Learners een krachtig alternatief kunnen zijn voor traditionele robotbesturing.

• Flexibiliteit: Het systeem is inherent modulair; nieuwe segmenten of robotarmen kunnen worden toegevoegd door nieuwe CML's te trainen zonder het hele systeem opnieuw te moeten configureren.
• Robuustheid: Het vermijden van inverse kinematica elimineert het probleem van singulariteiten.
• Toekomstige toepassingen: De auteurs suggereren dat deze aanpak kan worden uitgebreid naar quadrupede robots (vierpotige robots), waarbij elke poot 3 CML's heeft (in totaal 12 modules) die samenwerken via een centraal patroongenerator.
• Hardware: De methode is compatibel met spiking neural networks en kan worden gedeployed op neuromorfe hardware zoals Intel's Loihi, wat efficiëntere implementaties op kleinere robotplatforms mogelijk maakt.

Kortom, dit paper biedt een fundamenteel nieuw paradigma voor robotbesturing dat draait om symbolische redenering in een continue ruimte, mogelijk gemaakt door de wiskundige eigenschappen van hypervectoren.