Robot Arm Control via Cognitive Map Learners

Titel: Steuerung von Roboterarmen durch kognitive Karten-Lerner (CML)

Autoren: Nathan McDonald, Christian Brazeau (Air Force Research Laboratory), Colyn Seeley (Rochester Institute of Technology)

---

1. Problemstellung

Herkömmliche Deep Neural Networks (DNN) werden oft als monolithische Einheiten für spezifische Aufgaben trainiert. Ein Hauptnachteil dieses Ansatzes ist die mangelnde Kompositionsfähigkeit: Vorab trainierte DNNs können nicht trivial zu komplexeren Systemen kombiniert werden, ohne sie als Ganzes neu zu feinabstimmen (Fine-Tuning).

Das Ziel dieser Arbeit ist es, eine komponierbare Maschinelle Lern-Architektur zu demonstrieren, die es ermöglicht, komplexe Steuerungsprobleme (hier: die Bewegung eines mehrsegmentigen Roboterarms) durch die Kombination unabhängig trainierter Module zu lösen, ohne dass eine taskspezifische Neuoptimierung der einzelnen Module erforderlich ist. Konkret soll ein Roboterarm in 2D und 3D präzise zu einem Zielpunkt bewegt werden, ohne die Verwendung klassischer inverser Kinematik-Gleichungen.

---

2. Methodik

Der Ansatz kombiniert drei Schlüsseltechnologien: Kognitive Karten-Lerner (CML), Hyperdimensionales Computing (HDC) und Faktorisierung von Hypervektoren.

A. Kognitive Karten-Lerner (CML)

Ein CML ist ein Modul, das aus drei einzelnen neuronalen Netzwerken (Matrizen) besteht, welche die Topologie eines abstrakten Graphen lernen:

1. Zustandsrepräsentationen ($S$): Knoten des Graphen.
2. Aktionsrepräsentationen ($A$): Kanten/Übergänge zwischen Knoten.
3. Verfügbarkeitsmatrix ($G$): Welche Aktionen von welchem Zustand aus erlaubt sind.

Ein CML plant Pfade iterativ zwischen einem aktuellen Zustand ($s_t$) und einem gewünschten Zielzustand ($s_d$), indem er die „Nützlichkeit" möglicher Kanten berechnet und einen Gewinner-take-all (WTA)-Algorithmus anwendet. In dieser Arbeit steuert ein CML pro Armsegment den Winkel dieses Segments.

B. Hyperdimensionales Computing (HDC) und Fractional Power Encoding (FPE)

Als „gemeinsames Kommunikationsprotokoll" dienen Hypervektoren (Vektoren mit hoher Dimension, $d \ge 512$).

• Codierung: Der Zielpunkt $(a, b)$ im kartesischen Raum wird als Phasor-Hypervektor codiert. Dies geschieht durch Fractional Power Encoding (FPE):
  $$p = x^a \odot y^b$$
  Dabei sind $x$ und $y$ Basisvektoren, und die Exponenten entsprechen den Koordinaten. Die Multiplikation von Phasoren entspricht der Addition ihrer Exponenten, was eine elegante algebraische Manipulation von Positionen ermöglicht.
• Armsegmente: Die Winkelzustände jedes Armsegments werden ebenfalls als Phasor-Hypervektoren codiert, die diskrete Punkte auf einem Kreis repräsentieren.

C. Das Faktorisierungsproblem (Inverse Kinematik als Knapsack-Problem)

Das Problem, die Winkel der Armsegmente zu finden, die den Endeffektor auf den Zielpunkt bringen, wird als Faktorisierung des Ziel-Hypervektors umgedeutet:
$$p \approx s_1 \odot s_2 \odot s_3$$
Hierbei sind $s_i$ die Hypervektoren der Winkelzustände der einzelnen Segmente. Dies wird als eine Variante des Rucksackproblems (Subset Sum Problem) interpretiert.

Um diese Faktorisierung effizient zu lösen, werden zwei Methoden verwendet:

1. Resonator-Netzwerk: Ein iterativer Algorithmus, der durch Entkopplung (Unbinding) und Auto-Assoziation mehrere potenzielle Faktorisierungen gleichzeitig sucht und konvergiert.
2. Modernes Hopfield-Netzwerk: Ein energiebasierter Ansatz, der nach wenigen Iterationen (oft nur einer) eine nahezu optimale Musterwiederherstellung liefert.

D. Steuerungsablauf

1. Der Zielpunkt wird in einen Phasor-Hypervektor ($p$) umgewandelt.
2. Ein Resonator- oder Hopfield-Netzwerk faktorisiert $p$ in die Zielwinkel-Hypervektoren ($s_{d1}, s_{d2}, s_{d3}$) unter Verwendung der Codebücher der CMLs.
3. Jeder CML erhält seinen Zielwinkel als Eingabe und plant unabhängig und parallel einen Pfad vom aktuellen Winkel zum Zielwinkel.
4. Der Roboterarm bewegt sich zum Zielpunkt.

Für 3D-Arme wird ein hybrider Ansatz gewählt: Die Position im XY-Raum wird über FPE gelöst, während die Rotation der Basis ($\theta$) über ein separates, zirkulär codiertes CML (egozentrische Orientierung) gesteuert wird, da Rotationen im 3D-Raum nicht kommutativ sind.

---

3. Wichtige Beiträge

• Komponierbare Steuerung: Demonstration, dass unabhängig trainierte CML-Module beliebig kombiniert werden können, um komplexe Robotersteuerungsaufgaben zu lösen, ohne das gesamte System neu zu trainieren.
• Neue Formulierung der inversen Kinematik: Umdeutung des Problems der Gelenkwinkel-Bestimmung als Faktorisierungsproblem von Hypervektoren, das durch HDC-Algebra gelöst wird.
• Allgemeine Lösung für 2D: Ein Framework für Roboterarme mit einer beliebigen Anzahl von Segmenten.
• Spezifische Lösung für 3D: Ein Ansatz zur Steuerung eines 3D-Arms mit rotierender Basis unter Berücksichtigung der Nicht-Kommutativität von Rotationen.
• Vermeidung von Singularitäten: Das System umgeht die Singularitätsprobleme klassischer inverser Kinematik-Löser durch iteratives Anpassen der Ähnlichkeitsschwellenwerte.

---

4. Ergebnisse

Die Autoren testeten das System an einem 3-Segment-Arm (Länge $r=1$) in 2D und 3D.

• Erreichbarkeit (2D, unbeschränkt):
  • Bei gleichmäßiger Diskretisierung ($m=29$ pro Segment) waren nur 74,5 % der Gitterzellen erreichbar.
  • Durch die Verwendung von sequentiellen Primzahlen für die Anzahl der Zustände pro Segment ($m = [19, 23, 29]$) konnte die Abdeckung auf 98,8 % gesteigert werden, obwohl die Gesamtzahl der Endeffektor-Konfigurationen geringer war (diffusere Verteilung).
• Genauigkeit:
  • Die mittlere euklidische Abweichung ($\epsilon$) lag beim Resonator-Netzwerk bei 0,071 und beim Hopfield-Netzwerk bei 0,061 (für 2D).
  • Eine hohe Ähnlichkeitsschwelle ($\theta \ge 0,99$) korrelierte stark mit einer geringen räumlichen Abweichung (< 0,1).
• Konvergenz:
  • Das Resonator-Netzwerk benötigte im Durchschnitt 15 Initialisierungsversuche, um eine Lösung zu finden; das Hopfield-Netzwerk benötigte ca. 32 Versuche.
  • Das System fand oft mehrere gültige Konfigurationen für denselben Zielpunkt (ca. 5–7 pro Punkt bei 20 Versuchen).
• 3D-Ergebnisse:
  • Unter physikalischen Einschränkungen (kein Durchdringen von Segmenten, Bodenkontakt) wurde eine Abdeckung von 99,4 % im ersten Quadranten erreicht.
  • Die mittlere Abweichung betrug 0,082 (Resonator) bzw. 0,065 (Hopfield).

---

5. Bedeutung und Ausblick

Diese Arbeit zeigt einen vielversprechenden Weg weg von monolithischen Deep-Learning-Modellen hin zu modularen, kompositionellen Systemen.

• Robustheit: Da CMLs auf Graphen basieren, können sie sich sofort an Änderungen der Umgebungsbedingungen oder der Verfügbarkeit von Aktionen anpassen (z. B. Hindernisvermeidung), ohne neu trainiert werden zu müssen.
• Skalierbarkeit: Der Ansatz lässt sich theoretisch auf komplexere Systeme übertragen, wie z. B. Vierbein-Roboter (Quadrupeds), bei denen jedes Bein durch eigene CMLs gesteuert wird, die durch einen zentralen Mustergenerator koordiniert werden.
• Hardware: Die Autoren verweisen auf die Möglichkeit der Implementierung auf Spiking-Neural-Network-Hardware (wie Intel Loihi), was eine effiziente Echtzeit-Steuerung auf kleinen Robotern ermöglichen könnte.
• Zukunft: Es wird angemerkt, dass eine formale Vergleichsstudie mit klassischen inversen Kinematik-Lösern (Rechenzeit, Pfadlänge) noch aussteht, aber das Potenzial zur Vermeidung von Singularitäten ein großer Vorteil ist.

Zusammenfassend bietet das Paper einen mathematisch eleganten, auf HDC basierenden Rahmen für die Robotiksteuerung, der die Komplexität der inversen Kinematik durch algebraische Faktorisierung in hochdimensionalen Räumen umgeht.