Robot Arm Control via Cognitive Map Learners

Titolo: Controllo del Braccio Robotico tramite Apprenditori di Mappe Cognitive (CML)

Autori: Nathan McDonald, Christian Brazeau (Air Force Research Laboratory), Colyn Seeley (Rochester Institute of Technology).

---

1. Il Problema

Le reti neurali profonde (DNN) sono tipicamente implementate come soluzioni monolitiche, addestrate per un singolo compito specifico. Questo approccio presenta limiti significativi:

• Mancanza di composibilità: È difficile combinare DNN pre-addestrate per risolvere problemi più complessi senza un ri-addestramento estensivo (fine-tuning).
• Dipendenza dall'addestramento: Le DNN non sono modulari per natura; non possono essere assemblate arbitrariamente come i componenti logici digitali.
• Cinematica Inversa: Il controllo tradizionale dei bracci robotici richiede la risoluzione di equazioni di cinematica inversa, che possono essere computazionalmente costose e soggette a condizioni di singolarità.

L'obiettivo di questo lavoro è dimostrare un framework di apprendimento automatico compositivo, in cui moduli indipendenti (Cognitive Map Learners o CML) possono essere combinati per controllare un braccio robotico multi-articolato senza bisogno di ri-addestramento per nuovi compiti o di equazioni di cinematica inversa.

2. Metodologia

L'approccio proposto si basa su tre pilastri fondamentali: Hyperdimensional Computing (HDC), Cognitive Map Learners (CML) e Fractional Power Encoding (FPE).

A. Rappresentazione dello Spazio (HDC e FPE)

• Ipervettori: Le informazioni sono codificate in spazi vettoriali ad alta dimensionalità (d ≥ 1024).
• Fractional Power Encoding (FPE): I punti target nello spazio cartesiano 2D $(a, b)$ sono codificati come ipervettori di fase (phasor hypervectors) elevati a potenze frazionarie: $p = x^a \odot y^b$, dove $x$ e $y$ sono vettori di base unici.
• Proprietà: La moltiplicazione di ipervettori di fase equivale all'addizione degli esponenti, permettendo di rappresentare posizioni e angoli in modo algebrico e reversibile.

B. Moduli di Controllo (CML)

• Ogni segmento del braccio robotico è governato da un Cognitive Map Learner (CML) indipendente.
• Un CML è una collezione di tre reti neurali a singolo strato che apprendono la topologia di un grafo astratto:
  1. Rappresentazioni degli stati dei nodi ($S$).
  2. Rappresentazioni delle azioni sugli archi ($A$).
  3. Disponibilità delle azioni ($G$).
• Il CML pianifica percorsi iterativamente tra uno stato corrente e uno stato desiderato, senza essere stato esplicitamente addestrato per la pianificazione di percorsi, ma solo per le transizioni di stato a coppie.

C. Flusso di Lavoro

1. Codifica del Target: Il punto target $(a, b)$ viene convertito in un ipervettore di fase tramite FPE.
2. Fattorizzazione: Il problema di trovare gli angoli dei segmenti del braccio che raggiungono il target viene reinterpretato come un problema di fattorizzazione di ipervettori (simile al problema dello zaino o subset sum).
   • L'obiettivo è decomporre il vettore target $p$ nel prodotto di ipervettori corrispondenti agli angoli dei singoli segmenti: $p \approx s_1 \odot s_2 \odot s_3$.
   • Questo viene risolto utilizzando due metodi alternativi:
     • Rete Risuonante (Resonator Network): Itera per convergere su una soluzione unendo superposizioni.
     • Rete di Hopfield Moderna: Utilizza un meccanismo di attenzione (softmax) per recuperare i pattern in un singolo passo o poche iterazioni.
3. Esecuzione: Una volta fattorizzati gli angoli target, questi vengono inviati come stati desiderati ($s_d$) ai rispettivi CML di ciascun segmento.
4. Movimento: Ogni CML pianifica e esegue in parallelo la transizione dal suo stato angolare corrente a quello target, riposizionando l'intero braccio.

D. Estensione 3D

Per il controllo 3D, il sistema gestisce la non commutatività delle rotazioni separando il problema:

• La posizione radiale e l'angolo di elevazione sono gestiti come nel caso 2D.
• La rotazione della base (asse $\theta$) è gestita da un CML "circolare" che codifica l'orientamento egocentrico, utilizzando un grafo lineare invece che anulare per evitare sovrapposizioni fisiche.

3. Contributi Chiave

1. Workflow Compositivo: Definizione di un flusso di lavoro che genera punti target e CML per segmenti del braccio in uno spazio di rappresentazione condiviso tramite FPE.
2. Riformulazione del Problema: Reinterpretazione della cinematica inversa come un problema di fattorizzazione di ipervettori, risolvibile tramite metodi di ricerca di similarità invece che equazioni analitiche.
3. Controllo senza Cinematica Inversa: Dimostrazione pratica del riposizionamento di un braccio robotico senza l'uso di equazioni di cinematica inversa tradizionali, evitando le singolarità.
4. Scalabilità: Una soluzione generale per bracci 2D con un numero arbitrario di segmenti e una soluzione specifica per bracci 3D con base rotante.

4. Risultati

Gli esperimenti sono stati condotti su un braccio a 3 segmenti in spazi 2D (non vincolato) e 3D (vincolato da fisica e ostacoli).

• Copertura dello Spazio:
  • Utilizzando stati angolari con numeri primi consecutivi ($m=[19, 23, 29]$), è stato possibile coprire il 98.8% delle celle della griglia target in 2D, nonostante un numero totale di configurazioni finali inferiore rispetto a un approccio uniforme.
  • Nel caso 3D vincolato, la copertura è stata del 99.4% nel primo quadrante.
• Precisione:
  • Lo spostamento medio (errore Euclideo) è stato di $\epsilon \approx 0.071$ per la rete risuonante e $\epsilon \approx 0.061$ per la rete di Hopfield nel caso 2D.
  • Esiste una forte correlazione tra la similarità dell'ipervettore ricostruito e l'errore di posizione fisica.
• Efficienza di Fattorizzazione:
  • La rete risuonante ha trovato una soluzione al primo tentativo nel 14% dei casi (media di 15 tentativi).
  • La rete di Hopfield ha trovato una soluzione al primo tentativo nel 10% dei casi (media di 31 tentativi), ma ha mostrato una convergenza più rapida una volta avviata.
  • Entrambi i metodi hanno dimostrato la capacità di trovare molteplici configurazioni valide per lo stesso punto target (circa 5-7 configurazioni diverse per punto).

5. Significato e Conclusioni

Questo lavoro dimostra che i Cognitive Map Learners possono fungere da moduli di apprendimento automatico compositivi ed efficienti per la robotica.

• Vantaggi: Il sistema evita le singolarità tipiche dei solver di cinematica inversa rilassando iterativamente la soglia di similarità fino a trovare una soluzione. È intrinsecamente modulare: nuovi segmenti possono essere aggiunti semplicemente creando nuovi CML indipendenti.
• Futuro: Il framework è progettato per essere esteso a robot più complessi, come robot quadrupedi (12 CML per 4 zampe), e può essere implementato su hardware neuromorfico (es. Loihi) grazie alla natura a impulsi delle operazioni HDC.
• Impatto: Offre una via alternativa alla robotica basata su DNN monolitiche, promuovendo sistemi più flessibili, adattabili e privi di necessità di ri-addestramento massiccio quando il compito o la morfologia del robot cambiano.