Neural Associative Skill Memories for safer robotics and modelling human sensorimotor repertoires

Sintesi Tecnica: Memorie di Abilità Associative Neurali per Robotica più Sicura

Enunciato del Problema
La robotica moderna affronta una sfida condivisa dai sistemi biologici: la capacità di apprendere, memorizzare e esprimere in modo adattivo molteplici abilità sensorimotorie mantenendo la sicurezza attraverso il rilevamento dei guasti. Gli approcci tradizionali, come le Memorie di Abilità Associative (ASM), collegano i primitivi del movimento (ad esempio, Primitivi del Movimento Dinamici o DMP) a feedback sensoriali stereotipati per abilitare il controllo reattivo e il rilevamento delle anomalie. Tuttavia, le ASM esistenti si basano su librerie codificate a mano, simili a dizionari, in cui ogni abilità è modellata da un insieme separato di pesi. Questa architettura richiede una selezione esplicita dell'abilità o un confronto manuale dei profili sensoriali per identificare l'abilità attiva, limitando la capacità del sistema di rilevare guasti in tutto il repertorio senza istruzioni preliminari. Inoltre, questi sistemi faticano a unificare il rilevamento dei guasti, il controllo reattivo e l'espressione dell'abilità all'interno di un unico quadro di apprendimento biologicamente plausibile.

Metodologia
Gli autori propongono le Memorie di Abilità Associative Neurali (Neural ASM), un quadro che sostituisce le librerie codificate a mano con una singola rete neurale unificata basata sulla codifica predittiva temporale (tPC). Questo approccio utilizza l'apprendimento auto-supervisionato e regole di apprendimento locali biologicamente plausibili (aggiornamenti Hebbiani) invece della retropropagazione attraverso il tempo (BPTT).

• Architettura: Il modello impiega una rete tPC a due livelli strutturata come un Modello di Markov Nascosto (HMM). È composta da stati nascosti ($z$) che rappresentano il contesto e le dinamiche inferiti, e da strati di osservazione ($x$) che rappresentano i dati sensorimotori (ad esempio, angoli delle giunture, forze della pinza, indizi visivi).
• Meccanismo di Apprendimento: La rete apprende minimizzando una funzione di energia che rappresenta l'errore di previsione tra l'osservazione corrente e la previsione generata dallo stato nascosto.
  • Memorizzazione: Durante la fase di apprendimento, la rete inferisce stati nascosti per minimizzare la somma degli errori quadratici tra le sequenze sensorimotorie previste e quelle reali. Gli aggiornamenti dei pesi ($W_H$ per le transizioni di stato, $W_F$ per la previsione delle osservazioni) seguono regole di discesa del gradiente locale, creando stati attrattori nel paesaggio energetico per le sequenze memorizzate.
  • Richiamo (Espressione): Il sistema recupera le abilità da indizi parziali tramite "inferenza guidata". Lo stato nascosto è inferito iterativamente dalle osservazioni iniziali (imitando la preparazione motoria), impostando la condizione iniziale per il sistema dinamico. La rete prevede quindi le future osservazioni sensorimotorie. Il documento si concentra sul richiamo offline, dove la traiettoria è fissata dopo l'indizio iniziale, modellando movimenti balistici.
• Integrazione del Controllo: Le Neural ASM funzionano come una politica dinamica di alto livello. Non prescrivono un controllore di basso livello specifico, ma guidano un sistema di controllo flessibile (ad esempio, un controllore di posizione) minimizzando gli errori di previsione propriocettivi per raggiungere gli stati desiderati.

Contributi Chiave

1. Architettura Unificata: Il documento dimostra che una singola rete di codifica predittiva può apprendere un repertorio di più abilità, eseguire il riconoscimento implicito delle abilità ed esprimerle senza meccanismi espliciti di selezione dell'abilità.
2. Apprendimento Biologicamente Plausibile: A differenza delle ASM tradizionali o delle Reti Neurali Ricorrenti (RNN) standard addestrate tramite BPTT, le Neural ASM utilizzano regole di apprendimento locali e codifica predittiva auto-supervisionata, offrendo un modello più realistico dal punto di vista biologico dell'apprendimento sensorimotorio.
3. Rilevamento Implicito dei Guasti: Il quadro consente il rilevamento dei guasti su tutti i comportamenti appresi monitorando l'energia della rete (errore di previsione). Le anomalie (eventi fuori distribuzione) risultano in stati ad alta energia, permettendo al robot di rilevare guasti senza sapere quale abilità specifica sia in esecuzione.
4. Inferenza Contestuale e Preparazione Motoria: Il modello introduce una fase di inferenza iterativa (configurazione prospettica) che funge da spiegazione meccanicistica della preparazione motoria. Questa fase permette alla rete di separare ed esprimere memorie di abilità distinte basandosi su indizi contestuali (ad esempio, target visivi) prima dell'esecuzione del movimento.

Risultati
Gli autori hanno validato le Neural ASM attraverso esperimenti di simulazione:

• Rilevamento e Isolamento dei Guasti: In un compito di presa e posizionamento con due abilità, il modello ha rilevato con successo guasti di blocco delle giunture identificando livelli di energia anomali. Ha superato un metodo di base (che utilizzava errori normalizzati con Z-score) sia nell'accuratezza del rilevamento dei guasti (82–83% contro 74–82%) sia nell'accuratezza dell'isolamento dei guasti (79,5% contro 41%).
• Correzione Reattiva: Il sistema ha dimostrato una correzione reattiva dei guasti minimizzando gli errori di previsione propriocettivi nello spazio delle configurazioni, permettendo a un controllore di basso livello di compensare le perturbazioni (ad esempio, una collisione con un oggetto cadente) in tempo reale.
• Separazione delle Abilità e Inferenza Contestuale: Ispirato da studi sul movimento umano (Sheahan et al., 2016), il modello è stato testato sulla separazione delle memorie di abilità per perturbazioni in senso antiorario rispetto a quelle in senso orario in diverse condizioni di pianificazione. Le Neural ASM hanno separato ed espresso con successo i piani motori corretti solo quando gli indizi contestuali erano disponibili durante la fase di pianificazione (condizioni di Solo Pianificazione o Pianificazione ed Esecuzione), replicando risultati di adattamento simili a quelli umani.
• Compromesso Velocità-Precisione: Il modello ha previsto un compromesso velocità-precisione durante l'espressione dell'abilità: un minor numero di iterazioni di inferenza (tempo di preparazione motoria più breve) ha portato a un richiamo meno accurato, mentre un aumento delle iterazioni ha migliorato l'accuratezza. Questo fenomeno non è stato catturato dalle RNN di base addestrate con BPTT.

Significato e Affermazioni
Il documento afferma di avanzare il campo della neurorobotica dimostrando come i principi della codifica predittiva possano unificare il rilevamento dei guasti, il controllo reattivo e la memorizzazione delle abilità in un'unica architettura basata sull'energia. Gli autori sostengono che le Neural ASM forniscano una lente computazionale per studiare l'apprendimento sensorimotorio biologico, specificamente:

• Offrendo un meccanismo per il rilevamento di infortuni/guasti che si basa su errori di previsione gerarchici piuttosto che sui soli segnali nocicettivi periferici.
• Modellando il ruolo dell'attività preparatoria motoria nell'impostare lo stato iniziale di un sistema dinamico per separare le memorie di abilità.
• Prevedendo un compromesso velocità-precisione nell'espressione abituale delle abilità coerente con i dati sperimentali umani.

Gli autori mantengono una posizione modesta, riconoscendo che la loro attuale implementazione è una prova di concetto che utilizza simulazioni semplificate (richiamo offline, repertorio di abilità limitato e perturbazioni sintetiche). Osservano che, sebbene il quadro supporti più abilità, i tassi di apprendimento potrebbero dipendere dal numero di abilità, e il modello attuale non stima ancora l'incertezza a posteriori o gestisce guasti sensoriali complessi senza un adattamento dinamico della precisione. Si suggerisce un lavoro futuro per esplorare il richiamo online, controllori più efficienti dal punto di vista energetico e l'integrazione del controllo a feedback ottimale.