Neural Associative Skill Memories for safer robotics and modelling human sensorimotor repertoires

Resumen Técnico: Memorias Asociativas Neurales de Habilidades para Robótica Más Segura

Planteamiento del Problema
La robótica moderna enfrenta un desafío compartido por los sistemas biológicos: la capacidad de aprender, almacenar y expresar adaptativamente múltiples habilidades sensoriomotoras manteniendo la seguridad mediante la detección de fallos. Los enfoques tradicionales, como las Memorias Asociativas de Habilidades (ASMs), vinculan primitivos de movimiento (por ejemplo, Primitivos de Movimiento Dinámico o DMPs) con retroalimentación sensorial estereotipada para permitir el control reactivo y la detección de anomalías. Sin embargo, las ASMs existentes dependen de bibliotecas codificadas manualmente, similares a diccionarios, donde cada habilidad se modela mediante un conjunto separado de pesos. Esta arquitectura requiere una selección explícita de habilidades o una comparación manual de perfiles sensoriales para identificar la habilidad activa, lo que limita la capacidad del sistema para detectar fallos en todo un repertorio sin instrucción previa. Además, estos sistemas luchan por unificar la detección de fallos, el control reactivo y la expresión de habilidades dentro de un único marco de aprendizaje biológicamente plausible.

Metodología
Los autores proponen Memorias Asociativas Neurales de Habilidades (Neural ASMs), un marco que reemplaza las bibliotecas codificadas manualmente con una única red neuronal unificada basada en codificación predictiva temporal (tPC). Este enfoque utiliza aprendizaje auto-supervisado y reglas de aprendizaje local biológicamente plausibles (actualizaciones hebbianas) en lugar de la retropropagación a través del tiempo (BPTT).

• Arquitectura: El modelo emplea una red tPC de dos capas estructurada como un Modelo Oculto de Markov (HMM). Consiste en estados ocultos ($z$) que representan el contexto y la dinámica inferidos, y capas de observación ($x$) que representan datos sensoriomotores (por ejemplo, ángulos articulares, fuerzas de la pinza, señales visuales).
• Mecanismo de Aprendizaje: La red aprende minimizando una función de energía que representa el error de predicción entre la observación actual y la predicción generada desde el estado oculto.
  • Memorización: Durante la fase de aprendizaje, la red infiere estados ocultos para minimizar la suma de errores cuadrados entre las secuencias sensoriomotoras predichas y las reales. Las actualizaciones de pesos ($W_H$ para transiciones de estado, $W_F$ para predicción de observación) siguen reglas de descenso de gradiente local, creando estados atractores en el paisaje de energía para las secuencias memorizadas.
  • Recuperación (Expresión): El sistema recupera habilidades a partir de pistas parciales mediante "inferencia guiada". El estado oculto se infiere iterativamente a partir de observaciones iniciales (imitando la preparación motora), estableciendo la condición inicial para el sistema dinámico. La red luego predice futuras observaciones sensoriomotoras. El artículo se centra en la recuperación fuera de línea, donde la trayectoria se fija tras la pista inicial, modelando movimientos balísticos.
• Integración de Control: Las Neural ASMs funcionan como una política dinámica de alto nivel. No prescriben un controlador de bajo nivel específico, sino que guían un sistema de control flexible (por ejemplo, un controlador de posición) minimizando los errores de predicción propioceptiva para lograr los estados deseados.

Contribuciones Clave

1. Arquitectura Unificada: El artículo demuestra que una única red de codificación predictiva puede aprender un repertorio de múltiples habilidades, realizar reconocimiento implícito de habilidades y expresarlas sin mecanismos explícitos de selección de habilidades.
2. Aprendizaje Biológicamente Plausible: A diferencia de las ASMs tradicionales o las Redes Neuronales Recurrentes (RNN) estándar entrenadas mediante BPTT, las Neural ASMs utilizan reglas de aprendizaje local y codificación predictiva auto-supervisada, ofreciendo un modelo más realista biológicamente del aprendizaje sensoriomotor.
3. Detección Implícita de Fallos: El marco permite la detección de fallos en todos los comportamientos aprendidos mediante la monitorización de la energía de la red (error de predicción). Las anomalías (eventos fuera de distribución) resultan en estados de alta energía, permitiendo al robot detectar fallos sin saber qué habilidad específica se está ejecutando.
4. Inferencia Contextual y Preparación Motora: El modelo introduce una fase de inferencia iterativa (configuración prospectiva) que actúa como una explicación mecanicista de la preparación motora. Esta fase permite que la red separe y expida memorias de habilidades distintas basadas en pistas contextuales (por ejemplo, objetivos visuales) antes de la ejecución del movimiento.

Resultados
Los autores validaron las Neural ASMs mediante experimentos de simulación:

• Detección y Aislamiento de Fallos: En una tarea de agarrar y colocar con dos habilidades, el modelo detectó con éxito fallos de bloqueo articular identificando niveles de energía anormales. Superó a un método de referencia (utilizando errores normalizados con puntuación Z) tanto en precisión de detección de fallos (82–83% vs. 74–82%) como en precisión de aislamiento de fallos (79,5% vs. 41%).
• Corrección Reactiva: El sistema demostró corrección reactiva de fallos minimizando los errores de predicción propioceptiva en el espacio de configuración, permitiendo que un controlador de bajo nivel compensara perturbaciones (por ejemplo, una colisión con un objeto que cae) en tiempo real.
• Separación de Habilidades e Inferencia Contextual: Inspirado en estudios motores humanos (Sheahan et al., 2016), el modelo se probó para separar memorias de habilidades para perturbaciones en sentido antihorario frente a horario bajo diferentes condiciones de planificación. Las Neural ASMs separaron y expresaron con éxito los planes motores correctos solo cuando las pistas contextuales estaban disponibles durante la fase de planificación (condiciones Solo Planificación o Planificación y Ejecución), replicando resultados de adaptación similares a los humanos.
• Compensación Velocidad-Precisión: El modelo predijo una compensación velocidad-precisión durante la expresión de habilidades: menos iteraciones de inferencia (tiempo de preparación motora más corto) condujeron a una recuperación menos precisa, mientras que un aumento de iteraciones mejoró la precisión. Este fenómeno no fue capturado por las RNN de referencia entrenadas con BPTT.

Significado y Afirmaciones
El artículo afirma avanzar en el campo de la neurorrobótica al demostrar cómo los principios de codificación predictiva pueden unificar la detección de fallos, el control reactivo y la memorización de habilidades en una única arquitectura basada en energía. Los autores postulan que las Neural ASMs proporcionan una lente computacional para estudiar el aprendizaje sensoriomotor biológico, específicamente:

• Ofreciendo un mecanismo para la detección de lesiones/fallos que depende de errores de predicción jerárquicos en lugar de señales nociceptivas periféricas únicamente.
• Modelando el papel de la actividad preparatoria motora en la configuración del estado inicial de un sistema dinámico para separar memorias de habilidades.
• Prediciendo una compensación velocidad-precisión en la expresión de habilidades habituales consistente con datos experimentales humanos.

Los autores mantienen una postura modesta, reconociendo que su implementación actual es una prueba de concepto utilizando simulaciones simplificadas (recuperación fuera de línea, repertorio de habilidades limitado y perturbaciones sintéticas). Señalan que, aunque el marco soporta múltiples habilidades, las tasas de aprendizaje pueden depender del número de habilidades, y el modelo actual aún no estima la incertidumbre posterior ni maneja fallos de sensores complejos sin adaptación dinámica de precisión. Se sugiere trabajo futuro para explorar la recuperación en línea, controladores más eficientes energéticamente y la integración de control de retroalimentación óptima.