Multitasking Recurrent Networks Utilize Compositional Strategies for Control of Movement

Resumen Técnico: Las Redes Recurrentes Multitarea Utilizan Estrategias Composicionales para el Control del Movimiento

Planteamiento del Problema
El cerebro y el cuerpo funcionan como un sistema de control complejo capaz de realizar movimientos diversos de manera flexible a pesar de la alta dimensionalidad del sistema musculoesquelético. Si bien la composicionalidad —la capacidad de combinar primitivas computacionales aprendidas para realizar tareas novedosas— es un mecanismo ampliamente propuesto para la flexibilidad cognitiva, su extensión al control motor sigue sin estar clara. Trabajos previos han establecido que las Redes Neuronales Recurrentes (RNN) entrenadas en múltiples tareas cognitivas desarrollan estructuras modulares y composicionales. Sin embargo, se desconoce si estos principios se aplican a redes que generan patrones de movimiento continuos a través de un sistema musculoesquelético, donde los cálculos basados en atractores para la cognición difieren significativamente de los requeridos para la generación de movimiento. Además, no está claro cómo la encarnación (embodiment) y la retroalimentación sensorial restringen el espacio de soluciones de la red para fomentar tales representaciones composicionales.

Metodología
Los autores entrenaron una RNN multitarea en una configuración de retroalimentación de bucle cerrado con un modelo de brazo musculoesquelético (derivado de Motornet). La red controló un brazo plano 2D con seis músculos y dos articulaciones.

• Suite de Tareas: La red fue entrenada para realizar diez trayectorias cinemáticas distintas (incluyendo alcances rectos, alcances curvos, sinusoides, ciclos y ochos) a través de 16 direcciones y 5 velocidades.
• Entradas: La red recibió instrucciones de la tarea (entradas de regla), escalares de velocidad, señales de inicio (go cues) y posiciones de objetivo. Crucialmente, recibió retroalimentación propioceptiva continua (longitudes y velocidades musculares) y retroalimentación visual (posición de la mano).
• Protocolo de Entrenamiento: El sistema fue entrenado de extremo a extremo (end-to-end) mediante aprendizaje supervisado para minimizar el error del extremo del efector. El entrenamiento involucró ensayos intercalados a través de todas las tareas.
• Herramientas de Análisis: Los autores emplearon Análisis de Componentes Principales (PCA), jPCA (para detectar la dinámica rotacional), análisis de Procrustes (para la similitud de trayectorias), Análisis de Similitud Dinámica (DSA) y Reducción de Dimensionalidad Dirigida (TDR).
• Estudios de Ablación: Para aislar el papel de la encarnación y la retroalimentación, se entrenaron tres modelos de control:
  1. Soluciones de Nicho (Niche Solutions): Diez redes separadas entrenadas en tareas individuales, donde la red multitarea fue entrenada para reproducir sus activaciones musculares específicas.
  2. Sin Retroalimentación (No Feedback): Entrenada con la pérdida estándar del extremo del efector pero sin retroalimentación propioceptiva o visual.
  3. Sin Efector (No Effector): Entrenada para reproducir directamente las activaciones musculares de la red base, eliminando el brazo del bucle de entrenamiento.
• Aprendizaje por Transferencia: Los autores probaron la capacidad de la red para aprender tareas no incluidas en el entrenamiento (CClkCurvedReach y CClkCycle) congelando todos los pesos recurrentes y de salida, y actualizando únicamente los pesos de entrada para las nuevas reglas de entrada.

Resultos Clave

1. Manifolds de Baja Dimensionalidad Compartidos: A través de todas las tareas, la actividad poblacional durante el episodio de movimiento ocupó un manifold de baja dimensión compartido. Mientras que los episodios preparatorios (de demora) y de movimiento residían en subspaces ortogonales (consistente con los hallazgos de la corteza motora), tipos de movimiento similares (por ejemplo, todas las extensiones) compartían los mismos modos y dinámicas neurales.
2. Separación Ortogonal de Submovimientos: La red organizó las extensiones y retracciones en subspaces casi ortogonales, a pesar de que el espacio muscular muestra subspaces superpuestos para estas acciones. Esto sugiere una separación de principios en los cálculos dentro de la red que no está presente en el brazo físico.
3. Composicionalidad Algebraica: La red organizó las tareas algebraicamente en el subspace de demora. La reducción de dimensionalidad dirigida reveló ejes estructurados que separan la dirección de rotación (sentido horario vs. antihorario) y la complejidad cinemática (alcance vs. sinusoide). La red pudo realizar tareas novedosas combinando algebraicamente las entradas de regla de las tareas existentes sin alterar los pesos recurrentes.
4. Composicionalidad Secuencial: La red demostró la capacidad de "coser" motivos de extensión y retracción aprendidos. Al cambiar la entrada de la regla a mitad del movimiento, la red generó con éxito movimientos compuestos novedosos (por ejemplo, una extensión de la Tarea A seguida de una retracción de la Tarea B) que nunca fueron entrenados explícitamente.
5. Papel de la Encarnación y la Retroalimentación: Los estudios de ablación revelaron que la estructura composicional no es un resultado inevitable del multitasking.
   • El modelo de Soluciones de Nicho (entrenado en patrones musculares independientes) no logró desarrollar estructura composicional.
   • Los modelos Sin Retroalimentación y Sin Efector desarrollaron cierta estructura, pero exhibieron una composicionalidad significativamente más débil y soluciones de mayor dimensionalidad en comparación con la red base.
   • Esto indica que las restricciones de controlar un cuerpo redundante con retroalimentación sensorial dirigen a la red hacia soluciones compartidas, de baja dimensión y composicionales.
6. Transferencia Rápida: La red pudo aprender movimientos no incluidos rápidamente actualizando solo los pesos de entrada para las nuevas reglas de entrada. Esta transferencia dependió de la recombinación de los subspaces de extensión y retracción preexistentes, confirmando que las dinámicas necesarias ya estaban presentes en el circuito compartido.

Significancia y Reivindicaciones
Los autores afirman que su marco proporciona una base para comprender cómo el cerebro puede realizar movimientos diversos de manera flexible a través de manifolds compartidos de baja dimensión y representaciones composicionales.

• Mecanismo de Flexibilidad: El estudio demuestra que un único controlador de retroalimentación puede organizar muchos movimientos utilizando un paisaje dinámico compartido. Una entrada de tarea estática (regla) selecciona un movimiento al reubicar el estado de la red dentro de este paisaje, en lugar de recablear el circuito.
• Restricción de la Encarnación: El artículo argumenta que la encarnación y la retroalimentación sensorial no son meramente restricciones pasivas, sino motores activos que restringen el espacio de soluciones, evitando que la red adopte soluciones musculares no composicionales y específicas de cada tarea (como se observa en el modelo de Soluciones de Nicho).
• Plausibilidad Biológica: Los hallazgos se alinean con las observaciones experimentales en la corteza motora de primates, como el uso de subspaces ortogonales para la preparación vs. el movimiento y los manifolds compartidos a través de las tareas. El modelo sugiere que la composicionalidad motora surge del reúso de primitivas (extensiones/retracciones) almacenadas en subspaces ortogonales, permitiendo una recombinación flexible.
• Alcance: Los autores señalan modestamente que su modelo es una representación agrupada (lumped representation) de la circuitería sensoriomotora en lugar de un modelo específico de la M1, y reconocen las limitaciones respecto a la baja dimensionalidad del modelo de brazo en comparación con sistemas de cuerpo completo. No pretenden haber resuelto el problema general del control motor, sino que han identificado estrategias estructurales específicas (composicionalidad algebraica y secuencial) que emergen bajo condiciones de multitasking encarnado.