Resumen Técnico: PRISM – Representaciones Polinomiales para el Control Motor Estructurado por Interacciones

1. Planteamiento del Problema

Las políticas de robótica estándar, implementadas típicamente como Perceptrones Multicapa (MLP), mapean observaciones (posiciones articulares, velocidades, comandos, etc.) directamente a acciones. Aunque los MLP pueden aproximar funciones complejas teóricamente, tratan las entradas como variables de primer orden. Sin embargo, muchas cantidades físicas críticas que rigen el comportamiento de un robot —como la potencia articular, los efectos inerciales, el deslizamiento, el impulso de contacto y la complacencia— surgen de interacciones multiplicativas (productos) entre estas variables observables.

En los MLP estándar, estos indicios de interacción permanecen latentes. La red debe descubrir implícitamente estas relaciones a partir de los datos, lo que a menudo requiere una capacidad excesiva para aproximar lo que físicamente es una relación de segundo orden o superior. Simplemente aumentar el número de parámetros (capacidad del modelo) no cambia la base de entrada; deja a la política sin una "base de interacción" explícita alineada con la física subyacente. Además, lograr un comportamiento complaciente en tareas ricas en contacto suele requerir sensores de fuerza explícitos, entradas de wrench o controladores de admitancia especializados, que a menudo no están disponibles en escenarios de despliegue con sensores mínimos.

2. Metodología: PRISM

Los autores introducen PRISM (Representaciones Polinomiales para el Control Motor Estructurado por Interacciones), una representación de política que hace que las interacciones polinomiales entre variables físicas observables sean explícitas, aprendibles y compactas.

Arquitectura Central

PRISM reemplaza la vía de condicionamiento lineal estándar para las entradas propioceptivas con un módulo polinomial factorizado. En lugar de enumerar explícitamente todos los términos monomiales (lo cual es computacionalmente ineficiente), PRISM utiliza proyecciones aprendidas para formar factores latentes compactos.

Dada una entrada de vector propioceptivo $x_t$, PRISM calcula dos factores afines aprendidos:
$$u_t = W_1 x_t + b_1$$
$$v_t = W_2 x_t + b_2$$

La representación de segundo orden se construye como:
$$\psi_2(x_t) = u_t \odot (1 + \alpha_2 \odot v_t) = u_t + \alpha_2 \odot (u_t \odot v_t)$$
donde $\odot$ denota la multiplicación elemento a elemento y $\alpha_2$ es un parámetro aprendible inicializado cerca de cero. Este diseño permite que la política retenga características lineales donde sea suficiente, mientras aprende a fortalecer las interacciones cuadráticas donde sea beneficioso.

El marco se extiende recursivamente hasta el grado $K$:
$$\psi_k(x_t) = \psi_{k-1}(x_t) \odot [1 + \alpha_k \odot (W_k x_t + b_k)]$$
Esto preserva todas las vías de orden inferior mientras añade términos de interacción de orden superior sin expansión explícita.

Integración en Paradigmas de Aprendizaje

• Aprendizaje por Refuerzo (RL): PRISM aumenta la red del actor aplicando el módulo polinomial a los estados propioceptivos disponibles durante el despliegue antes de que entren en el backbone estándar del MLP. El espacio de acción, la función de recompensa y los controladores de bajo nivel permanecen sin cambios.
• Aprendizaje por Imitación (IL): En las Políticas de Difusión (Diffusion Policies), PRISM reemplaza la capa de condicionamiento propioceptivo lineal estándar con la capa de interacción polinomial. Esta capa se entrena de extremo a extremo con la política, combinándose con características visuales y de lenguaje para la predicción de acciones.

Crucialmente, PRISM no requiere sensores adicionales (fuerza, táctiles, wrench) ni entradas físicas privilegiadas (etiquetas de contacto, fricción del terreno) durante el despliegue.

3. Contribuciones Clave

1. Identificación de una Limitación: El artículo identifica que las políticas MLP por defecto reciben solo variables físicas de primer orden, fallando al representar explícitamente las interacciones multiplicativas esenciales para el control (por ejemplo, torque $\times$ velocidad para la potencia).
2. Arquitectura PRISM: Una representación de política polinomial factorizada y compacta que hace que estas interacciones sean explícitas y aprendibles sin enumerar todos los monomios. Soporta la activación gradual en RL y puede reemplazar el condicionamiento lineal en Políticas de Difusión.
3. Validación Empírica: Demostrar que el modelado de interacciones estructuradas genera mejoras de rendimiento tanto sobre MLPs estándar como sobre MLPs más grandes con capacidad equiparable, probando que la estructura de interacción no puede ser reemplazada únicamente por el recuento de parámetros.

4. Resultados Experimentales

Los autores evaluaron PRISM en Humanoid-Gym (locomoción) y LIBERO (manipulación rica en contacto).

Locomoción Humanoide (Humanoid-Gym)

• Rendimiento: PRISM superó significativamente tanto a un MLP estándar como a un "MLP más grande" (con casi el doble de parámetros que el baseline) en longitud de episodio, error de seguimiento de velocidad lineal/yaw y tasa de supervivencia.
• Estabilidad: PRISM mostró límites de convergencia más estrechos a través de las semillas de entrenamiento y una reducción en la deriva de velocidad en comparación con los baselines.
• Conclusión: El salto en el rendimiento es impulsado por el modelado explícito de las interacciones multiplicativas, no simplemente por el aumento de la capacidad del modelo.

Manipulación Rica en Contacto (LIBERO)

• Complacencia sin Sensores: PRISM logró una tasa de éxito del 91.0%, superando significativamente a la Política de Difusión estándar (63.8%) y a un controlador de complacencia sin sensores (MCC-Sensorless, 47.8%).
• Comportamiento: PRISM exhibió un comportamiento complaciente emergente: mantuvo un acercamiento de alta velocidad en el espacio libre pero suprimió instantáneamente la velocidad al contacto, regulando las fuerzas sin entradas de fuerza o táctiles. Esto superó a MCC-Sensorless, que sufrió respuestas retrasadas y fuerzas de impacto elevadas.
• Agnosticismo de Backbone: Al integrarse en backbones más fuertes (BFM-Zero para locomoción, SmolVLA para manipulación), PRISM continuó superando controles de mayor capacidad, confirmando que el beneficio es arquitectónico, no solo de capacidad.

Análisis de Cantidades Físicas

• Sondeo Lineal: Los sondos lineales entrenados en representaciones congeladas de PRISM predijeron cantidades inspiradas en la mecánica (velocidad de deslizamiento, potencia de la articulación, impulso de contacto, trabajo de contacto) con un Error Cuadrático Medio (MSE) significativamente menor y coeficientes de correlación de Pearson (PCC) más altos que los baselines.
• Interacciones Emergentes: Los estudios de ablación revelaron que los factores aprendidos más impactantes correspondían a acoplamientos físicamente significativos, tales como "memoria de velocidad" (velocidad actual $\times$ velocidad pasada) y "acoplamiento de velocidad de articulación", confirmando que el modelo aprende estructuras físicas relevantes para la tarea.

5. Significado y Reivindicaciones

El artículo argumenta que las representaciones polinomiales deberían convertirse en una elección arquitectónica estándar para el control motor incorporado.

• Sesgo Inductivo Alineado con la Física: Al hacer explícitas las estructuras de interacción, PRISM alinea el sesgo inductivo de la política con la realidad física de la dinámica robótica, donde el control a menudo depende de productos de las variables de estado.
• Complacencia sin Sensores: PRISM demuestra que se puede aprender un comportamiento complaciente y consciente del contacto puramente a partir de la propiocepción y las entradas visuales, eliminando la necesidad de sensores de fuerza o táctiles costosos o frágiles durante el despliegue.
• Eficiencia sobre Capacidad: Los resultados sugieren que mejorar el rendimiento de la política no es solo una función de escalar el tamaño del modelo; más bien, modelar explícitamente la estructura de interacción de las variables físicas produce una eficiencia de datos y robustez superiores.

Los autores concluyen que, si bien PRISM asume que las claves son capturadas por polinomios de bajo grado y puede tener dificultades con la historia de largo alcance o la geometría no observada, ofrece una solución robusta y desplegable para el control estructurado por interacciones a través de diversas morfologías robóticas y tareas.