💻 computer science

Passivity-Centric Safe Reinforcement Learning for Contact-Rich Robotic Tasks

Este artículo aborda las limitaciones de seguridad y estabilidad del aprendizaje por refuerzo tradicional en tareas robóticas con alto contacto mediante la propuesta de un marco que integra el entrenamiento consciente de la pasividad con restricciones basadas en la energía y un filtro de pasividad para el despliegue, garantizando así la estabilidad del control y mejorando la eficiencia energética.

Autores originales: Heng Zhang, Gokhan Solak, Sebastian Hjorth, Arash Ajoudani

Publicado 2026-09-03

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Heng Zhang, Gokhan Solak, Sebastian Hjorth, Arash Ajoudani

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un brazo robótico extendiéndose para tocar una pared, no para empujarla, sino para sentir su camino a través de un laberinto oscuro y sinuoso. Este es el mundo de la robótica de contacto rico, donde las máquinas deben interactuar físicamente con su entorno para resolver problemas. Durante años, los científicos han utilizado una poderosa herramienta llamada aprendizaje por refuerzo para enseñar a los robots a hacer esto. Piensa en ello como un proceso digital de ensayo y error: el robot intenta un movimiento, recibe una recompensa si tiene éxito y aprende de sus errores. Si bien este método ha producido resultados impresionosos en simulaciones por computadora, un obstáculo importante persiste al trasladar estos robots al mundo real. Los algoritmos son excelentes para encontrar un camino hacia una meta, pero a menudo ignoran una regla fundamental de la física: la energía. Si un robot aprende una estrategia que requiere que bombee demasiada energía en sus articulaciones o en el entorno, puede volverse inestable, sacudirse violentamente o incluso dañarse a sí mismo y a los objetos que toca. Garantizar que los movimientos de un robot sean seguros y estables no es solo una preocupación teórica; es una necesidad práctica para cualquier máquina que alguna vez trabaje junto a los humanos.

Investigadores del Istituto Italiano di Tecnologia en Génova, Italia, se propusieron resolver este problema específico. Se plantearon una pregunta simple pero crítica: ¿podemos enseñar a un robot no solo a ser bueno en una tarea, sino también a ser inherentemente seguro respecto a cómo utiliza la energía? Su trabajo se centra en un concepto llamado pasividad. En términos sencillos, la pasividad significa que un sistema no puede crear energía de la nada; solo puede almacenar lo que recibe o disiparlo. Un robot pasivo es aquel que se comporta como un resorte bien amortiguado, absorbiendo los impactos en lugar de amplificarlos. El equipo descubrió que las políticas de aprendizaje por refuerzo estándar, que son entrenadas para maximizar el éxito de la tarea, a menudo fallan al no respetar esta regla. En sus experimentos, estas políticas estándar aprendieron a completar tareas rápidamente, pero lo hicieron generando comandos de control que violaban los límites de energía, lo que provocaba inestabilidad al ser desplegadas en el mundo real.

Para solucionar esto, los investigadores desarrollaron un nuevo enfoque que combina el poder de aprendizaje de la inteligencia artificial con reglas estrictas de energía. Crearon un sistema con dos partes distintas trabajando juntas. La primera parte ocurre durante la fase de entrenamiento. Aquí, enseñaron al robot a ser "consciente de la pasividad". En lugar de solo recompensar al robot por alcanzar la salida de un laberinto, añadieron restricciones invisibles que lo penalizaban por usar demasiada energía o por cambiar su rigidez demasiado rápido. Esto obligó al robot a aprender una forma más económica de moverse, descubriendo estrategias que eran naturalmente más suaves y estables. La segunda parte ocurre cuando el robot está realmente trabajando. Incluso con un mejor entrenamiento, los investigadores sabían que un programa de computadora aún podría cometer un error. Por ello, añadieron un filtro de seguridad, una capa final de protección que se sitúa entre el cerebro del robot y sus músculos. Este filtro monitorea constantemente el flujo de energía. Si el robot intenta realizar un movimiento que inyectaría demasiada energía en el sistema, el filtro lo reduce automáticamente, asegurando que el robot se mantenga dentro de los límites seguros.

El equipo probó este método en un escenario desafiante: una tarea de exploración de laberintos donde un brazo robótico tenía que encontrar la salida tocando las paredes a ciegas. Compararon cuatro tipos diferentes de robots: uno que ignoraba las reglas de energía por completo, uno que fue entrenado para cuidar la energía pero no tenía filtro de seguridad, uno que tenía un filtro de seguridad pero fue entrenado sin reglas de energía, y finalmente, su nuevo método que combinaba tanto el entrenamiento consciente de la energía como el filtro de seguridad. Los resultados fueron claros. El robot entrenado sin reglas de energía pudo terminar el laberinto en simulaciones, pero cuando intentaron ejecutarlo en un robot físico real, falló. Se movía con demasiada agresividad, aplicando una fuerza excesiva en las curvas, lo que causó que perdiera el control. En contraste, los robots que fueron entrenados con restricciones de energía aprendieron a moverse de manera más conservadora. Tardaron un poco más en aprender la tarea durante la fase de entrenamiento, pero una vez desplegados, fueron mucho más fiables.

Cuando los investigadores pusieron a prueba los mejores modelos entrenados en el mundo real, la diferencia fue abrumadora. El robot que utilizaba su método combinado completó el laberinto con éxito en cada uno de los ensayos, sin violar nunca los límites de fuerza ni agotar su presupuesto de energía. El robot estándar, incluso estando protegido por el filtro de seguridad, tuvo dificultades porque no había aprendido a gestionar su energía de manera eficiente en primer lugar. El filtro de seguridad por sí solo podía detener un desastre, pero no podía hacer que el robot fuera eficiente. El entrenamiento consciente de la energía por sí solo hizo que el robot fuera eficiente, pero no podía garantizar la seguridad si el robot cometía un error repentino e impredecible. Solo combinando ambos lograron un sistema que fuera tanto seguro como eficiente. Los investigadores descubrieron que el robot entrenado con límites de energía estrictos utilizó su presupuesto de energía de manera mucho más lenta y uniforme, permitiéndole manejar giros complejos y obstáculos sin quedarse sin fuerzas.

Este trabajo destaca un cambio crucial en la forma en que construimos máquinas inteligentes. Sugiere que, para que los robots trabajen de forma segura en nuestro mundo físico, no basta con enseñarles a ser inteligentes; deben ser enseñados a ser físicamente responsables. Al integrar las leyes de conservación de la energía directamente en el proceso de aprendizaje y respaldarlas con un filtro de seguridad en tiempo real, los investigadores han mostrado un camino hacia robots que no solo son capaces, sino también confiables. Sus experimentos, realizados en un brazo robótico de siete articulaciones, demuestran que es posible enseñar a una máquina a navegar en un entorno difícil y con mucho contacto sin arriesgar su propia estabilidad o la seguridad de su entorno. El método no depende de modelos matemáticos complejos del mundo que podrían estar equivocados; en su lugar, se basa en que el robot aprenda los límites de su propia energía a través de la experiencia, guiado por reglas que lo mantienen anclado en la realidad física.

Resumen Técnico: Aprendizaje por Refuerzo Seguro Centrado en la Pasividad para Tareas Robóticas de Contacto Rico

Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) ha demostrado un éxito significativo en el control robótico, pero enfrenta barreras críticas cuando se despliega en entornos del mundo real con contacto rico. Las políticas de RL tradicionales suelen priorizar la finalización de la tarea y la eficiencia del aprendizaje, descuidando la estabilidad y la seguridad del sistema. En escenarios de contacto rico, como el seguimiento de paredes o la regulación de fuerza, las políticas que carecen de garantías de pasividad pueden provocar la inestabilidad del sistema, la acumulación ilimitada de energía y vibraciones de alta frecuencia. Estos comportamientos suponen riesgos para el robot, el entorno y los operadores humanos.

Si bien el Control Basado en la Pasividad (PBC) es un método establecido para asegurar la estabilidad en interacciones físicas, su integración en el RL sigue siendo poco explorada. La literatura existente suele centrarse en el diseño de tanques de energía o parámetros para el control clásico, con una investigación limitada sobre el diseño de sistemas pasivos basados en el aprendizaje. Además, simplemente limitar la energía total es insuficiente; el flujo de energía entre el controlador y el robot también debe restringirse para asegurar la pasividad. El artículo identifica una brecha en la combinación de RL con PBC para abordar simultáneamente la seguridad, la estabilidad y la eficiencia energética en tareas de contacto rico.

Metodología

Los autores proponen un marco de RL Seguro con Pasividad Asegurada que integra restricciones basadas en la energía tanto en las fases de entrenamiento como de despliegue. El enfoque se basa en un modelo base de RL Seguro que utiliza Control de Impedancia Variable (VIC) y un crítico de seguridad para tareas de contacto rico. La metodología distingue cuatro enfoques:

Agnóstico a la pasividad: RL estándar sin consideraciones de pasividad.
Filtrado por pasividad: RL entrenado de forma tradicional, con un filtro de pasividad aplicado en el despliegue.
Consciente de la pasividad: RL entrenado con restricciones explícitas de energía para aprender un comportamiento pasivo.
Con pasividad asegurada: Una combinación de entrenamiento consciente de la pasividad y un filtro de pasividad en el despliegue.

Componentes Principales

Tanque de Energía Aumentado: El sistema emplea un tanque de energía ( $E_T$ ) para almacenar y limitar la energía. A diferencia de trabajos previos que solo limitaban la energía total, este método introduce un límite de flujo ( $\dot{E}_T$ ) para restringir la tasa de inyección de energía, abordando la insuficiencia de limitar solo la energía total.
Entrenamiento Consciente de la Pasividad (Sec. 2.4): El Proceso de Decisión de Markov Restringido (CMDP) se extiende para incluir dos nuevas restricciones:
- Restricción de Presupuesto ( $c_{eb}$ ): Se activa si el tanque de energía cae por debajo de un límite inferior ( $E_T \leq \underline{E}_T$ ).
- Restricción de Flujo ( $c_{ef}$ ): Se activa si la tasa de drenaje de energía excede un umbral ( $\dot{E}_T < \underline{\dot{E}}_T$ ).
  Estas restricciones se utilizan para entrenar un crítico de seguridad, permitiendo al agente aprender políticas energéticamente eficientes sin aumentar el espacio de estados con variables del tanque, manteniendo así el estado compacto.
Control con Pasividad Asegurada (Sec. 2.5): Una capa de pasividad se aplica a la salida del agente de RL durante el despliegue. Esta capa actúa como un filtro:
- Calcula el factor de escala $\alpha$ basándose en la relación entre el flujo de energía permitido y el flujo real.
- Modifica la rigidez cartesiana y los torques de control ( $\tau_{IC}$ ) para asegurar que se cumpla la condición de flujo de energía.
- Si el tanque de energía se agota, las actualizaciones de la rigidez se detienen o modifican para evitar la inyección de más energía, asegurando que el sistema permanezca pasivo.

Contribuciones Clave

El artículo describe tres contribuciones principales:

Comparación Sistemática: Una comparación extensa de diferentes enfoques de aprendizaje de control pasivo basados en RL (agnóstico a la pasividad, filtrado, consciente y asegurado), evaluando sus efectos en el entrenamiento, el despliegue, la seguridad, la estabilidad y la eficiencia energética.
Formulación de Pasividad Aumentada: El diseño y la evaluación de una formulación de pasividad basada en un tanque de energía aumentado dentro de RL, incorporando específicamente tamaños de tanque de energía variables y, crucialmente, restricciones de flujo de energía.
Marco de Pasividad Asegurada: La introducción de un marco que aborda simultáneamente la pasividad de control y la seguridad en contacto rico mediante la combinación del entrenamiento consciente de la pasividad con un filtro de pasividad en tiempo de despliegue.

Resultados Experimentales

El método se evaluó en una tarea de exploración de laberinto con contacto rico donde un robot debe navegar por un laberinto desconocido tocando paredes a ciegas, lo que requiere una regulación de fuerza precisa. Los experimentos se realizaron en la simulación MuJoCo y en un brazo robótico Franka Panda en el mundo real.

Fase de Entrenamiento

Impacto de las Restricciones: La introducción de restricciones de pasividad ( $c_{eb}$ y $c_{ef}$ ) afectó directamente las tasas de éxito de la tarea durante el entrenamiento. Aunque las restricciones excesivamente estrictas (por ejemplo, límites de flujo muy ajustados) dificultaron inicialmente la exploración y el éxito, obligaron al agente a aprender comportamientos más conservadores y energéticamente eficientes.
Dinámica de Aprendizaje: Los agentes entrenados con restricciones de energía (por ejemplo, $E_b4$ ) aprendieron a regular la rigidez de manera más económica, lo que resultó en un gasto de energía reducido y más uniformemente distribuido en comparación con los agentes agnósticos a la pasividad.

Fase de Despliegue (Simulación y Mundo Real)

Garantía de Estabilidad: El enfoque de pasividad asegurada (entrenamiento consciente de la pasividad + filtro de pasividad) fue el único método para garantizar la pasividad del sistema. Las políticas agnósticas a la pasividad, incluso cuando tenían éxito en la finalización de la tarea, violaban frecuentemente las restricciones de energía y mostraban un uso agresivo de la energía.
Rendimiento vs. Eficiencia:
- Agnóstico a la pasividad: Logró un alto éxito en la tarea de forma aislada, pero agotó los presupuestos de energía rápidamente y falló en las pruebas del mundo real debido a la aplicación de fuerzas agresivas.
- Pasividad Asegurada: Logró una tasa de éxito del 100% en las pruebas del mundo real sin violaciones de restricciones. Aunque algunas políticas restringidas (como $E_b4$ ) convergieron más lentamente en el entrenamiento, demostraron una eficiencia energética y robustez superiores en el despliegue.
Validación en el Mundo Real: En los experimentos del mundo real, la línea base agnóstica a la pasividad falló en uno de cada tres ensayos debido al exceso de fuerza en un punto de giro. Todas las configuraciones con pasividad asegurada tuvieron éxito sin violar las restricciones de fuerza o energía. El análisis de consumo de energía confirmó que las políticas conscientes de la pasividad mantuvieron tasas de uso de energía más bajas que la línea base agnóstica.

Significado y Reivindicaciones

El artículo sostiene que las políticas de RL tradicionales son insuficientes para tareas de contacto rico debido a la falta de garantías de estabilidad inherentes. El marco propuesto de RL Seguro con Pasividad Asegurada aborda esto al:

Garantizar la Estabilidad: El filtro de pasividad en el tiempo de despliegue asegura que el sistema permanezca pasivo independientemente de la salida del agente de RL, evitando la inestabilidad y los comportamientos inseguros.
Mejorar la Eficiencia Energética: Al entrenar explícitamente al agente con restricciones de energía, el sistema aprende a utilizar la energía de manera más económica, lo que conduce a un mejor rendimiento en tareas complejas de larga duración.
Cerrar la Brecha: El trabajo demuestra que combinar la optimización de políticas basada en el aprendizaje con los formalismos de pasividad clásicos es un camino viable hacia el despliegue robótico seguro, estable y eficiente en entornos no estructurados y de contacto rico.

Los autores concluyen que, si bien el entrenamiento consciente de la pasividad mejora la eficiencia energética, el filtro de pasividad es esencial para garantizar la seguridad durante el despliegue, ya que el aprendizaje por sí solo no puede asegurar una pasividad estricta debido a la naturaleza estocástica del RL y la incompletitud de los datos.