← Últimos artículos
💻 computer science

Deep Reinforcement Learning for Quadruped Locomotion Controlled by Natural Language

Este artículo presenta un marco de trabajo de extremo a extremo que permite a los robots cuadrúpedos ejecutar comandos de lenguaje natural de forma libre mediante la combinación de un módulo de NLU ligero con una política PPO condicionada por objetivos y destilación de profesor-alumno, logrando una locomoción robusta, adaptativa y energéticamente eficiente tanto en simulaciones como en experimentos del mundo real.

Autores originales: Shirin Ranjbaran, Yili Fu

Publicado 2026-09-14
📖 7 min de lectura🧠 Análisis profundo

Autores originales: Shirin Ranjbaran, Yili Fu

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde un perro robot no necesita un control remoto, un joystick o un guion preprogramado para saber qué hacer. En su lugar, escucha una voz humana. Esta es la frontera de un campo llamado robótica, donde los ingenieros enseñan a las máquinas a moverse a través de mundos complejos e irregulares. Durante años, la forma más fiable de hacer que un robot de cuatro patas camine ha sido darle un modelo matemático rígido de su propio cuerpo y del suelo debajo de él. Si bien esto funciona bien en suelos planos, a menudo falla cuando el terreno se vuelve accidentado o la situación cambia inesperadamente. Un enfoque más nuevo, conocido como aprendizaje por refuerzo profundo, ha cambiado las reglas del juego. En lugar de depender de un conjunto fijo de reglas, estos robots aprenden a caminar mediante ensayo y error, de forma muy parecida a un cachorro aprendiendo a ponerse de pie, descubriendo eventualmente formas estables de moverse que ningún ingeniero humano podría haber diseñado a mano. El desafío que queda es cómo hablar con estos sistemas aprendidos. Darle a un robot un comando simple como "ve hacia adelante" es fácil, pero pedirle que "camine lentamente hacia la izquierda evitando un bulto" requiere un puente entre el lenguaje humano y el control motor de bajo nivel del robot.

Investigadores del Instituto de Tecnología de Harbin han construido un sistema que crea este puente, permitiendo que un robot cuadrúpedo siga comandos de lenguaje natural de forma libre. Su trabajo, detallado en un estudio reciente, presenta un método donde un robot escucha una frase, comprende lo que la persona quiere e inmediatamente ajusta su estilo de marcha para coincir con esa intención. El sistema no depende de una biblioteca escrita previamente de movimientos específicos, como un "trote" o un "galope", entre los cuales el robot deba elegir. En su lugar, traduce las palabras directamente en ajustes continuos de velocidad y dirección. Cuando un usuario dice "camina hacia adelante lentamente", el cerebro del robot entiende que necesita reducir su velocidad hacia adelante mientras mantiene su equilibrio, y ejecuta este cambio en tiempo real. Esto se logra combinando dos tecnologías distintas: un procesador de lenguaje que entiende el habla humana y un algoritmo de aprendizaje que controla los músculos del robot.

La parte del lenguaje del sistema actúa como un traductor. Toma una frase como "gira a la izquierda bruscamente" y la descompone en dos piezas de información: el objetivo general, que es girar, y los números específicos necesarios para hacerlo, como qué tan rápido debe rotar. Los investigadores utilizaron una versión ligera de un modelo de lenguaje moderno para realizar esta tarea. Este modelo fue entrenado con miles de ejemplos de comandos emparejados con las acciones correctas del robot. Está diseñado para ser lo suficientemente rápido como para ejecutarse en un robot sin retrasarlo. Una vez que el sistema comprende el comando, pasa esta información al cerebro de control del robot. Este cerebro de control es una red neuronal que ha sido entrenada para caminar utilizando un método llamado optimización de política próxima. Este proceso de entrenamiento implica que el robot intente caminar en una simulación informática de alta fidelidad, recibiendo recompensas por mantenerse erguido y moverse eficientemente, y mejorando gradualmente su estrategia a lo largo de millones de intentos.

Lo que hace que este nuevo sistema sea único es cómo conecta el traductor de lenguaje con el controlador de marcha. En lugar de obligar al robot a elegir de un menú limitado de comportamientos predefinidos, el sistema utiliza la entrada de lenguaje para dar un suave empujón a los objetivos del robot y a su sistema de recompensa. Si el comando es moverse lentamente, el sistema ajusta la velocidad objetivo del robot y cambia la forma en que evalúa su propio éxito, haciendo que los pasos lentos y cuidadosos se sientan más gratificantes que los rápidos y arriesgados. Esto permite que el robot adapte su marcha continuamente. Puede caminar hacia adelante, luego ralentizarse, luego girar a la izquierda, todo basado en un solo flujo de instrucciones habladas. Para asegurar que este sistema funcione no solo en una computadora sino en una máquina real, los investigadores emplearon una estrategia de enseñanza. Primero entrenaron a un robot "maestro" altamente capaz en la simulación con acceso a información perfecta sobre el mundo, como la fricción exacta del suelo. Luego, entrenaron a un robot "estudiante" para que imitara las acciones del maestro usando solo los datos de sensores ruidosos e imperfectos que un robot real tendría. Este proceso ayudó al estudiante a aprender a ser robusto contra las realidades desordenadas del mundo físico.

El equipo probó su sistema extensamente en simulación y en un robot real Unitree A1, una máquina pequeña y ágil de cuatro patas. En las simulaciones por computadora, el robot siguió con éxito una amplia variedad de comandos, incluyendo instrucciones complejas como "camina lentamente hacia la izquierda" o "navega alrededor del obstáculo rápidamente". El sistema mostró una alta tasa de éxito, con el robot completando tareas básicas como caminar hacia adelante o girar a la izquierda más del 96% de las veces en simulación. Cuando los investigadores trasladaron el sistema al robot real, los resultados siguieron siendo sólidos. El robot fue capaz de caminar hacia adelante, girar y detenerse bajo comando con una tasa de éxito superior al 93% para la mayoría de las acciones. El sistema también demostró ser eficiente energéticamente, utilizando menos energía por paso que los métodos de control tradicionales u otros enfoques basados en el aprendizaje que no utilizaban este condicionamiento de lenguaje específico. Los investigadores señalaron que el robot podía adaptar sus movimientos en menos de un segundo tras recibir un nuevo comando, demostando una capacidad de respuesta fluida que es difícil de lograr con los métodos de control antiguos.

Sin embargo, el estudio también destaca los límites de lo que es posible actualmente. El sistema funciona mejor con comandos claros y directos relacionados con el movimiento y la velocidad. Aún no está diseñado para manejar conversaciones largas y complejas o instrucciones altamente ambiguas como "haz algo genial". Si un usuario da un comando que el robot no puede realizar físicamente, como "vuela a la luna", el sistema aún no es lo suficientemente inteligente como para pedir una aclaración o explicar por qué la solicitud es imposible. Los investigadores encontraron que, si bien el robot es muy bueno siguiendo instrucciones de movimiento específicas, su capacidad para generalizar a tipos de lenguaje o entornos completamente nuevos todavía está limitada por los datos con los que fue entrenado. Las pruebas en el mundo real también fueron relativamente cortas y tuvieron lugar en condiciones controladas, lo que significa que la fiabilidad a largo plazo del sistema en entornos exteriores impredecibles aún no ha sido plenamente probada.

A pesar de estas limitaciones, el trabajo representa un paso significativo hacia una interacción más natural entre humanos y robots. Al demostrar que un robot puede aprender a caminar y luego ser guiado por el habla simple sin necesidad de una biblioteca de trucos preprogramados, los investigadores han demostrado un camino hacia máquinas que son más intuitivas para trabajar con ellas. El sistema no requiere que el usuario aprenda un nuevo código o un conjunto específico de comandos; simplemente escucha y responde. El éxito del método de entrenamiento maestro-estudiante para transferir habilidades de la simulación al mundo real sugiere que este enfoque podría escalarse a robots más complejos en el futuro. A medida que la tecnología madure, la brecha entre la intención humana y la acción de la máquina puede continuar estrechándose, permitiendo que los robots se conviertan en verdaderos compañeros en entornos dinámicos y desafiantes.

¿Ahogado en artículos de tu campo?

Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.

Probar Digest →