💻 computer science

Cognitively-Grounded On-Device Runtime Learning for Ground Robots in Unknown Physical Environments

Este artículo presenta CogRun, un marco de trabajo totalmente autónomo en el dispositivo que permite a los robots terrestres de misión crítica realizar un aprendizaje en tiempo de ejecución cognitivamente fundamentado en entornos desconocidos sin mapas previos ni conectividad, mediante la integración de un nuevo agente de aprendizaje con un agente racional dedicado a la seguridad.

Autores originales: Yihao Cai, Yanbing Mao, Christian Lebiere

Publicado 2026-09-01

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yihao Cai, Yanbing Mao, Christian Lebiere

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina a un robot enviado a un bosque que nunca ha visto, con la tarea de navegar por un camino lleno de ramas caídas, agujeros ocultos y terreno irregular. En el mundo de la inteligencia artificial, este escenario representa un obstáculo fundamental. La mayoría de los robots actuales son entrenados en mundos simulados perfectos o laboratorios controlados, aprendiendo a moverse en entornos que son predecibles y estáticos. Cuando estas máquinas se despliegan en la realidad caótica y cambiante de un bosque salvaje o una zona de desastre, a menudo tienen dificultades. Su conocimiento preprogramado se convierte en un lastre porque el mundo al que se enfrentan no coincide con el mundo en el que fueron enseñados. Además, estos robots suelen depender de una conexión constante con potentes ordenadores en la nube para procesar sus decisiones. En terrenos remotos y accidentados, esa conexión se rompe con frecuencia, dejando al robot varado o incapaz de adaptarse en tiempo real. El desafío, entonces, es crear una máquina que pueda aprender sobre la marcha, totalmente por sí misma, mientras permanece lo suficientemente segura como para operar sin intervención humana.

Un equipo de investigadores ha abordado este desafío con un nuevo sistema llamado CogRun, diseñado para permitir que los robots terrestres aprendan de forma segura mientras se mueven realmente a través de espacios físicos desconocidos. La idea central es dotar al robot de una forma de aprendizaje instantáneo que ocurra enteramente en su propio ordenador integrado, sin necesidad de enviar datos a un servidor. Este enfoque permite al robot adaptarse a nuevos obstáculos y condiciones cambiantes en el momento en que los encuentra. El sistema se basa en el entendimiento de que aprender en el mundo real es peligroso; un robot que simplemente intenta cosas nuevas para ver qué funciona podría volcarse o chocar. Para resolver esto, los investigadores diseñaron un marco en el que el proceso de aprendizaje del robot es constantemente monitoreado y guiado por un sistema de seguridad separado que no aprende. Esto asegura que, mientras el robot está descubriendo cómo moverse mejor, nunca dé un paso que pueda causar que se vuelque o colisione con algo.

El marco funciona dividiendo el cerebro del robot en tres partes distintas que trabajan juntas. La primera parte es el "Agente de Aprendizaje", que es el explorador curioso. Intenta realizar diferentes movimientos, observa los resultados e intenta mejorar su rendimiento basándose en lo que experimenta. Sin embargo, debido a que este agente todavía está aprendiendo, puede cometer errores. Para evitar que esos errores se conviertan en desastres, una segunda parte, el "Agente Racional", actúa como un estricto guardián de la seguridad. Este agente no aprende; se basa en reglas establecidas y probadas para asegurar que el robot se mantenga erguido y evite colisiones. Si el Agente de Aprendizaje sugiere un movimiento que parece arriesgado, el Agente Racional toma el control inmediatamente para ejecutar una maniobra segura en su lugar. Un tercer componente, el "Coordinador", observa el estado del robot en tiempo real y decide qué agente está al mando en cada momento dado. Si el robot se mueve de forma segura, el Coordinador deja que el Agente de Aprendizaje conduzca. En el momento en que el robot entra en una situación peligrosa, el Coordinador entrega los controles al Agente Racional hasta que el peligro pase.

Lo que hace que este sistema sea único es cómo gestiona los recuerdos de sus experiencias. Cuando un robot aprende, genera una cantidad masiva de datos sobre lo que hizo y lo que sucedió después. La mayoría de los sistemas almacenan estos datos en una lista simple y eligen ejemplos al azar para aprender. Los investigadores descubrieron que esto es ineficiente, especialmente en un entorno cambiante donde los datos antiguos o irrelevantes pueden confundir el proceso de aprendizaje. En su lugar, CogRun utiliza un método inspirado en cómo funciona la memoria humana. Prioriza los recuerdos basándose en tres factores: qué tan similar es una experiencia pasada a la situación actual, qué tan reciente ocurrió y con qué frecuencia han ocurrido situaciones similares. Esto permite al robot centrar su aprendizaje en los momentos más relevantes, como el momento exacto en que casi resbala en una hoja mojada, en lugar de perder el tiempo con datos de hace horas cuando las condiciones eran completamente diferentes.

Para probar este sistema, los investigadores lo desplegaron en un robot cuadrúpedo en un bosque real y desconocido. El entorno estaba lleno de zonas muertas, depresiones profundas en el suelo y agujeros cubiertos por hojas que podrían ocultar una caída. El robot tenía la tarea de viajar treinta metros desde un punto de partida hacia un objetivo. En estas pruebas, el robot tuvo que aprender a navegar por el terreno sin un mapa previo. Los resultados mostraron que el sistema mantuvo con éxito al robot seguro durante todo el proceso de aprendizaje. Mientras que un sistema de seguridad estándar podría evitar que el robot se cayera, a menudo era demasiado cauteloso para moverse de manera eficiente. El sistema CogRun, sin embargo, permitió al robot aprender un camino suave y eficiente en solo unas pocas docenas de intentos. El robot aprendió a ajustar su marcha y velocidad para manejar el terreno irregular, alcanzando finalmente su objetivo mucho más rápido de lo que podría haberlo hecho con una estrategia fija y preprogramada.

El equipo también probó el sistema en un vehículo autónomo todoterreno en un entorno de bosque simulado para ver si el enfoque funcionaba en diferentes tipos de máquinas. Compararon su sistema con otros métodos de aprendizaje avanzados que intentan gestionar la seguridad. En estas simulaciones, los otros sistemas perdían el equilibrio con frecuencia o chocaban contra obstáculos, fallando a menudo en completar la tarea. En contraste, el sistema CogóRun completó la gran mayoría de sus recorridos sin ninguna violación de seguridad. El robot aprendió a navegar a través de árboles densos y caminos rocosos, manteniendo la estabilidad incluso cuando el terreno cambiaba inesperadamente. Los investigadores señalaron que la capacidad del sistema para mezclar las acciones seguras basadas en reglas con las acciones basadas en el aprendizaje era crucial. Al mezclar cuidadosamente los movimientos cautelosos del guardián de seguridad con los movimientos adaptativos del agente de aprendizaje, el robot pudo explorar nuevas soluciones sin cruzar nunca la línea hacia el peligro.

Este trabajo demuestra que es posible que los robots aprendan continuamente en el mundo real sin depender de una conexión a la nube o de un mapa preexistente del entorno. Al combinar un agente de aprendizaje que busca la mejora con un agente racional que garantiza la seguridad, y al utilizar un sistema de memoria que prioriza las experiencias más relevantes, los investigadores han creado un marco que permite a las máquinas adaptarse a la naturaleza impredecible del mundo físico. Los experimentos sugieren que este enfoque puede mejorar significamente tanto la seguridad como la eficiencia de los robots que operan en entornos complejos y desconocidos, allanando el camino para máquinas más capaces que puedan asistir en la recuperación de desastres, la exploración y otras tareas críticas donde el terreno es demasiado peligroso o impredecible para los operadores humanos.

Resumen Técnico: CogRun – Aprendizaje en Tiempo de Ejecución Cognitivamente Fundamentado en Dispositivos para Robots Terrestres

1. Planteamiento del Problema

El artículo aborda las limitaciones de los robots actuales con IA incorporada al operar en entornos físicos no estructurados, dinámicos y desconocidos (por ejemplo, bosques salvajes, zonas de desastre post-catástrofe). Identifica tres desafíos fundamentales:

Entornos No Estacionarios y Desconocidos: Los paradigmas actuales de "entrenar-luego-desplegar" sufren brechas entre la simulación y la realidad (sim-to-real) y cambios de dominio, lo que conduce a la degradación del rendimiento en entornos que no pueden caracterizarse completamente antes del despliegue.
Restricciones de Comunicación Limitada: Los marcos de aprendizaje actuales suelen depender de arquitecturas de borde-nube (cloud-edge). Esta dependencia de la conectividad inalámbrica es impráctica para entornos remotos y caóticos donde la comunicación es poco fiable o inexistente, y la latencia inherente impide la adaptación crítica para la seguridad en tiempo real.
Replay de Experiencias Ineficiente: Las estrategias estándar de experience replay (reproducción de experiencias) a menudo no tienen en cuenta la relevancia de las experiencias almacenadas respecto al estado actual del robot. En entornos complejos y no estacionarios, la recuperación de datos obsoletos o irrelevantes degrada la eficiencia del aprendizaje, mientras que los métodos on-policy sufren de una baja eficiencia de muestreo.

2. Metodología: El Marco de Trabajo CogRun

Para abordar estos desafíos, los autores proponen CogRun, un marco para el aprendizaje en tiempo de ejecución, cognitivamente fundamentado y en el dispositivo. El sistema opera enteramente en hardware de IA de borde (específicamente NVIDIA Jetson AGX Orin), eliminando la dependencia de la nube. CogRun consta de tres componentes estrechamente acoplados:

A. El Coordinador (The Coordinator)
El Coordinador actúa como el guardián de la seguridad. Monitorea el estado en tiempo real del robot $s(t)$ frente a un Conjunto de Seguridad $S$ predefinido (por ejemplo, evitación de colisiones, límites de velocidad).

Si $s(t) \in S$ , el Coordinador ejecuta la acción $a_{learning}(t)$ generada por el Agente de Aprendizaje (Learning-Agent).
Si $s(t) \notin S$ , el Coordinador cambia inmediatamente el control al Agente Racional (Rational-Agent), ejecutando $a_{rational}(t)$ para garantizar la seguridad.
Una vez que el estado regresa al conjunto de seguridad, el control vuelve al Agente de Aprendizaje.

B. El Agente Racional (The Rational-Agent)
Este es un módulo no basado en aprendizaje dedicado exclusivamente a funciones críticas de seguridad. Sirve como un respaldo de seguridad verificable (utilizando, por ejemplo, Interactive-FAR o controladores basados en modelos físicos). Cuando se activa, evita fallos catastróficos y comparte sus "experiencias de aseguramiento de seguridad" con el Agente de Aprendizaje para reducir la exploración de ensayo y error riesgosa.

C. El Agente de Aprendizaje (The Learning-Agent)
Este componente presenta una novedosa arquitectura de aprendizaje neuro-cognitiva diseñada para la adaptación en tiempo de ejecución. Integra el Aprendizaje por Refuerzo (RL) con el Aprendizaje Basado en Instancias (IBL) a través de tres innovaciones clave:

Buffers de Replay Dedicados: Se mantienen dos buffers separados:
- $B_L$ : Almacena experiencias orientadas a tareas de la exploración del Agente de Aprendizaje.
- $B_R$ : Almacena experiencias aseguradas por la seguridad generadas por el Agente Racional durante las intervenciones.
- Los mini-lotes (mini-batches) para el entrenamiento se construyen muestreando de ambos buffers, lo que permite al agente aprender estrategias seguras directamente de las intervenciones del Agente Racional.
Muestreo de Lotes Impulsado por la Cognición: Inspirado en los principios de recuperación de la memoria humana, el sistema clasifica las experiencias almacenadas basándose en tres métricas respecto al estado actual:
- Similitud: Similitud estructural y superficial con el contexto actual.
  osa Frecuencia: Qué tan seguido se ha encontrado un tipo específico de experiencia.
- Recencia: Qué tan recientemente ocurrió la experiencia.
- Se computa una medida concurrente de frecuencia-recencia utilizando un factor de decaimiento de la memoria y el agrupamiento por "familias" de experiencias.
Mezcla de RL-IBL Consciente de la Seguridad: El agente no depende únicamente de la salida de la red neuronal ( $a_{actor}$ ). En su lugar, mezcla la acción del actor con una "acción de experiencia" ( $a_{experience}$ ) derivada de las instancias racionales recuperadas. Un parámetro de mezcla dependiente del estado $\eta(s)$ , formulado mediante optimización convexa para asegurar las restricciones de seguridad, pondera dinámicamente estas dos acciones:
$a_{learning} = (1 - \eta(s)) \cdot a_{actor} + \eta(s) \cdot a_{experience}$

D. Ejecución de IA en el Borde (Edge-AI Execution)
El marco utiliza una estrategia de ejecución desacoplada de múltiples tasas en el dispositivo de borde:

CPU (basada en ARM): Ejecuta el Coordinador y el Agente Racional a altas frecuencias (200–1000 Hz) para el aseguramiento de la seguridad en tiempo real.
GPU: Ejecuta el Agente de Aprendizaje a frecuencias más bajas (10–20 Hz) para las actualizaciones de la política.
Esto garantiza la consistencia temporal y una baja latencia, manteniendo al mismo tiempo la eficiencia energética.

3. Contribuciones Clave

Autonomía Total en el Dispositivo: CogRun proporciona un stack de autonomía completo (percepción, aprendizaje, control) en dispositivos de borde, eliminando la dependencia de la conectividad en la nube para el aprendizaje en tiempo de ejecución crítico para la seguridad.
Arquitectura Neuro-Cognitiva: La integración de IBL con Actor-Critic RL mediante buffers dedicados y muestreo impulsado por la cognición ofrece un enfoque con principios para la eficiencia de la experiencia en entornos no estacionarios.
Mezcla Consciente de la Seguridad: El mecanismo de mezcla de acciones de RL con acciones racionales derivadas de IBL permite una adaptación continua mientras se adhieren estrictamente a las restricciones de seguridad.

4. Resultados Experimentales

Los autores validaron CogRun a través de dos configuraciones experimentales primarias:

A. Robot Cuadrúpedo en Bosques Salvajes del Mundo Real

Tareas: Navegación en tiempo de ejecución y aprendizaje de visión-a-acción de extremo a extremo en bosques desconocidos con obstáculos como zonas muertas, depresiones y agujeros cubiertos de hojas.
Hallazgos:
- CogRun aseguró estrictamente la seguridad (cero colisiones o caídas) durante todo el proceso de aprendizaje, mientras que los marcos de RL tolerantes a fallos de referencia (Real-DRL, RLM, MPS) sufrieron pérdida de equilibrio y colisiones.
- El robot logró una navegación estable y eficiente dentro de decenas de episodios, superando significativamente a los baselines en tasas de finalización de tareas (19/20 para CogRun frente a 10–11/20 para los baselines).
- El sistema demostró robustez al transferir las políticas aprendidas a través de tres entornos forestales distintos y no estacionarios sin reinicialización.

B. Vehículo Autónomo Todoterreno (Simulación Gazebo)

Estudio de Ablación: Los autores compararon CogRun contra tres configuraciones: "Random" (RL estándar), "Cognition" (muestreo impulsado por la cognición solamente) y "Cognition+Blending" (CogRun completo).
Hallazgos:
- "Cognition" superó consistentemente a "Random".
- "Cognition+Blending" alcanzó las recompensas más altas, confirmando que el mecanismo de mezcla de RL-IBL consciente de la seguridad mejora significativamente tanto la seguridad como el rendimiento de la tarea.

5. Significación y Reivindicaciones

El artículo afirma que CogRun representa un paso significativo hacia la consecución de una autonomía de nivel humano en entornos físicos no estructurados. Su significación principal radica en:

Permitir la Adaptación Segura en Tiempo de Ejecución: Permite que los robots aprendan y se adapten continuamente a condiciones desconocidas sin mapas previos o conocimiento perceptual, garantizando la seguridad mediante una arquitectura de doble agente.
Superar las Barreras de Conectividad: Al operar enteramente en dispositivos de IA de borde, hace que el aprendizaje en tiempo de ejecución sea factible en escenarios remotos con conectividad limitada donde el aprendizaje asistido por la nube es imposible.
Mejorar la Eficiencia de Muestreo: El enfoque cognitivamente fundamentado del replay de experiencias aborda la ineficiencia del RL estándar en robots físicos, permitiendo un aprendizaje efectivo a partir de interacciones escasas en el mundo real.

Los autores concluyen que, si bien el marco es efectivo, el trabajo futuro se centrará en refinar el ranking de experiencias basado en principios, los mecanismos de decaimiento de la memoria y las medidas más efectivas de frecuencia, recencia y similitud para avanzar aún más en el aprendizaje en tiempo de ejecución cognitivamente fundamentado.