💻 computer science

UDAQ: Unified Dynamic and Adaptive Q-iteration for Unknown Environment Path Planning and Exploration

Este artículo presenta UDAQ, un marco de iteración Q unificado y orientado por recompensas que se adapta autónomamente a espacios de estados en evolución dinámica para optimizar simultáneamente la planificación de trayectorias punto a punto y la exploración eficiente del entorno, superando significativamente a los planificadores y estrategias de exploración convencionales en entornos desconocidos sin conocimiento previo del mapa.

Autores originales: Nasr Abdalmanan, Kamarulzaman Kamarudin, Muqri Zinal, Mohd Rizal Manan, Victor Bennetts

Publicado 2026-07-30

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nasr Abdalmanan, Kamarulzaman Kamarudin, Muqri Zinal, Mohd Rizal Manan, Victor Bennetts

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina a un robot dejado caer en un laberinto en total oscuridad que nunca ha visto. Sus únicas herramientas son un par de "ojos" (sensores) que pueden ver unos pocos pasos por delante y un cerebro que necesita descifrar dos cosas al mismo tiempo: "¿Cómo llego a ese punto específico de allá?" y "¿Cómo mapeo toda la habitación oscura para no perderme?". Esta es la vida diaria de un robot autónomo, un campo de la ciencia llamado robótica móvil. Para que un robot sobreviva en el mundo real, necesita planificación de rutas (dibujar una línea segura del punto A al punto B) y exploración (revisar sistemáticamente áreas desconocidas para construir un mapa mental). Tradicionalmente, los ingenieros han tratado estas como dos tareas separadas, contratando a un "programa" para decidir a dónde ir y a otro "programa" para averiguar cómo llegar allí. Pero en un mundo que cambia a medida que lo miras, mantener estos trabajos separados puede generar confusión, como un conductor que pide direcciones a un pasajero mientras el pasajero todavía está intentando leer el mapa.

Entra UDAQ (Q-iteración Unificada Dinámica y Adaptativa), un nuevo marco propuesto por los investigadores Nasr Abdalmanan y su equipo de la Universiti Malaysia Perlis y la Universidad de Örebro. Piensa en UDAQ no como un robot con dos cerebros separados, sino como un único navegante súper adaptativo que aprende a hacer todo a través de un juego de "caliente o frío". En lugar de cambiar entre diferentes modos, UDAQ utiliza un único conjunto de reglas (un sistema de recompensas) para enseñar al robot cómo comportarse. Si el robot necesita encontrar una puerta específica, el "juego" lo recompensa por acercarse a esa puerta. Si el robot necesita mapear todo un edificio, el "juego" lo recompensa por encontrar esquinas nuevas y no exploradas. El truco de magia es que este sistema ajusta automáticamente sus propios niveles de dificultad a medida que el robot descubre más del mundo. Si el laberinto se hace más grande, UDAQ escala sus recompensas para que el robot no se desanime o se confunda. En una serie de simulaciones por computadora, este enfoque demostró ser una forma más rápida, fluida y eficiente para que los robots naveguen por espacios desconocidos en comparación con los métodos estándar utilizados actualmente en la industria.

El Problema: La "Personalidad Dividida" del Robot

Imagina que estás explorando una cueva gigante y oscura. Tienes una linterna que solo ilumina un pequeño círculo a tu alrededor. Para llegar a la salida, necesitas conocer el camino. Para construir un mapa, necesitas deambular hacia la oscuridad. La navegación de robots de la vieja escuela suele dividir estas tareas en dos equipos separados. Un equipo, el Explorador, dice: "¡Ve a buscar el borde del mundo conocido!". El otro equipo, el Planificador, dice: "Vale, ahora dibuja una línea hacia ese borde".

El problema es que estos dos equipos no se comunican bien entre sí. El Explorador podría elegir un objetivo que parece cercano pero que en realidad está detrás de una pared, y el Planificador tiene que perder tiempo calculando un desvío. O, el mapa podría cambiar mientras el Planificador está trabajando, haciendo que el plan antiguo sea inútil. Es como intentar conducir un coche donde el GPS y el volante son controlados por dos personas distintas que discuten sobre el destino.

La Solución: Un Cerebro, Muchos Estados de Ánimo

Los investigadores detrás de UDAQ decidieron dejar de dividir al equipo. Construyeron un sistema donde el robot tiene un solo cerebro que gestiona tanto la exploración como la planificación, pero cambia su "estado de ánimo" según lo que quieras que haga. Llaman a esto un marco de Q-iteración Unámica y Adaptativa.

Así es como funciona, usando una analogía sencilla:

El Juego de "Caliente o Frío"
Imagina que el robot está jugando a un videojuego donde gana puntos (recompensas) por moverse.

Estado de Ánimo 1: El Perseguidor de Objetivos. Si le dices al robot: "Ve a la puerta roja", el juego le da una gran pila de puntos por acercarse a la puerta. También le aplica pequeñas penalizaciones por caminar en círculos. El robot aprende a correr hacia la puerta, pero si choca con una pared, recalcula instantáneamente la mejor ruta para rodearla.
Estado de Ánimo 2: El Creador de Mapas. Si le dices al robot: "Explora todo", el juego cambia. Ahora, el robot obtiene los mayores puntos por encontrar fronteras —los bordes difusos donde el mapa conocido se encuentra con la oscuridad desconocida—. Ignora la puerta roja y, en su lugar, corre hacia la esquina no explorada más cercana.
Estado de Ánimo 3: El Explorador Direccional. Incluso puedes decirle al robot: "Explora, pero principalmente hacia el Norte". El robot seguirá buscando nuevas áreas, pero priorizará aquellas que están hacia el Norte, creando un patrón de exploración específico.

La genialidad de UDAQ es que no necesita cambiar de software para cambiar de estado de ánimo. Simplemente cambia las regas del juego (la configuración de la recompensa) mientras mantiene el mismo cerebro funcionando.

La Fórmula Secreta: La Recompensa "Elástica"

Hay un problema complicado con estos juegos. Si el robot está en una habitación diminuta, una recompensa de "10 puntos" puede parecer enorme. Pero si el robot descubre de repente un pasillo masivo, esos mismos "10 puntos" pueden parecer demasiado pequeños para motivar al robot a cruzar toda la habitación. El robot podría confundirse y dejar de intentarlo, o podría tomar malas decisiones porque las matemáticas ya no cuadran.

UDAQ resuelve esto con un mecanismo Dinámico y Adaptativo. Piensa en ello como una regla elástica.

El robot mide constantemente el tamaño del espacio que ha descubierto hasta el momento. Calcula la ruta más larga posible que podría caminar a través del mapa conocido (el "diámetro geodésico").
Basándose en este tamaño, reescala automáticamente las recompensas. Si la habitación es enorme, los puntos valen más. Si la habitación es pequeña, los puntos valen menos.
Esto asegura que el robot siempre sienta correctamente las señales de "caliente o frío", sin importar qué tan grande sea el laberinto. Evita que el robot se quede "atascado" o tome malas decisiones solo porque el entorno cambió.

Lo que Mostraron las Simulaciones

Los investigadores probaron UDAQ en tres mundos virtuales diferentes, que iban desde un simple almacén abierto hasta un edificio complejo con pasillos estrechos y muchas habitaciones. Compararon su rendimiento con los métodos estándar utilizados en la industria (como el planificador ROS 2 NavFn) y otras estrategias de exploración (como el "seguimiento de paredes" o el "camino aleatorio").

1. Ir de A a B (Planificación de Rutas)
Cuando el robot necesitaba ir de un punto de inicio a un punto de llegada en un entorno desconocido:

UDAQ encontró rutas que eran entre un 8 y un 12% más cortas que las del planificador estándar.
Terminó el viaje entre un 20 y un 30% más rápido.
Incluso sin conocer el mapa de antemano, las rutas de UDAQ fueron casi tan buenas como la ruta "perfecta" que un humano podría dibujar si conociera todo el mapa desde el principio.

2. Explorar Toda la Habitación (Exploración)
Cuando el robot tenía que mapear todo el entorno:

UDAQ fue el claro ganador. Recorrió entre un 36 y un 44% menos de distancia que el método estándar basado en fronteras (que es el mejor enfoque tradicional actual).
Completó la exploración entre un 48 y un 59% más rápido.
En el mapa más complejo (Mapa C), el método de "camino aleatorio" estándar de hecho se quedó atascado en un pasillo estrecho y no logró terminar el trabajo, mientras que UDAQ navegó a través de él con fluidez y completó la tarea.

3. La Prueba de "Dirección"
En un experimento, los investigadores le dijeron al robot que explorara el edificio complejo pero con un sesgo hacia una dirección específica (como "principalmente al Sur").

Cuando la dirección coincidía con la disposición del edificio (como el Sur), el robot fue increíblemente eficiente, tomando la ruta más corta.
Cuando la dirección era la "incorrecta" (como el Oeste), el robot tomó una ruta más larga y sinuosa.
Esto demostró que UDAQ puede ser "dirigido" para explorar en un orden específico, lo cual podría ser útil si sabes que ciertas habitaciones son más importantes que otras.

El Problema: Todavía es una Simulación

Aunque los resultados son impresionantes, los investigadores advierten cuidadosamente que todas estas pruebas se realizaron en simulaciones por computadora. Los robots vivieron en un mundo digital perfecto donde los sensores nunca fallaban, las ruedas nunca resbalaban y los mapas siempre eran precisos. En el mundo real, los robots enfrentan problemas complicados como la mala iluminación, suelos resbaladizos y sensores con ruido. El artículo sugiere que UDAQ es un candidato muy sólido para el uso en el mundo real, pero aún no ha sido probado en un robot físico. Los autores planean llevar este cerebro de "regla elástica" fuera de la computadora y al mundo real en trabajos futuros.

Conclusión

UDAQ es un paso hacia robots que son menos como máquinas rígidas que siguen una lista de verificación y más como exploradores adaptables. Al unificar la planificación de rutas y la exploración en un único sistema que se autoajusta, permite que los robots naveguen por lo desconocido con un nivel de eficiencia y fluidez que los robots de sistemas divididos tradicionales luchan por igualar. Es un recordatorio de que, a veces, la mejor manera de resolver un problema complejo no es construir más herramientas, sino construir una forma más inteligente de usar la que ya tienes.

Resumen Técnico: UDAQ – Iteración Q Dinámica y Adaptativa Unificada para la Planificación de Rutas y Exploración en Entornos Desconocidos

Planteamiento del Problema
La navegación autónoma en entornos desconocidos presenta un desafío dual: el robot debe realizar simultáneamente una planificación de rutas punto a punto eficiente y una exploración fiable de todo el entorno sin conocimiento previo del mapa. Las arquitecturas tradicionales suelen desacoplar estas tareas, separando la exploración (determinar a dónde ir) de la planificación de la ruta (determinar cómo llegar allí). Esta separación a menudo conduce a un comportamiento subóptimo, ya que la capa de exploración selecciona objetivos sin considerar la complejidad de la ruta o la incertidumbre del mapa, mientras que la capa de planificación opera sobre instantáneas de mapas potencialmente desactualizadas. Además, aplicar la iteración de valores clásica o la programación dinámica en entornos desconocidos es un desafío porque el espacio de estados navegables se expande dinámicamente a medida que se descubren nuevas regiones. Las magnitudes de recompensa fijas y las representaciones de espacio de estados estáticas a menudo fallan en mantener una propagación de valor estable en tales entornos evolutivos, lo que conduce a una convergencia deficiente y a la degradación del rendimiento de la política.

Metodología
El artículo propone UDAQ (Iteración Q Dinámica y Adaptativa Unificada), un marco que unifica la planificación de rutas locales, la exploración completa del entorno y la exploración orientada dentro de una formulación de Proceso de Decisión de Markov (MDP) impulsada por recompensas.

Formulación MDP Unificada: El problema se modela como un MDP $(S, A, P, R, \gamma, \pi)$ donde el espacio de estados $S$ se deriva de una cuadrícula de ocupación generada por SLAM, segmentada en baldosas cuadradas. Los estados se clasifican como libres, ocupados, frontera (límite entre lo conocido y lo desconocido), objetivo o desconocido. El espacio de acciones consiste en ocho movimientos discretos (cardinales e intercardinales).
Funciones de Recompensa Configurables: UDAQ emplea un único marco de iteración de valores donde diferentes comportamientos son inducidos mediante la reconfiguración de la función de recompensa $R(s, a, s')$ $R (s, a, s^{'})$ :
1. Planificación Punto a Punto: Recompensa las transiciones hacia un objetivo específico, escaladas por la proximidad euclidiana, mientras penaliza los obstáculos y los pasos innecesarios.
2. Exploración del Entorno: Elimina las recompensas específicas de un objetivo, asignando altas recompensas uniformes a los estados de frontera para fomentar una cobertura sistemática.
3. Exploración Orientada: Introduce un "objetivo imaginario" fuera del límite del entorno para sesgar la exploración en una dirección específica.
Espacio de Estados Dinámico y Escalamiento de Recompensa Adaptativo: Una innovación técnica central es el manejo del espacio de estados en evolución dinámica. A medida que el mapa SLAM se expande, UDAQ emplea un mecanismo de escalamiento de recompensa adaptativo. Estima el diámetro geodésico ( $L$ ) del espacio de estados transitable actual utilizando un esqueleto de eje medial y una transformada de distancia de Chebyshev. Las magnitudes de la recompensa (penalizaciones de paso, penalizaciones de obstáculos y recompensas de objetivo/frontera) se escalan automáticamente en relación con $L$ y el factor de descuento $\gamma$ . Esto asegura que la propagación de la función de valor permanezca estable y significativa independientemente del tamaño del entorno o su complejidad estructural, evitando la degradación de la política a medida que el mapa crece.
Operación de Ciclo Cerrado: El sistema opera como un proceso de ciclo cerrado totalmente autónomo. Integra continuamente las actualizaciones de SLAM, actualiza las clasificaciones de los estados, recalcula las recompensas basadas en el diámetro actual del mapa, realiza la iteración Q hasta la convergencia y genera comandos de navegación sin intervención humana.

Contribuciones Clave

Marco Unificado: Demuestra que diversos comportamientos autónomos (navegación, exploración, exploración orientada) pueden lograrse dentro de una única formulación mediante la configuración de recompensas, eliminando la necesidad de planificadores separados o heurísticas específicas de la tarea.
Adaptación del Espacio de Estados Dinámico: Introduce un método para que la iteración de valores opere en un espacio de estados en expansión mediante el ajuste dinámico de las magnitudes de recompensa basadas en el diámetro geodésico estimado del área transitable.
Escalamiento de Recompensa Adaptativo: Propone una estrategia de ajuste automático que asegura respaldos de Bellman estables y una calidad de política consistente a medida que el entorno se revela progresivamente, abordando el problema de que las recompensas fijas se vuelven ineficaces en mapas más grandes y evolutivos.

Resultados Experimentales
El método fue evaluado en simulaciones de ROS 2 a través de tres entornos de complejidad creciente (Simple, Moderado, Complejo) y se comparó con el planificador NavFn de ROS 2 (para navegación) y estrategias basadas en fronteras, de seguimiento de paredes y de paseo aleatorio (para exploración).

Navegación Punto a Punto: UDAQ superó consistentemente al planificador NavFn. Redujo la distancia de viaje promedio aproximadamente un 8–12% y la duración del viaje un 20–30% en todos los casos de prueba, acercándose a soluciones óptimas globales a pesar de carecer de conocimiento previo del mapa. También demostró una re-planificación dinámica robusta cuando se introdujeron nuevos obstáculos.
Exploración del Entorno: UDAQ superó significativamente a todos los métodos de referencia. En comparación con la exploración basada en fronteras (la base clásica más fuerte), UDAQ redujo la distancia de viaje en un 36–44% y el tiempo de exploración en un 48–59% en todos los entornos. También superó sustancialmente el rendimiento de las estrategias de seguimiento de paredes y de paseo aleatorio. En entornos complejos, UDAQ mantuvo trayectorias suaves y terminación autónoma, mientras que otros métodos a menudo sufrieron de recorridos ineficientes o fallos en la cobertura total del mapa.
Exploración Orientada: Los experimentos con ocho configuraciones direccionales mostraron que el sesgo direccional influye significativamente en la eficiencia de la exploración. Las configuraciones alineadas con la topología del entorno (por ejemplo, Sur en el mapa probado) minimizaron el recorrido redundante y redujeron el tiempo de finalización, mientras que las configuraciones desalineadas aumentaron la redundancia de la ruta.

Significancia y Reivindicaciones
El artículo afirma que UDAQ proporciona una solución robusta, eficiente y flexible para la navegación autónoma en entornos desconocidos. Su principal significancia radica en la unificación de múltiples comportamientos de navegación dentro de un único marco impulsado por recompensas, permitiendo que el comportamiento emerja de la configuración de la recompensa en lugar del cambio de planificador. Al operar como un sistema de ciclo cerrado totalmente autónomo que se adapta a espacios de estados que evolucionan dinámicamente, UDAQ aborda las limitaciones estructurales de las arquitecturas de exploración y planificación desacopladas.

Los autores reconocen que los resultados se basan en simulaciones de ROS 2 asumiendo una detección y estimación de estado idealizadas. En consecuencia, aunque el marco demuestra efectividad bajo condiciones controladas, el artículo establece que se requiere trabajo futuro para validar la robustez en plataformas robóticas físicas bajo incertidumbres del mundo real, tales como el ruido de los sensores, las imprecisiones de los actuadores y la deriva de localización.