Hybrid Visual Perception and LLM Framework for Service Robot Planning and Navigation

Los robots de servicio ya no son solo un concepto para el futuro; están empezando a aparecer en hospitales, hoteles y espacios públicos, con la tarea de guiar a las personas y realizar tareas sencillas. Para que estas máquinas sean verdaderamente útiles, deben hacer más que simplemente seguir una ruta preprogramada. Necesitan entender lo que un humano les está pidiendo, ver el mundo que las rodea para evitar obstáculos o encontrar objetos específicos, y luego determinar cómo moverse para completar el trabajo. El desafío ha sido durante mucho tiempo cómo combinar estas tres capacidades —entender el lenguaje, ver el entorno y planificar el movimiento— en un solo sistema que sea lo suficientemente inteligente para ser útil, pero lo suficientemente pequeño y rápido como para ejecutarse en la propia computadora integrada de un robot.

Durante años, los investigadores han intentado resolver esto construyendo sistemas de inteligencia artificial masivos y todo en uno que intentan hacer todo a la vez. Estos sistemas, a menudo llamados modelos de visión y lenguaje, son increíblemente potentes porque pueden mirar una imagen y leer una oración simultáneamente. Sin embargo, también son increíblemente pesados, requiriendo enormes cantidades de potencia de cómputo que simplemente no caben dentro de un pequeño robot operado por batería. Esto crea un dilema: un robot que es lo suficientemente inteligente para entender instrucciones complejas pero demasiado lento para reaccionar en tiempo real, o un robot que es rápido pero demasiado tonto para entender lo que está viendo.

Un equipo de investigadores de Indonesia, Japón y Bélgica ha propuesto un camino diferente. En lugar de forzar a un único cerebro gigante a hacerlo todo, construyeron un sistema que divide el trabajo en dos partes especializadas que se comunican entre sí. En su nuevo marco de trabajo, un sistema visual rápido y ligero se encarga del trabajo de detectar objetos, mientras que un modelo de lenguaje separado se encarga del trabajo de entender las instrucciones y realizar planes. Esta separación permite que el robot funcione en una pequeña computadora integrada sin necesidad de un servidor externo masivo. Los investigadores probaron este enfoque en un robot guía diseñado para ayudar a las personas a navegar por edificios públicos, y descubrieron que, al mantener las tareas separadas, el robot podía entender comandos complejos, encontrar objetos y moverse a ubicaciones específicas con alta precisión, todo ello mientras reaccionaba mucho más rápido que los sistemas de todo en uno.

El robot que utilizaron fue construido sobre una base móvil estándar, pero estaba equipado con una sola cámara y un chip de computadora compacto conocido como Jetson Orin Nano. Este chip es lo suficientemente potente como para ejecutar software moderno, pero lo suficientemente pequeño como para caber en un robot que necesita moverse libremente sin estar atado a un tomacorriente de pared. Los investigadores programaron el sistema para aceptar comandos de lenguaje natural de un humano, como "Ve a la oficina principal y busca a una persona". Cuando el robot recibe tal comando, la parte del lenguaje del sistema descompone la instrucción en una lista de pasos. Decide que el robot necesita moverse a una ubicación específica y luego buscar a una persona. Crucialmente, le dice a la parte visual del sistema exactamente qué debe buscar, en lugar de pedirle al sistema visual que adivine qué podría ser importante.

Esta división del trabajo es la clave de la velocidad del sistema. En los sistemas tradicionales de todo en uno, la computadora tiene que procesar la imagen completa y la oración completa al mismo tiempo, lo que toma mucho tiempo. En esta nueva configuración, el modelo de lenguaje decide rápidamente que el robot necesita buscar a una "persona" y luego envía una instrucción simple y corta al detector visual para que encuentre solo ese objeto específico. El detector visual, que está diseñado para ser muy rápido, escanea la transmisión de la cámara e informa si ve a una persona. Debido a que el sistema visual no está perdiendo tiempo analizando cada cosa en la habitación, y el sistema de lenguaje no está perdiendo tiempo tratando de interpretar los píxeles, todo el proceso ocurre mucho más rápido. Los investigadores midieron esta diferencia de velocidad y encontraron que su sistema dividido era entre tres y veinte veces más rápido que los sistemas de todo en uno, dependiendo de si la computadora se estaba ejecutando localmente o conectándose a un servidor en la nube.

Para ver si este enfoque realmente funcionaba en el mundo real, el equipo realizó una serie de pruebas. Primero, probaron la capacidad del robot para seguir comandos de movimiento por sí solo, pidiéndole que fuera a la habitación más cercana o a la oficina principal. En estas pruebas, el robot planificó su ruta con éxito y llegó al destino correcto el 96 por ciento de las veces. Luego, añadieron el componente visual, pidiéndole al robot que fuera a una ubicación y luego buscara un objeto específico, como un hidrante, una silla o una persona. En estos escenarios más complejos, donde el robot tenía que navegar y luego buscar, el sistema tuvo éxito el 84 por ciento de las veces. Los pocos fallos que ocurrieron se debieron generalmente a que la cámara única del robot tuvo dificultades para juzgar exactamente qué tan cerca estaba de un objeto, lo que causó que se detuviera un poco antes o un poco después, en lugar de ser por un malentendido del comando o por no ver el objeto.

Los investigadores también sacaron el sistema de la simulación por computadora y lo colocaron en el robot físico real en el vestíbulo de un edificio real. Le dieron los mismos tipos de comandos y el robot realizó las tareas de manera confiable, navegando a través del espacio, deteniéndose a buscar personas y hablando de vuelta al usuario. Esta prueba en el mundo real confirmó que el sistema podía manejar la complejidad de un entorno real, incluyendo personas caminando y cambios en las condiciones de iluminación, sin necesidad de realizar cambios estructurales en el software. Los resultados mostraron que el robot podía interpretar la voz de un humano, determinar a dónde ir, encontrar lo que se necesitaba y ejecutar la tarea, todo mientras se ejecutaba en una pequeña computadora que cabe en el propio robot.

El estudio sugiere que el futuro de los robots de servicio puede no depender de hacer los cerebros de los robots más grandes y complejos, sino de organizar cómo piensan. Al separar la tarea de ver de la tarea de razonar, los investigadores demostraron que un robot puede ser altamente capaz y eficiente. Aunque los sistemas de todo en uno son impresionantes, a menudo son demasiado pesados para el uso práctico en robots móviles. Este enfoque híbrido ofrece un camino hacia adelante donde los robots pueden ser desplegados en hospitales, hoteles y oficinas para asistir a las personas, reaccionando rápidamente a las instrucciones y moviéndose de forma segura a través de espacios concurridos. El trabajo no pretende haber resuelto todos los problemas de la robótica, pero proporciona un método claro y probado para hacer robots que sean lo suficientemente inteligentes para ayudar y lo suficientemente rápidos para ser útiles.