Retrospective Open-Vocabulary Memory for Long-Term Object Search

Los robots que se desplazan por el mundo están mejorando su capacidad de visión, pero siguen siendo terribles recordando dónde suelen estar las cosas. Imagine a un robot con la tarea de encontrar un juego de llaves perdido en una casa que ha visitado muchas veces. Si el robot solo recuerda la última vez que vio las llaves, podría buscar en el lugar equivocado si las llaves fueron movidas ayer. Si simplemente cuenta cuántas veces ha visto las llas en un lugar específico, podría ser engañado por su propia mala suerte: tal vez pasó junto a la mesa de la cocina cien veces pero nunca miró hacia abajo, mientras que solo echó un vistazo al sofá de la sala una vez y casualmente vio las llaves allí. Un simple recuento haría que el robot pensara que el sofá es el mejor lugar para buscar, a pesar de que la mesa es donde las llaves pertenecen la mayor parte del tiempo. Este es el núcleo del problema de la búsqueda de objetos a largo plazo: distinguir entre dónde reside realmente un objeto y dónde el robot simplemente tuvo la oportunidad de mirar.

Para resolver esto, investigadores de la Universidad Nacional de Singapur han desarrollado una nueva forma para que los robots construyan una memoria de su entorno. Llaman a su sistema ECROM, que significa Memoria Abierta Retrospectiva Calibrada por la Exposición (Exposure-Calibrated Retrospective Open-Vocabulary Memory). El equipo probó este sistema en una serie de simulaciones controladas en diez hogares digitales diferentes, donde los objetos se movían según patrones ocultos, y la trayectoria del robot se variaba deliberadamente para que algunas superficies fueran vistas con frecuencia y otras raramente. Encontraron que, al ponderar cuidadosamente lo que el robot vio frente a cuánto de una superficie tuvo realmente la oportunidad de ver, el robot podía aprender los verdaderos hábitos de los objetos. Cuando se le pidió encontrar artículos que nunca se le había indicado buscar antes, este nuevo sistema de memoria ayudó al robot a encontrar el objetivo mucho más rápido y de manera más fiable que los métodos anteriores.

El desafío que los investigadores abordaron tiene sus raíces en la realidad desordenada de cómo se mueven los robots. En un hogar real, un robot no escanea cada pulgada de cada habitación con claridad perfecta. Podría caminar por una cocina mientras mira al techo, o pasar junto a una mesa de comedor que está parcialmente bloqueada por una silla. Si un robot simplemente cuenta cuántas veces detectó un "sombrero de paja" en una mesa frente a una isla, podría obtener la respuesta incorrecta si pasó más tiempo mirando la isla. El sombrero podría estar en la mesa la mitad de las veces, pero si el robot solo miró la isla, un recuento simple sugeriría que la isla es el hogar del sombrero. Los investigadores se dieron cuenta de que, para aprender dónde ocurren los objetos habitualmente, un robot debe separar la evidencia de la presencia de un objeto de la oportunidad que tuvo de verlo. Una detección omitida solo es significativa si el robot estaba realmente mirando en la dirección correcta; si el robot estaba mirando hacia otro lado, la ausencia de una detección no nos dice nada.

Para probar esta idea, el equipo creó un punto de referencia llamado LOOP-Bench, que consiste en diez entornos domésticos realistas. En estas simulaciones, colocaron objetos como tazas, tijeras y sombreros en diversas superficies de acuerdo con distribuciones de probabilidad ocultas. Algunos objetos siempre estaban en la misma mesa, otros se movían entre algunos puntos, y otros aparecían rara vez. Crucialmente, la trayectoria del robot a través de estos hogares se generó de forma independiente a dónde se colocaron los objetos. Esto significaba que el robot podría pasar junto a una mesa diez veces sin haber visto la superficie claramente, mientras que podría pasar por una isla de cocina una sola vez y tener una vista perfecta. Esta configuración obligó al sistema de memoria a descifrar la ubicación real de los objetos sin ser engañado por los propios patrones de movimiento del robot.

El nuevo sistema, ECROM, funciona organizando el historial del robot en un mapa de superficies, o "soportes", y registrando exactamente cuánto de cada superficie fue visible durante cada paso. Cuando un humano le pide más tarde al robot que encuentre un artículo específico, el sistema analiza todos los viajes pasados. No solo cuenta las detecciones; en su lugar, calcula una probabilidad basada en cuánto de la superficie estuvo expuesta a la cámara. Si el robot vio una superficie con claridad y no encontró el objeto, el sistema reduce fuertemente la creencia de que el objeto está allí. Pero si el robot solo captó un vistazo de una superficie, o si la vista estaba bloqueada, el sistema trata la falta de detección como algo neutral, negándose a penalizar ese lugar. Esto permite al robot aprender que es probable que un objeto esté en una superficie que ha visto pocas veces, siempre que esa superficie sea la única donde el objeto haya sido detectado cuando era visible.

Los resultados de la simulación fueron claros. Cuando los investigadores pidieron al robot que encontrara objetos para los que nunca se le había indicado buscar explícitamente, el nuevo sistema superó a todos los demás métodos que probaron. Mejoró la precisión de sus predicciones por un margen significativo y, lo más importante, encontró los objetos mucho más rápido durante la búsqueda activa. En las simulaciones, el robot que utilizaba ECROM encontró el objetivo en aproximadamente el 59 por ciento de sus intentos, en comparación con aproximadamente el 53 por ciento del siguiente mejor método. De manera más sorprendente, en un estudio de caso específico mostrado en el artículo, la distancia que el robot tuvo que recorrer para encontrar el objeto cayó de 1 de 17.8 metros a solo 3.2 metros. Esta eficiencia provino de que el robot sabía exactamente qué superficies valía la pena revisar primero, en lugar de vagar sin rumbo o quedarse estancado revisando lugares que ya había descartado.

Para asegurar que esto no fuera solo un truco digital, el equipo también probó el sistema en un robot físico, un Hello Robot Stretch 3, en un entorno de oficina real. Realizaron el mismo tipo de tarea de búsqueda con objetos reales como una taza roja, un par de tijeras y una lata de carne de almuerzo. El robot tenía que navegar por un espacio de 500 metros cuadrados, moviéndose entre escritorios y estantes, para encontrar estos artículos. Los resultados reflejaron la simulación. El robot que utilizaba el nuevo sistema de memoria tuvo éxito en encontrar los objetos en 14 de 15 ensayos, mientras que los otros métodos tuvieron éxito en solo 10 u 11. El robot físico también recorrió una distancia significativamente menor, cubriendo un promedio de 19.4 metros en comparación con casi 29 metros para los otros enfoques. Esto demostró que la lógica de separar la oportunidad de observación de la presencia del objeto funciona incluso cuando el robot se enfrenta a la iluminación impredecible y al desorden del mundo real.

Los investigadores también exploraron qué sucedería si eliminaban las partes clave de su sistema. Cuando obligaron al robot a asumir que había visto cada superficie completamente, incluso cuando claramente no lo había hecho, el rendimiento del robot cayó. Comenzó a tratar las detecciones omitidas como prueba de que un objeto estaba ausente, lo que lo llevó a ignorar las ubicaciones correctas. Del mismo modo, cuando simplificaron el sistema para que solo observara si un objeto era visto o no, ignorando la fuerza de la evidencia visual, el robot se volvió menos preciso. Estas pruebas confirmaron que el éxito del sistema dependía de dos cosas específicas: una contabilidad cuidadosa de cuánto de una superficie era realmente visible, y una interpretación matizada de qué tan fuerte era la evidencia visual.

Este trabajo sugiere un camino a seguir para los robots que necesitan operar en entornos dinámicos y cambiantes durante largos períodos. En lugar de simplemente recordar la última vez que vieron algo, o mantener un recuento simple de avistamientos, estos robots pueden aprender los hábitos del mundo que los rodea. Pueden entender que el hecho de no haber visto una taza de café en un mostrador recientemente no significa que la taza no esté allí; simplemente puede significar que no han mirado ese mostrador en un tiempo. Al construir una memoria que respeta los límites de su propia visión, un robot puede convertirse en un compañero más fiable en el hogar, capaz de encontrar objetos perdidos incluso cuando el mundo a su alrededor está en constante cambio. Los investigadores planean publicar su código y los datos del punto de referencia al público, permitiendo que otros construyan sobre esta base de máquinas más inteligentes y observadoras.