Learning Category-level Last-meter Navigation from RGB Demonstrations of a Single-instance

Resumen Técnico: Aprendizaje de la Navegación de Categoría de Último Metro a partir de Demostraciones RGB de una Instancia Única

Definición del Problema
El artículo aborda una brecha crítica en la manipulación móvil: el desajuste entre la navegación global y la ejecución de la manipulación. Mientras que los sistemas de navegación global suelen garantizar una precisión aproximada a nivel de metro (por ejemplo, detenerse a menos de 1 metro de un objetivo), las políticas de manipulación requieren una precisión de centímetros en la posición y de grados en la orientación para operar de manera fiable dentro de su distribución de entrenamiento. Las soluciones existentes para el posicionamiento de alta precisión dependen de supuestos costosos o frágiles, como mapas de alta resolución, campos de radiancia neuronal (NeRF), cámaras de profundidad o LiDAR. Los autores definen el problema de la "navegación de último metro" como la etapa específica entre la planificación de la ruta global y la manipulación, con el objetivo de lograr una alineación precisa respecto a un objeto objetivo utilizando únicamente observaciones RGB integradas, sin sensores de profundidad, LiDAR o supuestos de mapas.

Metodología
Los autores proponen un marco de aprendizaje por imitación centrado en objetos, entrenado en una única instancia de una categoría de objeto (por ejemplo, una silla verde específica) que se generaliza a instancias no vistas. El sistema se formula como una tarea de clonación de comportamiento (BC) donde una política $\pi$ mapea entradas multimodales a primitivas de movimiento discretas (avance, lateral, rotación).

1. Entradas: La política condiciona sobre tres entradas:

   • Observación Actual ($O_t$): Imágenes RGB multivista (frente, espalda, izquierda, derecha) de las cámaras integradas.
   • Observación de Objetivo ($O_{goal}$): Imágenes capturadas en la pose terminal deseada.
   • Prompt de Texto ($\phi_{text}$): Una descripción en lenguaje natural del objeto objetivo.

2. Arquitectura: El sistema consta de tres módulos (Fig. 2):

   • Codificador de Visión: Utiliza un codificador DINOv2 preentrenado y congelado para extraer incrustaciones (embeddings) de características semánticamente ricas de las imágenes actuales y de objetivo.
   • Módulo de Segmentación: Un proceso de dos etapas impulsado por texto que utiliza OwlV2 para la detección inicial de objetos y la generación de cajas delimitadoras (bounding boxes), seguido de SAM2 para refinar la máscara de segmentación. Este módulo aísla el objeto objetivo del fondo.
   • Decodificador de Acción: El decodificador integra las coordenadas de la caja delimitadora (codificadas como una incrustación de caja) con las incrustaciones visuales enmascaradas. Crucialmente, calcula una matriz de puntuación espacial ($S \in \mathbb{R}^{64 \times 64}$) que representa la similitud de coseno por pares entre los tokens espaciales de las vistas actual y de objetivo. Esta matriz codifica explícitamente el desplazamiento espacial entre la vista actual y la de objetivo. La matriz aplanada y la incrustación de la caja se introducen en una red de alimentación hacia adelante (feedforward) para predecir acciones discretas.

3. Mecanismo de Parada Auxiliar: Para abordar la dificultad de aprender la terminación precisa a partir de datos de demostración ruidosos, los autores introducen una anulación basada en reglas. El robot se detiene si la Intersección sobre la Unión (IoU) entre las máscaras actual y de objetivo supera 0.6 y la diferencia del centro de masa horizontal es inferior a 25 píxeles.

Contribuciones Clave

1. Marco Centrado en Objetos: Un novedoso marco de aprendizaje por imitación que resuelve el problema de la navegación de último metro, produciendo poses de base listas para la manipulación utilizando únicamente entradas RGB.
2. Generalización de Instancia a Categoría: Demostración de que un modelo entrenado en una única instancia de un objeto puede transferirse de manera fiable a instancias no vistas de la misma categoría en diversos entornos y condiciones de iluminación.
3. Validación Eficiente en Sensores: Validación en el mundo real que demuestra que la navegación precisa de último metro es posible sin sensores de profundidad, LiDAR o supuestos de mapas, abordando las restricciones prácticas donde tales sensores pueden no estar disponibles o ser prohibitivamente costosos.

Resultados Experimentales
El sistema fue evaluado en un robot Boston Dynamics Spot en entornos interiores y exteriores.

• Métricas: Se introdujeron dos métricas: Alineación de Bordes (evaluando la alineación con un límite lineal de verdad de campo) y Alineación de Objeto (evaluando el frente visual del objeto objetivo mediante la distancia del centro de masa).
• Rendimiento:
  • En la instancia vista (silla de entrenamiento), el sistema logró un 94% de éxito en la evaluación de verdad de campo y un 96.67% en la evaluación visual.
  • En instancias no vistas (sillas diferentes), el sistema logró un 74.58% de éxito en la alineación de bordes y un 89.42% en la alineación de objetos.
  • El marco también se generalizó a otras categorías (organizadores de cajones y maletas) con tasas de éxito promedio del 60 al 96% dependiendo de la métrica y la categoría.
• Ablación: Las comparaciones mostraron que la fundamentación visual implícita (sin segmentación explícita) falló completamente (0% de éxito), y que la Matriz de Puntuación explícita fue crítica para la generalización a nivel de categoría en comparación con los mecanismos estándar de atención cruzada. El mecanismo de parada auxiliar fue esencial para convertir el éxito de la navegación en la finalización de la tarea.
• Modos de Fallo: Los principales modos de fallo se atribuyeron a la inestabilidad de la segmentación en condiciones de iluminación desafiantes (por ejemplo, entornos tenues) y al ruido inherente en los datos de demostración con respecto a las posiciones de parada final.

Significado y Reivindicaciones
El artículo afirma que la navegación precisa de último metro puede lograrse a nivel de categoría utilizando únicamente observaciones RGB, ofreciendo un camino escalable hacia una manipulación móvil unificada. Al eliminar la dependencia de sensores de profundidad, LiDAR o mapas preconstruidos, el enfoque reduce la barrera de hardware para el despliegue de manipuladores móviles autónomos en entornos humanos dinámicos y reales. Los autores enfatizan que su método cierra la brecha del "último metro", permitiendo que los robots alcancen poses listas para la manipulación que permitan a las políticas de manipulación descendentes operar dentro de su distribución de entrenamiento, reduciendo así los fallos de ejecución. El trabajo sugiere que, si bien el rendimiento actual está limitado por la calidad de la segmentación y la visibilidad sin obstrucciones, el enfoque propuesto, centrado en objetos y basado en datos, proporciona una base robusta para futuros avances en la manipulación móvil basada en visión.