Multimodal embodiment-aware navigation transformer

Título: ViLiNT: Transformador de Navegación Multimodal Consciente de la Encarnación (Embodiment-Aware)

1. El Problema

La navegación autónoma robusta en entornos fuera de carretera (off-road) sigue siendo un desafío debido a la alta variabilidad del entorno, la observación parcial, los obstáculos dinámicos y la degradación de los sensores (polvo, lluvia, hierba).

• Limitaciones de los enfoques actuales: Los modelos de navegación condicionados al objetivo entrenados con aprendizaje supervisado muestran una transferencia zero-shot prometedora, pero su capacidad de evitación de colisiones se degrada significativamente bajo cambios de distribución (cambios en el entorno, en el robot o en la configuración de los sensores).
• Falta de adaptabilidad: Las políticas de extremo a extremo basadas únicamente en visión (RGB) son frágiles ante cambios ambientales. Además, aunque algunos métodos ofrecen cierta robustez, a menudo no tienen en cuenta explícitamente las dimensiones físicas del robot (embodiment), lo que dificulta su adaptación a nuevas plataformas sin un ajuste fino (fine-tuning) costoso.
• Minimos locales: Muchos planificadores locales carecen de mecanismos explícitos para salir de situaciones de bloqueo donde no existe una trayectoria factible hacia el objetivo.

2. Metodología: ViLiNT

Los autores proponen ViLiNT, una política de navegación basada en transformadores multimodales que fusiona datos heterogéneos para generar trayectorias seguras y adaptables. La arquitectura se divide en tres componentes principales:

• A. Fusión Multimodal con Transformador:

  • Entradas: Se integran imágenes RGB, nubes de puntos 3D de LiDAR, una incrustación del objetivo (goal embedding) y un descriptor de la encarnación del robot (ancho y largo).
  • Tokenización:
    • Las imágenes se codifican usando un Vision Transformer (DUNE).
    • El LiDAR se procesa con PointTransformerV3. Los puntos se agrupan en una cuadrícula polar (sectores angulares y anillos radiales) utilizando Generalized-Mean (GeM) pooling para generar tokens fijos. Se añaden descriptores de posición y rango (incluyendo la distancia al obstáculo más cercano).
    • Se concatenan tokens de historia de imágenes, tokens de LiDAR, un token de objetivo y un token de encarnación del robot.
  • Procesamiento: Un transformador de atención cruzada fusiona estos tokens en un espacio compartido, permitiendo que el modelo capture tanto la geometría (LiDAR) como la apariencia (RGB).

• B. Generación de Trayectorias (Difusión):

  • Se utiliza un modelo de difusión condicional para generar múltiples secuencias de puntos de paso (waypoints) hacia el objetivo.
  • El modelo aprende a invertir un proceso de ruido gaussiano sobre la secuencia de trayectorias, condicionado por el token de escena global y el tamaño del robot.
  • Se incluye una tarea auxiliar para predecir la distancia restante al objetivo, lo que estabiliza el entrenamiento.

• C. Predicción de Despeje (Clearance Prediction) y Selección:

  • Head de Despeje: Una cabeza de red neuronal ligera utiliza atención cruzada para predecir la distancia de despeje (margen de seguridad) para cada punto de paso de las trayectorias generadas. Esta predicción está condicionada explícitamente por el tamaño del robot.
  • Etiquetado Automático: Las etiquetas de entrenamiento para el despeje se generan automáticamente calculando la distancia mínima entre los segmentos de la trayectoria y los obstáculos en los datos de entrenamiento.
  • Pérdida Asimétrica: Se utiliza una pérdida de Huber asimétrica que penaliza más fuertemente la sobreestimación del despeje (predicción de seguridad falsa) que la subestimación, fomentando un sesgo conservador.
  • Selección: En la inferencia, el sistema genera múltiples candidatos y selecciona la trayectoria con el mayor despeje mínimo (menor riesgo). Si no se encuentra una trayectoria segura, el sistema desactiva la condición del objetivo para generar trayectorias exploratorias y salir de mínimos locales.

3. Contribuciones Clave

1. Tokenización y Transformador Multimodal: Integración de LiDAR, RGB, objetivo y descripción de la plataforma en un espacio de tokens compartido para mejorar la robustez.
2. Aumento de Datos para Predicción de Despeje: Un método de aumento de datos basado en LiDAR que permite aprender la predicción de despeje sin necesidad de datos de todas las plataformas objetivo, utilizando etiquetas generadas automáticamente.
3. Cabeza de Atención Cruzada para Despeje: Un mecanismo que utiliza consultas por punto de paso (condicionadas por el tamaño del robot) sobre los tokens de LiDAR fusionados para clasificar y seleccionar la trayectoria más segura entre las generadas por difusión.
4. Adaptabilidad a la Encarnación: El modelo puede generar y seleccionar trayectorias respetando las dimensiones del robot sin necesidad de fine-tuning para nuevas plataformas.

4. Resultados

El modelo se evaluó en tres entornos simulados y en despliegues reales con un robot Clearpath Husky.

• Rendimiento en Simulación:

  • ViLiNT superó a la línea base de vanguardia NoMaD (basada solo en visión) aumentando la Tasa de Éxito (SR) en un 166% en promedio.
  • Se redujo la Tasa de Colisiones (CR) en un 62% en comparación con NoMaD.
  • La fusión de LiDAR e imágenes fue crucial: ViLiNT superó a las versiones que usaban solo LiDAR o solo imágenes, demostrando la complementariedad de los sensores.
  • Aunque el planificador clásico TEB-Elev tuvo un rendimiento superior en SR (85% promedio) y 0 colisiones, requiere un ajuste manual extensivo de parámetros para cada configuración, mientras que ViLiNT es adaptable.

• Despliegue en Mundo Real:

  • En pruebas con obstáculos desconocidos durante el entrenamiento, ViLiNT logró una SR del 85%, frente al 15% de NoMaD.
  • El modelo demostró una capacidad superior para evitar obstáculos y utilizar el espacio libre de manera segura, manteniendo márgenes de seguridad adecuados.

• Influencia de la Encarnación:

  • Experimentos mostraron que al cambiar el tamaño del robot en la entrada, el modelo ajusta automáticamente la trayectoria: si el robot se hace más grande, rechaza trayectorias que antes eran seguras y busca rutas alternativas más amplias, demostrando una comprensión explícita de sus propias dimensiones.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia la navegación robótica robusta y adaptable:

• Robustez ante el cambio de dominio: Al combinar la fusión multimodal con la predicción explícita de colisiones, el sistema es menos propenso a fallar cuando el entorno o el sensor cambian.
• Generalización Zero-Shot: La capacidad de adaptarse a diferentes tamaños de robots sin reentrenamiento es una ventaja crítica para el despliegue en flotas heterogéneas.
• Seguridad Proactiva: A diferencia de los enfoques que asumen que las trayectorias generadas son seguras, ViLiNT incluye un mecanismo de verificación de seguridad (clearance) que prioriza la seguridad sobre la eficiencia del camino, reduciendo drásticamente las colisiones.
• Eficiencia de Datos: La capacidad de generar etiquetas de despeje automáticamente y entrenar con datos heterogéneos reduce la dependencia de grandes cantidades de datos etiquetados manualmente por plataforma.

En conclusión, ViLiNT demuestra que la combinación de transformadores multimodales, generación de trayectorias difusivas y mecanismos de predicción de riesgo condicionados por la encarnación del robot conduce a una navegación fuera de carretera más segura y robusta.