PanguMotion: Continuous Driving Motion Forecasting with Pangu Transformers

Resumen Técnico: PanguMotion

1. Planteamiento del Problema

La predicción de trayectorias es fundamental para la seguridad de los vehículos autónomos. Sin embargo, la mayoría de los métodos existentes tratan las escenas de conducción como unidades discretas e independientes, ignorando la continuidad temporal y las correlaciones del contexto histórico inherentes a la conducción real. Aunque trabajos previos como RealMotion han abordado la continuidad mediante la reorganización de datos, el potencial de los Modelos de Lenguaje Grande (LLM) preentrenados para mejorar la representación de escenas en estos escenarios continuos sigue siendo poco explorado. Además, existe la necesidad de adaptar estas arquitecturas a hardware específico, como los procesadores NPU (Unidades de Procesamiento Neuronal), para un despliegue eficiente.

2. Metodología

El artículo propone PanguMotion, un marco innovador que integra un bloque Transformer congelado del modelo de lenguaje Pangu-1B dentro de una arquitectura de predicción de movimiento continua.

• Arquitectura Base: Se basa en el marco RealMotion, pero con una simplificación clave: se elimina el "stream de trayectoria del agente" (agent trajectory stream), conservando solo el "stream de contexto de la escena".
• Módulo de Mejora de Características (Feature Enhancer):
  • Se inserta un bloque Transformer congelado de Pangu-1B (específicamente la última capa, capa 25) después de los bloques de codificación de la escena y antes del decodificador.
  • Debido a la diferencia de dimensiones (128 en la escena vs. 1536 en Pangu), se utilizan capas de proyección lineal entrenables antes y después del bloque Pangu para alinear las dimensiones.
  • Se eliminan las máscaras autoregresivas originales de Pangu (diseñadas para texto) y se mantienen las máscaras de tokens válidos, adaptando el mecanismo de atención a la predicción de movimiento donde todos los tokens están disponibles simultáneamente.
• Adaptación de Hardware: Se implementó una solución completa de entrenamiento e inferencia en Ascend NPU (Huawei), reemplazando mecanismos de atención dependientes de GPU por versiones compatibles con NPU para garantizar un despliegue eficiente.
• Datos: Se utiliza el conjunto de datos Argoverse 2, procesado mediante la estrategia de RealMotion para reorganizar escenas independientes en secuencias continuas que simulan la conducción real.

3. Contribuciones Clave

1. Innovación Metodológica: Es el primer marco en integrar exitosamente un modelo grande Pangu en la predicción de conducción continua, demostrando su eficacia como mejorador de características para tareas temporales no lingüísticas.
2. Optimización Arquitectónica: Se propone una arquitectura simplificada que elimina el stream de trayectoria del agente. Los experimentos revelaron que esta función se superpone con la capacidad de mejora de características del bloque Pangu; al eliminarla, se mejora el rendimiento en la predicción de modo único (la trayectoria más probable).
3. Viabilidad Práctica: Se proporciona una solución completa de adaptación y entrenamiento para Ascend NPU, ofreciendo un pipeline de extremo a extremo que mantiene una latencia comparable a la solución original mientras mejora la representación de características.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de validación de Argoverse 2. Los resultados destacan:

• Mejoras en Métricas de Modo Único: PanguMotion logró mejoras significativas en las métricas críticas para la toma de decisiones (k=1):
  • Reducción del minADE1 en un 1.58% (de 1.646 a 1.620).
  • Reducción del minFDE1 en un 1.29% (de 4.100 a 4.047).
• Comparativa con Otros LLM: PanguMotion superó significativamente a una versión que utiliza el modelo LLaMA (LlamaMotion), mejorando el minADE1 en un 5.71%. Esto sugiere que la pre-entrenación de Pangu en corpus chinos podría ofrecer una mejor comprensión de las relaciones espaciales y patrones temporales.
• Análisis de Capas: Se encontró que utilizar solo la última capa (capa 25) del Transformer de Pangu ofrece el mejor rendimiento. Añadir más capas (3 o 6) degradó el rendimiento, apoyando la hipótesis de "filtrado de información", donde las capas superiores contienen información semántica más abstracta y útil para la transferencia de tareas.
• Efecto de la Simplificación: La eliminación del stream de trayectoria del agente tras la adición de Pangu mejoró la precisión de la trayectoria más probable, indicando redundancia funcional entre ambos componentes.

5. Significado e Impacto

• Validación de Transferencia: El trabajo demuestra que los LLM preentrenados tienen una capacidad de generalización robusta para tareas secuenciales no lingüísticas (como la predicción de trayectorias), actuando como potentes extractores de características semánticas.
• Eficiencia en Sistemas Autónomos: Al simplificar la arquitectura (eliminando streams redundantes) y optimizar para NPU, el método ofrece un equilibrio mejor entre rendimiento y eficiencia computacional, crucial para sistemas de conducción autónoma en tiempo real.
• Reproducibilidad: El código completo ha sido abierto en GitHub, estableciendo una nueva línea base para la investigación en predicción de movimiento continua y adaptación de LLMs en robótica.

En conclusión, PanguMotion no solo mejora la precisión de la predicción de movimiento en escenarios continuos, sino que también redefine cómo se pueden integrar modelos de lenguaje masivos en sistemas de visión por computadora, ofreciendo una vía prometedora para arquitecturas más simples y eficientes en la conducción autónoma.