OneDrive: Unified Multi-Paradigm Driving with Vision-Language-Action Models

Resumen Técnico: OneDrive

1. El Problema

El campo de la conducción autónoma de extremo a extremo (E2E) enfrenta un desafío fundamental: la integración de tareas heterogéneas que requieren comportamientos de decodificación distintos.

• Divergencia de Paradigmas: Los modelos de lenguaje (LLMs) y los Modelos Visión-Lenguaje (VLM) preentrenados excelan en la generación de texto autoregresiva (secuencial). Sin embargo, las tareas de conducción como la detección de objetos 3D, la estimación de carriles y la planificación de trayectorias requieren predicciones estructuradas y paralelas.
• Limitaciones Actuales: Los sistemas existentes suelen abordar esto mediante arquitecturas fragmentadas:
  • Sistemas duales: Usan decodificadores separados para percepción y lenguaje.
  • Sistemas en cascada: Encadenan un decodificador estructurado con un LLM autoregresivo.
  • Consecuencias: Estas aproximaciones impiden la reutilización eficiente de los pesos preentrenados del VLM, fragmentan la arquitectura, limitan el flujo de información entre tareas y dificultan la optimización conjunta estable. Además, las modificaciones arquitectónicas severas (como el modelado BEV tradicional) alejan al modelo de su arquitectura nativa, reduciendo su escalabilidad.

2. Metodología: OneDrive

OneDrive propone un marco unificado que reconcilia estos comportamientos de decodificación heterogéneos dentro de un único decodificador Transformer basado en un VLM preentrenado.

• Representación Unificada de Tokens:

  • En lugar de usar decodificadores separados, OneDrive organiza todos los elementos en una sola secuencia de tokens: tokens visuales (imágenes), tokens de consulta estructurada (para detección y carriles), tokens de planificación (trayectorias) y tokens de texto.
  • La secuencia se concatena: $Z = [X_{img}, Q_{det}, Q_{lane}, Q_{plan}, X_{text}]$.

• Arquitectura del Decodificador Mixto:

  • Atención Causal Compartida: Se mantiene el mecanismo de atención causal preentrenado del LLM como columna vertebral. Esto permite que las consultas estructuradas (percepción y planificación) se condicionen naturalmente sobre el contexto visual y lingüístico sin necesidad de módulos de atención cruzada explícitos.
  • Adaptaciones Específicas por Tarea:
    • Auto-atención en Consultas: Se introduce un bloque de auto-atención adicional solo entre los tokens de consulta de percepción (detección y carriles) para facilitar el razonamiento paralelo bidireccional, sin alterar la atención causal base.
    • Redes Feed-Forward (FFN) Específicas: Se reemplazan las FFN preentrenadas para lenguaje por FFN específicas para cada tarea (detección, carril, planificación) en las capas superiores, permitiendo transformaciones de características adaptadas a cada dominio.
  • Posicionamiento 3D: Se incorporan embebidos de posición 3D para tokens visuales y de consulta estructurada para mejorar el modelado espacial, manteniendo los tokens de texto en su formato original.

• Estrategia de Entrenamiento Multi-etapa:

  1. Pre-entrenamiento Percepción-Lenguaje: Se congelan los codificadores visuales y se entrena el decodificador mixto con objetivos de percepción y generación de texto.
  2. Adaptación de Planificación: Se introducen los tokens de planificación y se optimizan sus cabezas específicas y FFN, manteniendo fijos los módulos de percepción.
  3. Ajuste Fino Conjunto (Joint Finetuning): Todas las partes del modelo (incluido el codificador visual) se ajustan conjuntamente con pérdidas combinadas de percepción, planificación y texto.

3. Contribuciones Clave

1. Descubrimiento de Transferibilidad: Demostraron que los mecanismos de atención preentrenados en VLMs son altamente transferibles a tareas de conducción estructuradas, mientras que las capas Feed-Forward (FFN) optimizadas exclusivamente para texto no lo son y deben reemplazarse.
2. Arquitectura Unificada: Presentan OneDrive, el primer marco que logra realizar generación de texto autoregresiva y predicción paralela (percepción y planificación) dentro de un único decodificador Transformer, eliminando la necesidad de ramas aisladas.
3. Eficiencia y Rendimiento: El diseño permite una optimización conjunta estable y reduce la latencia de inferencia al evitar la repetición de pasadas completas por el LLM, logrando un rendimiento superior en benchmarks estándar.

4. Resultados Experimentales

El modelo fue evaluado en dos benchmarks principales: nuScenes (evaluación de bucle abierto) y NAVSIM (evaluación de bucle cerrado).

• Rendimiento en nuScenes (Bucle Abierto):

  • Logró un error L2 promedio de 0.28 m y una tasa de colisión del 0.18%.
  • Superó a los mejores modelos basados en acciones previos (como SOLVE-E2E y ColaVLA) en precisión y seguridad.
  • Mantuvo capacidades de generación de texto competitivas sin degradar el rendimiento de planificación.

• Rendimiento en NAVSIM (Bucle Cerrado):

  • Obtuvo una puntuación PDMS de 86.8, superando a modelos de estado del arte como ReCogDrive (86.5) y DiffusionDrive (88.1, aunque este usa LiDAR).
  • Demostró una mejora significativa en la estabilidad de la trayectoria y la conciencia de interacción en comparación con decodificadores basados en consultas tradicionales.

• Eficiencia de Inferencia:

  • La arquitectura unificada reduce la latencia en aproximadamente un 40% (de 263 ms a 156 ms en NAVSIM) en comparación con sistemas que requieren pasar todo el LLM o usar mecanismos de atención personalizados no optimizados.
  • Aprovecha implementaciones estándar de aceleración de hardware (como FlashAttention) al evitar máscaras de atención personalizadas complejas.

5. Significado e Impacto

OneDrive representa un avance significativo en la intersección entre los Modelos Visión-Lenguaje-Acción (VLA) y la conducción autónoma:

• Unificación de Paradigmas: Resuelve la brecha estructural entre la generación de lenguaje secuencial y la predicción de control paralelo, demostrando que un solo decodificador puede manejar ambas modalidades de manera efectiva.
• Escalabilidad: Al preservar la arquitectura nativa del VLM y permitir el uso de pesos preentrenados masivos, el enfoque facilita la escalabilidad del modelo a conjuntos de datos más grandes y arquitecturas más complejas.
• Eficiencia Operativa: La reducción de latencia y la simplificación arquitectónica hacen que los modelos basados en VLM sean más viables para su despliegue en tiempo real en vehículos autónomos.
• Dirección Futura: El trabajo sugiere que la mejora de los encoders visuales orientados a VLM para tareas de detección (mediante objetivos de pre-entrenamiento conscientes de la detección) es el siguiente paso crucial para cerrar la brecha de rendimiento con los modelos especializados en visión pura.

En resumen, OneDrive establece un nuevo estado del arte al demostrar que la unificación de tareas de conducción heterogéneas bajo un marco de atención causal preentrenado es no solo posible, sino superior en rendimiento y eficiencia.