DriveStack-VLA: Render-Teacher Alignment for BEV-Based DeepStack Vision-Language-Action Model

Basado en el documento proporcionado, aquí se presenta un resumen técnico detallado de DriveStack-VLA.

Planteamiento del Problema

Los modelos de conducción Vision-Language-Action (VLA) existentes aprovechan el conocimiento del mundo y las capacidades de razonamiento de los grandes Modelos de Visión-Lenguaje (VLM) preentrenados para predecir trayectorias de conducción a partir de imágenes de múltiples vistas y comandos de lenguaje. Sin embargo, estos modelos sufren de una falta de inteligencia espacial orientada a la conducción. Los enfoques actuales fundamentan principalmente sus políticas en tokens de imágenes de perspectiva y priors de lenguaje, los cuales dependen del punto de vista y no codifican explícitamente la geometría métrica y la estructura de la escena desde una vista superior (top-down) requeridas para una planificación de movimiento precisa.

Esta limitación se manifiesta en dos áreas clave:

1. Geometría Visual Débil: Las políticas dependen de pistas de apariencia en 2D en lugar de representaciones geométricas robustas, lo que las hace vulnerables a las brechas de cobertura perceptual en las demostraciones de expertos.
2. Desalineación Perceptual: Si bien las imágenes sintéticas o rasterizadas pueden proporcionar estructuras geométricas más limpias y contrafácticos diversos, mezclar directamente estas con imágenes reales introduce un desfase de dominio (domain gap). Los métodos existentes a menudo no logran asegurar que el decodificador de acciones atienda a las mismas pistas relevantes para la planificación (por ejemplo, carriles, agentes) tanto en el dominio real como en el sintético.

Metodología: DriveStack-VLA

Los autores proponen DriveStack-VLA, un marco de entrenamiento unificado de tres etapas construido sobre un gran backbone VLM (específicamente Qwen3-VL-4B). El marco integra un planificador de LLM multimodal con un stack visual mejorado para abordar los cuellos de botella geométricos, de conjuntos de datos y de muestreo de trayectorias.

1. Componentes de Modelado Visual Dual
Para fortalecer el anclaje espacial, el modelo emplea dos mecanismos específicos:

• Inyección BEV DeepStack: Los autores inyectan representaciones de Vista de Pájaro (Bird-Eye-View o BEV) directamente en el decodificador del LLM utilizando una conexión de estilo "DeepStack". Un codificador BEV (basado en BEVFormer) extrae un mapa de características top-down, el cual es proyectado en tokens y concatenado con los tokens de las cámaras de perspectiva en capas específicas del decodificador. Esto proporciona al LLM priors geométricos métricos estables para contextos de largo alcance.
• Alineación Render-Teacher: Para aprovechar los beneficios de las imágenes rasterizadas sin introducir un desfase de dominio, los autores tratan las imágenes rasterizadas como una modalidad "profesora" (teacher). Alinean el enfoque perceptual de las imágenes reales con el de las imágenes rasterizadas a través de dos pérdidas:
  • Alineación de Máscara de Token de Cámara: Una máscara suave guiada por el renderizado reduce el peso de los tokens del fondo (que suelen ser negros en las imágenes rasterizadas) durante la alineación de características, asegurando que el modelo se enfoque en los agentes y carriles del primer plano.
  • Destilación de Atención de Acción-a-Visión: La distribución de atención de los tokens de acción hacia los tokens visuales en la pasada de la imagen real se destila de la pasada de la imagen rasterizada, forzando al modelo a atender a las pistas críticas de seguridad en las imágenes reales tal como lo hace con los datos sintéticos más limpios.

2. Pipeline de Entrenamiento de Tres Etapas

• Etapa 1: Ajuste Fino Supervisado (SFT): El actor es entrenado utilizando los componentes de modelado visual dual descritos anteriormente. El modelo aprende a generar tokens de acción a partir de imágenes de múltiples vistas, instrucciones y estados del ego.
• Etapa 2: Ajuste Fino por Refuerzo (RFT): Para mejorar la calidad de las trayectorias muestreadas, los autores aplican Optimización de Política Relativa de Grupo (GRPO). La política se actualiza basándose en una recompensa conjunta que comprende una recompensa de conducción (evaluando la ausencia de colisiones, márgenes de seguridad y cumplimiento del área de conducción) y una recompensa de formato (asegurando la decodificabilidad estricta de los tokens de acción).
• Etapa 3: Calificación y Refinamiento (Self-Critic): Se entrena un módulo crítico ligero para clasificar las trayectorias candidatas y refinar condicionalmente la mejor de ellas.
  • Cabezal de Calificación (Scoring Head): Reutiliza los estados ocultos de la última capa del LLM para emitir una puntuación de calidad para las trayectorias candidatas.
  • Cabezal de Refinamiento (Refinement Head): Si la puntuación del mejor candidato está por debajo de un umbral, este cabezal predice un residuo acotado para refinar la trayectoria, evitando la necesidad de bucles lentos de generar-criticar-reescribir durante la inferencia.

Contribuciones Clave

1. Marco DriveStack-VLA: Un marco de conducción VLA unificado que aborda simultáneamente el anclaje geométrico, la cobertura de datos y el muestreo de trayectorias.
2. Inyección BEV DeepStack: Un método novedoso para embeber priors geométricos top-down directamente en el decodificador del LLM, mejorando la estabilidad de la planificación a largo plazo.
3. Alineación Render-Teacher: Una técnica para alinear la atención visual-acción entre imágenes reales y rasterizadas, permitiendo que el modelo se beneficie de la aumentación geométrica sintética sin sufrir de desalineación de dominio.
4. Self-Critic Ligero: Un módulo que permite el ranking de trayectorias y el refinamiento condicional sin redundancia en la generación de texto o bucles de inferencia complejos.

Resultados Experimentales

Los autores evaluaron DriveStack-VLA tanto en benchmarks de conducción basados en registros reales como en simulaciones de lazo cerrado:

• NAVSIMv1: Logró un 91.6 PDMS (Predictive Driver Model Score) con RFT, superando a todos los métodos previos basados en VLM y estableciendo un nuevo estado del arte.
• NAVSIMv2: Logró un 91.0 EPDMS (Extended Predictive Driver Model Score) con el filtro de penalización humana habilitado, estableciendo un nuevo estado del arte bajo ambas configuraciones de evaluación.
• Bench2Drive (Closed-Loop): Logró una puntuación de conducción de 79.49 y una tasa de éxito del 56.36%, demostrando una fuerte transferibilidad a simulaciones urbanas complejas sin requerir RFT.
• Navhard: Mantuvo un rendimiento robusto (34.9 EPDMS) en este benchmark desafiante que involucra escenarios fuera de la distribución.

Significancia y Afirmaciones

El artículo afirma que DriveStack-VLA logra cerrar la brecha entre las capacidades de razonamiento de los grandes modelos de lenguaje y los estrictos requisitos espaciales de la conducción autónoma. Al inyectar características BEV y alinear el enfoque perceptual entre datos reales y sintéticos, el modelo supera las limitaciones de "geometría visual débil" de los enfoques VLA anteriores. Los autores enfatizan que su método alcanza resultados cuantitativos de vanguardia tanto en benchmarks de lazo abierto (NAVSIM) como de lazo cerrado (Bench2Drive), validando que una arquitectura VLA unificada puede manejar eficazmente tareas de planificación críticas para la seguridad cuando está equipada con estrategias apropiadas de anclaje geométrico y alineación.