Resumen Técnico: CLAP – Optimización de Prompts en Espacio Latente Contrastivo para Conducción Autónoma de Extremo a Extremo

1. Declaración del Problema

Los sistemas de conducción autónoma (CA) de extremo a extremo impulsados por modelos Visión-Lenguaje-Acción (VLA) han demostrado un rendimiento sólido en escenarios de conducción comunes al aprovechar el preentrenamiento y el ajuste fino a gran escala. Sin embargo, estos sistemas siguen siendo frágiles en escenarios de cola larga—situaciones raras pero críticas para la seguridad, como zonas de construcción activas, geometrías complejas de cedencia y combinaciones de condiciones meteorológicas adversas.

El enfoque dominante para abordar estos fallos implica escalar la recopilación de datos y ajustar los modelos. El artículo argumenta que este enfoque enfrenta rendimientos decrecientes debido a:

• La escasez de eventos raros.
• La complejidad combinatoria de las variaciones dentro de una categoría (disposiciones, clima, hora del día).
• El riesgo de olvido catastrófico al ajustar frecuentemente sobre datos de nicho.

Además, el artículo identifica una limitación específica en las estrategias actuales de adaptación: los fallos de cola larga a menudo están vinculados a regiones específicas de la carretera (bloqueos de carretera) en lugar de ser puramente problemas de generalización a nivel de categoría. Además, dentro de un solo bloqueo de carretera, los marcos desafiantes (de cola larga) y los marcos normales están fuertemente mezclados en el espacio latente del modelo. En consecuencia, optimizar un prompt para corregir marcos desafiantes a menudo degrada inadvertidamente el rendimiento en marcos normales debido a esta mezcla latente.

2. Metodología: Marco CLAP

Los autores proponen CLAP (Optimización de Prompts en Espacio Latente Contrastivo), un marco que complementa un modelo de conducción VLA congelado con prompts suaves por bloqueo de carretera. Estos prompts se optimizan fuera de línea sobre datos crowdsourced y se recuperan bajo demanda mediante comunicación Vehículo-a-Todo (V2X).

Observaciones Principales

La metodología se basa en dos observaciones derivadas del análisis del espacio latente de los VLA más avanzados:

1. Localidad: Los escenarios del mismo bloqueo de carretera (una región espacial contigua con identidad visual/geométrica estable) se agrupan estrechamente en el espacio latente, distintos de otros bloqueos.
2. Mezcla: Dentro de un solo bloqueo de carretera, los marcos desafiantes y los normales no son separables en grupos distintos; están fuertemente mezclados.

La Pipeline de Dos Etapas

CLAP opera mediante un proceso de optimización de prompts de dos etapas para cada bloqueo de carretera $R$:

Etapa 1: Descubrimiento de Dirección mediante Aprendizaje Contrastivo Supervisado

• Objetivo: Descubrir una "dirección de escena difícil" ($d^\star$) que separe los marcos desafiantes de los marcos normales en el espacio latente.
• Mecanismo: Un prompt suave auxiliar $P_A$ se optimiza utilizando una pérdida de Contraste Supervisado (SupCon). Esta pérdida empuja los estados ocultos de los marcos desafiantes lejos de los marcos normales.
• Salida: La dirección principal de la representación separada se extrae como $d^\star$, un descriptor compacto de la dirección de escena difícil específica de ese bloqueo de carretera.

Etapa 2: Optimización de Prompt Regularizada Direccionalmente

• Objetivo: Optimizar un prompt de rendimiento desplegable $P_B$ que mejore los marcos desafiantes mientras preserva estrictamente el rendimiento de los marcos normales.
• Mecanismo: $P_B$ se entrena bajo una función de pérdida conjunta:
  $$L_{total} = L_{plan} + \lambda_1 L_{dir} + \lambda_2 L_{reg}$$
  • $L_{plan}$: Pérdida estándar de regresión de trayectoria (ADE) calculada solo sobre marcos desafiantes.
  • $L_{dir}$ (Regularizador Direccional): Fomenta que $P_B$ desplace las representaciones de los marcos desafiantes a lo largo del eje predescubierto $d^\star$. Esto restringe la optimización al subespacio específico donde es posible la separación.
  • $L_{reg}$ (Regularizador de Marcos Normales): Penaliza explícitamente cualquier desplazamiento de las representaciones de marcos normales en relación con la línea base de la Etapa 1. Esto evita que el prompt "se filtre" en el subespacio que afecta a la conducción común.

Partición de Datos

Para aplicar esto, el sistema debe partitionar las trazas de bloqueos de carretera en subconjuntos "desafiantes" y "normales". El artículo propone una pipeline basada en VLM que utiliza identificación semántica (mediante un VLM potente) y validación empírica (error de planificación que excede un margen $\delta$) para etiquetar los marcos.

3. Contribuciones Clave

1. Formulación por Bloqueo de Carretera: El artículo demuestra mediante análisis del espacio latente que los problemas de cola larga pueden abordarse localmente por bloqueo de carretera en lugar de globalmente, ya que los bloqueos forman variedades distintas en el espacio latente.
2. Marco CLAP: Un método novedoso de optimización de prompts de dos etapas que utiliza aprendizaje contrastivo para identificar una dirección de separación y regularización direccional para mejorar selectivamente el rendimiento de cola larga sin regredir el rendimiento normal.
3. Validación Empírica: Demostración de que CLAP reduce los errores de planificación en escenarios desafiantes a través de múltiples arquitecturas VLA de última generación sin requerir ajuste fino de la arquitectura base.

4. Resultados Experimentales

Los autores evaluaron CLAP en el benchmark NAVSIM utilizando tres arquitecturas VLA de última generación: ReCogDrive, Alpamayo-R1.5 y DriveVLA-W0.

• Rendimiento en Marcos Desafiante: CLAP redujo el Error de Desplazamiento Medio (ADE) en escenarios desafiantes en un promedio del 24% a través de los tres modelos.
• Rendimiento en Marcos Normales: A diferencia de la optimización de prompts suaves sin restricciones (que causó regresión en algunos modelos) o avisos de texto explícitos (que a menudo fallaron o degradaron el rendimiento), CLAP mantuvo o mejoró ligeramente el rendimiento en marcos normales.
• Mejora General: La combinación de errores de cola larga reducidos y rendimiento normal preservado condujo a una mejora del 14% en el ADE general.
• Estudios de Ablación:
  • Eliminar la Etapa 1 (descubrimiento de dirección contrastiva) resultó en caídas significativas de rendimiento, confirmando que la dirección específica $d^\star$ es crítica.
  • Reemplazar $d^\star$ con una dirección aleatoria funcionó peor que omitir la Etapa 1 por completo, destacando la necesidad de la dirección contrastiva aprendida.
• Generalización: Cuando se probó bajo condiciones desplazadas (lluvia y crepúsculo) sin aumento, el rendimiento se degradó. Sin embargo, el uso de edición de imágenes generativa para aumentar los datos de entrenamiento con estas condiciones permitió que CLAP se generalizara efectivamente, reduciendo significativamente la brecha de ADE bajo condiciones desplazadas.

5. Significado y Afirmaciones

El artículo posiciona a CLAP como una alternativa prácticamente eficiente al escalado de datos y al ajuste fino de modelos para mejorar el rendimiento de VLA en conducción autónoma.

• Modalidad de Mejora: Los autores afirman que los fallos de cola larga pueden "parchearse localmente" mediante prompts suaves en lugar de requerir reentrenamiento global del modelo.
• Selectividad: El significado central radica en la capacidad de mejorar selectivamente escenarios difíciles mientras se previene estructuralmente el daño colateral al rendimiento de conducción común, un desafío que la optimización de prompts sin restricciones falla en resolver debido a la mezcla latente.
• Viabilidad de Despliegue: El marco está diseñado para el despliegue V2X, donde un servidor central optimiza prompts basados en datos crowdsourced y los empuja a vehículos que entran en bloqueos de carretera específicos, manteniendo el costo de inferencia en el lado del vehículo mínimo (modelo congelado + inyección de prompt).

Los autores reconocen limitaciones, señalando que la generalización cruzada por clima más allá de las condiciones probadas sigue siendo una pregunta abierta y que el objetivo contrastivo actual asume un único tipo de desafío dominante por bloqueo de carretera, lo cual podría necesitar refinamiento para escenarios heterogéneos.