Scaling-Aware Data Selection for End-to-End Autonomous Driving Systems

Resumen Técnico: MOSAIC

1. Planteamiento del Problema

Los modelos de aprendizaje profundo a gran escala para aplicaciones de IA física (como la conducción autónoma) dependen de la recolección masiva y diversa de datos. Sin embargo, entrenar con todos los datos disponibles es computacionalmente ineficiente. El desafío principal radica en la selección de mezclas de datos (data mixture selection):

• Múltiples métricas competitivas: Los sistemas de conducción autónoma deben optimizar simultáneamente múltiples métricas de cumplimiento de reglas (ej. evitar colisiones, mantener carril, comodidad), que a menudo entran en conflicto.
• Heterogeneidad de datos: Diferentes subconjuntos de datos (ej. tráfico denso vs. carreteras rurales) afectan estas métricas a diferentes tasas de mejora.
• Limitaciones de las metodologías actuales: Los enfoques existentes asumen dominios homogéneos o no consideran cómo la adición de datos de un dominio específico impacta las métricas de manera no lineal y dependiente de la escala. No existe un marco general que optimice la mezcla de datos considerando estas tasas de mejora heterogéneas bajo un presupuesto de datos limitado.

2. Metodología: MOSAIC

Los autores proponen MOSAIC (Mixture Optimization via Scaling-Aware Iterative Collection), un marco general de selección de datos que opera en tres etapas principales para optimizar una función de utilidad agregada ($U$) basada en múltiples métricas:

1. Agrupación y Clasificación (Clustering & Ranking):

   • El conjunto de datos pool ($D_{pool}$) se divide en dominios discretos (clústeres) basados en características como geolocalización o descripciones semánticas (captions).
   • Dentro de cada clúster, las muestras se clasifican por un puntuación de importancia ($I(x)$), definida por el rendimiento del modelo en esa muestra específica. Esto asegura que, dentro de un dominio, se prioricen las muestras más informativas.

2. Estimación de Leyes de Escala (Scaling Laws):

   • Se realizan ejecuciones piloto (pilot runs) para estimar cómo mejora el rendimiento de la utilidad agregada al añadir datos de cada clúster individualmente.
   • Se ajusta una ley de escala saturante exponencial para cada clúster $i$:
     $$\Delta U_i(n) \approx a_i (1 - e^{-n/\tau_i})$$
     Donde $a_i$ representa la mejora asintótica máxima y $\tau_i$ controla la tasa de saturación (qué tan rápido disminuye el beneficio marginal de añadir más datos de ese clúster).

3. Recolección Iterativa Consciente de la Escala:

   • El problema de optimización se reformula para maximizar la ganancia marginal total.
   • En cada paso, el algoritmo calcula la mejora marginal ($\delta_i$) de añadir una muestra más al clúster $i$, basándose en la derivada de la ley de escala ajustada.
   • Se selecciona iterativamente la muestra del clúster que ofrece la mayor mejora marginal esperada, actualizando los contadores de muestras seleccionadas hasta alcanzar el presupuesto de datos ($B$).

3. Contribuciones Clave

• Marco MOSAIC: Un pipeline genérico que combina clustering, ranking y modelado de leyes de escala para optimizar mezclas de datos bajo métricas competitivas.
• Aplicación a Conducción Autónoma (E2E AD): Validación exitosa en benchmarks NAVSIM y OpenScene utilizando el modelo ganador del desafío Hydra-MDP.
• Eficiencia de Datos: Demostración de que MOSAIC supera a las líneas base existentes (como selección aleatoria, Coreset, Uncertainty y Chameleon) con hasta un 82% menos de datos adicionales para alcanzar el mismo rendimiento.
• Robustez y Análisis de Componentes:
  • El método funciona bien independientemente del método de clustering (geolocalización o descripciones de texto).
  • Se demuestra que combinar clustering con leyes de escala es crucial; las estrategias de solo clustering o solo ranking son inferiores.
  • MOSAIC logra el rendimiento de entrenamiento completo (con todos los datos) utilizando solo un 42% de las muestras.

4. Resultados Experimentales

• Métricas: Se evaluó utilizando el EPDMS (Extended Predictive Driver Model Score), un agregado de 9 métricas de cumplimiento de reglas de conducción en bucle cerrado.
• Rendimiento:
  • En el conjunto de datos OpenScene, MOSAIC superó consistentemente a todas las líneas base, logrando un EPDMS aproximadamente 1 punto más alto que el siguiente mejor método.
  • En el conjunto de datos Navtrain (escenarios más complejos y curados), MOSAIC logró hasta 1.1 puntos más de EPDMS que los métodos competidores.
  • Ratio de Presupuesto (BRMR): MOSAIC requirió un ratio de presupuesto (BRMR) de < 0.2 en OpenScene y < 0.4 en Navtrain, lo que significa que necesita menos de la mitad (o incluso menos de un quinto) de los datos necesarios para igualar el rendimiento de la selección aleatoria.
• Análisis de Escala: Los experimentos mostraron que diferentes ciudades (dominios) tienen curvas de escala distintas. Por ejemplo, datos de Boston y Singapur ofrecieron ganancias iniciales rápidas, mientras que Pittsburgh mostró una mejora más constante y sostenida a largo plazo. MOSAIC adaptó dinámicamente la selección para explotar estas diferencias.

5. Significado e Impacto

Este trabajo es significativo porque aborda la ineficiencia en la recolección de datos para la IA física. En lugar de tratar todos los datos como iguales o basarse únicamente en la incertidumbre del modelo, MOSAIC introduce una estrategia principiada y cuantitativa que entiende cómo el rendimiento escala con diferentes tipos de datos.

• Optimización de Recursos: Permite a las empresas de IA física reducir drásticamente los costos de recolección, almacenamiento y entrenamiento de datos sin sacrificar el rendimiento de seguridad o cumplimiento de reglas.
• Generalidad: Aunque se prueba en conducción autónoma, el marco es aplicable a cualquier sistema de IA física que deba optimizar múltiples métricas competitivas con datos heterogéneos.
• Cambio de Paradigma: Mueve la selección de datos de un enfoque estático o basado en heurísticas simples a un enfoque dinámico basado en modelos de escala predictiva.

En conclusión, MOSAIC proporciona una hoja de ruta general para identificar datos influyentes en sistemas de aprendizaje heterogéneos a gran escala, maximizando el rendimiento del modelo bajo presupuestos de datos limitados.