Towards Compact Autonomous Driving Perception with Balanced Learning and Multi-sensor Fusion

Resumen Técnico: Hacia una Percepción de Conducción Autónoma Compacta con Aprendizaje Equilibrado y Fusión de Multisensores

Planteamiento del Problema
Los sistemas de percepción para la conducción autónoma enfrentan desafíos significativos al comprender entornos que cambian dinámicamente, caracterizados por condiciones climáticas variables, iluminación deficiente y tráfico impredecible. Los enfoques tradicionales suelen depender de modelos de tarea única o de modalidades de un solo sensor (por ejemplo, cámaras RGB), que pueden fallar bajo condiciones específicas como baja luminosidad o lluvia intensa. Además, los enfoques actuales de aprendizaje multitarea (MTL) a menudo sufren de un aprendizaje desequilibrado al manejar tareas heterogéneas con diferentes funciones de pérdida, lo que conduce a un rendimiento subóptimo o inestabilidad en el entrenamiento. Adicionalmente, combinar múltiples modelos recientes para cubrir todas las tareas de percepción resulta en altos costos computacionales, tamaños de modelo grandes y un uso excesivo de la memoria GPU, lo que dificulta el despliegue en tiempo real.

Metodología
Los autores proponen un modelo de aprendizaje multitarea (MTL) profundo y compacto diseñado para ejecutar múltiples tareas de percepción en un solo paso hacia adelante (forward pass) sin depender de modelos externos.

• Arquitectura y Fusión de Sensores: El modelo utiliza una arquitectura de codificador-decodificador con codificadores específicos para diferentes modalidades de entrada: cuatro cámaras RGB, cuatro Sensores de Visión Dinámica (DVS) y un LiDAR de 360°. El sistema procesa cuatro vistas (Frontal, Izquierda, Derecha, Trasera) para RGB y DVS, y una vista superior para LiDAR.

  • Fusión Intermedia: Inspirado en estrategias de fusión intermedia, el modelo emplea dos capas de cuello de botella (bloques de convolución) para fusionar las características extraídas. El primer cuello de botella agrega el espacio latente de los codificadores de RGB, DVS y LiDAR para soportar la Segmentación Semántica (SS), la Estimación de Profundidad (DE) y la Segmentación de LiDAR (LS). El segundo cuello de botella agrega información de estas tareas para realizar la Proyección de Vista de Ojo de Pájaro (BEVP).
  • Decodificadores Específicos de Tarea: La red se ramifica en decodificadores específicos de tarea para SS, DE, LS y BEVP. Se utilizan conexiones de salto (skip connections) para mejorar el rendimiento combinando características del codificador y el decodificador.
  • Preprocesamiento de LiDAR: Para aprovechar la información vertical, los autores proponen una representación de LiDAR de 15 capas. Esto apila 14 canales basados en la altura de la nube de puntos (coordenada z) y un canal que contiene nubes de puntos aplanadas, preservando mejor la estructura vertical que las proyecciones de una sola capa.

• Ponderación Adaptativa de Pérdida (MGN): Para abordar el problema del aprendizaje desequilibrado inherente al MTL, los autores introducen un algoritmo de Normalización de Gradiente Modificado (MGN).

  • A diferencia de la GradNorm estándar que actualiza los pesos frecuentemente, MGN actualiza los pesos de pérdida solo una vez por época (en el paso final) para reducir la sobrecarga computacional.
  • El algoritmo ajusta dinámicamente los pesos de pérdida basándose en la tasa de entrenamiento inversa relativa de cada tarea, asegurando que las tareas con diferentes características (por ejemplo, SS frente a BEVP) se aprendan a ritmos similares.
  • La pérdida total es una suma ponderada de la pérdida Huber (para DE) y una combinación de Entropía Cruzada Binaria y pérdida Dice (para SS, LS y BEVP).

• Conjuntos de Datos: Los experimentos se realizaron en tres conjuntos de datos de simulación de CARLA (con variaciones en diversidad de mapas y volumen de datos) y un conjunto de datos del mundo real (nuScenes-lidarseg). Para nuScenes, el modelo se adaptó para usar solo entradas RGB (sin DVS) y se generaron verdades de campo sintéticas a partir de nubes de puntos LiDAR para las tareas de SS y DE.

Contribuciones Clave

1. Modelo Multitarea Compacto: Un modelo unificado que realiza segmentación semántica multivista, estimación de profundidad, segmentación de LiDAR y proyección de vista de ojo de pájaro simultáneamente, eliminando la necesidad de múltiples modelos separados.
2. Estrategia de Ponderación de Pérdida Adaptativa: Un algoritmo de GradNorm modificado diseñado para una arquitectura multimodal y multivista con dos cuellos de botella compartidos, equilibrando eficazmente el proceso de aprendizaje entre tareas heterogéneas.
3. Representación de LiDAR Mejorada: Una técnica de preprocesamiento de 15 capas para nubes de puntos LiDAR que retiene la información de altura vertical, demostrando un mejor rendimiento en las tareas de segmentación y estimación de profundidad.
4. Evaluación Exhaustiva: Un estudio de ablación riguroso y un análisis comparativo contra una combinación de modelos de tarea única y multitarea de última generación (PolarNet, Chen et al., y GradNorm) a través de escenarios de simulación y del mundo real.

Resultados

• Rendimiento: La variante del modelo entrenada con datos de LiDAR de 15 capas y el algoritmo MGN (15L+MGN) logró el mejor rendimiento general, indicado por el puntaje de Métrica Total (TM) más bajo y la Varianza de Métrica (MV) más baja en la mayoría de los conjuntos de datos.
  • En los conjuntos de datos de simulación, el modelo 15L+MGN superó a la combinación de modelos recientes (Chen et al. + PolarNet + GradNorm) en términos de puntajes TM en los conjuntos de datos A, B y nuScenes, aunque la combinación funcionó ligeramente mejor en el conjunto de datos C (atribuido a las capacidades superiores de segmentación de LiDAR de PolarNet).
  • La entrada de LiDAR de 15 capas mejoró consistentemente el rendimiento de la segmentación de LiDAR (LS) y generalmente mejoró las tareas de SS y DE en comparación con la entrada de 1 capa.
  • El algoritmo MGN equilibró con éxito la dinámica de entrenamiento, reduciendo la discrepancia entre tareas (menor MV), incluso si ocasionalmente resultaba en un compromiso donde tareas específicas (como DE o SS) funcionaban ligeramente mejor con pesos estáticos.
• Eficiencia: El modelo propuesto es significativamente más eficiente que la combinación de modelos recientes. Posee menos del 2% de los parámetros totales de los modelos base combinados.
  • Velocidad de Inferencia: El modelo alcanza aproximadamente 54 FPS en los conjuntos de datos de simulación y 65 FPS en el conjunto de datos del mundo real nuScenes.
  • Uso de Recursos: Requiere significativamente menos memoria GPU (aprox. 20 MB frente a más de 1000 MB para la combinación) y tiene un tamaño de modelo mucho menor.

Significado
El artículo afirma que su principal significancia radica en demostrar que un enfoque de modelo único y compacto puede lograr un rendimiento superior o comparable al de una combinación de modelos especializados, mientras reduce drásticamente los recursos computacionales. Al integrar la fusión de múltiples sensores y una estrategia de ponderación de pérdida adaptativa, el modelo proporciona una solución robusta para la percepción de la conducción autónoma que es más rápida, más eficiente en memoria y mejor adaptada para el despliegue en tiempo real en dispositivos de borde (edge devices). El trabajo destaca que equilibrar el aprendizaje multitarea mediante la ponderación adaptativa y aprovechar representaciones sensoriales ricas (como los datos verticales de LiDAR) son críticos para lograr una comprensión holística y eficiente del entorno de conducción. Los autores enfatizan que su modelo mantiene un rendimiento constante a través de diversos escenarios de simulación y del mundo real, validando su potencial para la aplicación práctica.