SAM-Enhanced Segmentation on Road Datasets: Balancing Critical Classes in Autonomous Driving

Resumen Técnico: Segmentación Mejorada con SAM en Conjuntos de Datos Viales

Enunciado del Problema
La segmentación semántica densa es un requisito fundamental para la percepción de la conducción autónoma, no obstante, el desarrollo de modelos robustos se ve obstaculizado por la escasez de conjuntos de datos multimodales con anotaciones de alta calidad a nivel de píxel. El Conjunto de Datos Abierto de Zenseact (ZOD), aunque rico en datos de sensores múltiples (cámara-LiDAR) procedentes de entornos del norte de Europa, proporciona únicamente etiquetas de cuadros delimitadores 2D. Esta limitación restringe su utilidad para la investigación de segmentación semántica supervisada. Además, los enfoques de etiquetado automático existentes a menudo fallan en dominios críticos para la seguridad debido a alucinaciones, errores en los límites o un rendimiento deficiente en objetos pequeños y ocluidos. Asimismo, los conjuntos de datos de conducción autónoma sufren de un desequilibrio de clases extremo, donde las clases críticas para la seguridad, como peatones, ciclistas y señales de tráfico, constituyen menos del 1% de los píxeles totales, lo que provoca que los modelos estándar rindan por debajo de lo esperado en estas categorías raras.

Metodología
Los autores proponen una tubería integral para cerrar la brecha entre los cuadros delimitadores dispersos y las máscaras de segmentación densas, utilizando el Modelo de Segmentación de Cualquier Cosa (SAM) como base.

1. Tubería de Anotación Basada en SAM:

   • Preprocesamiento: Los cuadros delimitadores ZOD crudos se someten a filtrado para eliminar ruido (por ejemplo, detecciones extremadamente pequeñas, artefactos alargados) y deduplicación mediante fusión basada en IoU. Se aplica un límite de 75 objetos por cuadro para equilibrar la completitud y la eficiencia.
   • Generación de Máscaras: Los cuadros filtrados sirven como promesas para el modelo ViT-H de SAM. Para resolver máscaras superpuestas, se emplea un esquema de fusión basado en prioridades donde los usuarios vulnerables de la vía (peatones, ciclistas) tienen prioridad sobre las señales y los vehículos.
   • Salida: Las máscaras resultantes se redimensionan a una resolución de 768×768. La tubería genera dos variantes de anotación: Solo cámara (máscaras densas que preservan el campo de visión completo) y Solo LiDAR (máscaras proyectadas estrictamente sobre puntos de retorno válidos de LiDAR para reflejar la dispersión del sensor).
   • Curación: De más de 100,000 cuadros procesados, se estableció un subconjunto curado manualmente de 2,300 cuadros (tasa de aceptación del 36%) para servir como un punto de referencia fiable.

2. Mejora del Conjunto de Datos Iseauto:

   • Para la plataforma Iseauto, se aplica un algoritmo de refinamiento de bordes basado en SAM a las etiquetas manuales existentes. Este proceso utiliza SAM para realizar una expansión y contracción conservadora de los bordes, corrigiendo imprecisiones en los límites mientras preserva la intención semántica.

3. Arquitecturas de Modelo:

   • El estudio evalúa dos paradigmas: CLFT (Transformadores de Fusión Cámara-LiDAR), que utiliza atención auto-multicabeza multimodal para el razonamiento conjunto, y DeepLabV3+, una arquitectura basada en CNN con agrupación espacial piramidal atrosa extendida para la fusión multimodal.
   • Especialización del Modelo: Para abordar el desequilibrio de clases, se entrenan modelos especializados para clases individuales (Vehículo, Señal, Humano) y combinaciones por pares, junto con un enfoque de conjunto fusionado de parámetros.

4. Aprendizaje por Transferencia:

   • Se realizan experimentos de aprendizaje por transferencia bidireccional entre los conjuntos de datos ZOD e Iseauto para evaluar la generalización entre dominios.

Contribuciones Clave

• Tubería de Anotación: Una tubería novedosa basada en SAM que convierte cuadros delimitadores dispersos en máscaras semánticas densas a nivel de píxel para el conjunto de datos ZOD.
• Conjunto de Datos de Referencia: Un conjunto de datos piloto curado de 2,300 cuadros verificados manualmente, que permite el primer punto de referencia de segmentación en ZOD.
• Evaluación Arquitectónica: Un análisis comparativo de arquitecturas basadas en Transformadores (CLFT) y basadas en CNN (DeepLabV3+) en diversas condiciones climáticas (Día/Noche, Despejado/Lluvia/Nieve).
• Especialización de Clases: Demostración de que los modelos especializados y los conjuntos mejoran significativamente el rendimiento de segmentación para clases raras y críticas para la seguridad.
• Validación entre Conjuntos de Datos: Validación exitosa en la plataforma Iseauto y análisis del aprendizaje por transferencia bidireccional, mostrando una convergencia acelerada al inicializar modelos de un conjunto de datos a otro.

Resultados

• Rendimiento en ZOD: El modelo de fusión híbrido CLFT-Hybrid logró el mejor rendimiento de referencia con un 48.1% de mIoU en condiciones de Día Despejado. Los modelos basados en Transformadores demostraron una mayor estabilidad en condiciones climáticas adversas en comparación con DeepLabV3+.
• Mejora de Clases Raras: Los modelos especializados produjeron ganancias sustanciales para clases raras. Por ejemplo, un modelo "Solo Señal" mejoró el IoU de Señal del 29.7% al 43.5%. Un conjunto de modelos especializados alcanzó un 51.3% de mIoU, aunque a una velocidad de inferencia reducida (10.3 FPS frente a 27.8 FPS para la referencia).
• Impacto de la Anotación: Las evaluaciones revelaron que el uso de anotaciones proyectadas dispersas de LiDAR resultó en puntuaciones de IoU significativamente más bajas en comparación con las máscaras densas generadas por SAM, destacando el valor de la supervisión densa para inferir la extensión del objeto.
• Rendimiento en Iseauto: En la plataforma Iseauto, el modelo de fusión híbrido CLFT-Hybrid alcanzó un 77.5% de mIoU en condiciones de Día Despejado, superando los resultados de ZOD debido a límites de objetos más claros y escenas menos complejas.
• Aprendizaje por Transferencia: El aprendizaje por transferencia bidireccional aceleró la convergencia, con modelos inicializados desde el conjunto de datos opuesto alcanzando un rendimiento competitivo dentro de 20–30 épocas.

Significado y Afirmaciones
El artículo afirma proporcionar el primer análisis integral de la segmentación multimodal densa en el conjunto de datos ZOD, transformándolo de un recurso solo de detección en un punto de referencia de segmentación. Los autores afirman que las representaciones derivadas de SAM se transfieren eficazmente entre diferentes configuraciones de sensores y conjuntos de datos, apoyando el aprendizaje de características transferibles. Si bien reconocen limitaciones, como las dificultades de SAM con objetos pequeños/distantes y el alto costo computacional de los conjuntos de transformadores, el trabajo establece una base para la investigación reproducible en percepción densa. Los autores posicionan su enfoque de conjunto principalmente como un profesor fuera de línea para el autoetiquetado o la destilación de conocimientos en lugar de una solución en tiempo real, e identifican trabajos futuros en la escalabilidad del conjunto de datos curado y la mejora de la segmentación de objetos pequeños. Todo el código, los modelos y los conjuntos de datos procesados se ponen a disposición para apoyar a la comunidad de investigación.