Exploring Single Domain Generalization of LiDAR-based Semantic Segmentation under Imperfect Labels

Este artículo presenta DuNe, un marco de aprendizaje dual que aborda el desafío de la generalización de dominio en la segmentación semántica 3D de LiDAR bajo etiquetas ruidosas, logrando un rendimiento superior al estado del arte en múltiples conjuntos de datos mediante la consistencia de características y el filtrado basado en confianza.

Lo esencial

Imagina que estás enseñando a un robot a conducir un coche autónomo. Para que el robot vea el mundo, usamos un sensor especial llamado LiDAR (piensa en él como unos "ojos láser" que dibujan el mundo en 3D con millones de puntos diminutos).

El problema es que, para enseñarle al robot qué es un "coche", qué es un "peatón" o qué es "calle", los humanos tienen que etiquetar manualmente cada uno de esos puntos. Es un trabajo enorme, aburrido y, a menudo, lleno de errores. A veces, el robot ve una sombra y el humano etiqueta mal; a veces, la lluvia confunde al sensor. Además, lo que aprende el robot en Alemania (donde se entrenó) puede no funcionar bien en México o en un día de niebla.

Este paper trata de resolver dos problemas a la vez:

1. Etiquetas sucias: El robot está aprendiendo con un manual de instrucciones lleno de errores.
2. Cambio de entorno: El robot tiene que conducir en lugares donde nunca ha estado antes.

Aquí tienes la explicación sencilla de lo que hacen los autores:

1. El Problema: Aprender con un mapa equivocado

Imagina que estás aprendiendo a cocinar, pero tu libro de recetas tiene errores.

• Si el libro dice "pon sal" cuando debería decir "pon azúcar", tu pastel saldrá mal.
• Si el libro dice "hornea a 200 grados" pero tú estás en una cocina diferente donde el horno funciona distinto, el pastel se quemará.

En el mundo de los coches autónomos, los datos de LiDAR son como ese libro de recetas. A menudo están "ruidosos" (etiquetas incorrectas) y los coches deben funcionar en ciudades diferentes a donde se entrenaron. Los métodos actuales fallan estrepitosamente cuando el libro de instrucciones está sucio.

2. La Solución: "DuNe" (El método de los dos pares de gafas)

Los autores crearon un nuevo sistema llamado DuNe. Para entenderlo, imagina que le das al robot dos pares de gafas diferentes para ver la misma escena:

• Las Gafas Débiles (Weak View): Son como mirar la escena con calma, sin tocar nada. Ves los puntos tal como son. Es una visión "limpia" pero básica.
• Las Gafas Fuertes (Strong View): Son como mirar la escena a través de un filtro loco. Mezclan partes de diferentes coches, giran cosas y simulan que falta información (como si hubiera agujeros en la visión). Esto obliga al robot a ser muy inteligente y a no depender de un solo detalle.

¿Cómo funciona la magia?
El sistema entrena al robot usando ambas visiones al mismo tiempo:

1. Consistencia: Le dice al robot: "Aunque veas la escena de dos formas diferentes (una normal y otra loca), la respuesta final debe ser la misma". Esto ayuda a que el robot no se confunda por los errores de las etiquetas.
2. Filtro de Confianza: Si el robot está muy seguro de que algo es un "coche" (incluso si la etiqueta humana decía "camión"), el sistema le hace caso al robot y corrige el error. Es como si el robot dijera: "Oye, tú eres el experto, confío en mi vista más que en tu nota equivocada".

3. El Experimento: La prueba de fuego

Los investigadores crearon un "campo de entrenamiento" artificial. Tomaron datos reales y les inyectaron errores intencionales (como si un humano borrara el 10%, 20% o incluso el 50% de las etiquetas correctas y pusiera cosas al azar).

• Antes (Métodos viejos): Cuando el 50% de las etiquetas estaban mal, el robot se volvía completamente inútil. No sabía distinguir un árbol de un coche.
• Ahora (Con DuNe): ¡El robot sigue funcionando! Incluso con el 50% de las etiquetas erróneas, DuNe logró que el robot entendiera el mundo casi tan bien como si las etiquetas hubieran sido perfectas.

4. ¿Por qué es importante?

Hasta ahora, los científicos pensaban que podían simplemente adaptar métodos de imágenes 2D (como fotos) para usarlos en LiDAR 3D. Este paper demuestra que eso no funciona. El mundo 3D es demasiado caótico y desordenado para las técnicas de fotos.

La analogía final:
Imagina que intentas aprender a navegar en un barco.

• Los métodos antiguos intentaban usar un mapa de papel (2D) en un océano real (3D) lleno de tormentas y con el mapa manchado de tinta. El barco se hundía.
• DuNe es como darle al capitán un GPS que tiene dos sistemas de navegación: uno que ve el mapa tal cual (aunque esté manchado) y otro que simula tormentas y olas locas. Al comparar ambos, el GPS sabe cuándo ignorar el mapa manchado y guiarte con seguridad, incluso si nunca has estado en ese océano antes.

En resumen

Este paper presenta la primera forma de entrenar coches autónomos que son a prueba de errores humanos y a prueba de cambios de entorno. Crean un nuevo estándar (un "benchmark") para que otros científicos puedan probar sus ideas y proponen un sistema (DuNe) que es mucho más robusto, permitiendo que la tecnología de conducción autónoma sea más segura y fiable en el mundo real, donde nada es perfecto.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Exploring Single Domain Generalization of LiDAR-based Semantic Segmentation under Imperfect Labels" en español:

1. Planteamiento del Problema

La percepción precisa es fundamental para la seguridad en la conducción autónoma, y el LiDAR es un sensor clave debido a su geometría 3D precisa. Sin embargo, existen dos desafíos críticos que a menudo se tratan por separado, pero que en la práctica ocurren simultáneamente:

• Generalización de Dominio (DG): Los modelos entrenados en un entorno (fuente) suelen fallar al aplicarse a nuevos entornos no vistos (objetivo) debido a cambios en el sensor, el clima o la escena.
• Etiquetado Imperfecto (Ruido): Las anotaciones de LiDAR son costosas y propensas a errores humanos, oclusiones y limitaciones del sensor. Este ruido en las etiquetas degrada la precisión de la segmentación y, lo que es más grave, amplifica la degradación bajo cambios de dominio.

El problema central que aborda el artículo es la Generalización de Dominio para Segmentación Semántica de LiDAR bajo Etiquetas Ruidosas (DGLSS-NL). A diferencia de los métodos existentes que asumen etiquetas limpias, este trabajo investiga cómo entrenar modelos robustos que generalicen bien a dominios no vistos incluso cuando las etiquetas de entrenamiento están corruptas.

2. Metodología: DuNe

Los autores proponen DuNe, un marco de aprendizaje de doble vista diseñado específicamente para manejar la naturaleza dispersa e irregular de las nubes de puntos 3D, donde los métodos 2D fallan.

A. Definición del Problema y Benchmark

• Se establece el primer benchmark para DGLSS-NL.
• Se inyectan ruido de etiquetas simétrico (donde una etiqueta se cambia aleatoriamente por otra clase) en el conjunto de datos de origen (SemanticKITTI) a ratios del 10%, 20% y 50%.
• La evaluación se realiza en dominios objetivo no vistos (nuScenes y SemanticPOSS) sin acceso a sus datos ni estadísticas.

B. Arquitectura DuNe (Dual-view Framework)

El marco genera dos vistas complementarias de cada escaneo LiDAR:

1. Vista Fuerte (Strong View): Generada mediante PolarMix (mezcla de escenas a nivel de escena y rotación/pegado a nivel de instancia) y aumentos de dispersión. Esta vista tiene mayor densidad de puntos y diversidad geométrica.
2. Vista Débil (Weak View): Una versión más conservadora que preserva la fidelidad estructural original con menos alteraciones.

Ambas vistas se procesan a través de una red codificadora basada en convoluciones dispersas (MinkowskiEngine).

C. Funciones de Pérdida y Estrategias

El modelo integra tres componentes clave para lograr robustez:

1. Consistencia de Características (Feature Consistency): Se impone una pérdida de consistencia entre las representaciones de la vista fuerte y la débil en el cuello de botella (bottleneck) de la red. Esto fuerza al modelo a aprender características invariantes al ruido y a la dispersión.
2. Supervisión Parcial y Negativa (Basada en NPN):
   • Partial Label Learning (PLL): El modelo se entrena para predecir una etiqueta dentro de un conjunto candidato (que incluye la predicción de la vista fuerte y la débil).
   • Negative Learning (NL): Se penaliza explícitamente las clases que no están en el conjunto candidato, ayudando a filtrar el ruido de etiquetas confiables.
3. Regularización de Consistencia Semántica: Se utiliza una pérdida de correlación semántica para alinear las relaciones entre prototipos de clases, asegurando que la estructura semántica se mantenga estable a través de dominios.

3. Contribuciones Clave

1. Nuevo Benchmark (DGLSS-NL): El primer estudio sistemático que combina generalización de dominio y aprendizaje con etiquetas ruidosas en segmentación 3D de LiDAR. Incluye la adaptación de tres estrategias de aprendizaje con ruido (TCL, DISC, NPN) desde imágenes a nubes de puntos.
2. Análisis Diagnóstico: Se demuestra que los métodos de ruido 2D (TCL, DISC, NPN) no se transfieren bien directamente a LiDAR debido a la irregularidad y el costo computacional de las nubes de puntos a gran escala.
3. Propuesta DuNe: Un marco novedoso que fusiona la augmentación geométrica (PolarMix) con la consistencia de doble vista y la supervisión robusta al ruido.
4. Estrategia Selectiva: Se identifica que el uso de la "vista fuerte" es beneficioso para niveles bajos/medios de ruido, pero la "vista débil" es superior bajo ruido extremo (50%), proponiendo una estrategia adaptativa.

4. Resultados Experimentales

Los experimentos se realizaron entrenando en SemanticKITTI y evaluando en SemanticKITTI (intra-dominio), nuScenes y SemanticPOSS (inter-dominio).

• Rendimiento General: DuNe supera consistentemente a todas las líneas base (incluyendo las adaptadas de imágenes y el modelo base DGLSS) en todos los niveles de ruido.
• Métricas Clave (Ruido del 10%):
  • SemanticKITTI: 56.86% mIoU (vs 32.99% del base).
  • nuScenes: 42.28% mIoU.
  • SemanticPOSS: 52.58% mIoU.
  • Media Aritmética (AM): 49.57% (mejora de +4.6% sobre el mejor método adaptado).
  • Media Armónica (HM): 48.50%.
• Robustez Extrema: Incluso con un 50% de ruido de etiquetas, DuNe mantiene un rendimiento significativo (44.78% AM), mientras que otros métodos colapsan o apenas superan el 10-30%.
• Visualización: Las predicciones cualitativas muestran que DuNe produce segmentaciones más coherentes y mantiene distribuciones de clases equilibradas, incluso bajo ruido severo, a diferencia del modelo base que sufre de predicciones caóticas.

5. Significado e Impacto

Este trabajo es fundamental porque:

• Cierra una brecha teórica: Reconoce que la suposición de etiquetas limpias en la generalización de dominio es irrealista para aplicaciones del mundo real como la conducción autónoma.
• Valida la necesidad de adaptación 3D: Demuestra que las técnicas de imágenes no son suficientes para LiDAR debido a la estructura de los datos, requiriendo enfoques específicos como la consistencia de doble vista y el manejo de la dispersión.
• Establece un nuevo estándar: Proporciona un benchmark reproducible y un marco de referencia (DuNe) para futuros trabajos en percepción robusta de LiDAR, asegurando que los sistemas autónomos sean seguros incluso con datos de entrenamiento imperfectos.

En resumen, DuNe demuestra que es posible lograr una generalización de dominio robusta en LiDAR mediante la combinación inteligente de aumentación geométrica, consistencia de vistas múltiples y estrategias de aprendizaje que toleran activamente el ruido en las etiquetas.