How Sampling Strategy Affects Imbalance Mitigation in LiDAR Segmentation: A Study of Structured vs. Random Point-Based Architectures

Imagina un mundo donde los coches autónomos y los drones navegan "viendo" con rayos láser en lugar de ojos. Estas máquinas disparan pulsos de luz que rebotan en el suelo, los edificios y los árboles, regresando como una nube de millones de puntos individuales. Así es como construyen un mapa tridimensional de su entorno. Sin embargo, estos mapas no están perfectamente equilibrados. En una escena urbana típica, el láser golpea la vasta y plana extensión de la carretera o el lateral de un edificio miles de veces más de lo que golpea una pequeña y distante señal de tráfico o a un peatón. Esto crea un desequilibrio severo: la computadora ve las cosas grandes constantemente, pero apenas nota los detalles pequeños y críticos. Si el cerebro de la máquina no está entrenado para manejar esto, podría ignorar con total confianza a una persona parada en la acera porque se ha visto abrumada por el enorme volumen de datos sobre la carretera.

Durante décadas, los investigadores han intentado solucionar problemas similares en la fotografía 2D estándar, donde algunos objetos aparecen con mucha menos frecuencia que otros. Desarrollaron diversos trucos matemáticos para obligar a la computadora a prestar más atención a los elementos poco comunes. Pero cuando se aplicaron estos mismos trucos al caótico mundo tridimensional de las nubes de puntos láser, los resultados fueron confusos. Algunos métodos funcionaron, mientras que otros parecieron empeorar el problema. La pregunta seguía siendo: ¿cambia la forma en que una computadora muestrea estos puntos láser qué trucos realmente funcionan? Un nuevo estudio realizado por investigadores de la Universidad de Chipre y el Centro de Excelencia en Investigación e Innovación KIOS se propuso responder a esto probando una amplia gama de soluciones con datos del mundo real.

Los investigadores se centraron en dos formas diferentes en las que las computadoras procesan estas nubes de láser. El primer método, utilizado en un sistema llamado KPConv, actúa como un topógrafo cuidadoso. Selecciona puntos siguiendo un patrón estructurado y organizado, asegurando que cada parte de la escena sea muestreada con una lógica geométrica específica. El segundo método, utilizado en un sistema llamado RandLA-Net, es mucho más caótico; toma puntos de forma completamente aleatoria, como un niño agarrando puñados de arena de una playa. El equipo probó ambos sistemas contra tres conjuntos de datos muy diferentes: un escaneo aéreo masivo de una ciudad con un desequilibrio extremo de 641 a uno, un escaneo de interiores de un edificio con un desequilibrio moderado y un entorno sintético generado por computadora. Aplicaron once estrategias diferentes para ver cuál ayudaba mejor a la computadora a reconocer los objetos raros.

Los resultados entregaron un veredicto sorprendente y claro. El instinto más común en el campo —simplemente decirle a la computadora que le dé más peso a los objetos raros basándose en la frecuencia con la que aparecen— resultó ser un desastre. Cuando los investigadores usaron este estándar "peso de frecuencia inversa", el rendimiento de la computadora cayó significamente, a veces hasta un 12 por ciento. En los peores casos, el sistema falló catastróficamente, perdiendo por completo objetos pequeños como postes y vallas. El estudio descartó explícitamente este enfoque popular, demostrando que aumentar ciegamente la importancia de las clases raras en realidad confunde al modelo y degrada su capacidad de ver el mundo correctamente.

En su lugar, el estudio encontró que la mejor solución depende enteramente de cómo la computadora muestrea los datos. Para el sistema estructurado, similar al de un topógrafo, el enfoque más simple fue a menudo el mejor. El uso de un peso uniforme, donde cada clase es tratada por igual sin ajustes matemáticos especiales, funcionó casi tan bien como las fórmulas más complejas y diseñadas a medida. La diferencia fue tan pequeña —menos del 2 por ciento— que el esfuerzo adicional para calcular pesos complejos no ofrecía ningún beneficio real. El método de muestreo estructurado parecía manejar el desequilibrio de forma natural lo suficientemente bien como para que la computadora no necesitara ser forzada a prestar atención a los elementos raros.

Sin embargo, la historia fue diferente para el método de muestreo aleatorio y caótico. Debido a que este sistema descarta la estructura geométrica natural de la escena, es mucho más sensible al desequilibrio. Aquí, el enfoque simple de peso uniforme se quedó corto, quedando por detrás de las técnicas especializadas por hasta un 4.6 por ciento. Para este tipo de arquitectura, los investigadores encontraron que una función de pérdida específica llamada LDAM, que ajusta cómo la computadora aprende de sus errores, proporcionó una mejora notable. Sin embargo, incluso aquí, se requería precaución. Otras fórmulas complejas que funcionaban bien en la fotografía 2D hicieron que el sistema aleatorio fallara tan mal como el pesaje simple en el sistema estructurado.

Los investigadores también analizaron la "forma" del proceso de aprendizaje para entender por qué ocurrieron estas diferencias. Encontraron que, para el sistema estructurado, la dificultad de la tarea de aprendizaje estaba ligada a qué tan desequilibrados estaban los datos; cuanto más desequilibrados estaban los datos, más aguda y difícil se volvía la trayectoria de aprendizaje. Pero para el sistema aleatorio, la dificultad era impulsada por la complejidad física de la escena misma. En entornos interiores abarrotados con muchos objetos delgados como sillas y mesas, la trayectoria de aprendizaje se volvía irregular y difícil de navegar, independientemente de cuántos objetos raros hubiera presentes. Esto sugiere que el método aleatorio tiene dificultades porque pierde el contexto estructural que ayuda a la computadora a dar sentido a la escena.

En última instancia, este trabajo proporciona una guía práctica para los ingenieros que construyen estos sistemas. Sugiere que si se utiliza un método de muestreo estructurado, se debe evitar la tentación de sobre-diseñar la solución; un tratamiento simple e igualitario de todas las clases es robusto y efectivo. Si se utiliza un método de muestreo aleatorio, sí se necesita una herramienta especializada para manejar el desequilibrio, pero se debe elegir con cuidado, ya que la herramienta equivocada puede romper el sistema por completo. El estudio concluye que no existe una única solución mágica para todas las tareas de visión 3D. En cambio, la efectividad de cualquier solución está moldeada por una delicada interacción entre cómo se recolectan los datos, cómo la computadora los muestrea y la naturaleza específica del entorno que intenta comprender.