💻 computer science

Vanilla ViT for Automotive Point Cloud Semantic Segmentation

Este artículo presenta VaViT, un método que adapta los Vision Transformers vanilla y no jerárquicos para la segmentación semántica de nubes de puntos automotrices mediante el empleo de un tokenizador especializado, un decodificador ligero y aumentos de datos adaptados para lograr un rendimiento de vanguardia en conjuntos de datos a gran escala como nuScenes, SemanticKITTI y Waymo Open Dataset.

Autores originales: Gilles Puy, Nermin Samet, Alexandre Boulch, Spyros Gidaris, Tuan-Hung VU, Renaud Marlet

Publicado 2026-06-01

📖 5 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Gilles Puy, Nermin Samet, Alexandre Boulch, Spyros Gidaris, Tuan-Hung VU, Renaud Marlet

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un robot a entender el mundo alrededor de un coche simplemente mirando una nube de millones de diminutos puntos que un escáner láser (LiDAR) dispara. Esto se llama segmentación semántica de nubes de puntos 3D. El robot necesita mirar estos puntos y decir: "Ese punto es un peatón", "Ese punto es un árbol" o "Ese punto es la carretera".

Durante mucho tiempo, la mejor forma de hacer esto fue como construir una compleja fábrica de varios niveles con muchos tipos diferentes de máquinas (convoluciones y atención local) trabajando juntas. Este artículo, VaViT, se hace una pregunta sencilla: ¿Podemos usar simplemente una máquina "común" y potente (un Vision Transformer o ViT estándar) para hacer todo el trabajo, sin toda esa complejidad adicional?

La respuesta es sí. Así es como lo hicieron, utilizando algunas analogías creativas:

1. El Problema: El problema de los "Demasiados Puntos"

Un Transformer "común" estándar (como los que leen texto o miran fotos) espera que los datos estén organizados en filas y columnas ordenadas, como una cuadrícula de píxeles. Pero un escaneo láser 3D es desordenado; los puntos están dispersos aleatoriamente en el espacio 3D. No puedes simplemente alimentar este desordenado de puntos directamente en un Transformer estándar.

2. La Solución: El "Cartero Inteligente" (El Tokenizador)

Para solucionar esto, los autores construyeron un Tokenizador especial. Piensa en el mundo 3D como una ciudad gigante.

La Cuadrícula: Ellos extienden una cuadrícula gigante y gruesa (como un tablero de ajedrez) sobre la ciudad desde arriba (una "Vista de Ojo de Pájaro" o Bird's Eye View).
Los Pilares: Cada cuadrado en la cuadrícula es un "pilar".
El Cartero: El Tokenizador actúa como un cartero que reúne todos los puntos (letras) que caen dentro de un solo pilar. En lugar de enviar cada una de las letras a la oficina central, el cartero elige la más importante (usando "max pooling") y crea una única tarjeta de resumen (un "token") para ese pilar.
El Resultado: Ahora, en lugar de millones de puntos desordenados, el Transformer recibe una lista manejable y ordenada de tarjetas de resumen.

3. El Cerebro: El Transformer "Común"

Una vez que los datos están en esta lista ordenada de tarjetas, pasan a un Vanilla ViT (un Transformer estándar y no jerárquico).

El Superpoder: A diferencia de los métodos anteriores que solo miraban a los vecinos (como comprobar quién está parado junto a ti), este Transformer tiene atención global. Es como un detective que puede mirar toda la ciudad a la vez. Puede conectar instantáneamente un punto en una colina distante con un punto en la calle de abajo, comprendiendo el panorama general sin necesidad de pasar la información a través de muchas capas de filtros locales.

4. El Trabajo de Detalle: El "Decodificador Ligero"

El Transformer es excelente para entender el panorama general, pero es un poco borroso cuando se trata de puntos individuales. Puede saber que "hay un coche aquí", pero no sabe exactamente qué punto pertenece al parachoques y cuál a la llanta.

La Solución: Los autores añadieron un decodificador ligero. Piensa en esto como una lupa de alta resolución. Toma la comprensión del "panorama general" del Transformer y la combina con las notas detalladas originales que el cartero tomó antes de resumir. Esto permite al sistema etiquetar cada punto con alta precisión.

5. El Entrenamiento: "Mezclando el Escenario" (PillarMix+)

Entrenar estos modelos de IA es difícil porque no hay suficientes escenas de conducción disponibles en comparación con las millones de fotos utilizadas para entrenar modelos de imagen. Para hacer el modelo más inteligente, necesitaban crear datos de entrenamiento "falsos".

La Forma Antigua: Los métodos anteriores cortaban dos escenas callejeras diferentes y las pegaban como un tablero de ajedrez. Esto a menudo creaba huecos extraños y antinaturales.
La Nueva Forma (PillarMix+): Los autores desarrollaron una mejor estrategia de mezcla. Imagina tomar tres escenas callejeras diferentes e intercambiar "bloques" enteros (pilares) de la ciudad entre ellas. Si intercambias un bloque que contiene un árbol de la Escena A con un bloque que contiene un árbol de la Escena B, la nueva escena sigue pareciendo un bloque de ciudad realista. Esto crea una enorme variedad de escenarios de entrenamiento, ayudando al modelo a generalizar mejor sin romper la física de la escena.

Los Resultados

El artículo probó este enfoque de "Vanilla ViT" en tres importantes conjuntos de datos del mundo real (nuScenes, SemanticKITTI y Waymo).

Rendimiento: Igualó o incluso superó a los sistemas más complejos y avanzados que utilizan esas fábricas híbridas de múltiples niveles.
Simplicidad: Lo logró manteniendo una arquitectura simple y unificada, demostando que no necesitas una máquina compleja y construida a medida para entender escenas de conducción 3D; un Transformer estándar bien ajustado funciona igual de bien.

En resumen: Tomaron un mundo 3D desordenado, lo organizaron en tarjetas de resumen ordenadas, lo alimentaron a un poderoso "pensador global" (el Transformer común) y le dieron una lupa para ver los detalles. Al mezclar los datos de entrenamiento de una manera inteligente, demostraron que las herramientas estándar y simples pueden resolver problemas de conducción 3D complejos tan bien como las complicadas.

Resumen Técnico: ViT Vanilla para Segmentación Semántica de Nubes de Puntos Automotrices (VaViT)

Planteamiento del Problema

Si bien los Transformers puros se han convertido en la arquitectura de facto para el procesamiento de texto, audio e imagen debido a su diseño unificado y sus propiedades de escalado superiores, su aplicación a la segmentación semántica de nubes de puntos 3D sigue siendo limitada. Los métodos actuales de vanguardia para la segmentación de LiDAR automotriz dependen predominantemente de arquitecturas híbridas U-Net que intercalan convoluciones dispersas con atención local o de ventana (por ejemplo, PTv3, LitePT). Alternativamente, algunos enfoques proyectan los datos 3D en vistas de rango 2D (por ejemplo, RangeViT), lo que introduce distorsiones geométricas y descarta la estructura espacial.

Los autores plantean una pregunta fundamental: ¿Puede un Vision Transformer (ViT) puro y no jerárquico operar directamente sobre nubes de puntos 3D crudas para lograr un rendimiento competitivo para la segmentación de LiDAR automotriz a gran escala? El desafío radica en cerrar la brecha entre los datos de nubes de puntos irregulares y la representación basada en tokens requerida por los ViT sin depender de los sesgos inductivos de las convoluciones o de las distorsiones geométricas de las proyecciones 2D.

Metodología

El marco propuesto, VaViT (Vanilla ViT), procesa puntos 3D crudos utilizando un backbone de ViT de escala única con autoatención global, evitando etapas jerárquicas o bloques convolucionales. El pipeline consta de cuatro componentes clave:

1. Estrategia de Tokenización

En lugar de convertir todo el escaneo en una imagen 2D, VaViT extrae embeddings de puntos directamente en el espacio 3D y los proyecta sobre una rejilla de vista de pájaro (Bird's Eye View - BEV) gruesa para formar tokens.

Red de Embedding: Los puntos crudos (coordenadas, rango, intensidad) pasan a través de una red de embedding multicapa inspirada en PointNet++ y DGCNN. Esta red incluye:
- Una rama global que procesa las características de los puntos.
- Una rama local que computa representaciones relativas con $k$ -vecinos más cercanos, mejorada por un mecanismo de compuerta ( $f_{gate}$ ) para filtrar características espurias.
- Una concatenación de características globales y locales.
Tokenización de Pilares (Pillar Tokenization): La escena se divide en pilares cuadrados no superpuestos. Para cada pilar ocupado, se recolectan los embeddings de todos los puntos contenidos y una operación de max-pooling genera un único token de pilar.
Codificación Posicional: Los tokens se asocian con coordenadas BEV 2D, codificadas mediante Codificación Posicional Rotatoria (RoPE) repetida en cada eje.

2. Backbone de ViT Vanilla

La secuencia de tokens de pilar es procesada por un ViT estándar y no jerárquico.

La arquitectura sigue el diseño estándar de bloque Transformer: LayerNorm (LN) $\rightarrow$ Multi-Head Self-Attention (MSA) $\rightarrow$ Residual $\rightarrow$ LN $\rightarrow$ MLP $\rightarrow$ Residual.
Para manejar longitudes de secuencia variables a través de un lote (batch), se utilizan tokens de relleno (padding).
El backbone depende enteramente de la autoatención global, lo que permite al modelo capturar dependencias espaciales de largo alcance a través de toda la escena sin restricciones de ventanas locales.

3. Cabezal de Segmentación Ligero

Para recuperar predicciones de nivel de punto finamente detalladas a partir de los tokens de pilar gruesos:

Elevación (Lifting): Los tokens finales del transformer se elevan desde la rejilla BEV de vuelta a los puntos 3D originales. Todos los puntos dentro de un pilar específico reciben el token de pilar correspondiente.
Fusión de Características: Las características de los tokens elevados se concatenan con los embeddings de puntos de alta resolución originales computados durante la tokenización.
Compuerta y Clasificación: Un mecanismo de compuerta ( $g_{gate}$ ) repondera la contribución de las características del ViT frente a los embeddings de puntos originales. Las características combinadas pasan por una capa lineal final para la clasificación semántica.

4. Aumento de Datos: PillarMix+

Reconociendo que los conjuntos de datos de LiDAR son más pequeños que los conjuntos de datos de imágenes utilizados para el preentrenamiento de los ViT, los autores introducen PillarMix+, una estrategia de aumento geométrico mejorada.

Mecanismo: A diferencia del PillarMix estándar que mezcla dos escaneos en un patrón de tablero de ajedrez, PillarMix+ mezcla $N$ nubes de puntos (típicamente 3).
Proceso: Para cada pilar ocupado en un escaneo de referencia, si la misma ubicación está ocupada en cualquiera de los otros $N-1$ escaneos, el pilar es reemplazado aleatoriamente por uno de los pilares ocupados del conjunto.
Ventajas: Esto preserva el patrón de ocupación y la forma general de la escena mientras introduce variaciones de contexto significativas. Evita el efecto de "recorte independiente" del mezclado de tablero de ajedrez y mantiene un número constante de tokens, a diferencia de los métodos que aumentan el conteo de tokens.

Contribuciones Clave

Validación de Rendimiento: Demostró que un ViT vanilla cuidadosamente diseñado puede igualar o superar los métodos de vanguardia (incluyendo U-Nets híbridos y modelos de proyección 2D) para la segmentación de LiDAR.
Tokenización Especializada: Introdujo un tallo (stem) de tokenización dedicado que extrae embeddings de puntos 3D informativos y los proyecta a una rejilla BEV gruesa, preservando suficiente información geométrica para tareas downstream sin modificaciones arquitectónicas al ViT.
Cabezal Ligero: Diseñó un cabezal de segmentación que combina eficazmente las características contextuales globales del ViT con los embeddings de puntos locales de alta resolución mediante un mecanismo de compuerta.
PillarMix+: Propuso una estrategia de aumento geométrico robusta que mejora significamente la generalización para el entrenamiento de ViT en conjuntos de datos de conducción autónoma al mezclar múltiples escaneos preservando la consistencia de la escena.

Resultados Experimentales

Los autores evaluaron VaViT en tres benchmarks principales: nuScenes, SemanticKITTI y Waymo Open Dataset (WOD).

nuScenes: VaViT-B logró un mIoU (intersección sobre unión media) del 81.3%, superando al estado del arte anterior, LitePT (80.7%). Notablemente, clasificó en primer lugar en objetos pequeños como conos de tráfico y bicicletas, a pesar de la rejilla de tokenización gruesa.
Waymo Open Dataset: VaViT-B logró un mIoU del 70.5%, superando a SphereFormer (69.9%) y PTv3 (70.2%).
SemanticKITTI: VaViT-B logró un mIoU del 67.6% (sin Aumento de Tiempo de Prueba - TTA), compitiendo estrechamente con PTv3 (66.2%) y SphereFormer (67.8%).
Robustez: Un hallazgo significativo es que los modelos VaViT son inherentemente robustos a transformaciones globales (rotación, escala, inversión). Mientras que otros métodos (PTv3, LitePT) ganan aproximadamente 2 puntos de mIoU con TTA, el rendimiento de VaViT permanece casi inalterado, lo que sugiere que el mecanismo de autoatención global ya ha aprendido estas invarianzas.

Significado y Reivindicaciones

El artículo afirma que los diseños híbridos especializados (que combinan convoluciones y atención local) pueden no ser estrictamente necesarios para la segmentación de puntos 3D. En su lugar, los Transformers puros constituyen una alternativa viable y más simple que ofrece un backbone unificado a través de las tareas de percepción.

El éxito de VaViT sugiere que el "trabajo pesado" en la segmentación de nubes de puntos puede ser realizado por la autoatención global si la representación de entrada (tokenización) y la estrategia de entrenamiento (aumentos) se diseñan cuidadosamente. Este trabajo abre la puerta a:

Diseños de arquitectura multimodales más fáciles (por ejemplo, mezclar nubes de puntos e imágenes).
La aplicación directa de técnicas de preentrenamiento auto-supervisado para transformers en el dominio 3D.
Una reducción en la complejidad arquitectónica al eliminar la necesidad de jerarquías tipo U-Net y convoluciones dispersas.

Los autores enfatizan que sus resultados validan la eficiencia de un enfoque de ViT unificado, siempre que la interfaz entre los datos de puntos 3D crudos y el transformer sea meticulosamente diseñada.