💻 computer science

ViCo3D: Empowering LiDAR-based Collaborative 3D Object Detection with Vision Foundation Models

ViCo3D es un novedoso marco de detección colaborativa de objetos 3D que cierra la brecha de modalidad entre los modelos fundacionales de LiDAR y visión mediante la proyección de nubes de puntos en imágenes BEV para la extracción de características de DINOv2, mejorando así significativamente la colaboración a nivel de características y logrando un rendimiento de vanguardia en sistemas V2X.

Autores originales: Haojie Ren, Songrui Luo, Lingfeng Wang, Yan Xia, Yao Li, Jing Li, Lu Zhang, Jiajun Deng, Yanyong Zhang

Publicado 2026-07-15

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Haojie Ren, Songrui Luo, Lingfeng Wang, Yan Xia, Yao Li, Jing Li, Lu Zhang, Jiajun Deng, Yanyong Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás conduciendo un coche autónomo, pero en lugar de confiar solo en tus propios ojos (tu sensor LiDAR), tienes a un equipo de amigos ayudándote a ver la carretera. Algunos amigos están en otros coches y otros están parados en las esquinas de las calles con cámaras superpotentes. Esto se llama colaboración V2X (Vehicle-to-Everything). El objetivo es compartir lo que todos ven para poder detectar un peatón oculto o un coche escurridizo mejor de lo que podrías hacerlo solo.

Pero aquí está el problema: tus amigos ven el mundo de forma diferente. El coche en la esquina ve las cosas desde un ángulo alto con una visión densa y clara, mientras que tu coche ve las cosas desde un ángulo bajo con una visión más dispersa y "granulada". Intentar mezclar estas dos imágenes diferentes es como intentar combinar una foto de alta definición con un dibujo a lápiz. Normalmente, la computadora se confunde y el trabajo en equipo no funciona tan bien como debería.

La Gran Idea: Tomar prestado un "Súper-Cerebro" de las Imágenes 2D
Los investigadores detrás de este artículo, ViCo3D, tuvieron una idea audaz. Notaron que, si bien los datos LiDAR (nubes de puntos 3D) son desordenados y difíciles de entender, los Modelos de Fundación de Visión (VFMs) —específicamente uno llamado DINOv2— ya son superinteligentes para entender imágenes 2D. Estos modelos fueron entrenados con millones de fotos y conocen muy bien cómo detectar formas, texturas y objetos.

El equipo se preguntó: ¿Qué pasaría si pudiéramos engañar a DINOv2 para que mire nuestros datos LiDAR 3D como si fueran una imagen 2D?

Cómo lo Hicieron (El Truco de Magia)

La Transformación: Tomaron los puntos 3D del LiDAR y los aplanaron sobre un mapa plano (llamado Vista de Ojo de Pájaro o Bird's-Eye-View/BEV). Pintaron este mapa con tres "colores" (canales): uno para la altura, otro para qué tan brillante es el objeto y otro para qué tan densos son los puntos. De repente, los desordenados puntos 3D parecían una imagen normal.
El Súper-Cerebro: Alimentaron este "LiDAR-imagen" a DINOv2. La IA, que es una experta en imágenes 2D, comenzó instantáneamente a extraer características ricas e inteligentes sobre la escena —cosas como "eso parece un coche" o "esa área está vacía".
La Fusión: ¡Pero espera! DINOv2 es excelente viendo, pero no es muy bueno midiendo distancias exactas (localización). Por lo tanto, los investigadores no reemplazaron simplemente su antiguo sistema con DINOv2. En su lugar, construyeron un motor de fusión. Tomaron la "visión inteligente" de DINOv2 y la mezclaron con la "medición precisa" de su sistema LiDAR original.
- Primero, miraron el panorama general (contexto global) para entender toda la escena.
- Luego, hicieron zoom para corregir los detalles diminutos (refinamiento local) para no perder la forma exacta de los objetos.

Lo que Argumentaron en Contra
El artículo argumenta explícitamente en contra de algunas ideas comunes:

No fuerces a que todos vean lo mismo: Algunos métodos anteriores intentaban forzar la vista del coche y la de la esquina de la calle para que se volvieran idénticas. Los autores dicen: "¡No!". Las visiones diferentes tienen diferentes fortalezas. Quieres mantener esas diferencias porque proporcionan información complementaria (uno ve lo que el otro pierde).
No solo cambies el cerebro: No puedes simplemente desechar el sensor LiDAR y usar DINOv2 solo. El artículo muestra que usar solo las características del modelo de visión conduce a una caída masiva en el rendimiento (es como intentar conducir usando solo un mapa sin un velocímetro). Necesitas ambos.
No ignores la "brecha de modalidad": No puedes simplemente pegar una IA entrenada en imágenes sobre datos 3D sin un traductor. El artículo demuestra que, sin sus pasos especiales de fusión, el modelo entrenado en imágenes falla estrepitosamente en tareas 3D.

Los Resultados: ¿Qué tan Mejor Es?
El equipo probó esto en dos conjuntos de datos del mundo real: DAIR-V2X (datos del mundo real) y V2XSet (datos simulados).

La Victoria: ViCo3D superó a todos los demás métodos que probaron. En el conjunto de datos DAIR-V2X, logró un AP@0.5 de 82.80 y un AP@0.7 de 71.39. (AP significa Precisión Promedio; cuanto más alto, mejor).
El Impulso de la Colaboración: Esta es la parte más genial. Cuando añadieron el trabajo en equipo (colaboración), su método mejoró en 13.01 puntos porcentuales sobre un solo coche trabajando solo.
Comparación: Otros métodos solo mejoraron unos 7 u 8 puntos. Los autores señalan que su método ofrece hasta 1.8 veces (o 1.89 veces en el texto) más beneficio del trabajo en equipo que los métodos anteriores.

¿Qué tan Seguros Están?
Los autores están muy seguros de estos números porque realizaron experimentos extensos en benchmarks estándar y públicos. No solo adivinaron; lo midieron.

Demostraron que su método crea un espacio de características "más rico". En lugar de depender de unos pocos canales dominantes (como una voz fuerte gritando sobre las otras), su método distribuye la información a través de muchos canales, permitiendo una comprensión más detallada y diversa.
Mostraron que, aunque su método hace que las características sean menos similares entre el coche y la esquina de la calle (menor similitud de coseno), esto es en realidad algo bueno porque preserva los detalles únicos y útiles que cada agente ve.

La Conclusión
ViCo3D es una nueva forma de hacer que los coches autónomos trabajen mejor juntos. Al convertir los datos LiDAR 3D en un formato que un experto en imágenes 2D (DINOv2) pueda entender, y luego mezclar cuidadosamente esa "visión inteligente" con mediciones 3D precisas, crearon un sistema que detecta objetos con mayor precisión y obtiene mucho más del trabajo en equipo que cualquier otro hasta ahora. No es una solución mágica para todo (admiten que aún necesitan trabajar en los retrasos de tiempo y en añadir cámaras más adelante), pero por ahora, es un gran paso adelante para hacer que los coches vean el mundo como un equipo.

Resumen Técnico: ViCo3D

Planteamiento del Problema

La percepción colaborativa de Vehículo-a-Todo (V2X) basada en LiDAR típicamente depende de la fusión de características de Vista de Punto de Vista Superior (Bird's-Eye-View o BEV) extraídas de múltiples agentes (vehículos e infraestructura). Sin embargo, los enfoques actuales de vanguardia enfrentan dos limitaciones primarias:

Heterogeneidad de Características: Los backbones de LiDAR existentes suelen entrenarse desde cero en conjuntos de datos específicos para tareas, lo que resulta en representaciones BEV fuertemente dominadas por la geometría y carentes de priors semánticos generales. Esto provoca discrepancias significativas en las distribuciones de características entre agentes debido a diferencias en las configuraciones de los sensores, puntos de vista de observación y densidades de datos (por ejemplo, LiDAR de infraestructura de alta densidad frente a LiDAR de vehículo de baja densidad).
Brecha de Modalidad: Aunque los Modelos de Fundación Visual (VFMs), como DINOv2, han demostrado una capacidad superior para aprender representaciones visuales de propósito general a partir de datos de imágenes a gran escala, adaptar directamente estos modelos a la detección 3D basada en LiDAR no es trivial. La brecha sustancial entre las modalidades de imagen 2D y las nubes de puntos 3D irregulares, combinada con la falta de sensibilidad de localización en las características puras de los VFM, conduce a una degradación severa del rendimiento si se utilizan los VFM de forma aislada.

Los métodos existentes que intentan alinear las características entre agentes suelen priorizar la consistencia de las características, lo que potencialmente suprime la información complementaria inherente a las diversas observaciones. El artículo argumenta que la colaboración efectiva debe preservar estas claves complementarias relevantes para la detección en lugar de forzar un alineamiento estricto de características.

Metodología: ViCo3D

ViCo3D es un marco de detección de objetos 3D colaborativo diseñado para cerrar la brecha de modalidad entre imagen y nube de puntos mediante la integración de Modelos de Fundación Visual (específicamente DINOv2) con la percepción basada en LiDAR. El marco opera a través de tres etapas principales:

1. Extracción de Características de Doble Rama

Para aprovechar los VFM sin descartar la precisión geométrica, ViCo3D emplea un codificador de doble rama para cada agente:

Rama de Pilares (Pillar Branch): Utiliza un codificador basado en PointPillars estándar para extraer características densas de BEV de LiDAR ( $F_P$ ) directamente de nubes de puntos voxelizadas, preservando las estructuras geométricas locales esenciales para la detección 3D.
Rama DINOv2: Proyecta las nubes de puntos LiDAR crudas sobre el plano BEV para generar "imágenes BEV" de tres canales. Estos canales codifican: (1) altura normalizada máxima, (2) intensidad de reflectancia normalizada y (3) densidad de puntos (escalada logarítmicamente). Estas imágenes estructuradas se introducen en un backbone DINOv2 preentrenado para extraer características visuales en el espacio BEV ( $F_D$ ) ricas en priors semánticos.

2. Alineación de Características y Fusión Multiescala

Para integrar eficazmente las características geométricas ( $F_P$ ) y las características semánticas ( $F_D$ ), el marco introduce un módulo de fusión multiescala:

Alineación de Características: Capas de proyección aprendibles mapean las características de ambas ramas hacia un espacio de características compartido para mitigar los desajustes de representación.
Fusión Global de Baja Resolución (LRG): Para evitar los costos de memoria prohibitivos asociados con la atención densa en mapas BEV de alta resolución, las características se submuestrean (4 $\times$ ). Se aplica un mecanismo de atención cruzada dominante de PointPillars donde las características de los Pilares actúan como consultas (queries) y las características de DINOv2 como claves/valores (keys/values). Esto captura interacciones de contexto global de manera eficiente.
Fusión de Refinamiento de Alta Resolución (HRR): Para recuperar los detalles locales finos perdidos durante el submuestreo, una etapa de refinamiento de alta resolución opera en la resolución original. Modela explícitamente las relaciones locales utilizando términos de diferencia ( $|F'_P - F'_D|$ ) y producto elemento a elemento ( $F'_P \odot F'_D$ ) para resaltar las discrepancias y las regiones de activación complementarias. Una compuerta espacial dinámica equilibra adaptativamente las características fusionadas con el flujo residual de Pilares original.

3. Fusión Colaborativa Ego-céntrica

Comunicación Activa: Inspirado en Where2comm, el marco emplea un mecanismo de comunicación activa donde los agentes transmiten solo regiones espacialmente críticas (basadas en un mapa de confianza) en lugar de mapas de características densos completos, reduando el ancho de banda.
Agregación Ego-céntrica: Al recibir características de los agentes vecinos, el vehículo ego realiza la transformación de estas a su propio sistema de coordenadas. Un mecanismo de compuerta ajusta adaptativamente la contribución de las características vecinas en relación con la característica ego, realizando una actualización residual para incorporar información complementaria mientras mantiene la representación ego-céntrica como el ancla principal.

Contribuciones Clave

Percepción LiDAR Mejorada por VFM: ViCo3D es el primer trabajo que explora la adaptación de Modelos de Fundación Visual (DINOv2) para mejorar las representaciones BEV de LiDAR por agente para la percepción colaborativa, cerrando con éxito la brecha de modalidad entre imagen y nube de puntos.
Arquitectura de Fusión Multiescala: El artículo propone una estrategia de fusión novedosa que combina la Fusión Global de Baja Resolución (para un modelado de contexto eficiente) y el Refinamiento de Alta Resolución (para preservar detalles locales), permitiendo la integración efectiva de priors semánticos con características geométricas.
Complementariedad sobre Consistencia: A diferencia de los métodos previos que se centran en la destilación de características para forzar la consistencia, ViCo3D demuestra que preservar representaciones de características diversas y complementarias conduce a mayores ganancias colaborativas. El análisis empírico muestra que ViCo3D logra una similitud de características cross-view menor que los baselines, entregando al mismo tiempo un mayor rendimiento de detección.

Resultados Experimentales

El marco fue evaluado en dos conjuntos de datos: el mundo real DAIR-V2X y el simulado V2XSet.

Rendimiento de Vanguardia (SOTA): ViCo3D alcanzó el mejor rendimiento entre los métodos de detección basados en BEV.
- En DAIR-V2X, alcanzó 82.80 AP@0.5 y 71.39 AP@0.7.
- En V2XSet, logró 97.20 AP@0.5 y 93.23 AP@0.7.
Ganancias Colaborativas: ViCo3D demostró la mayor mejora sobre los baselines de un solo agente. En DAIR-V2X con IoU=0.5, mejoró al baseline en 13.01 puntos porcentuales, lo que es aproximadamente 1.89 $\times$ la ganancia de INSTINCT y 1.60 $\times$ la ganancia de DI-V2X.
Estudios de Ablación:
- El uso de características de DINOv2 por sí solo resultó en un rendimiento pobre (AP@0.5 $\approx$ 14.49), confirmando la necesidad de la fusión de doble rama.
- Se demostró que la combinación de los módulos LRG y HRR es crítica, donde LRG mejora el recall y HRR recupera la precisión.
- El análisis del espacio de características (PCA y energía de canal) reveló que ViCo3D aprende un subespacio de características más distribuido en comparación con los baselines, lo que respalda la hipótesis de que preserva información complementaria en lugar de forzar el alineamiento.

Significado y Reivindicaciones

El artículo afirma que ViCo3D cambia fundamentalmente el paradigma de la percepción colaborativa de buscar la consistencia de las características a explotar la complementariedad de las mismas. Al integrar los priors semánticos generales de los Modelos de Fundación Visual con la precisión geométrica de los backbones de LiDAR, el marco supera los problemas de heterogeneidad inherentes a los sistemas V2X. Los autores sostienen que este enfoque no solo establece un nuevo estado del arte para la detección 3D, sino que también proporciona un mecanismo más robusto para el intercambio de información entre agentes, entregando ganancias colaborativas significativamente mayores que los métodos de fusión intermedia existentes. El trabajo destaca que la "brecha de modalidad" entre imágenes y nubes de puntos puede cerrarse eficazmente mediante la proyección BEV estructurada y la fusión multiescala, en lugar de requerir modelos de fundación 3D completamente nuevos.