💻 computer science

ViCo3D: Empowering LiDAR-based Collaborative 3D Object Detection with Vision Foundation Models

ViCo3D est un nouveau cadre de détection d'objets 3D collaboratif qui comble le fossé de modalité entre le LiDAR et les modèles de fondation de vision en projetant les nuages de points dans des images BEV pour l'extraction de caractéristiques par DINOv2, améliorant ainsi considérablement la collaboration au niveau des caractéristiques et atteignant des performances de pointe dans les systèmes V2X.

Auteurs originaux : Haojie Ren, Songrui Luo, Lingfeng Wang, Yan Xia, Yao Li, Jing Li, Lu Zhang, Jiajun Deng, Yanyong Zhang

Publié 2026-07-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haojie Ren, Songrui Luo, Lingfeng Wang, Yan Xia, Yao Li, Jing Li, Lu Zhang, Jiajun Deng, Yanyong Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous conduisez une voiture autonome, mais au lieu de vous fier uniquement à vos propres yeux (votre capteur LiDAR), vous avez une équipe d'amis pour vous aider à voir la route. Certains amis sont dans d'autres voitures, et d'autres se tiennent aux coins des rues avec des caméras surpuissantes. C'est ce qu'on appelle la collaboration V2X (Vehicle-to-Everything). Le but est de partager ce que chacun voit afin de repérer un piéton caché ou une voiture furtive mieux que vous ne le pourriez seul.

Mais voici le problème : vos amis voient le monde différemment. La voiture située au coin de la rue voit les choses d'un angle élevé avec une vue dense et claire, tandis que votre voiture voit les choses d'un angle bas avec une vue plus éparse et « granuleuse ». Essayer de mélanger ces deux types d'images, c'est comme essayer de fusionner une photo haute définition avec un croquis rudimentaire. Généralement, l'ordinateur est confus et le travail d'équipe ne fonctionne pas aussi bien qu'il le devrait.

La Grande Idée : Emprunter un « Super-Cerveau » aux Images 2D
Les chercheurs derrière ce papier, ViCo3D, ont eu une idée folle. Ils ont remarqué que, bien que les données LiDAR (nuages de points 3D) soient désordonnées et difficiles à comprendre, les Modèles de Fondation de Vision (VFM) — spécifiquement un appelé DINOv2 — sont déjà super-intelligents pour comprendre les images 2D. Ces modèles ont été entraînés sur des millions de photos et savent très bien repérer les formes, les textures et les objets.

L'équipe s'est posé la question : Et si nous pouvions tromper DINOv2 pour qu'il regarde nos données LiDAR 3D comme s'il s'agissait d'une image 2D ?

Comment ils ont fait (Le Tour de Magie)

La Transformation : Ils ont pris les points 3D du LiDAR et les ont aplatis sur une carte plate (appelée Vue en Vue de Dessus ou Bird's-Eye-View / BEV). Ils ont peint cette carte avec trois « couleurs » (canaux) : un pour la hauteur, un pour la brillance de l'objet, et un pour la densité des points. Soudain, les points 3D désordonnés ressemblaient à une image normale.
Le Super-Cerveau : Ils ont injecté cette « image LiDAR » dans DINOv2. L'IA, qui est une experte en images 2D, a instantanément commencé à extraire des caractéristiques riches et intelligentes de la scène — par exemple, « cela ressemble à une voiture » ou « cette zone est vide ».
La Fusion : Mais attendez ! DINOv2 est excellent pour voir, mais il n'est pas très bon pour mesurer les distances exactes (localisation). Ainsi, les chercheurs n'ont pas simplement remplacé leur ancien système par DINOv2. Au lieu de cela, ils ont construit un moteur de fusion. Ils ont pris la « vision intelligente » de DINOv2 et l'ont mélangée avec la « mesure précise » de leur système LiDAR d'origine.
- D'abord, ils ont regardé la vue d'ensemble (contexte global) pour comprendre toute la scène.
- Ensuite, ils ont zoomé pour corriger les petits détails (raffinement local) afin de ne pas perdre la forme exacte des objets.

Ce contre quoi ils argumentent
Le papier argumente explicitement contre quelques idées communes :

Ne forcez pas tout le monde à regarder la même chose : Certaines méthodes précédentes tentaient de forcer la vue de la voiture et celle du coin de la rue à devenir identiques. Les auteurs disent : « Non ! » Les vues différentes ont des forces différentes. Vous voulez conserver ces différences car elles fournissent des informations complémentaires (l'une voit ce que l'autre manque).
Ne remplacez pas simplement le cerveau : On ne peut pas simplement jeter le capteur LiDAR et utiliser DINOv2 seul. Le papier montre qu'utiliser uniquement les caractéristiques du modèle de vision entraîne une chute massive de la performance (c'est comme essayer de conduire en utilisant uniquement une carte sans avoir de compteur de vitesse). Vous avez besoin des deux.
N'ignorez pas le « fossé de modalité » : On ne peut pas simplement coller une IA entraînée sur des images sur des données 3D sans un traducteur. Le papier prouve que sans leurs étapes spéciales de fusion, le modèle entraîné sur l'image échoue lamentablement sur les tâches 3D.

Les Résultats : À quel point est-ce meilleur ?
L'équipe a testé leur méthode sur deux jeux de données réels : DAIR-V2X (données du monde réel) et V2XSet (données simulées).

La Victoire : ViCo3D a battu toutes les autres méthodes testées. Sur le jeu de données DAIR-V2X, il a atteint un AP@0.5 de 82,80 et un AP@0.7 de 71,39. (AP signifie Précision Moyenne ; plus c'est élevé, mieux c'est).
Le Boost de Collaboration : C'est la partie la plus cool. Lorsque l'équipe a ajouté le travail d'équipe (collaboration), leur méthode s'est améliorée de 13,01 points de pourcentage par rapport à une seule voiture travaillant seule.
Comparaison : Les autres méthodes ne s'améliorent que d'environ 7 à 8 points. Les auteurs notent que leur méthode offre jusqu'à 1,8 fois (ou 1,89 fois dans le texte) plus de bénéfice du travail d'équipe que les méthodes précédentes.

À quel point en sont-ils sûrs ?
Les auteurs sont très confiants dans ces chiffres car ils ont mené des expériences approfondies sur des benchmarks standards et publics. Ils n'ont pas deviné ; ils ont mesuré.

Ils ont prouvé que leur méthode crée un espace de caractéristiques plus « riche ». Au lieu de s'appuyer sur quelques canaux dominants (comme une voix forte qui couvre les autres), leur méthode répartit l'information sur de nombreux canaux, permettant une compréhension plus détaillée et diversifiée.
Ils ont montré que, bien que leur méthode rende les caractures moins similaires entre la voiture et le coin de la rue (similitude cosinus plus faible), c'est en fait une bonne chose car cela préserve les détails uniques et utiles que chaque agent perçoit.

L'Essentiel
ViCo3D est une nouvelle façon de rendre les voitures autonomes plus performantes ensemble. En transformant les données LiDAR 3D en un format qu'un expert en images 2D (DINOv2) peut comprendre, et en mélangeant soigneusement cette « vision intelligente » avec des mesures 3D précises, ils ont créé un système qui repère les objets plus précisément et tire beaucoup plus profit du travail d'équipe que quiconque auparavant. Ce n'est pas une solution miracle pour tout (ils admettent qu'ils doivent encore travailler sur les délais de communication et l'ajout de caméras plus tard), mais pour l'instant, c'est un grand pas en avant pour permettre aux voitures de voir le monde en équipe.

Résumé Technique : ViCo3D

Énoncé du Problème

La perception collaborative V2X (Véhicule-à-Tout) basée sur le LiDAR repose généralement sur la fusion de caractéristiques en vue de dessus (Bird's-Eye-View ou BEV) extraites de multiples agents (véhicules et infrastructures). Cependant, les approches de pointe actuelles font face à deux limitations principales :

Hétérogénéité des Caractéristiques : Les backbones LiDAR existants sont souvent entraînés de zéro sur des jeux de données spécifiques à une tâche, ce qui produit des représentations BEV fortement dominées par la géométrie et dépourvues de priors sémantiques généraux. Cela entraîne des écarts significatifs dans les distributions de caractéristiques entre les agents en raison des différences de configurations de capteurs, de points de vue d'observation et de densités de données (ex: LiDAR d'infrastructure à haute densité vs LiDAR de véhicule à faible densité).
Écart de Modalité : Bien que les Modèles de Fondation Visuelle (VFM), tels que DINOv2, aient démontré une capacité supérieure à apprendre des représentations visuelles polyvalentes à partir de données d'images à grande échelle, l'adaptation directe de ces modèles à la détection 3D basée sur le LiDAR est non triviale. L'écart substantiel entre les modalités d'images 2D et les nuages de points 3D irréguliers, combiné au manque de sensibilité à la localisation des caractéristiques brutes des VFM, entraîne une dégradation sévère des performances si les VFM sont utilisés de manière isolée.

Les méthodes existantes tentant d'aligner les caractéristiques entre les agents privilégient souvent la cohérence des caractéristiques, risquant potentiellement de supprimer les informations complémentaires intrinsèques aux diverses observations. L'article soutient qu'une collaboration efficace doit préserver ces indices complémentaires pertinents pour la détection plutôt que de forcer un alignement strict des caractéristiques.

Méthodologie : ViCo3D

ViCo3D est un cadre de détection d'objets 3D collaboratif conçu pour combler l'écart de modalité entre l'image et le nuage de points en intégrant des Modèles de Fondation Visuelle (spécifiquement DINOv2) à la perception LiDAR. Le cadre opère à travers trois étapes clés :

1. Extraction de Caractéristiques à Double Branche

Pour exploiter les VFM sans abandonner la précision géométrique, ViCo3D utilise un encodeur à double branche pour chaque agent :

Branche Pillar : Utilise un encodeur basé sur PointPillars standard pour extraire des caractéristiques BEV LiDAR denses ( $F_P$ ) directement à partir de nuages de points voxelisés, préservant les structures géométriques locales essentielles à la détection 3D.
Branche DINOv2 : Projette les nuages de points LiDAR bruts sur le plan BEV pour générer des "images BEV" à trois canaux. Ces canaux encodent : (1) la hauteur normalisée maximale, (2) l'intensité de la réflectance normalisée, et (3) la densité de points (échelle logarithmique). Ces images structurées sont injectées dans un backbone DINOv2 pré-entraîné pour extraire des caractéristiques visuelles dans l'espace BEV riches en priors sémantiques ( $F_D$ ).

2. Alignement de Caractéristiques et Fusion Multi-Échelle

Pour intégrer efficacement les caractéristiques géométriques ( $F_P$ ) et les caractéristiques sémantiques ( $F_D$ ), le cadre introduit un module de fusion multi-échelle :

Alignement de Caractéristiques : Des couches de projection apprenables mappent les caractéristiques des deux branches dans un espace de caractéristiques partagé afin d'atténuer les désaccords de représentation.
Fusion Globale à Basse Résolution (LRG) : Pour éviter les coûts de mémoire prohibitifs associés à l'attention dense sur des cartes BEV à haute résolution, les caractéristiques sont sous-échantillonnées (4 $\times$ ). Un mécanisme d'attention croisée dominant le processus PointPillars est appliqué, où les caractéristiques Pillar servent de requêtes (queries) et les caractéristiques DINOv2 servent de clés/valeurs (keys/values). Cela capture efficacement les interactions contextuelles globales.
Fusion de Raffinement à Haute Résolution (HRR) : Pour récupérer les détails locaux fins perdus lors du sous-échantillonnage, une étape de raffinement à haute résolution opère sur la résolution originale. Elle modélise explicitement les relations locales en utilisant des termes de différence ( $|F'_P - F'_D|$ ) et de produit élément par élément ( $F'_P \odot F'_D$ ) pour mettre en évidence les écarts et les régions d'activation complémentaires. Une porte dynamique spatiale équilibre de manière adaptative les caractéristiques fusionnées avec le flux résiduel Pillar original.

3. Fusion Collaborative Égo-centrique

Communication Active : Inspiré par Where2comm, le cadre emploie un mécanisme de communication active où les agents ne transmettent que les régions spatialement critiques (basées sur une carte de confiance) plutôt que des cartes de caractéristiques denses complètes, réduisant ainsi la bande passante.
Agrégation Égo-centrique : Lors de la réception des caractéristiques des agents voisins, le véhicule égo applique une transformation de ces caractéristiques vers son propre système de coordonnées. Un mécanisme de porte ajuste de manière adaptative la contribution des caractéristiques voisines par rapport à la caractéristique égo, effectuant une mise à jour résiduelle pour incorporer les informations complémentaires tout en maintenant la représentation égo-centrique comme ancrage principal.

Contributions Clés

Perception LiDAR Améliorée par VFM : ViCo3D est le premier travail explorant l'adaptation des Modèles de Fondation Visuelle (DINOv2) pour améliorer les représentations BEV LiDAR par agent pour la perception collaborative, comblant avec succès l'écart de modalité image-nuage de points.
Architecture de Fusion Multi-Échelle : L'article propose une nouvelle stratégie de fusion combinant la Fusion Globale à Basse Résolution (pour une modélisation contextuelle efficace) et le Raffinement à Haute Résolution (pour préserver les détails locaux), permettant l'intégration efficace des priors sémantiques avec les caractéristiques géométriques.
Complémentarité plutôt que Cohérence : Contrairement aux méthodes précédentes qui se concentrent sur la distillation de caractéristiques pour imposer la cohérence, ViCo3D démontre que la préservation de représentations de caractéristiques diverses et complémentaires conduit à des gains collaboratifs supérieurs. L'analyse empirique montre que ViCo3D atteint une similitude de caractéristiques inter-vues plus faible que les bases de référence tout en délivrant des performances de détection plus élevées.

Résultats Expérimentaux

Le cadre a été évalué sur deux benchmarks : le jeu de données réel DAIR-V2X et le jeu de données simulé V2XSet.

Performance de Pointe (SOTA) : ViCo3D a obtenu les meilleures performances parmi les méthodes de détection basées sur le BEV.
- Sur DAIR-V2X, il a atteint 82,80 AP@0.5 et 71,39 AP@0.7.
- Sur V2XSet, il a atteint 97,20 AP@0.5 et 93,23 AP@0.7.
Gains Collaboratifs : ViCo3D a démontré le plus grand gain par rapport aux bases de référence à agent unique. Sur DAIR-V2X à IoU=0.5, il a amélioré la base de référence de 13,01 points de pourcentage, ce qui représente environ 1,89 $\times$ le gain de INSTINCT et 1,60 $\times$ le gain de DI-V2X.
Études d'Ablation :
- L'utilisation des seules caractéristiques DINOv2 entraînait de mauvaises performances (AP@0.5 $\approx$ 14,49), confirmant la nécessité de la fusion à double branche.
- La combinaison des modules LRG et HRR s'est révélée critique, LRG améliorant le rappel (recall) et HRR restaurant la précision.
- L'analyse de l'espace des caractéristiques (PCA et énergie des canaux) a révélé que ViCo3D apprend un sous-espace de caractéristiques plus distribué par rapport aux bases de référence, soutenant l'hypothèse qu'il préserve les informations complémentaires plutôt que de forcer l'alignement.

Signification et Revendications

L'article affirme que ViCo3D change fondamentalement le paradigme de la perception collaborative, passant de la recherche de la cohérence des caractéristiques à l'exploitation de leur complémentarité. En intégrant les priors sémantiques généraux des Modèles de Fondation Visuelle à la précision géométrique des backbones LiDAR, le cadre surmonte les problèmes d'hétérogénéité inhérents aux systèmes V2X. Les auteurs soutiennent que cette approche non seulement établit un nouveau niveau de performance pour la détection 3D, mais fournit également un mécanisme plus robuste de partage d'informations entre agents, offrant des gains collaboratifs nettement plus élevés que les méthodes existantes de fusion intermédiaire. Le travail souligne que l'« écart de modalité » entre les images et les nuages de points peut être efficacement comblé par une projection BEV structurée et une fusion multi-échelle, plutôt que par la création de modèles de fondation 3D entièrement nouveaux.