HeCoFuse: Cross-Modal Complementary V2X Cooperative Perception with Heterogeneous Sensors

HeCoFuse est un cadre unifié de perception coopérative V2X conçu pour gérer l'hétérogénéité des capteurs grâce à une fusion hiérarchique adaptative et une stratégie d'apprentissage coopératif, établissant ainsi l'état de l'art sur le jeu de données TUMTraf-V2X.

L'essentiel

🚗 HeCoFuse : Le Super-Héros de la Vision Routière

Imaginez que vous conduisez une voiture autonome. Normalement, elle a des yeux (caméras) et un radar (LiDAR) pour voir la route. Mais dans le monde réel, ce n'est pas toujours aussi parfait.

• Certaines voitures n'ont que des caméras (comme des humains).
• D'autres n'ont que des radars (comme des chauves-souris).
• Les panneaux de signalisation ou les feux tricolores (l'infrastructure) peuvent avoir des capteurs très avancés, ou parfois très basiques.

C'est là que le problème commence : comment faire travailler ensemble une voiture "aveugle" et un feu de signalisation "surdoué" pour éviter un accident ? C'est le défi que résout HeCoFuse.

1. Le Problème : Un Orchestre sans Chef

Dans les recherches précédentes, on supposait que toutes les voitures et tous les panneaux avaient exactement les mêmes capteurs. C'est comme si un chef d'orchestre demandait à tous les musiciens de jouer du violon. Mais en réalité, certains jouent de la flûte, d'autres de la batterie, et d'autres n'ont aucun instrument !

Si on essaie de mélanger ces sons bruts sans méthode, ça donne du bruit. C'est ce qui arrive quand on essaie de fusionner les données d'une caméra et d'un LiDAR qui ne sont pas calibrés de la même manière.

2. La Solution : HeCoFuse, le Traducteur Universel

Les auteurs ont créé HeCoFuse (Hétérogène Cooperative Fusion). C'est un système intelligent qui agit comme un chef d'orchestre génial capable de diriger n'importe quelle combinaison d'instruments.

Voici comment il fonctionne, avec deux astuces magiques :

• Le "Filtre Intelligent" (Attention Hiérarchique) :
  Imaginez que vous êtes dans une pièce sombre. Vos yeux (caméras) ne voient rien, mais votre ouïe (LiDAR) fonctionne parfaitement. HeCoFuse le sait. Il dit : "Ok, pour les distances, on fait confiance au LiDAR. Pour les couleurs et les panneaux, on fait confiance à la caméra."
  Il pondère (donne du poids) aux informations les plus fiables à chaque instant. Si la caméra est aveuglée par le soleil, le système réduit son volume et écoute le LiDAR.

• Le "Régulateur de Taille" (Résolution Adaptative) :
  Parfois, les données arrivent en "gros paquets" (très détaillés) et parfois en "petits paquets" (moins détaillés). HeCoFuse ajuste la taille de ces paquets pour qu'ils s'empilent parfaitement, sans gaspiller de temps de calcul. C'est comme si vous réduisiez la taille d'une photo pour qu'elle rentre dans une enveloppe, sans perdre les détails importants.

3. L'Entraînement : L'École de la Vie Réelle

Pour que ce système soit aussi fort, les chercheurs ne l'ont pas entraîné avec un seul type de voiture. Ils l'ont mis dans une "école de la vie" virtuelle où il a dû gérer 9 scénarios différents :

• Voiture avec LiDAR + Panneau avec Caméra.
• Voiture avec Caméra + Panneau avec LiDAR.
• Voiture avec les deux + Panneau avec rien... etc.

À chaque fois, le système apprendait à s'adapter. Résultat ? Il est devenu un expert pour travailler avec n'importe quel partenaire, même si ce partenaire est "handicapé" en termes de capteurs.

4. Les Résultats : Le Champion du Monde

Les chercheurs ont testé HeCoFuse sur un vrai dataset de Munich (TUMTraf-V2X).

• Le score : Il a obtenu la première place lors d'un grand concours (CVPR 2025 DriveX).
• La performance : Même quand la voiture n'avait qu'un seul capteur et le panneau un autre, le système restait très précis. Il a même battu les anciens systèmes de référence de plus de 1 %, ce qui est énorme dans ce domaine.

En Résumé

HeCoFuse, c'est comme avoir un traducteur universel et un chef d'orchestre pour les voitures autonomes. Peu importe si votre voiture est équipée d'un radar de luxe ou d'une simple caméra, et peu importe ce que le feu de signalisation a comme capteur, HeCoFuse sait comment mélanger leurs informations pour voir plus loin, mieux et plus sûrement.

C'est une étape cruciale pour rendre les routes autonomes réelles, car dans la vraie vie, tout le monde n'a pas le même équipement ! 🚦🚗🤖

Résumé technique

1. Problématique

Les systèmes de perception coopérative Véhicule-à-Tout (V2X) actuels reposent souvent sur l'hypothèse que tous les nœuds (véhicules et infrastructure) possèdent des configurations de capteurs identiques. Cependant, dans les déploiements réels, cette hypothèse est rarement vérifiée en raison des contraintes budgétaires, des mises à niveau matérielles progressives et de la diversité des équipements. Cela crée des scénarios hétérogènes où certains nœuds ne sont équipés que de LiDAR, d'autres uniquement de caméras, et d'autres encore des deux.

Cette hétérogénéité pose trois défis majeurs :

• Alignement des caractéristiques : La fusion est complexe car les données LiDAR (résolution spatiale, densité) et caméra (information sémantique, texture) diffèrent fondamentalement.
• Incohérence des modalités : L'absence d'un type de capteur sur certains nœuds rend les stratégies de fusion naïves sous-optimales.
• Robustesse : Le système doit garantir une performance dégradée de manière élégante (graceful degradation) en cas de défaillance partielle de capteurs ou d'interactions avec des nœuds aux capacités variables.

2. Méthodologie : HeCoFuse

Les auteurs proposent HeCoFuse, un cadre unifié conçu pour fonctionner sur neuf configurations de capteurs distinctes (combinaisons de LiDAR [L] et Caméra [C] pour le véhicule et l'infrastructure). L'architecture repose sur trois piliers techniques :

A. Extraction de caractéristiques et adaptation modulaire

Le système extrait des caractéristiques en vue aérienne (BEV - Bird's Eye View) via des encodeurs spécifiques à chaque modalité :

• LiDAR : Utilisation d'une voxelisation dynamique suivie d'une convolution 3D épars pour générer des représentations géométriques précises.
• Caméra : Transformation des images perspectives en espace BEV en estimant les distributions de profondeur et en projetant les caractéristiques.
• Fusion intra-nœud : Pour les nœuds multimodaux (L+C), une fusion par concaténation et convolution est appliquée.
• PseudoFusion : Pour les nœuds mono-capteur, des adaptateurs spécifiques (couches 1x1) normalisent les dimensions des caractéristiques pour assurer la compatibilité avec les autres nœuds, même en l'absence d'un capteur.

B. Fusion hiérarchique par attention (HAF - Hierarchical Attention Fusion)

C'est le cœur de l'approche pour gérer l'asymétrie des capteurs entre nœuds :

• Attention par canal : Un mécanisme pondère dynamiquement les canaux de caractéristiques en fonction de la fiabilité de la modalité (ex: privilégier le LiDAR pour la distance, la caméra pour l'apparence).
• Attention spatiale : Génère des cartes d'attention qui mettent en évidence les régions où chaque nœud fournit les informations les plus fiables (ex: accentuation du LiDAR pour les objets lointains, de la caméra pour les zones complexes visuellement).
• Cette double attention permet de fusionner les caractéristiques de manière fine, en s'adaptant à la configuration spécifique du moment.

C. Ajustement adaptatif de la résolution spatiale (ASR)

Pour équilibrer le coût computationnel et la fidélité de l'information :

• Échantillonnage descendant (Downsampling) : La résolution des cartes de caractéristiques est ajustée en fonction du type de capteur (ex: résolution plus faible pour les caméras seules, plus élevée pour le LiDAR seul).
• Échantillonnage ascendant (Upsampling) : Après fusion, la résolution est restaurée en priorisant les informations provenant du capteur le plus précis.
• Cela permet de réduire la charge computationnelle de 30 à 45 % dans les configurations hétérogènes sans sacrifier la précision.

D. Stratégie d'apprentissage coopératif

Au lieu d'entraîner des modèles séparés pour chaque configuration, HeCoFuse utilise un apprentissage unifié où le réseau est entraîné à échantillonner aléatoirement parmi les neuf configurations possibles. Cela force le modèle à apprendre des stratégies de fusion robustes et généralisables.

3. Contributions Clés

1. Premier cadre unifié : HeCoFuse est le premier framework conçu explicitement pour la perception coopérative V2X avec des configurations de capteurs hétérogènes arbitraires (combinaisons L et C).
2. Nouveaux mécanismes : Introduction de la Fusion Hiérarchique par Attention (HAF) pour l'intégration dynamique des modalités et de l'Ajustement Adaptatif de la Résolution (ASR) pour harmoniser les échelles de caractéristiques.
3. Performance robuste : Démonstration expérimentale que le modèle maintient une haute précision sur neuf configurations différentes, prouvant sa capacité à gérer l'asymétrie des capteurs.

4. Résultats Expérimentaux

Les évaluations ont été réalisées sur le jeu de données réel TUMTraf-V2X (intersection urbaine à Munich).

• Performance globale : HeCoFuse a remporté la première place du CVPR 2025 DriveX Challenge (TUMTraf-V2X).
• Configuration complète (LC+LC) : Atteint 43,22 % de mAP 3D, surpassant la baseline CoopDet3D de 1,17 %.
• Configuration Hétérogène (L+LC) : Atteint un score encore plus élevé de 43,38 % de mAP 3D, démontrant que l'ajout d'une caméra à l'infrastructure (déjà équipée de LiDAR) est plus bénéfique que d'ajouter une caméra au véhicule dans ce contexte.
• Robustesse : Le modèle maintient des performances comprises entre 21,74 % (C+C) et 43,38 % (L+LC) à travers toutes les configurations testées.
• Analyse qualitative : Les visualisations montrent une détection robuste la nuit et en cas d'occlusion, grâce à la capacité du mécanisme d'attention à privilégier le LiDAR lorsque les conditions lumineuses dégradent la caméra.

5. Signification et Impact

Ce travail est significatif car il comble le fossé entre les hypothèses de recherche idéalisées (capteurs homogènes) et la réalité des déploiements V2X (capteurs hétérogènes).

• Viabilité économique : Il permet de concevoir des systèmes coopératifs où les véhicules et l'infrastructure n'ont pas besoin d'être équipés de manière identique, réduisant ainsi les coûts de déploiement.
• Résilience : La capacité à fonctionner avec des capteurs partiels ou défaillants est cruciale pour la sécurité routière dans des environnements urbains complexes.
• État de l'art : En établissant un nouveau record sur le dataset TUMTraf-V2X, HeCoFuse pose les bases pour les futures recherches sur la fusion multimodale adaptative dans les systèmes de transport intelligents.

Le code est disponible publiquement, facilitant la reproduction et l'extension de ces travaux.