💻 computer science

Selection, Not Fusion: Radar-Modulated State Space Models for Radar-Camera Depth Estimation

L'article propose SemoDepth, un cadre novateur d'estimation de profondeur par radar et caméra qui introduit la sélection modulée par radar (RMS) pour injecter directement les signaux radar clairsemés dans le mécanisme de sélection interne du modèle Mamba plutôt que de fusionner les caractéristiques de manière externe, permettant ainsi d'atteindre une précision de pointe et une faible latence sur l'ensemble de données nuScenes.

Auteurs originaux : Zhangcheng Hou, Tomoaki Ohtsuki

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhangcheng Hou, Tomoaki Ohtsuki

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire une carte 3D du monde autour d'une voiture en utilisant deux outils différents : un appareil photo et un radar.

L'appareil photo est comme un peintre haute définition. Il voit tout dans un magnifique détail, capturant chaque feuille, chaque panneau et chaque voiture. Cependant, il présente deux gros défauts : il ne sait pas exactement à quelle distance se trouvent les objets (il est « à l'échelle »), et il devient aveugle sous la pluie, dans le brouillard ou la nuit.
Le radar est comme un sonar aveugle. Il ne voit pas les détails ; il ne voit que quelques points dispersés (retours) représentant des objets. Mais il connaît la distance exacte de ces points, et il fonctionne parfaitement sous la pluie, dans le brouillard et dans l'obscurité.

L'objectif de cet article est de combiner ces deux éléments pour créer une carte 3D parfaite et tout-temps.

L'ancienne méthode : « Coller » les outils ensemble

Les méthodes précédentes tentaient de résoudre ce problème en prenant la « peinture » de l'appareil photo et les « points » du radar, puis en les collant ensemble à la fin. Imaginez prendre un croquis détaillé et quelques post-it avec des distances, et essayer de coller les notes sur le croquis. L'article soutient que cela est inefficace. La « colle » (la fusion) intervient après que le cerveau a déjà essayé de comprendre l'image par lui-même.

La nouvelle idée : « Le chef d'orchestre »

Les auteurs proposent une nouvelle méthode appelée SemoDepth. Au lieu de coller les outils ensemble à la fin, ils laissent le radar agir comme un chef d'orchestre pour le cerveau de l'appareil photo pendant qu'il réfléchit.

Ils utilisent un nouveau type de cerveau d'IA appelé Mamba (un modèle d'espace d'états sélectif). Imaginez le Mamba comme une personne lisant une longue histoire (l'image) mot par mot. Au fur et à mesure qu'elle lit, elle décide :

Combien se souvenir du mot précédent (la « taille de l'étape »).
Ce qu'il faut dire à voix haute en fonction de ce dont elle se souvient (la « lecture »).

Dans les anciennes méthodes de « collage », le radar chuchotait simplement un fait à la personne après qu'elle eut fini de lire une phrase.

Dans cette nouvelle méthode, la Sélection modulée par le radar (RMS), le radar agit comme un chef d'orchestre qui tape l'épaule de la personne pendant qu'elle lit.

Si le radar voit une voiture à 50 mètres, il tape le chef d'orchestre pour dire : « Hé, souviens-toi de cette partie de l'histoire plus longtemps ! » (ajustant la taille de l'étape).
Il dit aussi : « Quand tu parles, assure-toi de mentionner cette distance ! » (ajustant la lecture).

Crucialement, le radar ne réécrit pas l'histoire (les caractéristiques de l'image) ; il change simplement la façon dont l'histoire est traitée et mémorisée.

La stratégie « Pyramide intelligente »

Les auteurs ont réalisé que l'utilisation de cette technique de « chef d'orchestre » partout était trop coûteuse (comme avoir un chef d'orchestre pour chaque mot d'un livre). Alors, ils ont construit une Pyramide de balayage multi-vues (MVSP) :

Au sommet (vue grossière) : Le radar est très dispersé, mais sa « portée » est immense. Le chef d'orchestre guide l'ensemble de la scène d'un coup.
Au milieu : Les points du radar sont plus spécifiques. Le chef d'orchestre ne guide que les zones spécifiques où les points du radar sont présents.
À la base (détail fin) : Le radar est trop dispersé pour guider chaque pixel minuscule. Ici, ils utilisent une méthode plus simple et moins coûteuse pour simplement pousser les détails finaux.

Cela garantit que le « chef d'orchestre » n'est utilisé que là où cela compte le plus, économisant temps et énergie.

Les résultats : Plus rapide et plus intelligent

L'article affirme que leur méthode, SemoDepth, est le nouveau champion :

Précision : Elle crée des cartes 3D beaucoup plus précises que les méthodes précédentes, en particulier dans la plage délicate de 0 à 80 mètres. Elle a réduit les erreurs d'environ 30 % par rapport à la meilleure méthode précédente.
Vitesse : C'est la méthode la plus rapide disponible, traitant une image en seulement 26,8 millisecondes (plus rapide qu'un clignement d'œil humain).
Le moment « Aha ! » : Ils ont prouvé que dès que vous laissez le radar diriger le cerveau pendant la lecture (sélection in-scan), vous n'avez pas besoin de coller les données ensemble après (fusion out-of-scan). Ajouter l'ancienne méthode de « colle » par-dessus leur nouvelle méthode de chef d'orchestre a en fait apporté zéro amélioration.

Résumé

Au lieu d'essayer de fusionner deux types de données différents à la fin du processus, cet article enseigne à l'IA de laisser le radar diriger l'attention de l'appareil photo pendant qu'il traite l'image. C'est comme avoir un observateur aveugle guidant la main du peintre en temps réel, plutôt que d'essayer de corriger la peinture une fois terminée. Cela rend le système plus rapide, plus précis et mieux adapté aux intempéries.

Résumé Technique : Sélection, non Fusion : Modèles d'Espace d'État Modulés par Radar pour l'Estimation de Profondeur Radar-Caméra

Énoncé du Problème
L'estimation métrique de la profondeur dense, pixel par pixel, est cruciale pour la conduite autonome et la robotique, pourtant les caméras monoculaires souffrent d'une ambiguïté d'échelle et d'une dégradation par temps défavorable (pluie, brouillard, faible luminosité). Bien que le LiDAR fournisse une profondeur métrique précise, son coût et ses besoins énergétiques le limitent aux systèmes haut de gamme. Le radar automobile millimétrique offre une alternative métrique peu coûteuse et tout-temps, mais il est sévèrement limité par sa sparsité (40 à 100 retours par trame dans le champ de vision de la caméra avant) et par des ambiguïtés angulaires et de hauteur.

Les méthodes existantes d'estimation de profondeur radar-caméra traitent généralement ce problème en fusionnant les caractéristiques radar et image au niveau des caractéristiques (par exemple, concaténation, gating, extraction basée sur des graphes) en dehors de l'opérateur de séquence du backbone. Même les variantes récentes multi-modales des Modèles d'Espace d'État Sélectifs (SSM) comme Mamba empilent souvent des flux spécifiques à chaque modalité avant un balayage partagé, laissant le mécanisme de sélection lui-même unimodal. Les auteurs soutiennent que cette approche de « fusion hors-balayage » échoue à exploiter les capacités uniques des SSM, où le mécanisme de sélection régit la propagation des informations à longue portée.

Méthodologie : SemoDepth
L'article propose SemoDepth, un estimateur de profondeur radar-caméra en une seule étape qui intègre les données radar directement dans le mécanisme de balayage sélectif du backbone Mamba, plutôt que de les fusionner comme un flux de caractéristiques séparé.

Sélection Modulée par Radar (RMS) :
L'innovation centrale consiste à injecter les signaux radar dans les paramètres de balayage sélectif du bloc Mamba. Dans un bloc Mamba standard, la récurrence est régie par une taille de pas dépendante de l'entrée $\Delta_t$ (horizon de mémoire) et un vecteur de lecture $C_t$ .
- Mécanisme : Le radar contribue par des perturbations additives, initialisées à zéro, à $\Delta_t$ et $C_t$ . La projection d'entrée $B_t$ et la matrice de dynamique d'état $A$ restent dédiées uniquement à l'image.
- Modulation de l'Horizon : Le radar module $\Delta_t$ via une porte apprise, permettant au radar d'ajuster localement la distance de propagation des informations le long de la séquence.
- Modulation de la Lecture : Le radar ajoute un terme à $C_t$ , remodelant ce qui est extrait de l'état caché sans altérer la récurrence stockée.
- Initialisation : Toutes les projections radar sont initialisées à zéro. À l'initialisation ( $t=0$ ), le bloc est mathématiquement équivalent à un Mamba pur, uniquement image. Cela garantit que le modèle préserve les performances pré-entraînées sur l'image seule et permet aux gradients radar de ne circuler que là où ils améliorent la précision.
Pyramide de Balayage Multi-Vue (MVSP) :
Pour répondre à l'efficacité computationnelle et à la portée spatiale variable du radar à différentes échelles, le décodeur emploie une stratégie de fusion à trois niveaux :
- Échelles les plus Grossières (Niveau 3) : RMS image complète, quatre directions. Cela approxime un champ récepteur 2D à un coût linéaire, agrégeant le contexte à l'échelle de la scène.
- Échelle Moyenne (Niveau 2) : RMS en fenêtre centrée sur les retours radar projetés. La capacité de balayage est concentrée uniquement là où le radar soutient l'image.
- Échelles les plus Fines (Niveau 1) : Modulation Linéaire Caractéristique (FiLM) à coût constant. Cela maintient un signal radar actif à pleine résolution sans le coût quadratique du balayage.
Objectif d'Entraînement :
Le modèle est entraîné avec une perte composite équilibrant une supervision dense robuste (LiDAR accumulé) et une supervision sparse précise (LiDAR à balayage unique), incluant des pertes dans l'espace logarithmique, linéaire et de gradient.

Contributions Clés

Sélection In-Balayage : L'article introduit un mécanisme principiel (RMS) où le radar module la dynamique de récurrence ( $\Delta$ et $C$ ) d'un SSM. Cela change fondamentalement la manière dont les informations sont stockées et propagées, plutôt que simplement la façon dont les caractéristiques sont combinées.
Trois Avantages Théoriques :
1. Couplage à coût linéaire : Le radar façonne la récurrence à chaque token avec un coût $O(L)$ , évitant le coût $O(L^2)$ de l'attention croisée.
2. Initialisation préservant la perte : L'initialisation à zéro garantit que le modèle démarre comme un backbone image pur, préservant les poids pré-entraînés.
3. Recul image seule : En l'absence de radar, le modèle se dégrade naturellement vers un comportement image seule sans reconfiguration architecturale.
Architecture MVSP : Un décodeur qui adapte l'opérateur de fusion à la portée spatiale effective du radar à chaque résolution, concentrant le calcul là où il est le plus efficace.

Résultats
Évalué sur les ensembles de données nuScenes et ZJU-4DRadarCam, SemoDepth atteint des performances de l'état de l'art :

nuScenes : SemoDepth réduit l'Erreur Absolue Moyenne (MAE) de 34,0 % (0–50m), 29,9 % (0–70m) et 29,9 % (0–80m) par rapport au meilleur précédent (TacoDepth). Il atteint également la latence d'inférence sur une seule trame la plus faible (26,8 ms) parmi les méthodes avec des versions publiques.
ZJU-4DRadarCam : SemoDepth obtient la meilleure MAE à toutes les plages d'évaluation.
Résultats d'Ablation :
- Remplacer les balayages basés sur Mamba de la MVSP par une modulation FiLM uniforme dégrade la MAE@80 de 18 %, confirmant la nécessité architecturale des niveaux de balayage.
- Ajouter un mélange de caractéristiques « hors-balayage » (fusion pré-balayage) par-dessus le RMS n'apporte aucune précision supplémentaire, validant empiriquement que la sélection in-balayage peut remplacer la fusion traditionnelle hors-balayage.
- L'écart de performance est le plus prononcé dans des conditions diurnes où les preuves de l'image sont fortes ; dans des conditions nocturnes (adversaires pour la caméra), l'écart se réduit et la fusion basée sur l'attention reste compétitive à courte portée.

Signification et Revendications
L'article revendique que pour les modèles de séquence avec récurrence dépendante de l'entrée, le mécanisme de sélection lui-même sert de substrat supérieur pour l'interaction multi-modale par rapport à la fusion au niveau des caractéristiques. En modulant directement la dynamique de récurrence, le modèle exploite l'« ancre métrique » des retours radar épars pour propager les informations à travers toute la séquence, et non seulement dans le voisinage local.

Les auteurs positionnent ce travail comme un changement conceptuel : l'apprentissage multi-modale devrait être reconsidéré du point de vue de la sélection plutôt que de la représentation. Ils suggèrent que cette recette s'étend à d'autres paires de modalités éparses-plus-denses (par exemple, LiDAR-caméra, radar-thermique) et à des tâches au-delà de l'estimation de profondeur.

Limitations
Les auteurs reconnaissent plusieurs limitations :

Portée des Modalités : La méthode est validée uniquement sur caméra avant + radar automobile ; le transfert vers d'autres modalités est hypothétisé mais non validé empiriquement.
Sparsité du Radar : La marge de performance rétrécit sur l'ensemble de données plus dense ZJU-4DRadarCam par rapport à nuScenes, suggérant que l'avantage de la méthode est le plus prononcé lorsque le radar est extrêmement épars.
Sensibilité au Bruit : Bien que l'initialisation à zéro offre une protection, l'article n'a pas soumis le modèle à des tests de stress contre des ancres radar systématiquement incorrectes (bruit) qui pourraient se propager à travers le balayage.
Biais des Données : Les ensembles de données utilisés sont géographiquement restreints (Boston, Singapour, campus ZJU), limitant les affirmations sur la robustesse dans des environnements sous-représentés.