ToFormer: Towards Large-scale Scenario Depth Completion for Lightweight ToF Camera

Ce papier présente ToFormer, un cadre complet incluant le premier jeu de données LASER-ToF et un réseau de complétion de profondeur léger et adaptatif, conçu pour étendre la portée des caméras ToF à courte distance vers des scénarios à grande échelle grâce à une fusion multimodale avancée et une validation sur un drone réel.

L'essentiel

🚁 Le Problème : La Caméra "Myope"

Imaginez que vous équipez un petit drone avec une caméra spéciale appelée ToF (Temps de Vol). C'est comme un super-sonar visuel : il est petit, précis, consomme peu d'énergie et fonctionne même dans le noir. C'est parfait pour les robots.

Mais il y a un gros hic : cette caméra est myope. Elle ne voit clairement que jusqu'à 3 ou 6 mètres. Au-delà, l'image devient un trou noir ou un brouillard.

• La conséquence ? Si votre drone essaie de voler dans un grand entrepôt ou un champ, il risque de se cogner contre un mur qu'il ne voit pas arriver, car sa "vision" s'arrête trop tôt.

🧩 La Solution : Le "Super-Visionnaire" (ToFormer)

Les chercheurs ont créé une solution en deux temps pour transformer cette caméra myope en un œil capable de voir loin, sans avoir besoin d'ajouter de gros capteurs lourds.

1. L'Entraînement : Créer une Carte au Trésor (Le Dataset LASER-ToF)

Pour apprendre à un robot à "deviner" ce qu'il ne voit pas, il faut lui montrer des exemples. Le problème, c'est qu'il n'existait pas de livre de recettes pour apprendre aux robots à compléter les images de ces caméras myopes dans de grands espaces.

• L'analogie : Imaginez que vous voulez apprendre à un élève à dessiner un paysage complet, mais vous ne lui montrez que les arbres proches. Il ne saura jamais dessiner les montagnes au loin.
• Ce qu'ils ont fait : L'équipe a construit un drone équipé de plusieurs capteurs (caméras, lasers, gyroscopes). Ils ont volé dans de grands endroits et ont utilisé un système de reconstruction 3D pour créer une "vraie" image complète (le sol, les murs, les objets lointains).
• Le résultat : Ils ont créé le premier grand manuel d'apprentissage (LASER-ToF) qui montre au robot : "Voici ce que ta caméra myope voit (un petit bout), et voici à quoi ressemble la réalité complète (le grand paysage)."

2. Le Cerveau : Le Détective Intuitif (Le Réseau ToFormer)

Une fois le manuel créé, ils ont conçu un nouveau cerveau pour le drone, appelé ToFormer.

• L'analogie : Imaginez un détective qui reçoit une photo floue et incomplète d'une scène de crime. Au lieu de paniquer, il utilise deux techniques :
  1. L'Intuition (Attention) : Il regarde les détails proches (les textures du sol, la couleur des murs) pour deviner comment le reste de la pièce est organisé.
  2. La Mémoire des Formes (3D) : Il ne regarde pas juste une image plate, il reconstruit mentalement les formes en 3D. S'il voit un coin de table, il sait que la table continue derrière, même si la caméra ne le voit pas.
• La magie : Ce cerveau est capable de combiner l'image de la caméra myope avec des indices venant d'autres sources (comme la position du drone dans l'espace) pour "peindre" les zones manquantes. Il comble les trous de l'image avec une précision incroyable.

🚀 Le Résultat : Un Drone qui Voit l'Invisible

Pour prouver que ça marche, ils ont installé ce système sur un vrai petit drone (un quadricoptère) et l'ont envoyé dans des environnements difficiles.

• Le test du couloir : Sans le système, le drone ne voyait que le mur juste devant lui et devait ralentir ou s'arrêter. Avec le système, il "voyait" le mur à 15 mètres de distance et pouvait ajuster sa trajectoire en avance.
• Le test du cul-de-sac : Dans un couloir sans issue, le drone classique s'est retrouvé piégé car il n'a vu le mur de fond qu'au dernier moment. Le drone avec ToFormer a détecté le cul-de-sac à distance, a fait demi-tour intelligemment et a trouvé un chemin sûr.
• Efficacité : Le drone a consommé moins d'énergie, a voyagé plus vite et a évité des accidents, le tout en utilisant un ordinateur de bord très léger (comme ceux qu'on trouve dans les smartphones haut de gamme).

💡 En Résumé

Ce papier nous dit essentiellement : "On ne peut pas changer la physique des caméras bon marché, mais on peut changer la façon dont elles pensent."

Grâce à une nouvelle méthode d'apprentissage et un algorithme intelligent, ils ont réussi à transformer une caméra de 3 mètres de portée en un outil capable de cartographier et de naviguer dans des espaces immenses, ouvrant la voie à des robots plus sûrs et plus autonomes dans nos usines, entrepôts et extérieurs.

Résumé technique

1. Problématique et Contexte

Les caméras Time-of-Flight (ToF) sont de plus en plus utilisées en robotique en raison de leur compacité, de leur faible consommation énergétique et de leur précision de mesure. Cependant, elles souffrent d'une portée de détection limitée (généralement 3 à 6 mètres), ce qui restreint leur utilisation aux petits environnements intérieurs. Dans des scénarios à grande échelle (entrepôts, usines, extérieurs), cette limitation crée de vastes zones de données manquantes dans les cartes de profondeur.

Bien que la complétion de profondeur (Depth Completion) soit une solution potentielle pour étendre la portée, les approches existantes échouent dans ce contexte pour deux raisons principales :

1. Absence de données réelles : Les jeux de données actuels (comme NYU-Depth V2 ou KITTI) utilisent soit des capteurs à courte portée, soit des échantillonnages synthétiques uniformes qui ne reflètent pas la distribution non uniforme et les grandes zones manquantes caractéristiques des caméras ToF réelles.
2. Limites des modèles : Les réseaux de neurones actuels sont souvent conçus pour des entrées de profondeur uniformes et ne parviennent pas à généraliser aux motifs de sparsité complexes et aux grandes lacunes des données ToF réelles.

2. Méthodologie Proposée

Les auteurs proposent un cadre complet (ToFormer) composé de trois piliers : la création d'un nouveau jeu de données, une architecture de réseau neuronale innovante, et une validation sur un robot réel.

A. Le Jeu de Données LASER-ToF

Pour pallier le manque de données, l'équipe a construit une plateforme multi-capteurs (LiDAR, Caméra RGB, ToF, IMU) et développé une méthode de collecte basée sur la reconstruction 3D plutôt que sur l'accumulation statique.

• Approche : Utilisation d'un système SLAM LiDAR-Visuel-Inertiel (LVI-SLAM) pour reconstruire l'environnement et projeter un nuage de points dense sur les images RGB, générant ainsi un "Ground Truth" dense et précis pour chaque image.
• Spécificités : Ce jeu de données (LASER-ToF) contient 20 996 images dans des scènes intérieures et extérieures à grande échelle (jusqu'à 26,3 m de profondeur moyenne). Il offre une densité de retour moyenne de 94,6 %, bien supérieure aux méthodes d'accumulation traditionnelles.
• Entrées : Il propose deux types d'entrées pour la complétion : ToF seul (ToF-Only) et ToF combiné aux points de la SLAM visuelle (ToF&Visual).

B. Architecture du Réseau : ToFormer

Le réseau est conçu pour être léger mais efficace, capable de gérer la sparsité non uniforme et les grandes zones manquantes. Il intègre trois modules clés :

1. Encodeur Hybride (2D RGB-D) :

   • Utilise une combinaison de convolutions dilatées sérielles (SDC) et d'un mécanisme d'attention à covariance croisée (XCA) pour capturer les relations à longue portée avec une complexité linéaire.
   • Intègre un module MXCA (Multimodal Cross-Covariance Attention) dès le premier étage pour fusionner efficacement les caractéristiques 2D (image) et 3D (nuage de points), comblant le fossé de représentation entre les modalités.

2. Branche 3D et JPP (Joint Propagation Pooling) :

   • Une branche dédiée traite le nuage de points 3D issu de la rétro-projection de l'image RGB-D.
   • Elle utilise des convolutions par arêtes (EdgeConv) pour agréger les relations géométriques non locales.
   • Le module JPP permet une interaction dense-à-dense entre les caractéristiques 3D et 2D, contrairement aux méthodes précédentes qui effectuaient une fusion éparses-à-dense inefficace.

3. Décodeur et Raffinement (SPN) :

   • Un décodeur top-down reconstruit la carte de profondeur à plusieurs échelles.
   • Un module SPN (Spatial Propagation Network) affine les détails locaux et propage la confiance pour éliminer les erreurs de profondeur (outliers).

Le réseau peut également intégrer des nuages de points issus de la SLAM visuelle comme entrée supplémentaire pour améliorer la robustesse dans les zones où le ToF est aveugle.

3. Contributions Clés

1. LASER-ToF : Le premier jeu de données et benchmark réel pour la complétion de profondeur ToF à grande échelle, basé sur une méthode de reconstruction dynamique offrant une densité de données élevée.
2. ToFormer (Réseau) : Une architecture "sensor-aware" qui modélise explicitement les motifs de sparsité non uniforme du ToF via une fusion 3D-2D avancée (JPP et MXCA) et une attention à longue portée.
3. Validation Robotique : Déploiement temps réel sur un drone quadricoptère (40 Hz de traitement, 10 Hz d'inférence), démontrant l'efficacité du système pour la cartographie dense et la planification de trajectoire à longue portée.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark LASER-ToF et comparées aux méthodes supervisées (NLSPN, PENet, CFormer, etc.) et généralisables (OMNI-DC, Marigold-DC).

• Précision : ToFormer surpasse la deuxième meilleure méthode de 8,6 % en erreur absolue moyenne (MAE) et de 5,7 % en RMSE (avec ToF seul).
• Efficacité : Le modèle est extrêmement léger (7,61 M de paramètres) et rapide. Il réduit le nombre de paramètres et le temps d'exécution de 85,9 % et 73,8 % par rapport à la moyenne des baselines, tout en offrant la meilleure précision.
• Robustesse : Le modèle maintient une faible erreur même à grande distance (au-delà de 15 m) et gère bien les zones sans texture ou les réflexions, là où les méthodes généralisables échouent.
• Expériences Robotiques :
  • Cartographie : Permet de reconstruire des structures jusqu'à 15 m de distance (contre 3 m pour le ToF brut), éliminant les trous dans la carte.
  • Planification : Sur un drone, l'utilisation de la complétion de profondeur a permis de réduire le coût énergétique de 29,0 % et le temps de trajet de 16,2 % dans des environnements complexes. Dans un scénario de cul-de-sac, le drone a évité un échec de planification en détectant l'obstacle à distance.

5. Signification et Impact

Ce travail est significatif car il comble le fossé entre la théorie de la complétion de profondeur et l'application robotique réelle sur des capteurs légers.

• Démocratisation du ToF longue portée : Il permet d'utiliser des caméras ToF bon marché et légères pour des tâches robotiques à grande échelle (entrepôts, extérieur) sans avoir besoin de LiDARs coûteux et lourds.
• Outil pour la communauté : Les auteurs prévoient de rendre publics le matériel, les logiciels, les modèles entraînés et le jeu de données, permettant aux praticiens d'adapter cette solution à leurs propres capteurs.
• Approche pratique : En intégrant la SLAM visuelle comme complément optionnel, le système offre une solution robuste aux défaillances potentielles de la SLAM, rendant le déploiement sur robots réels plus fiable.

En résumé, ToFormer transforme les caméras ToF à courte portée en capteurs de profondeur fiables pour la robotique mobile à grande échelle, grâce à une synergie innovante entre un nouveau jeu de données réaliste et une architecture de réseau profond optimisée pour les contraintes matérielles.