Geometry Beats Estimated Depth: RGB-Only Multi-Camera 3D Tracking under Sim2Real

Imaginez que vous essayiez de construire un film en 3D d'un entrepôt très fréquenté en utilisant uniquement des images 2D plates prises par des caméras de surveillance. C'est le monde de la perception 3D multi-caméras, un domaine où les ordinateurs tentent de comprendre le monde réel et tridimensionnel en regardant simplement des images plates. Habituellement, pour faire cela parfaitement, les robots utilisent des capteurs spéciaux qui mesurent la distance directement, comme une chauve-souris utilisant le sonar ou un humain utilisant ses deux yeux pour juger de la profondeur. Mais dans ce défi spécifique, les robots sont « aveugles » à la distance ; ils ne possèdent que des caméras RGB standards (celles de votre téléphone) et un ensemble de règles concernant la position des caméras. La grande question que les scientifiques se posent est la suivante : Si vous ne pouvez pas mesurer la distance directement, quelle est la meilleure façon de la deviner ? Devriez-vous essayer d'utiliser une IA super intelligente pour deviner la profondeur de chaque pixel de l'image (comme un voyant devinant la distance d'un arbre), ou devriez-vous vous appuyer sur une géométrie simple et rigide — en utilisant les angles connus des caméras pour trianguler la position des objets sur le sol ?

Cet article, écrit par une équipe de l'LSU New Orleans et de PinPark pour l'AI City Challenge 2026, plonge directement dans ce débat. Ils ont mis en place un « bras de fer » entre deux stratégies très différentes pour suivre les personnes et les robots dans un entrepôt. Une équipe (les auteurs) a parié sur la géométrie : utiliser la carte connue du sol et les angles des caméras pour élever des formes 2D dans l'espace 3D. L'autre stratégie, qu'ils ont testée comme référence, a parié sur l'estimation de la profondeur : utiliser une IA sophistiquée pour deviner la distance de chaque pixel, transformant les images plates en un nuage de points 3D (comme une carte numérique de points), puis exécuter un détecteur 3D sur celui-ci. Les résultats ont été choquants et clairs. L'équipe de la géométrie a gagné par un raz-de-marée, tandis que l'équipe du « devin la profondeur » s'est complètement effondrée. L'article suggère que dans ce contexte spécifique de « Sim2Real » (où le robot est entraîné sur des données fictives mais testé sur des données réelles), avoir une compréhension partagée et cohérente du sol à travers toutes les caméras est bien plus important que d'avoir une estimation parfaite, pixel par pixel, de la profondeur d'un objet.

Le grand casse de l'entrepôt : Deux façons de voir en 3D

L'histoire commence dans un entrepôt simulé géant qui est sur le point de devenir très réel. Le défi consiste à suivre des objets en mouvement — comme des chariots élévateurs, des transpalettes et même des humanoïdes — en utilisant uniquement des flux vidéo provenant de plusieurs caméras. Le hic ? Les caméras n'ont pas de capteurs de profondeur. Ce sont juste des yeux ordinaires. L'IA doit déterminer où se trouve chaque chose dans l'espace 3D (haut/bas, gauche/droite, avant/arrière) en regardant simplement des images plates.

Les auteurs ont mis en place deux « détectives » différents pour résoudre cette affaire.

Détective A : L'équipe de la Géométrie d'abord
Cette équipe a adopté une approche très logique et « à l'ancienne ». Ils n'ont pas essayé de deviner la profondeur de chaque pixel. Au lieu de cela, ils ont dit : « Nous savons que le sol est plat, et nous savons exactement où les caméras pointent. »

1. Repérer l'objet : D'abord, ils ont utilisé un détecteur puissant (appelé YOLO11x) pour trouver des boîtes 2D autour des objets dans chaque vue de caméra.
2. Élever vers le monde : Ils ont pris le bas-centre de ces boîtes 2D et les ont projetés sur le plan du sol connu en utilisant la mathématique (homographie). C'est comme projeter la lumière d'une lampe de poche à travers le bas de la boîte sur le sol pour voir où elle atterrit.
3. Fusionner et suivre : Comme le même chariot élévateur peut être vu par trois caméras différentes, ils ont fusionné ces points « élevés » en une seule localisation 3D. Ensuite, ils ont suivi l'objet alors qu'il se déplaçait à travers l'entrepôt.
4. La recette secrète : Ils ont ajouté une étape finale appelée « assemblage hors ligne » (offline stitching). Imaginez un détective qui réalise : « Attendez, j'ai perdu le suspect pendant cinq secondes, mais il réapparaît juste ici. C'est la même personne ! » Ils ont lié les morceaux brisés de la trajectoire pour réparer l'identité.

Détective B : L'équipe du Pseudo-LiDAR
Cette équipe a tenté l'approche « moderne » qui avait fonctionné par le passé lorsque les données de profondeur étaient disponibles. Ils ont essayé de la simuler.

1. Deviner la profondeur : Ils ont utilisé un modèle d'IA sophistiqué (comme D4RT ou Metric3D) pour regarder l'image plate et deviner la distance de chaque pixel. Cela transforme l'image 2D en un nuage de points 3D, imitant un véritable capteur 3D (LiDAR).
2. Détecter en 3D : Ils ont injecté ce « faux » nuage de points 3D dans un détecteur 3D (V-DETR) pour trouver les objets.
3. L'espoir : Ils espéraient que même sans profondeur réelle, l'IA pourrait la deviner suffisamment bien pour construire une carte 3D parfaite.

Le résultat choc : La Géométrie gagne, la Devinette perd

Les résultats n'étaient pas seulement une victoire ; c'était un raz-de-marée. L'équipe « Géométrie d'abord » a obtenu un score de 13,0 HOTA (une mesure de la capacité à suivre et localiser les objets). L'équipe Pseudo-LiDAR, l'équipe de la « devinette », s'est effondrée à un score de 0,12. C'est environ cent fois pire.

Pourquoi l'équipe de la devinette a-t-elle si mal échoué ? L'article suggère que ce n'était pas parce que leur IA était mauvaise pour deviner la profondeur sur une seule image. Le problème était la cohérence.
Imaginez que vous et trois amis essayez de dessiner la carte d'une pièce en vous basant sur des photos que chacun de vous a prises.

• L'équipe de la Géométrie s'est mise d'accord sur l'emplacement du sol. Même si elles n'étaient pas parfaites, elles étaient toutes d'accord sur le plan du sol. En combinant leurs cartes, le sol était plat et les chariots élévateurs se tenaient debout.
• L'équipe du Pseudo-LiDAR a fait des estimations de profondeur de manière indépendante. Un ami pensait que le sol était à 1 mètre de haut, un autre pensait qu'il était à 2 mètres, et un troisième pensait qu'il flottait dans les airs. Lorsqu'ils ont essayé de combiner leurs cartes, le sol est devenu un désordre déformé et dentelé. Les chariots élévateurs se sont retrouvés à flotter dans le ciel ou enterrés sous terre.

Les auteurs appellent cela l'« incohérence inter-vues » (cross-view inconsistency). Même si l'IA devine correctement la profondeur d'un seul pixel, si elle le devine différemment pour le même sol dans différentes vues de caméras, la carte 3D se brise. L'article montre que pour cette tâche spécifique, avoir une géométrie partagée et cohérente (le plan au sol) est bien plus important que d'avoir une estimation pixel par pixel de la profondeur.

Ce qui n'a pas fonctionné (Et pourquoi)

Les auteurs ne se sont pas contentés de comparer les deux équipes ; ils ont essayé de corriger l'équipe perdante et d'améliorer l'équipe gagnante avec tous les stratagèmes possibles. Ils ont testé :

• De meilleurs détecteurs : Ils ont essayé de remplacer le détecteur principal par des modèles plus récents et plus sophistiqués (comme RT-DETR) ou de les combiner. Résultat : Aucune aide. Le problème n'était pas le détecteur, mais le manque de données réelles pour l'entraînement.
• Détection par tranches (Sliced Detection) : Ils ont essayé de diviser les images en petits morceaux pour capturer de petits objets (comme un transpalette au loin). Résultat : Cela a en fait aggravé les choses. Cela trouvait plus d'objets, mais la plupart étaient des fausses alertes (des fantômes), ce qui confondait le tracker.
• Apprendre à élever (Learning to Lift) : Ils ont essayé de remplacer la mathématique simple de l'« élévation » de la boîte vers le sol par un réseau neuronal qui « apprenait » comment le faire. Résultat : Un désastre. Le score est tombé proche de zéro. La mathématique simple était en fait plus fiable que l'apprentissage.
• Ré-identification par l'apparence (Appearance Re-ID) : Ils ont essayé d'identifier les objets par leur apparence (par exemple, « c'est le chariot rouge »). Résultat : Cela n'a pas aidé car l'éclairage et les angles changeaient trop dans le monde réel.

La seule chose qui a aidé l'équipe de la Géométrie a été l'assemblage hors ligne (offline stitching). En revenant après coup pour fixer les trajectoires brisées (en reliant les morceaux « perdus » et « trouvés » du même objet), ils ont légèrement amélioré leur score. Cela nous indique que le goulot d'étranglement principal est la qualité de la détection (trouver l'objet en premier lieu), et non la logique de suivi.

La grande leçon

L'article conclut par une leçon claire pour quiconque construit des robots qui doivent voir en 3D sans capteurs spéciaux : N'essayez pas de deviner la profondeur si vous pouvez utiliser la géométrie.

Dans un monde où le robot est entraîné sur des données fictives mais testé dans le monde réel, essayer d'apprendre la profondeur de chaque pixel mène à une carte chaotique et incohérente. Au lieu de cela, s'en tenir aux règles connues du monde (le sol est plat, les caméras sont fixes) et utiliser une mathématique simple et explicite pour élever les détections 2D dans l'espace 3D est bien plus fiable. La « magie » de la devinette de profondeur n'est pas assez magique pour surmonter la confusion du monde réel. La meilleure voie à suivre n'est pas une meilleure IA de devinette de profondeur, mais de meilleurs détecteurs capables de réellement voir les objets clairement dès le départ.