💻 computer science

EgoTrack3D: A Modular Framework for Egocentric 3D Object Tracking

EgoTrack3D est un cadre modulaire qui reconstruit et maintient des représentations de scènes 3D dynamiques à partir de vidéos RGB égocentrées en élevant des masques 2D dans un référentiel de coordonnées globales grâce à une évaluation du mouvement et une fusion basée sur les voxels, atteignant une précision de suivi de pointe sur l'ensemble de données ADT tout en restant robuste dans des conditions d'observation éparses et bruitées.

Auteurs originaux : Jan Kulik, Bjarni Dagur Thor Karason, Yung-Hsu Yang, Boyang Sun, Marc Pollefeys, Xi Wang

Publié 2026-08-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jan Kulik, Bjarni Dagur Thor Karason, Yung-Hsu Yang, Boyang Sun, Marc Pollefeys, Xi Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous portez une paire de lunettes haute technologie qui vous permettent de voir le monde en 3D, tout comme un robot ou un personnage de jeu vidéo. Pour naviguer dans une pièce en toute sécurité, ces lunettes doivent construire une carte mentale de tout ce qui les entoure : où se trouve la chaise, où est posée la tasse de café, et comment une personne passant à côté modifie la scène. C'est le monde de la perception 3D, un domaine où les ordinateurs tentent de comprendre le monde physique à partir de vidéos de caméras.

Habituellement, les ordinateurs sont excellents pour repérer des choses dans des images plates en 2D (comme trouver un chat sur une photo). Mais quand vous bougez la tête, le monde change, les objets se cachent les uns derrière les autres, et les choses deviennent complexes. Pour construire une véritable carte 3D, les ordinateurs doivent savoir non seulement ce qu'est un objet, mais aussi exactement où il se trouve dans l'espace et comment il se déplace au fil du temps. C'est ce qu'on appelle le suivi d'objets 3D (3D object tracking). C'est la différence entre prendre un cliché unique d'une pièce en désordre et posséder un modèle 3D vivant qui se met à jour chaque seconde pendant que vous traversez la pièce. C'est crucial pour les robots qui doivent éviter de trébucher sur des jouets, ou pour les applications de réalité augmentée qui veulent placer un dragon virtuel sur votre table réelle sans qu'il ne semble flotter.

Le Problème : Le flou de la "première personne"

Imaginez que vous portez une caméra sur votre tête, marchant dans une cuisine animée. Vous saisissez une tasse, passez devant une table et vous retournez rapidement. Pour un ordinateur, c'est un cauchemar. La vue tourne follement, votre main bloque la vue de la tasse, et les objets apparaissent et disparaissent. Les méthodes existantes pour construire des cartes 3D se confondent souvent ici. Certaines supposent que tout est immobile (comme dans un musée), tandis que d'autres ne suivent que ce que vous touchez actuellement. Elles peinent à garder une "mémoire" cohérente de chaque objet dans la pièce, surtout lorsque la caméra est en mouvement rapide et que la vue est désordonnée.

La Solution : EgoTrack3D

Voici EgoTrack3D, un nouveau système conçu pour être l'ultime "gardien de la mémoire" pour les vidéos à la première personne. Considérez-le comme un bibliothécaire super organisé pour une bibliothèque chaotique. Son travail est de prendre une vidéo tremblante et rapide et de la transformer en une carte 3D stable de chaque objet qu'elle voit, qu'il s'agisse d'une chaise stationnaire ou d'une tasse déplacée.

Le système fonctionne selon deux modes principaux, selon le niveau d'information dont il dispose :

Le mode "Haute Définition" (Dense) : Si l'ordinateur possède des données de profondeur 3D parfaites (comme un scanner 3D ultra-précis), il agit comme un maître sculpteur. Il prend les contours 2D des objets de la vidéo et les "élève" dans l'espace 3D, construisant un modèle complet de nuage de points pour chaque article. Il utilise ensuite un détecteur de mouvement spécial pour déterminer quels objets sont en mouvement et lesquels restent en place. S'il voit le même objet deux fois, il fusionne intelligemment les données pour ne pas compter la même chaise comme deux chaises différentes.
Le mode "Monde Réel" (Sparse) : Dans le monde réel, les scanners 3D parfaits sont rares. Souvent, l'ordinateur n'a qu'une estimation approximative de l'endroit où se trouvent les choses. Dans ce mode, EgoTrack3D change de tactique. Au lieu d'essayer de construire un modèle 3D parfait de chaque pixel, il utilise une boîte 3D "estimation" pour chaque objet. Pour gérer le désordre des mains en mouvement et des caméras instables, il utilise une astuce ingénieuse : il surveille les interactions. S'il voit une main saisir une casserole, il sait que cette casserole est "dynamique" et nécessite un soin particulier. Il crée une "ancre" temporaire pour suivre cette casserole même si la boîte 3D semble un peu vacillante.

Comment cela fonctionne : La boîte à outils du détective

Le système utilise quelques outils ingénieux pour résoudre l'énigme :

Le Score de Mouvement (Motion Score) : Il ne se contente pas de deviner si quelque chose bouge ; il suit de minuscules points sur l'objet. Si ces points se déplacent de manière significative, le système signale l'objet comme "en mouvement" et met à jour sa position rapidement. Si les points restent immobiles, il traite l'objet comme une partie solide et statique de la pièce.
La Fusion de Voxels (Voxel Merge) : Imaginez que le monde 3D soit composé de minuscules pixels 3D appelés "voxels". Si le système voit deux objets occupant le même espace, il sait qu'ils sont probablement le même objet. Il les fusionne, nettoyant ainsi la carte et supprimant les doublons.
Le Guide d'Interaction (Interaction Guide) : Dans le mode "Sparse", lorsque l'ordinateur est incertain à propos d'un objet en mouvement, il observe les mains. Si une main tient un objet, le système lui accorde un "pass VIP", garantissant qu'il ne sera pas perdu ou confondu avec d'autres articles, même si les données 3D sont bruitées.

Les Résultats : Une image plus claire

Les chercheurs ont testé EgoTrack3D sur un ensemble de données appelé Aria Digital Twin (ADT), qui contient des vidéos de personnes se déplaçant avec des données 3D parfaites disponibles. Ils ont comparé leur système aux autres méthodes de pointe.

Les résultats sont prometteurs. En utilisant des données parfaites, EgoTrack3D a amélioré la précision de la localisation des objets de 11 % par rapport à la base de référence la plus forte existante. Dans le mode "Haute Définition", il a obtenu un score où 63,01 % des objets étaient correctement suivis et localisés (mesuré par une métrique appelée PCL), ce qui est nettement supérieur aux autres méthodes qui luttent contre les doublons ou la perte de suivi.

Même dans le mode "Monde Réel", où les données sont désordonnées et incomplètes, le système a montré qu'il pouvait toujours construire une carte 3D utile. Il a réussi à suivre des objets manipulés (comme une casserole ou un bloc-notes déplacé) à travers de grands changements de point de vue, une tâche où les autres systèmes échouent souvent et perdent la trace des objets.

L'essentiel

EgoTrack3D n'est pas une baguette magique qui résout tous les problèmes instantanément. Les auteurs admettent que si les données de profondeur de la caméra sont très bruitées, le système peut encore s'embrouiller, et qu'il a parfois du mal à réidentifier un objet s'il disparaît pendant un long moment. Cependant, l'article suggère qu'en étant modulaire — c'est-à-dire qu'il peut échanger différents outils selon la qualité de l'entrée — il offre une avancée robuste. Il prouve que nous pouvons construire des cartes 3D dynamiques de notre monde à partir de vidéos à la première personne, gérant à la fois le mobilier immobile et le chaos mobile de la vie quotidienne, ouvrant la voie à des robots plus intelligents et à une réalité augmentée plus immersive.

Résumé Technique : EgoTrack3D

Problématique

La compréhension des scènes 3D à partir de vidéos égocentrées est cruciale pour la robotique et la navigation autonome, mais elle présente des défis uniques dus aux changements rapides de point de vue, aux occlusions partielles, aux champs de vision tronqués et à l'entrée/sortie fréquente d'objets. Bien que les graphes de scène 2D aient fait progresser le raisonnement de haut niveau, les méthodes existantes de suivi 3D et de construction de graphes de scène échouent souvent dans les contextes égocentriques dynamiques. Les approches actuelles supposent généralement des scènes statiques, s'appuient sur des représentations précalculées ou se concentrent uniquement sur des objets interagis prédéfinis. Par conséquent, il manque des méthodes capables de maintenir un suivi 3D persistant de la scène complète, tant pour les objets statiques que dynamiques, directement à partir de vidéos RGB égocentrées sans modèle environnemental préalable.

Méthodologie

Les auteurs introduisent EgoTrack3D, un cadre modulaire conçu pour reconstruire et maintenir une représentation 3D dynamique d'une scène directement à partir de vidéos RGB égocentrées. Le cadre élève les masques de segmentation 2D dans un référentiel de coordonnées 3D global et suit les objets en utilisant des caractéristiques géométriques et visuelles. Le pipeline est divisé en deux variantes pour répondre à différentes contraintes d'entrée :

1. EgoTrack3D-Dense (Cadre contrôlé)

Cette variante suppose la disponibilité d'une profondeur métrique par pixel précise, des poses de caméra et des masques de segmentation (par exemple, en utilisant la vérité terrain du jeu de données Aria Digital Twin).

Prétraitement : Génère des masques de segmentation et des cartes de profondeur pour chaque image.
Détection de mouvement : Utilise CoTracker3 pour suivre une grille de points $N \times N$ sur une fenêtre temporelle ( $\Delta t$ ). Il calcule les scores de mouvement et de direction pour chaque point. Les objets sont classés comme étant en mouvement si leurs scores agrégés de mouvement et de direction dépassent des seuils spécifiques.
Plongement d'apparence (Appearance Embedding) : Extrait des plongements visuels par objet via MASA pour soutenir l'association entre les images.
Élévation 3D (3D Lifting) : Projette les points d'image 2D en coordonnées mondiales en utilisant la profondeur, l'intrinsèque et les poses. Pour chaque objet, les points 3D sont rassemblés, sous-échantillonnés par voxel et ajustés avec une boîte englobante orientée via l'analyse en composantes principales (PCA).
Suivi et Fusion (Tracking & Merging) :
- Association : Associe les nouvelles détections aux pistes existantes en utilisant une fonction de coût combinant l'Intersection over Union (IoU) 3D, la distance de Chamfer (similitude de forme) et la similitude de caractéristiques. L'algorithme de Hongrie résout l'assignation.
- Mise à jour de l'état : Les objets statiques accumulent des nuages de points au fil du temps ; les objets en mouvement mettent à jour leurs nuages de points de manière dynamique. Les caractéristiques visuelles sont lissées exponentiellement.
- Fusion de pistes : Une heuristique basée sur les voxels fusionne les pistes présentant un chevauchement significatif de nuages de points 3D afin d'éliminer les doublons causés par les occlusions ou les vues partielles.

2. EgoTrack3D-Sparse (Cadre réel)

Cette variante répond au défi de l'imprévisibilité de la profondeur dense dans les vidéos non contraintes en remplaçant le module d'élévation dense par une estimation de boîtes 3D éparses.

Entrée : Utilise des masques 2D générés par modèle (via CropFormer) et des nuages de points épars.
Élévation 3D : Emploie BoxerNet pour prédire des boîtes englobantes 3D orientées à partir de la géométrie éparse.
Association dynamique : Étant donné que les prédictions de BoxerNet pour les objets tenus à la main peuvent être bruitées, le système utilise une association dynamique guidée par l'interaction :
- Hands23 détecte les mains et les objets avec lesquels elles interagissent.
- Les masques chevauchant les objets avec lesquels les mains interagissent sont marqués comme dynamiques.
- Une piste SAM2 à court terme est initialisée pour ces masques dynamiques et propagée pendant $K$ images.
- Les détections chevauchant la piste SAM2 propagée sont associées de manière stricte à la même identité avant l'assignation géométrique, créant ainsi une ancre 2D robuste pour les objets manipulés.
Fusion : Les pistes en double sont fusionnées sur la base de la similitude des boîtes 3D et de l'apparence, sauf lorsqu'elles sont protégées par des identités de masques dynamiques distinctes.

Principales contributions

Pipeline modulaire : Un cadre pour élever les segmentations 2D en pistes d'objets 3D temporellement cohérentes, adaptable aux entrées 3D denses ou éparses.
Association sensible au mouvement : Un mécanisme combinant la géométrie (IoU 3D, distance de Chamfer) et l'apparence (caractéristiques visuelles) pour distinguer les objets statiques et dynamiques, permettant des mises à jour sélectives.
Variante pour entrées éparses : Une configuration robuste utilisant des boîtes 3D basées sur BoxerNet et une association dynamique guidée par l'interaction, permettant au système de fonctionner sans profondeur métrique dense.
Évaluation complète : Évaluation sur les jeux de données Aria Digital Twin (ADT) et HD-EPIC, démontrant une amélioration de la cohérence du suivi 3D sous des conditions d'entrée précises ou bruitées.

Résultats

Entrée dense (ADT) : EgoTrack3D-Dense a obtenu une amélioration de 11 % du pourcentage de localisations correctes (PCL) par rapport à la base la plus forte, Boxer, sur le jeu de données ADT. Plus précisément, il a atteint un PCL moyen de 63,01 % contre 56,53 % pour Boxer (note : Boxer est axé sur le statique). OSNOM, une autre base, a obtenu un score nettement inférieur de 21,41 %. L'heuristique de fusion de pistes s'est révélée critique, améliorant le PCL moyen du système de 83,38 % par rapport à la variante sans fusion (34,36 % contre 63,01 %).
Entrée éparse (ADT) : En remplaçant la profondeur dense par des entrées éparses, EgoTrack3D-Sparse a amélioré le score F1 de 29,88 % (base Boxer) à 40,79 %. Bien que les métriques globales soient dominées par les objets statiques, les composants guidés par l'interaction se sont révélés essentiels pour maintenir l'identité des objets manipulés.
Qualitatif (HD-EPIC) : Sur des vidéos réelles non contraintes, la variante éparse a réussi à préserver les identités des objets manipulés (par exemple, un bloc-notes et une casserole) malgré de grands changements de point de vue, alors que la suppression de l'association guidée par l'interaction entraînait la perte ou l'association incorrecte des pistes.

Signification et affirmations

L'article affirme qu'EgoTrack3D comble la lacune du suivi persistant de la scène complète pour les observations égocentrées dynamiques. Contraênirement aux travaux antérieurs qui se concentrent sur la localisation statique ou des ensembles restreints d'objets interagis, EgoTrack3D construit une représentation 3D de l'environnement complet directement à partir de vidéos RGB sans nécessiter de modèles environnementaux préalables.

Les auteurs soulignent la modularité de leur cadre : il peut fonctionner avec des entrées de haute fidélité pour isoler la performance de suivi ou s'adapter à des entrées éparses réalistes et bruitées en exploitant les indices d'interaction. Bien que le système ne génère pas directement de graphe de scène, il fournit la représentation structurelle 3D nécessaire (objets, attributs, relations spatiales) qui peut être étendue en un graphe de scène. Ce travail représente une étape vers une reconstruction de scène 3D dynamique généralisable pour la robotique, la réalité augmentée et le raisonnement spatial incarné.

Limites reconnues :
Les auteurs notent que le système hérite des erreurs des modules de perception (masques, profondeur, pose). Dans le cadre dense, les résultats reflètent la performance sous des entrées géométriques précises plutôt qu'une perception de bout en bout totalement réelle. Dans le cadre éparse, le système reste sensible aux erreurs des prédictions de BoxerNet pour les objets tenus à la main. De plus, l'association repose fortement sur les coûts géométriques, ce qui rend la ré-identification difficile lorsque les emplacements 3D changent de manière significative sans preuve visuelle suffisante.