💻 computer science

STORM: Segment, Track, and Object Re-Localization from a Single Image

STORM est un cadre unifié qui permet un suivi robuste d'objets 6D conditionné par une référence à partir d'une seule image en combinant une attention de fusion spatiale hiérarchique pour un conditionnement flexible avec un vérificateur appris pour la détection automatique de dérive et la relocalisation, atteignant une précision supérieure et une récupération des occlusions sans nécessiter de modèles CAO ni d'intervention manuelle.

Auteurs originaux : Yu Deng, Teng Cao, Hikaru Shindo, Quentin Delfosse, Jiahong Xue, Kristian Kersting

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yu Deng, Teng Cao, Hikaru Shindo, Quentin Delfosse, Jiahong Xue, Kristian Kersting

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment saisir une tasse à café spécifique parmi un comptoir de cuisine encombré. Le robot possède une seule photo parfaite de cette tasse (la « référence »). Sa tâche consiste à trouver cette tasse dans un flux vidéo en direct, même si la caméra tremble, si la tasse est à moitié cachée par une grille-pain, ou si l'éclairage change radicalement.

La plupart des robots actuels ressemblent à des élèves qui mémorisent une seule clé de réponses. Si la tasse ressemble légèrement différemment de la photo, ou si elle est recouverte par une serviette, le robot se perd, perd le fil, et continue de deviner à l'aveugle jusqu'à ce qu'il heurte quelque chose ou saisisse le mauvais objet. Il ne sait pas quand il a fait une erreur.

STORM (Segmentation, Suivi et Re-localisation d'Objet à partir d'une Seule Image) est un nouveau système conçu pour résoudre ce problème. Imaginez que vous donnez au robot un « assistant intelligent » qui ne se contente pas de regarder la tasse, mais vérifie constamment son propre travail.

Voici comment fonctionne STORM, décomposé en trois parties simples :

1. Le « Super-Détecteur » (SOM)

Le Problème : La photo de référence du robot est propre et claire, mais la vidéo en direct est désordonnée, sombre, ou remplie d'autres objets. Les méthodes standard tentent de comparer les deux images pixel par pixel, ce qui échoue lorsque le point de vue change.

La Solution STORM : STORM utilise un module appelé SOM (Module de Segmentation d'Objet). Imaginez un détective qui ne se contente pas de regarder une photo, mais qui comprend l'histoire de l'objet.

Fusion Hiérarchique : Au lieu de comparer la photo de la tasse à l'image vidéo une seule fois, SOM examine la vidéo à travers plusieurs « lentilles » (échelles) et couches. Il demande constamment : « Cette partie de la vidéo ressemble-t-elle à la tasse de ma photo ? »
L'Assistant Linguistique : Si le robot est confus (par exemple, s'il y a deux tasses identiques), vous pouvez lui donner un indice textuel, comme « la tasse rouge ». SOM utilise ce texte pour concentrer son attention, agissant comme un détective qui dit : « Ignore la tasse bleue ; je cherche la rouge. »
Le Résultat : Il peut tracer un contour parfait autour de la tasse, même si la moitié est cachée derrière une grille-pain.

2. Le « Contrôle de Réalité » (TOM)

Le Problème : Même les meilleurs traceurs finissent par se perdre. Si la caméra tourne rapidement ou si la tasse est entièrement couverte, le robot pourrait continuer à « suivre » un point dans les airs où la tasse était auparavant. Il ne sait pas qu'il a tort.

La Solution STORM : C'est la plus grande innovation de l'article. STORM inclut un module appelé TOM (Module de Suivi d'Objet). Imaginez TOM comme un inspecteur de sécurité ou un « détecteur de mensonges » pour le suivi du robot.

La Banque de Mémoire : TOM conserve une petite « banque de mémoire » de l'apparence de la tasse lorsque le robot la suivait avec succès il y a à peine une seconde.
Le Test de Compatibilité : Pour chaque nouvelle image vidéo, TOM demande : « Ce que je vois maintenant correspond-il à la banque de mémoire ? »
Le Score d'Énergie : Il attribue un score. Si le score est bas, cela signifie « Tout semble bon ». Si le score augmente (comme une alarme qui monte), cela signifie « Cela ne ressemble plus à la tasse ; nous dérivons ! »
La Correction : Contrairement à d'autres systèmes qui continuent simplement de dériver, TOM détecte cette « dérive » et dit immédiatement : « Stop ! Nous avons perdu la cible. » Il déclenche ensuite le « Super-Détecteur » (SOM) pour retrouver la tasse depuis le début.

3. Le « Plan 3D » (SAM3D)

Pour s'assurer que le robot sait exactement où se trouve la tasse dans l'espace 3D (et pas seulement sur une image 2D plate), STORM utilise un outil appelé SAM3D.

Imaginez prendre la seule photo de référence et l'utiliser pour construire un modèle grossier en argile 3D de la tasse.
Ce modèle 3D agit comme un squelette rigide. Même si le robot ne peut pas voir toute la tasse, il peut utiliser ce squelette pour deviner l'angle et la position corrects, assurant que le robot saisit la poignée et non le fond.

Pourquoi Cela Compte (Selon l'Article)

Les auteurs ont testé STORM sur des benchmarks standards (comme les ensembles de données LM-O et YCB-Video), qui sont comme des « examens finaux » pour la vision robotique.

Aucune Aide Manuelle : STORM fonctionne sans que des humains dessinent des boîtes ou des masques sur la vidéo. Il apprend à partir d'une seule image de référence.
Meilleur que les Autres : Il a surpassé les meilleures méthodes précédentes, en particulier dans des scènes encombrées où les objets sont cachés ou se déplacent rapidement.
Auto-correction : Le résultat le plus important est que STORM peut se remettre des erreurs. Lorsque le robot perd l'objet, STORM détecte l'échec et le corrige automatiquement, tandis que les autres systèmes continuent simplement d'échouer silencieusement.

En résumé : STORM est un système qui combine un moteur de recherche visuel intelligent, un constructeur 3D et un inspecteur de sécurité auto-vérificateur. Il permet à un robot de suivre un objet à partir d'une seule photo, de réaliser quand il a perdu le fil, et de retrouver immédiatement l'objet, le tout sans qu'un humain n'ait besoin d'intervenir pour aider.

Résumé technique : STORM (Segmentation, Suivi et Re-localisation d'Objet à partir d'une Seule Image)

1. Énoncé du problème

L'estimation précise de la pose 6D et le suivi sont fondamentaux pour les systèmes d'IA physique, mais leur déploiement dans le monde réel reste fragile. Les pipelines actuels reposent souvent sur des modèles CAO soigneusement sélectionnés, des masquages manuels ou des adaptations par objet, échouant face à des occlusions sévères, des flous de mouvement et des changements rapides de point de vue. Une limitation critique des méthodes existantes est l'absence d'un mécanisme principiel pour reconnaître l'échec du suivi ; les trackers opèrent souvent « à l'aveugle », en supposant que la cible reste dans un bassin d'attraction local. Lorsqu'une dérive se produit en raison de décalages distributionnels entre la référence canonique (par exemple, une seule image propre) et la requête d'observation (par exemple, une frame vidéo encombrée et occluse), la récupération est difficile sans détection explicite de l'échec.

2. Méthodologie

STORM (Segmentation, Suivi et Re-localisation d'Objet à partir d'une Seule iMage) est un cadre unifié conçu pour le suivi de pose 6D sans annotation et conditionné par une référence. Il fait le pont entre la compréhension sémantique et la cohérence géométrique grâce à deux modules couplés et apprenables : le Module de Segmentation d'Objet (SOM) et le Module de Suivi d'Objet (TOM). Le cadre exploite des modèles de base figés (DINOv3, CLIP, SAM3D, FoundationPose) pour la représentation et la géométrie, tout en entraînant des composants spécifiques pour la fusion et la vérification.

2.1. Module de Segmentation d'Objet (SOM)

Le SOM effectue un alignement de caractéristiques du grossier au fin pour récupérer les masques d'objets et la géométrie 3D à partir d'une ou plusieurs images de référence. Son innovation centrale est l'architecture Fusion Hiérarchique de l'Attention Spatiale (HSFA) :

Injection d'Antérieur Sémantique : Pour résoudre les ambiguïtés d'instance (par exemple, distinguer une tasse cible d'une distraction), STORM injecte des contraintes sémantiques dérivées de Modèles Vision-Langage (VLM). Un prompt générique et l'image de référence sont traités par un VLM pour générer un descripteur d'objet concis, qui est encodé par CLIP. Cet embedding sémantique module les tokens visuels normalisés via des couches de conditionnement de style AdaLN/FiLM initialisées à zéro, permettant au modèle d'apprendre des corrections résiduelles de statistiques de caractéristiques.
Fusion Hiérarchique de l'Attention Spatiale (HSFA) : Contrairement à une simple concaténation ou à une attention croisée standard, HSFA agrège les preuves de la vue de référence et les interactions requête-référence à travers plusieurs échelles. Elle construit une représentation canonique cohérente à partir de références mono- ou multi-vues, puis aligne les caractéristiques de la requête sur cette représentation. Ce processus est itératif, affinant progressivement la représentation de la requête avec des preuves conditionnées par la référence.
Alignement Implicite : HSFA induit une correspondance dense token-à-token via des mécanismes d'attention. La matrice d'alignement est interprétée comme un poids d'alignement, par lequel un antérieur d'objectité de référence est propagé pour générer le masque de la requête.
Ancrage Géométrique : Les caractéristiques 2D alignées sont relevées vers SE(3) en utilisant SAM3D, qui génère un maillage 3D canonique à partir de l'(des) image(s) de référence. Ce maillage sert d'ancrage géométrique rigide, permettant à l'estimateur de pose en aval (FoundationPose) de mapper les masques prédits sur des coordonnées métriques 3D.

2.2. Module de Suivi d'Objet (TOM)

Le TOM fonctionne comme un vérificateur de compatibilité appris pour surveiller la fidélité du suivi et déclencher une réinitialisation lorsque la dérive persiste.

Vérification de Compatibilité : TOM est entraîné comme un classifieur binaire pour distinguer les paires observation-mémoire compatibles (suivis réussis) des paires incompatibles (confusion d'identité ou dérive). Il prend en entrée une coupe d'observation actuelle et un pool de mémoire de coupes passées réussies.
Règle de Décision de Type Énergie : Au lieu d'une décision binaire stricte, TOM émet un logit de compatibilité continu. Ceci est converti en un score de type énergie ( $E = -g_\theta$ ), où une énergie élevée indique une faible compatibilité (dérive).
Lissage Temporel et Seuillage : Pour éviter les faux positifs dus à des occlusions transitoires ou à un flou de mouvement, le score d'énergie est lissé à l'aide d'une Moyenne Mobile Exponentielle (EMA). La perte de suivi n'est déclarée que si l'énergie lissée dépasse un seuil calibré pendant $L$ frames consécutives (par exemple, $L=3$ ).
Re-localisation Automatique : Dès la détection d'une dérive persistante, le système déclenche le SOM pour re-segmenter l'objet et réinitialiser la pose, fermant ainsi efficacement la boucle.

3. Contributions Clés

Cadre Unifié : STORM propose un cadre unique pour le suivi de pose 6D sans annotation et conditionné par une référence, qui traite le décalage distributionnel entre les données de référence et de requête sans nécessiter de modèles CAO ni d'affinement spécifique à l'instance au moment de l'inférence.
Fusion Hiérarchique de l'Attention Spatiale (HSFA) : Une architecture orientée tâche pour la segmentation conditionnée par une référence de vue variable. HSFA combine l'agrégation de vue de référence, l'attention croisée requête-référence et un conditionnement sémantique optionnel dérivé de VLM pour améliorer la robustesse face à l'encombrement et aux occlusions.
Vérification de Perte de Suivi : La formulation de la vérification de suivi comme un problème de compatibilité entraîné par BCE. Implémentée via TOM, ce mécanisme utilise un score de type énergie dérivé du logit de compatibilité pour détecter la dérive persistante et déclencher une réinitialisation automatique.
Benchmark d'Échec de Suivi : L'établissement d'un benchmark qui évalue les trackers non seulement sur la précision de la pose, mais aussi sur leur capacité à distinguer les suivis valides des modes d'échec, démontrant que TOM fournit une détection de perte de suivi plus fiable que les bases de référence d'apprentissage métrique fixes.

4. Résultats Expérimentaux

Des expériences ont été menées sur les ensembles de données LM-O et YCB-Video dans un cadre d'inférence sans annotation (pas de masques, boîtes ou mises à jour spécifiques à l'objet au moment du test).

Précision de l'Estimation de Pose : Sur LM-O, STORM a atteint un ADD-AUC de 74,0 % et un ADD-S-AUC de 89,0 %, surpassant la base de référence forte (FoundationPose + CNOS) et s'approchant des performances de FoundationPose utilisant des masques vérité terrain (respectivement 78,0 % et 93,0 %). Sur YCB-Video, STORM a égalé le montage vérité terrain et dépassé la base de référence CNOS de 5 %.
Qualité de Segmentation : Le module SOM a atteint une Précision Moyenne (mAP) de 67,7 % sur cinq ensembles de données BOP, établissant un nouvel état de l'art sur quatre d'entre eux (LM-O, TUD-L, HB, YCB-Video) et surpassant les bases de référence supervisées sur T-LESS sans affinement.
Robustesse du Suivi : Dans des tests de stress impliquant un mouvement rapide et des occlusions, STORM a nettement surpassé une base de référence sans détection d'échec (ADD-AUC 74,64 % contre 52,76 %). Le module TOM a détecté avec succès la dérive et déclenché un re-suivi, tandis que la base de référence n'a pas pu récupérer.
Efficacité : Le système fonctionne en temps réel. Le vérificateur TOM ajoute environ 9,1 ms par frame, maintenant la boucle de suivi à l'état stable dans la fourchette de 25–33 FPS. Le SOM n'est invoqué que pour l'initialisation ou la re-localisation, tournant à ~22 FPS pour des paramètres de référence unique.

5. Importance et Revendications

L'article revendique que STORM démontre que l'apprentissage de représentations conditionné par une référence, combiné à une vérification explicite de la perte de suivi, surpasse l'appariement de modèles traditionnel dans des contextes sans annotation. En intégrant la compréhension sémantique à la cohérence géométrique, le cadre réduit les exigences laborieuses du déploiement de systèmes d'IA physique.

Les auteurs soulignent que la capacité à modéliser explicitement la fiabilité de l'état de suivi est une contribution clé. Contrairement aux méthodes précédentes qui dérivent silencieusement, STORM fournit un signal d'auto-vérification continu qui distingue l'incertitude transitoire de la dérive persistante, permettant une récupération autonome. Le travail suggère que la géométrie reconstruite (via SAM3D) peut être suffisante pour un enregistrement de pose pratique si la cohérence des coordonnées est gérée avec soin, réduisant la dépendance aux actifs CAO soigneusement sélectionnés.

L'article maintient une position modeste, reconnaissant des limitations telles que l'ambiguïté sur les objets symétriques ou sans texture (par exemple, T-LESS) et la dépendance à la fidélité des reconstructions SAM3D et au backend FoundationPose figé. Il note que si le cadre actuel zero-shot est sans adaptation, un travail futur est nécessaire pour l'adaptation en ligne des seuils et la gestion d'objets nouveaux disjoints par catégorie.