💻 computer science

Finding NeMO: A Geometry-Aware Representation of Template Views for Few-Shot Perception

L'article présente NeMO, une nouvelle représentation centrée sur les objets permettant la détection, la segmentation et l'estimation de pose 6DoF en few-shot d'objets non vus à partir d'images RVB en encodant des vues modèles éparses dans un UDF appris, atteignant des résultats de pointe sur le benchmark BOP sans nécessiter de paramètres de caméra ni de réentraînement.

Auteurs originaux : Sebastian Jung, Leonard Klüpfel, Rudolph Triebel, Maximilian Durner

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sebastian Jung, Leonard Klüpfel, Rudolph Triebel, Maximilian Durner

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez enseigner à un robot à reconnaître une tasse à café spécifique et étrange qu'il n'a jamais vue auparavant. Habituellement, pour ce faire, vous devriez fournir au robot un plan 3D parfait (un modèle CAO) de cette tasse. Mais que se passe-t-il si vous n'avez pas le plan ? Que se passe-t-il si vous n'avez que quelques photos de la tasse prises sous différents angles avec votre téléphone ?

Ce papier présente une nouvelle méthode appelée NeMO (Neural Memory Object) qui résout ce problème. Considérez NeMO comme une « carte mémoire numérique intelligente » pour un objet.

Voici comment cela fonctionne, décomposé en étapes simples :

1. La création de la « carte mémoire » (L'encodeur)

Imaginez que vous preniez quelques photos d'un nouvel objet (comme cette tasse à café) sous différents angles. Vous alimentez ces photos dans le système NeMO.

Ce qu'il fait : Au lieu de simplement stocker les images, le système les analyse pour construire un « squelette » 3D de l'objet. Il crée un nuage de points qui représente la forme, la texture et les caractéristiques de l'objet.
La magie : Ce « squelette » est stocké dans son propre petit système de coordonnées. Il ne se soucie pas de l'emplacement de l'appareil photo ni de la rotation de l'objet ; il sait simplement ce que l'objet est.
L'analogie : Pensez-y comme à prendre une poignée de photos d'un ami et à créer un hologramme 3D d'eux dans votre esprit. Vous n'avez pas besoin d'un plan de leur visage ; vous avez juste besoin de quelques bonnes photos pour construire un modèle mental.

2. La « recherche et correspondance » (Le décodeur)

Maintenant, imaginez que le robot se trouve dans une pièce en désordre (une « scène encombrée ») et voit une nouvelle photo. Il doit trouver cette tasse à café spécifique.

Ce qu'il fait : Le robot prend la « carte mémoire » (NeMO) qu'il a créée précédemment et la compare à la nouvelle photo.
Le résultat : Le système indique instantanément au robot :
- Où se trouve l'objet (Détection).
- Quelle forme il a (Segmentation), même si une partie est cachée derrière autre chose.
- Comment il est positionné dans l'espace (Pose 6DoF), c'est-à-dire exactement comment il est incliné et tourné.
- À quoi ressemble la surface (Reconstruction), en devinant essentiellement la forme 3D complète même si l'appareil photo ne voit qu'une partie de celle-ci.

3. Pourquoi c'est spécial

La plupart des systèmes d'IA actuels sont comme des étudiants qui mémorisent un manuel spécifique. Si la question de l'examen change légèrement, ils sont perdus. Ils ont généralement besoin d'être « retraités » (réétudiés) pour chaque nouvel objet.

NeMO est différent car il externalise la connaissance.

Pas de retraitement : Vous n'avez pas besoin d'enseigner quelque chose de nouveau au cerveau du robot (le réseau de neurones). Vous lui donnez simplement une nouvelle « carte mémoire » (NeMO) pour le nouvel objet. Le cerveau reste le même ; seule la mémoire change.
Efficacité : Une fois la « carte mémoire » créée, elle est très rapide à utiliser. Peu importe si vous avez utilisé 5 photos ou 50 photos pour créer la carte ; le robot utilise la carte à la même vitesse.
Pas de plans nécessaires : Cela fonctionne sans modèle CAO 3D. Il apprend la forme directement à partir de photos réelles.

Ce que le papier a réellement prouvé

Les auteurs ont testé ce système sur divers ensembles de données (collections d'images utilisées pour tester l'IA). Ils ont montré que :

Il peut trouver et identifier des objets qu'il n'a jamais vus auparavant, même dans des environnements encombrés et désordonnés.
Il peut estimer la position et l'orientation de l'objet avec une grande précision.
Il peut même « deviner » la surface 3D complète de l'objet, permettant une reconstruction.
Il fonctionne aussi bien, voire mieux, que d'autres méthodes de premier plan qui nécessitent des modèles 3D ou un retraitement extensif.

Les limites (Ce qu'il ne peut pas encore faire)

Le papier admet que le système n'est pas encore parfait.

Symétrie : Si un objet ressemble au même de tous les côtés (comme une sphère parfaite ou une tasse symétrique), le système est parfois confus quant à quelle direction est « le haut ».
Objets sans texture : Si un objet est complètement lisse et sans motifs (comme une boule blanche unie), il est plus difficile pour le système de déterminer la forme car il repose sur des caractéristiques visuelles.
Objets multiples : S'il y a deux tasses identiques sur la photo, le système peut les fusionner en une seule grosse masse au lieu de les voir comme deux articles distincts.

En bref, NeMO est un moyen de donner à un robot une « mémoire » rapide et flexible d'un nouvel objet en utilisant seulement quelques photos, lui permettant de reconnaître et d'interagir avec cet objet immédiatement sans avoir besoin d'un plan 3D ou d'une longue session d'entraînement.

Résumé Technique : Découverte de NeMO

Énoncé du Problème

L'article aborde le défi de la perception d'objets en peu d'exemples pour des objets non vus durant l'entraînement. Bien que les approches basées sur des modèles (utilisant des modèles CAO 3D) aient atteint des performances solides en détection, segmentation et estimation de pose 6DoF, elles sont peu pratiques dans de nombreux scénarios réels où les modèles 3D sont indisponibles. À l'inverse, les méthodes sans modèle existantes souffrent souvent d'une mauvaise évolutivité face au nombre de vues modèles, reposent sur des comparaisons locales par paires sans raisonnement conjoint, ou nécessitent un réentraînement et un prétraitement extensifs pour intégrer de nouveaux objets. Les auteurs visent à développer un système capable de s'adapter rapidement à des objets nouveaux en utilisant uniquement un ensemble d'images RGB non ordonnées, sans exiger de paramètres d'étalonnage de caméra, de modèles 3D, ni de réentraînement des poids du réseau central.

Méthodologie : Objet à Mémoire Neurale (NeMO)

La solution proposée est une architecture encodeur-décodeur centrée sur une nouvelle représentation centrée sur l'objet appelée Objet à Mémoire Neurale (NeMO).

1. Encodeur NeMO

L'encodeur traite un ensemble de $K$ images modèles RGB non ordonnées ( $I = \{I_i\}$ ) représentant un objet cible.

Extraction de Caractéristiques : Un Vision Transformer (ViT) extrait des caractéristiques par patch depuis toutes les images modèles.
Encodage Multi-Vues : Un encodeur multi-vues, utilisant des mécanismes d'attention croisée et auto-attentionnelle, met à jour ces caractéristiques. Une image est désignée comme « ancre » ( $I_A$ ) pour définir l'orientation initiale de l'objet, tandis que les autres interagissent avec elle pour agréger les informations multi-vues.
Cartographie Géométrique : Pour intégrer la géométrie 3D, le système échantillonne un ensemble de points 3D ( $Q$ ) dans un volume normalisé. Un Perceptron Multicouche (MLP) encode ces points en vecteurs de caractéristiques. Ces caractéristiques de points sont fusionnées avec les caractéristiques d'images mises à jour via un Bloc de Cartographie Géométrique (utilisant des Décodeurs Transformer), permettant aux points 3D de s'attacher à des indices visuels 2D spécifiques à l'objet.
Reconstruction de Surface et Représentation : Le réseau apprend un Champ de Distance Non Signé (UDF) pour prédire la distance depuis les points 3D initiaux jusqu'à la surface estimée de l'objet. La représentation NeMO finale ( $\chi$ ) est un nuage de points continu et épars où chaque point consiste en une coordonnée de surface 3D estimée ( $s_i$ ) et son vecteur de caractéristiques correspondant ( $\hat{f}^Q_i$ ).
Propriété Clé : L'information spécifique à l'objet est dissociée des paramètres du décodeur. Le NeMO agit comme une « mémoire » qui peut être transformée (rotée, traduite, mise à l'échelle) indépendamment des poids du réseau.

2. Décodeur NeMO

Le décodeur prend une image requête ( $I_q$ ) et la représentation NeMO pré-calculée ( $\chi$ ) pour générer des prédictions denses.

Fusion de Caractéristiques : Les caractéristiques de l'image requête (extraites via ViT) sont mises à jour en s'attendant aux caractéristiques NeMO en utilisant l'attention croisée et auto-attentionnelle.
Têtes de Prédiction Denses : En utilisant une colonne vertébrale DPT (Dense Prediction Transformer) avec plusieurs têtes de sortie, le décodeur génère :
- Masques de Segmentation Modale et Amodale : Prédisant à la fois les parties visibles et occluses de l'objet.
- Correspondance 2D-3D (Pointmap) : Une carte dense reliant les pixels 2D de l'image requête aux points de surface 3D définis dans le système de coordonnées du NeMO.
- Carte de Confiance : Un score de confiance associé à la correspondance 2D-3D.
Estimation de Pose : La pose 6DoF est estimée en filtrant la carte de points basée sur la confiance et en appliquant RANSAC avec des algorithmes Perspective-n-Point (PnP).

3. Stratégie d'Entraînement

L'encodeur et le décodeur sont entraînés conjointement de bout en bout sur un grand ensemble de données synthétiques généré à l'aide de BlenderProc.

Fonctions de Perte : L'entraînement minimise la distance euclidienne entre les points de surface prédits et les points de vérité terrain, les pertes de segmentation (Dice et BCE), et une perte L1 pondérée par la confiance pour les correspondances 2D-3D.
Augmentation de Données : Pendant l'entraînement, le nuage de points NeMO est aléatoirement roté, traduit et mis à l'échelle avant d'être transmis au décodeur. Cela force le décodeur à apprendre un système de coordonnées indépendant de l'image ancre, assurant une robustesse face à l'orientation du NeMO.
Séparation Hors Ligne/En Ligne : L'encodage lourd en calcul des vues modèles est effectué hors ligne. Le temps d'inférence dépend uniquement de l'image requête et du NeMO pré-calculé, le rendant invariant au nombre de modèles d'entrée.

Contributions Clés

Représentation NeMO : Une représentation de nuage de points compacte, continue et sensible à la géométrie des vues modèles, qui encapsule à la fois les caractéristiques sémantiques et géométriques sans exiger de paramètres de caméra ou de modèles 3D.
Architecture Unifiée : Un réseau unique encodeur-décodeur capable d'effectuer la détection, la segmentation et l'estimation de pose 6DoF pour les configurations sans modèle (uniquement modèles RGB) et avec modèle (modèles CAO disponibles).
Évolutivité et Efficacité : La méthode dissocie l'information de l'objet des poids du réseau, permettant une intégration rapide d'objets sans réentraînement. Le temps d'exécution de l'inférence et la consommation mémoire restent constants indépendamment du nombre d'images modèles utilisées pour générer le NeMO.
Nouvel Ensemble de Données : Les auteurs contribuent un ensemble de données synthétiques diversifié et centré sur l'objet, imitant des scènes encombrées réalistes, pour soutenir la recherche dans ce domaine.

Résultats Expérimentaux

La méthode a été évaluée sur le benchmark BOP à travers divers ensembles de données (HOPEv2, HANDAL, T-LESS, TUD-L, YCB-V) pour les configurations sans modèle et avec modèle.

Détection Sans Modèle : La méthode a obtenu des résultats State-of-the-Art (SOTA) sur les ensembles de données HOPEv2 et HANDAL, surpassant les meilleures méthodes précédentes de 2,7 et 1,9 points de pourcentage en Précision Moyenne (AP), respectivement. Notamment, c'est la première à prédire des segmentations amodales dans un cadre sans modèle en utilisant un seul réseau.
Estimation de Pose Sans Modèle : L'approche a obtenu des résultats SOTA sur l'ensemble de données HANDAL lors de l'utilisation des détections NeMO, performant à égalité avec d'autres méthodes lors de l'utilisation de détections alternatives.
Perception Avec Modèle : Dans les configurations avec modèle (où les modèles CAO sont disponibles à l'inférence mais pas à l'entraînement), la méthode a performé de manière compétitive, se classant 6ème sur YCB-V et obtenant le SOTA sur TUD-L pour la détection. Elle a démontré un rappel élevé sur TUD-L et YCB-V pour l'estimation de pose sans raffinement, bien qu'elle ait eu des difficultés avec les objets symétriques et sans texture dans T-LESS.
Études d'Ablation : Les expériences ont montré que la performance évolue avec le nombre d'images modèles (saturant autour de 32 vues) et le nombre de points NeMO (saturant autour de 500 points). Le système a démontré une équivariance à la rotation, où la rotation de l'entrée NeMO entraînait des rotations correspondantes dans les cartes de points prédites.

Importance et Revendications

L'article revendique que NeMO offre une solution polyvalente pour la perception en peu d'exemples sans modèle, comblant efficacement le fossé entre la flexibilité des méthodes sans modèle et la précision géométrique des approches basées sur des modèles. En externalisant l'information de l'objet vers un NeMO, le système permet :

Intégration Rapide : De nouveaux objets peuvent être intégrés sans réentraînement du réseau.
Pipelines Multi-Étapes : La capacité à détecter et segmenter des objets dans des scènes encombrées permet de recadrer les régions d'intérêt pour un traitement ultérieur.
Évolutivité : La séparation de l'encodage et du décodage garantit que l'ajout de plus de vues modèles n'augmente pas la latence d'inférence.

Les auteurs reconnaissent des limitations, en particulier concernant les objets symétriques et fortement sans texture (comme observé dans l'ensemble de données T-LESS), attribuant cela aux procédures d'entraînement actuelles et aux biais de l'ensemble de données plutôt qu'à la représentation elle-même. Ils concluent que leur travail stimule le débat sur la dissociation des connaissances de l'objet des poids du modèle pour faire progresser la perception en peu d'exemples.