Emergence of a Shared Canonical Object Frame from In-the-Wild Videos

Résumé Technique : Émergence d'un référentiel d'objet canonique partagé à partir de vidéos « in-the-wild »

Énoncé du problème
Comparer les orientations et les positions d'objets entre différentes instances nécessite de l'exprimer au sein d'un référentiel canonique partagé. Traditionnellement, l'établissement de tels référentiels reposait sur une supervision manuelle substantielle, incluant des modèles CAO alignés, des rendus synthétiques contrôlés ou une annotation précise des poses dans le monde réel. Cette dépendance crée un goulot d'étranglement pour la mise à l'échelle : les données synthétiques introduisent un écart de domaine, tandis que les données réelles annotées restent limitées en termes de diversité de catégories et d'instances. Par conséquent, apprendre des représentations d'objets canoniques capables de se généraliser largement à travers des données du monde réel sans étiquettes de pose canonique manuelles demeure un défi ouvert. De plus, les approches auto-supervisées existantes entraînent souvent des modèles distincts par catégorie, échouant ainsi à produire un référentiel partagé entre différents types d'objets.

Méthodologie
Les auteurs proposent une approche auto-supervisée et agnostique à la catégorie qui apprend un référentiel canonique partagé à partir de vidéos centrées sur l'objet capturées « in-the-wild », en utilisant uniquement des poses de caméra bruitées récupérées via la structure par mouvement (SfM). Le mécanisme central consiste à acheminer toutes les séquences d'entraînement à travers un goulot d'étranglement géométrique partagé.

1. Maillage canonique partagé : La méthode définit un maillage 3D grossier fixe (par exemple, un cube unité ou une sphère) dans un référentiel de coordonnées canoniques. Ce maillage ne porte aucun détail géométrique spécifique à la catégorie, forçant le réseau à s'appuyer sur l'apparence et les priors sémantiques plutôt que sur la correspondance de formes.
2. Réseau de correspondance : Un réseau de neurones apprend à mapper les pixels de l'image aux sommets de ce maillage partagé. Il utilise un extracteur de caractéristiques et un décodeur Transformer, où des plongements de sommets apprenables agissent comme des requêtes (queries) contre les caractéristiques de pixels. La sortie est une distribution dense sur les sommets du maillage pour chaque pixel, prédisant efficacement les correspondances 2D-3D.
3. Alignement par séquence : Étant donné que les reconstructions SfM existent dans des référentiels de coordonnées arbitraires, la méthode estime une rotation par séquence pour aligner le référentiel SfM avec le référentiel du maillage canonique.
   • Initialisation : L'alignement est initialisé via une analyse en composantes principales (PCA) sur le nuage de points SfM masqué pour capturer l'étendue géométrique grossière (par exemple, l'élongation).
   • Raffinement : Pendant l'entraînement, le réseau estime une rotation qui minimise la distance entre les coordonnées canoniques prédites par le réseau et les coordonnées dérivées de la SfM (transformées par la rotation estimée). Cela est formulé comme le problème de Wahba, résolu via la décomposition en valeurs singulières (SVD), avec des poids basés sur l'entropie de la distribution de correspondance afin de prioriser les prédictions de haute confiance.
4. Objectif d'entraînement : Les poses SfM alignées sont utilisées pour rasteriser le maillage canonique, générant des pseudo-étiquettes (sommets du maillage visibles) pour le réseau de correspondance. Le réseau est entraîné à l'aide d'une perte d'entropie croisée pour correspondre à ces pseudo-étiquettes, ainsi qu'une tête de prédiction de masque supervisée par le masque de visibilité. L'alignement et le réseau de correspondance co-évoluent pendant l'entraînement.
5. Inférence : Au moment de l'inférence, le modèle traite une seule image RGB pour prédire des correspondances denses et un masque de segmentation. La pose 6D est récupérée via EPnP avec RANSAC en utilisant les correspondances prédites, sans nécessiter d'étapes d'alignement par séquence.

Contributions clés

• Émergence auto-supervisée d'un référentiel canonique : L'article démontre qu'un référentiel canonique partagé peut émerger de vidéos centrées sur l'objet en utilisant uniquement des poses de caméra SfM bruitées, éliminant ainsi le besoin d'annotations de pose canonique.
• Goulot d'étranglement géométrique : Les auteurs montrent que le fait d'acheminer diverses séquences d'entraînement à travers un maillage canonique grossier induit une cohérence entre les séquences. Cela permet à un référentiel de référence commun d'émerger grâce à l'alignement multi-vues et aux priors sémantiques de l'extracteur de caractéristiques.
• Généralisation agnostique à la catégorie : La méthode entraîne un modèle unique à travers toutes les catégories sans conditionnement par catégorie. Elle atteint des performances compétitives avec les méthodes supervisées par canonique sur plusieurs benchmarks et se généralise à des catégories d'objets non vues lors de l'entraînement.

Résultats expérimentaux
La méthode a été entraînée sur environ 160 000 vidéos centrées sur l'objet issues de l'ensemble de données UCO3D. L'évaluation a été menée sur cinq benchmarks : REAL275, Omni6DPose, Objectron, Pascal3D+ et ImageNet3D.

• Performance : Malgré l'absence d'étiquettes de pose canonique et un entraînement exclusivement sur des vidéos réelles, la méthode a obtenu la meilleure performance moyenne macro sur les cinq ensembles de données par rapport aux bases de référence supervisées (ex. OrientAnything V1/V2, QWEN3-VL) et aux méthodes auto-supervisées spécifiques à une catégorie.
• Échelle des données : Les études d'ablation ont confirmé que l'augmentation de l'échelle des données d'entraînement (en utilisant toutes les séquences disponibles plutôt qu'un sous-ensemble limité) améliore significativement les performances, soulignant l'importance du volume de données pour apprendre des représentations généralisables.
• Ablations : L'étude a montré que si l'initialisation par PCA aide à la convergence, l'alignement appris est crucial pour résoudre l'orientation sémantique (ex. avant-vs-arrière). Un maillage cubique a fourni un léger biais inductif par rapport à une sphère, mais le principe du goulot d'étranglement géométrique est resté robuste face aux changements de forme. Une couverture multi-vues (K=4 vues) s'est révélée essentielle pour un alignement fiable.

Signification et limites
L'article affirme que cette approche répond au goulot d'étranglement de la supervision canonique, permettant une estimation de pose agnostique à la catégorie qui se transfère à des catégories inédites sans onboarding au moment du test ni étiquettes manuelles. Le référentiel appris est montré comme étant largement cohérent à travers divers types d'objets, les cartographies de conventions par catégorie se regroupant en quelques modes.

Cependant, les auteurs notent modestement des limites concernant la symétrie. Le référentiel émergé est le plus cohérent pour les objets possédant des axes sémantiques distinctifs. Pour les objets continuellement symétriques, où plusieurs orientations produisent des preuves indiscernables, la méthode rencontre des difficultés car les pseudo-étiquettes deviennent bruitées. L'article suggère que la résolution de telles ambiguïtés sans étiquettes canoniques ou priors de symétrie reste un défi pour les travaux futurs.