Résumé Technique : Artic-O : Reconstruction d'objets articulés de bout en bout via l'apprentissage de la géométrie latente

1. Énoncé du problème

La reconstruction d'objets articulés (par exemple, des armoires, des tiroirs) à partir d'images multi-états éparses est une tâche complexe qui nécessite de récupérer trois composantes distinctes mais interdépendantes : la géométrie 3D complète, la segmentation des parties mobiles (actives) et les paramètres définissant le mécanisme de mouvement (articulations).

Les approches existantes présentent des limitations significatives :

• Les méthodes basées sur la géométrie nécessitent des entrées 3D propres et complètes (nuages de points ou maillages), qui sont souvent indisponibles dans des scénarios réels.
• Les méthodes basées sur l'image reposent souvent sur une optimisation par instance (lente et chronophage) ou sur la récupération à partir de bibliothèques de géométrie (fidélité limitée).
• Limites de l'état de l'art (SoTA) : Les méthodes récentes comme LARM [Yuan et al. 2025] améliorent l'efficacité en utilisant la synthèse de vues nouvelles par propagation directe (feed-forward), mais séparent la reconstruction de la géométrie de l'estimation de l'articulation. Ce découplage peut propager les erreurs de reconstruction dans l'estimation du mouvement et échoue à imposer une cohérence entre la forme, les parties actives et les paramètres de mouvement. De plus, LARM nécessite une étape de post-traitement distincte pour estimer l'articulation, manquant ainsi d'un pipeline de bout en bout.

2. Méthodologie : Artic-O

Artic-O est un cadre de bout en bout et par propagation directe qui prédit simultanément la géométrie complète de l'objet, la segmentation des parties actives et les paramètres d'articulation à partir d'images multi-états éparses (typiquement deux états limites avec plusieurs vues). L'innovation centrale est l'extension de l'apprentissage de la géométrie latente de la reconstruction d'objets statiques à la reconstruction d'objets articulés.

2.1 Aperçu de l'architecture

Le cadre se compose de trois composants principaux :

1. Encodeur d'image sensible à l'état (State-Aware) :

   • Basé sur l'architecture NOVA3R/VGGT, cet encodeur prend en entrée des images éparses de deux états d'articulation ($I_0, I_1$).
   • Il utilise un mécanisme d'embedding de jetons sensible à l'état (state-aware token embedding), ajoutant des embeddings apprenables aux jetons de patch d'image pour distinguer les deux états observés.
   • Il produit des latents de géométrie ($z_{geo}$) et des jetons d'image ($f_{img}$). Les latents de géométrie sont conditionnés par l'évidence de l'image mais résident dans un espace latent pré-entraîné.

2. Décodeur de forme par Flow-Matching gelé :

   • Artic-O utilise un décodeur de flow-matching (FM) pré-entraîné et gelé, entraîné sur des nuages de points d'objets complets.
   • Au lieu de prédire la géométrie directement dans l'espace image, le modèle projette les observations éparses dans l'espace latent de ce décodeur.
   • Le décodeur reconstruit le nuage de points complet ($\hat{P}$) en intégrant un champ de vitesse prédit à partir d'un bruit échantillonné. Crucialement, ce décodeur est gelé pendant l'entraînement, servant de fort a priori pour la récupération de la géométrie occluse et intérieure.

3. Têtes de raisonnement de partie et d'articulation ancrées sur l'image :

   • Mémoire de partie (Part Memory) : Pour connecter efficacement l'évidence visuelle à la géométrie, le modèle distille les jetons d'image et les latents de géométrie dans un ensemble compact de jetons de "mémoire de partie" via l'attention croisée.
   • Tête de segmentation : En utilisant la mémoire de partie, les caractéristiques de géométrie point par point ($f_{pcd}$) et les jetons d'image, le modèle prédit un masque binaire ($\hat{S}$) distinguant la partie mobile active du contexte statique.
   • Tête d'articulation : Un mécanisme piloté par des slots utilise la représentation du slot actif et les caractéristiques point par point pour prédire les paramètres de l'articulation. Il supporte à la fois les mouvements prismatiques (translation linéaire) et révolutes (rotation), prédisant les axes, les origines et les plages de mouvement. Pour les articulations révolutes, il emploie un mécanisme de vote dense pour localiser l'axe.

2.2 Stratégie d'entraînement

Pour équilibrer les objectifs conflictuels de la reconstruction géométrique générative et du raisonnement discriminatif au niveau des parties, Artic-O emploie deux stratégies d'entraînement spécifiques :

• Curriculum Géométrie-vers-Articulation :

  • Étape 1 : Le modèle est entraîné uniquement sur la perte de flow-matching ($L_{fm}$) pour adapter l'encodeur d'image au contexte articulé à deux états, garantissant que l'espace latent capture une géométrie valide avant d'introduire la supervision au niveau des parties.
  • Étape 2 : Les têtes de segmentation et d'articulation sont introduites. L'encodeur d'image est mis à jour avec un taux d'apprentissage plus faible, tandis que les têtes sont entraînées avec un taux plus élevé pour apprendre rapidement sans déstabiliser le a priori de géométrie.

• Entraînement à deux passages découplés :

  • Au sein d'une seule étape d'entraînement, l'encodeur s'exécute une fois, mais le décodeur gelé s'exécute deux fois avec des schémas de bruit différents.
  • Passage 1 (Passage FM) : Utilise des échantillons de trajectoire bruités standards pour optimiser la reconstruction géométrique ($L_{fm}$).
  • Passage 2 (Passage Seg/Art) : Utilise un mélange d'échantillons bruités et d'échantillons "propres" (où $t=1$, c'est-à-dire la géométrie réelle) pour entraîner la segmentation et l'articulation. Cela garantit que les têtes apprennent à partir d'identités de parties non ambiguës (propres) tout en restant robustes aux reconstructions imparfaites (bruitées) rencontrées lors de l'inférence.

3. Contributions clés

• Pipeline de bout en bout par propagation directe : Artic-O est la première méthode à unifier la reconstruction de la géométrie complète, la segmentation des parties actives et la prédiction des paramètres d'articulation dans un seul passage direct, éliminant le besoin d'optimisation par instance ou d'étapes de post-traitement séparées.
• A priori de géométrie latente pour l'articulation : En exploitant un décodeur de flow-matching gelé, la méthode récupère la géométrie intérieure complète et les structures occultées que les méthodes conditionnées par la vue manquent souvent, fournissant un contexte structurel stable pour le raisonnement de l'articulation.
• Mémoire de partie ancrée sur l'image : Un module novateur qui distille l'évidence visuelle multi-vues et multi-états en une représentation compacte, permettant une séparation efficace des parties actives des contextes statiques.
• Curriculum et entraînement à deux passages : Un régime d'entraînement sur mesure qui équilibre la nature générative de la reconstruction géométrique avec les exigences discriminatives de la segmentation de parties et de l'estimation du mouvement.

4. Résultats expérimentaux

Les expériences ont été menées sur le jeu de données PartNet-Mobility, en suivant le protocole d'évaluation de LARM.

• Reconstruction de la géométrie : Artic-O surpasse LARM, réduisant la distance de Chamfer (CD) de 0,019 à 0,017 et améliorant le F-score de 93,8 % à 95,4 %. Les résultats qualitatifs montrent des volumes intérieurs plus complets et une meilleure gestion des régions occultées.
• Précision de l'articulation : La méthode atteint une précision comparable ou supérieure sur les métriques de jointure. Notamment, la précision de la plage de mouvement ($M_r$) passe de 87,0 % à 93,5 %, et le succès axe-angle s'améliore de 96,7 % à 97,1 %.
• Efficacité : L'amélioration la plus significative est la vitesse d'inférence. Artic-O traite un objet en 0,32 seconde, contre environ 9 minutes pour LARM (une accélération d'environ 1680x), car il évite les boucles d'optimisation itérative et de synthèse de vues nouvelles.
• Études d'ablation :
  • Le retrait du a priori de géométrie gelé dégrade à la fois la géométrie et l'articulation.
  • Le retrait de la mémoire de partie ancrée sur l'image réduit considérablement le succès axe-angle (d'environ 19,8 points).
  • Le retrait du curriculum ou de l'entraînement à deux passages entraîne des baisses substantielles tant dans la qualité de la géométrie que dans la précision de l'articulation.
• Monde réel et multi-parties : Le modèle se généralise aux captures iPhone du monde réel sans optimisation au moment du test et peut être étendu aux objets multi-parties via une inférence indépendante par partie, surpassant également LARM dans ces scénarios.

5. Signification et affirmations

L'article affirme qu'Artic-O représente une étape significative vers la reconstruction scalable et efficace d'actifs 3D interactifs. En s'éloignant des pipelines décomposés et des approches basées sur l'optimisation, Artic-O démontre que :

1. Cohérence : L'apprentissage conjoint de la géométrie et de l'articulation de manière de bout en bout produit une meilleure cohérence entre la forme et le mouvement que les étapes séparées.
2. Faisabilité : Une reconstruction articulée de haute qualité est réalisable en temps réel (sous la seconde) sans nécessiter d'entrées 3D propres ou de réglages coûteux par instance.
3. Généralisation : L'approche de géométrie latente permet au modèle d'inférer des formes complètes plausibles et des mécanismes de mouvement à partir d'évidences visuelles éparses et incomplètes, ce qui est adapté aux applications en aval comme les jumeaux numériques, la RA/RV et l'intelligence incarnée où la génération rapide d'actifs est critique.

Les auteurs maintiennent une position modeste, notant que bien que la méthode gère efficacement les parties se déplaçant indépendamment, elle ne traite pas actuellement les chaînes cinématiques complexes, bien qu'elle couvre de nombreux objets articulés du quotidien.