Which Reconstruction Model Should a Robot Use? Routing Image-to-3D Models for Cost-Aware Robotic Manipulation

1. Problématique

La manipulation robotique nécessite des reconstructions de maillages 3D de qualité variable selon la tâche :

• Manipulation dextre : Requiert des détails de surface fins et précis.
• Planification de mouvement sans collision : Tolère des représentations plus grossières.

Les modèles récents de reconstruction "Image-to-3D" (basés sur une seule vue) offrent des compromis coût-qualité variés (vitesse d'inférence, fidélité géométrique, qualité de texture). Cependant, leur performance dépend fortement de l'angle de vue d'entrée (vue frontale vs vue de coin) et de la catégorie de l'objet. De plus, des méthodes "invariantes au point de vue" (comme le balayage par lumière structurée) existent mais sont coûteuses en temps de capture.

Le défi : Il est computationnellement prohibitif d'exécuter tous les modèles pour chaque entrée. Le choix d'un modèle unique fixe est sous-optimal. Il faut donc un mécanisme de routage (sélection de modèle) qui, pour une image donnée, choisit le modèle optimal en fonction d'un compromis qualité-coût (latence, mémoire, coût monétaire) et des contraintes de la tâche, sans nécessiter de réentraînement lors de l'ajout de nouveaux modèles.

2. Méthodologie : SCOUT

Les auteurs proposent SCOUT (Score-Conditioned Optimal Utility Targeting), un cadre de routage novateur qui découple la prédiction des scores en deux composantes distinctes pour gérer l'hétérogénéité des modèles et les contraintes de coût arbitraires.

A. Découplage des scores

Le cadre sépare les modèles en deux catégories :

1. Modèles dépendants du point de vue (Viewpoint-dependent) : Les modèles Image-to-3D dont la qualité varie selon l'entrée.
2. Méthodes invariantes au point de vue (View-invariant) : Comme les scanners 3D, dont la qualité dépend de la configuration matérielle et de l'objet, mais pas de la vue initiale du robot.

SCOUT décompose le score de reconstruction $s(x, m)$ en :

1. Performance relative ($\hat{p}$) : Une distribution de probabilité apprise qui capture la performance relative des modèles dépendants du point de vue pour une image donnée.
2. Difficulté globale de l'image ($\hat{z}$) : Une estimation scalaire (fonction de partition) qui capture la difficulté intrinsèque de l'image, permettant de ramener les scores relatifs à une échelle absolue comparable aux scores des méthodes invariantes.

B. Architecture et Apprentissage

• Prétraitement : Lissage des scores par étiquetage (tag-based smoothing) pour réduire le bruit et regrouper les objets par catégorie sémantique.
• Réseau de probabilités ($\hat{p}$) : Un réseau neuronal apprend à prédire la distribution de probabilité des modèles dépendants du point de vue en minimisant la divergence KL par rapport aux scores lissés. Cela permet d'ignorer la difficulté absolue de l'image pour se concentrer sur le classement relatif.
• Estimation de la fonction de partition ($\hat{z}$) : Un second modèle supervisé (régression Ridge) estime le décalage absolu nécessaire pour reconstruire les scores bruts à partir de $\hat{p}$. Les auteurs dérivent une combinaison pondérée optimale des proxies de $\hat{z}$ pour chaque modèle, basée sur la variance et la qualité de la prédiction, afin de minimiser l'erreur globale.
• Optimisation de l'utilité : À l'inférence, le système sélectionne le modèle $\hat{m}$ maximisant :
  $$\hat{m} = \arg\max_{m \in M} (\hat{s}(x, m) - c(m))$$
  où $c(m)$ est un vecteur de coûts arbitraire (latence, mémoire, etc.).

C. Avantages Clés

• Évolutivité : Les méthodes invariantes au point de vue peuvent être ajoutées, supprimées ou reconfigurées sans réentraîner le réseau neuronal, car celui-ci ne prédit que sur les modèles dépendants du point de vue.
• Flexibilité des coûts : Le système supporte des vecteurs de coefficients de coût arbitraires ($\mathbb{R}^k$) à l'inférence, contrairement aux méthodes LLM existantes qui utilisent souvent un seul scalaire de compromis.

3. Contributions Principales

1. Première formulation du routage de modèles pour la reconstruction 3D : Adaptation aux spécificités des pipelines robotiques (mélange de méthodes dépendantes et invariantes du point de vue).
2. Proxy de fonction de partition théoriquement justifié : Une méthode pour récupérer les scores absolus à partir d'une distribution relative apprise, avec un poids optimal prouvé mathématiquement.
3. Procédure de découplage : Séparation de la difficulté de l'image et de la performance relative, permettant l'intégration dynamique de nouveaux capteurs ou méthodes sans réentraînement.

4. Résultats Expérimentaux

Les auteurs ont évalué SCOUT sur trois ensembles de données : Google Scanned Objects (GSO), BigBIRD, et YCB.

• Métriques : Distance de Chamfer (DCD), IoU, et métriques géométriques Eval3D.
• Comparaison : SCOUT surpasse systématiquement les baselines adaptées de la littérature LLM (ZOOTER, RouterDC, MLP, kNN, régression linéaire) sur divers sous-espaces de coûts.
• Résultats clés :
  • Réduction significative du "regret" (perte d'utilité par rapport à l'oracle) sur tous les sous-espaces de coûts.
  • Meilleure performance sur les coûts multidimensionnels (latence, mémoire, occupation mémoire-temps).
  • Robustesse aux métriques variées (de IoU à Eval3D).

Validation Robotique

Des expériences en simulation et dans le monde réel (robot Franka Panda) confirment l'impact pratique :

• Propositions de préhension : SCOUT réduit le taux de collision des préhensions et améliore l'IoU du maillage par rapport à l'utilisation d'un modèle fixe.
• Manipulation dextre : La qualité de la reconstruction sélectionnée impacte directement le taux de réussite des prises complexes.
• Pick-and-Place réel : Le routeur adapte dynamiquement le choix du modèle (ex: Hunyuan3D pour les vues difficiles, TRELLIS pour les vues simples) pour maximiser le taux de réussite de la tâche.

5. Signification et Impact

Ce travail établit un nouveau paradigme pour la perception robotique en 3D. Au lieu de chercher un "modèle unique universel" (qui n'existe pas), SCOUT introduit une orchestration dynamique des capacités de reconstruction.

• Efficacité opérationnelle : Permet aux robots d'adapter leur pipeline de perception aux contraintes temporelles et matérielles réelles.
• Modularité : Facilite l'intégration de nouveaux capteurs (ex: ajout d'un scanner laser) sans refaire tout l'apprentissage.
• Généralité : La méthodologie de découplage et de routage sous contraintes de coût multidimensionnelles pourrait être appliquée à d'autres domaines de la robotique où plusieurs modèles de perception ou de contrôle sont disponibles.

En résumé, SCOUT transforme la reconstruction 3D d'un problème de sélection de modèle statique en un problème d'optimisation dynamique, améliorant directement la fiabilité et l'efficacité des tâches de manipulation robotique.