Monocular 3D Object Position Estimation with VLMs for Human-Robot Interaction

Cet article présente une méthode utilisant des modèles vision-langage pré-entraînés, affinés via QLoRA sur un jeu de données de plus de 100 000 images, pour estimer avec précision la position 3D d'objets à partir d'une seule image monoculaire, permettant ainsi une interaction homme-robot plus intuitive.

L'essentiel

🤖 Le Robot qui a besoin de lunettes de réalité augmentée

Imaginez un robot dans une usine ou une maison. Il a un bras mécanique et une caméra fixée à son poignet (comme un œil sur son poignet). Son but est simple : attraper un objet sur une table.

Le problème ? La caméra du robot ne voit que des images plates en 2D (comme une photo). Pour attraper un objet, le robot a besoin de savoir exactement où il est dans l'espace 3D : à quelle distance, à gauche ou à droite, et surtout à quelle hauteur. C'est comme essayer de saisir une pièce de monnaie en l'air les yeux fermés : sans la profondeur, c'est le chaos.

🧠 Le Super-Cerveau (Le VLM)

Les chercheurs ont utilisé une technologie très puissante appelée VLM (Modèle Vision-Langage).

• L'analogie : Imaginez un bibliothécaire génial qui a lu tous les livres du monde et qui a vu des milliards de photos sur Internet. Si vous lui montrez une photo d'un "chien", il sait ce que c'est, il sait à quoi il ressemble, et il peut même vous raconter une blague sur les chiens.
• Le problème : Ce bibliothécaire est excellent pour voir et parler, mais il est nul en géométrie 3D. Si vous lui demandez "Où est le chien ?", il peut vous dire "Au milieu de l'image", mais il ne sait pas dire "À 30 cm de la caméra".

🛠️ La Solution : Un "Super-Héros" avec une cape spéciale

L'équipe de recherche (Fraunhofer HHI et la BHT à Berlin) a eu une idée brillante : ne pas remplacer le cerveau du robot, mais lui ajouter une "cape" spéciale.

1. L'Entraînement (La formation) : Ils ont pris ce super-cerveau (un modèle pré-entraîné) et l'ont fait travailler dans un atelier avec un vrai bras robotique. Ils lui ont montré plus de 100 000 photos d'objets (des gants de jardinage, des bouteilles, des jouets bizarres) et lui ont dit : "Regarde cette photo, écoute ma question, et dis-moi exactement où est l'objet en 3D".
2. La Magie (Le routage conditionnel) : C'est ici que ça devient astucieux. Ils ont créé un système de "tri postal" intelligent.
   • Si vous demandez au robot : "Qu'est-ce que c'est ?" (une question générale), le message est envoyé au cerveau original (le bibliothécaire) qui garde toutes ses connaissances générales.
   • Si vous demandez : "Où est l'objet pour que je le saisisse ?" (une question de position), le message est redirigé vers le nouveau module d'entraînement qui est devenu un expert en 3D.
   • Résultat : Le robot reste intelligent et capable de discuter, mais il gagne aussi la capacité de mesurer l'espace sans perdre ses autres talents.

📊 Les Résultats : Est-ce que ça marche ?

C'est là que les chiffres parlent :

• La précision : Le robot se trompe en moyenne de seulement 13 millimètres (l'épaisseur d'un stylo). C'est très précis !
• La comparaison : Sans cette formation spéciale, le robot se trompait 5 fois plus. C'est comme passer d'un tir à l'aveugle à un tir de sniper.
• Le succès : Dans 25 % des cas, l'erreur est si faible (moins de 10 mm) que le robot pourrait réussir à attraper l'objet ou à le pousser sans le faire tomber. C'est énorme pour un robot qui doit gérer des objets qu'il n'a jamais vus auparavant.

🚧 Les Défis restants (Pourquoi ce n'est pas parfait ?)

Même si c'est impressionnant, le robot a encore quelques faiblesses, un peu comme un humain qui apprendrait à conduire :

• Les objets bizarres : Si l'objet a une forme très étrange (comme un moule à glace ou des lunettes de soleil), le robot hésite un peu plus. C'est comme si le bibliothécaire avait vu des millions de chaises classiques, mais jamais de chaise en forme de champignon.
• La hauteur (l'axe Z) : Estimer la hauteur avec une seule caméra est très difficile (c'est comme essayer de deviner la hauteur d'un immeuble juste en regardant une photo 2D). Le robot se trompe un peu plus sur la hauteur que sur la gauche/droite.
• L'environnement : Le robot a été entraîné dans un atelier spécifique avec une caméra précise. Si on le déplace dans une cuisine avec une autre caméra, il risque d'être un peu perdu.

🚀 Conclusion : Vers un futur plus fluide

En résumé, cette recherche montre qu'on peut transformer un "chatbot" qui voit des images en un robot manuel précis, sans avoir à tout reconstruire de zéro. C'est une étape clé pour que les robots puissent vraiment nous aider au quotidien, en comprenant non seulement ce qu'ils voient, mais aussi où le toucher.

C'est comme donner des lunettes de réalité augmentée à un robot : il voit le monde, et en plus, il sait exactement où mettre sa main pour interagir avec lui.

Résumé technique

1. Problématique

L'interaction homme-robot (HRI) intuitive repose souvent sur la capacité du robot à comprendre les commandes naturelles et à localiser des objets dans l'espace 3D. Bien que les Modèles Vision-Langage (VLM) pré-entraînés excellent dans la détection d'objets en 2D et la compréhension sémantique, ils souffrent d'un manque de capacités pour estimer directement les coordonnées 3D à partir d'images monoculaires (une seule caméra RGB).
Le défi principal réside dans la création d'un système capable de :

• Estimer la position 3D d'un objet par rapport à la base du robot à partir d'une seule image RGB.
• Préserver les capacités générales du VLM (réponse aux questions, dialogue) tout en ajoutant une fonctionnalité de régression 3D spécialisée.
• Fonctionner dans des scénarios « open-set » (objets non vus lors de l'entraînement) sans nécessiter de modèles de robotique entièrement redéfinis.

2. Méthodologie

Architecture et Pipeline de Traitement
Les auteurs proposent une architecture hybride basée sur un VLM pré-entraîné (LLaVA-v1.5, 7B paramètres) modifié pour la régression 3D.

• Entrées : Une image RGB monoculaire (vue de la caméra montée au poignet du robot), un prompt textuel naturel, et l'état du robot (position et orientation de la pince par rapport à la base).
• Mécanisme de Routage Conditionnel : Pour éviter de sacrifier les capacités générales du modèle, un mécanisme de routage est implémenté.
  • Si l'entrée est une question générale, le modèle utilise la base originale.
  • Si l'entrée contient un indicateur spécifique (ex: le mot « question » pour les requêtes générales, ou implicitement une demande de coordonnées), le flux est dirigé vers la tête de régression adaptée.
• Adaptation (Fine-tuning) : L'entraînement utilise la technique QLoRA (Low-Rank Adaptation quantifiée). Seuls les paramètres de la matrice LoRA et de la nouvelle tête de régression sont entraînés, tandis que le modèle de base reste intact. Cela permet de maintenir un modèle final compact de 3,7 milliards de paramètres.

Collecte et Constitution des Données

• Robot : Bras robotique Doosan A0509 (6 axes) équipé d'une pince RG2-FT et d'une webcam Logitech Brio montée au poignet.
• Jeu de données : Plus de 100 000 images collectées dans l'espace de travail du robot.
• Variabilité : Le dataset inclut environ 750 objets différents, avec des séquences d'images prises pendant que le robot s'approche des objets selon des trajectoires variées (linéaires, courbes, triangulaires).
• Conditions : Diversité des éclairages, objets uniques et multi-objets (60% / 40%), et objets de formes irrégulières.
• Stratégie de Split : Une séparation par groupe d'objets (90% entraînement/validation, 10% test) garantit qu'aucun objet du jeu de test n'apparaît dans l'entraînement, assurant une évaluation rigoureuse de la généralisation.

3. Contributions Clés

1. Première intégration de VLM pour la localisation 3D monoculaire en HRI : Démonstration qu'un VLM généraliste peut être adapté pour estimer des coordonnées 3D précises sans perdre ses capacités conversationnelles.
2. Mécanisme de Routage Conditionnel : Une approche innovante permettant de basculer dynamiquement entre le mode « dialogue général » et le mode « estimation 3D » au sein d'un même modèle, évitant ainsi le compromis habituel entre spécialisation et généralité.
3. Dataset Hétérogène et Robuste : Création d'un jeu de données de grande échelle (>100k images) spécifiquement conçu pour la localisation 3D en robotique, couvrant une large variété de formes, d'éclairages et de scénarios.
4. Analyse des Erreurs Détaillée : Identification systématique des facteurs influençant la précision (verticalité des objets, formes irrégulières, éclairage, profondeur).

4. Résultats

Le modèle a été évalué sur un jeu de test contenant des objets non vus lors de l'entraînement.

• Performance Globale :
  • Erreur Absolue Moyenne (MAE) médiane : 13 mm (sur les coordonnées x, y, z).
  • Erreur Euclidienne Médiane : 27 mm.
  • Amélioration : Le modèle fine-tuné surpasse une baseline simple (LLaVA + régression linéaire sans fine-tuning) par un facteur de 5.
• Précision pour l'Interaction :
  • Environ 25 % des prédictions se situent dans une marge d'erreur de 10 mm par coordonnée, considérée comme acceptable pour des tâches d'interaction physique comme la saisie (grasping) ou la poussée.
• Analyse des Échecs (Outliers) :
  • Le modèle montre une plus grande difficulté avec les objets verticaux (ex: boussoles, bouteilles), les objets de design inhabituel (ex: moule à glace), les formes irrégulières (ex: lunettes de soleil) et les objets larges.
  • L'axe Z (profondeur/hauteur) présente une incertitude plus élevée que les axes X et Y, ce qui est attendu avec une vision monoculaire, mais reste gérable.
  • Les conditions d'éclairage inhabituelles augmentent également l'erreur.

5. Signification et Perspectives

Signification :
Ce travail comble un fossé critique entre les modèles de langage/vision de grande envergure et les besoins pratiques de la robotique de service. Il démontre qu'il n'est pas nécessaire de développer des modèles de robotique « from scratch » pour obtenir des capacités de perception 3D ; l'adaptation de modèles foundationnels via LoRA est une voie efficace, économe en calcul et en données. La capacité à maintenir les compétences générales du VLM tout en ajoutant une fonctionnalité 3D ouvre la porte à des interactions plus naturelles et contextuelles.

Limites et Travaux Futurs :

• Biais de l'espace de travail : Le modèle est actuellement biaisé vers la configuration spécifique du bras robotique et de la caméra utilisés lors de la collecte.
• Améliorations prévues :
  • Augmentation de l'hétérogénéité du dataset (plus d'objets, environnements variés, différents robots).
  • Intégration des données proprioceptives du robot plus tardivement dans la fusion des caractéristiques.
  • Développement de stratégies de routage apprises (learned routing) plutôt que basées sur des mots-clés fixes.
  • Simplification des prompts d'entrée.

En conclusion, cette recherche valide l'utilisation de VLMs adaptés pour la perception 3D en robotique, offrant une précision suffisante pour de nombreuses tâches d'interaction tout en conservant la flexibilité du langage naturel.