TIGeR: Tool-Integrated Geometric Reasoning in Vision-Language Models for Robotics

Ce papier présente TIGeR, un cadre novateur qui améliore la précision géométrique des modèles vision-langage pour la robotique en leur permettant de générer et d'exécuter du code via des outils externes, surpassant ainsi les limitations des approches purement qualitatives pour atteindre une précision centimétrique dans les tâches de manipulation réelle.

L'essentiel

Voici une explication simple et imagée du papier de recherche sur TIGeR, conçue pour être comprise par tous, même sans bagage technique.

🤖 TIGeR : Le Robot qui a enfin appris à faire ses devoirs de maths

Imaginez un robot très intelligent, capable de voir et de comprendre le monde comme un humain. C'est ce qu'on appelle un Modèle Vision-Langage (VLM). Jusqu'à présent, ces robots étaient comme des artistes impressionnistes : ils pouvaient dire "la tasse est à gauche de l'assiette" ou "il y a de la place pour poser l'objet", mais ils étaient très mauvais pour les mesures précises.

Si vous leur demandiez : "Pose la cuillère exactement 5 centimètres au-dessus de la plante", ils répondaient souvent : "Euh, je pense que c'est là, à peu près". Pour un robot qui doit manipuler des objets réels, cette imprécision est catastrophique. C'est comme essayer de visser un boulon avec un marteau : ça ne fonctionne pas.

TIGeR (Tool-Integrated Geometric Reasoning) change la donne. Voici comment cela fonctionne, avec quelques analogies :

1. Le Problème : L'Intuition vs. La Règle

Les robots actuels essaient de "deviner" les distances en regardant des images, un peu comme si vous deviniez la taille d'un immeuble en fermant les yeux et en comptant les étages. C'est souvent faux.

• L'ancienne méthode : "Je vois que c'est haut, donc je vais essayer de mettre la main là." (Résultat : Le robot rate sa cible).
• Le problème : Les robots n'ont pas de "calculatrice" intégrée dans leur cerveau pour faire des maths géométriques complexes.

2. La Solution TIGeR : Le Robot avec une Calculatrice

TIGeR ne demande pas au robot de devenir un expert en géométrie. Au lieu de cela, il lui apprend à utiliser des outils.

Imaginez que le robot est un chef cuisinier (le cerveau du robot).

• Avant : Le chef devait deviner la température du four et le temps de cuisson de tête. Souvent, le gâteau brûle.
• Avec TIGeR : Le chef sait qu'il ne doit pas deviner. Il dit : "Je ne sais pas la température exacte, donc je vais appeler le thermomètre (l'outil), lire le chiffre, et ensuite écrire une note pour ajuster le four."

TIGeR permet au robot de :

1. Voir le problème (ex: "Je dois mettre l'objet à 5 cm").
2. Comprendre qu'il a besoin de maths.
3. Écrire du code (comme un petit programme informatique) pour utiliser des outils externes (capteurs de profondeur, caméras, bibliothèques de géométrie).
4. Obtenir une réponse exacte (ex: "Les coordonnées sont X, Y, Z") et agir avec une précision au centimètre près.

3. La "Gymnastique" des Données (TIGeR-300K)

Pour apprendre à ce robot à utiliser ses outils, les chercheurs ont créé un énorme livre d'exercices appelé TIGeR-300K.

• C'est comme un entraînement de gymnastique pour le robot.
• Au lieu de juste montrer des photos, on lui donne des exercices où il doit dire : "Je vais utiliser le capteur de profondeur pour mesurer la distance, puis j'écris un petit script pour calculer l'angle".
• Le robot apprend non seulement la réponse, mais aussi la méthode pour y arriver.

4. L'Entraînement en Deux Étapes (SFT + RFT)

Pour que le robot devienne un champion, on l'entraîne en deux temps, comme un athlète :

• Étape 1 (Apprentissage) : On lui montre des milliers d'exemples de la bonne méthode (comme lire un manuel). Il apprend à utiliser les outils correctement.
• Étape 2 (Perfectionnement) : On le laisse s'entraîner seul, mais on le félicite (récompense) seulement s'il fait les calculs exactement justes et s'il utilise les bons outils. S'il se trompe de 1 mm, on lui dit "Non, recommence". C'est ce qui le rend ultra-précis.

🌟 Pourquoi c'est révolutionnaire ?

Dans le monde réel, la différence entre "à peu près" et "exactement" est énorme.

• Sans TIGeR : Un robot essaie de verser de l'eau dans un verre, mais il renverse tout parce qu'il a mal estimé la hauteur.
• Avec TIGeR : Le robot calcule la trajectoire exacte, vérifie qu'il n'y a pas d'obstacle, et verse l'eau parfaitement, même si le verre est caché derrière un autre objet.

En résumé : TIGeR ne rend pas le robot plus "intelligent" au sens humain (il ne fait pas de poésie), mais il lui donne une calculatrice géante et des règles de géométrie qu'il sait utiliser. Il passe d'un rêveur qui imagine les distances à un ingénieur qui les mesure avec précision. C'est la clé pour que les robots puissent vraiment nous aider dans nos maisons et nos usines sans casser les objets !

Résumé technique

Titre : TIGeR : Raisonnement Géométrique Intégré aux Outils dans les Modèles Vision-Langage pour la Robotique

1. Problématique

Les modèles Vision-Langage (VLM) actuels ont démontré des capacités remarquables en raisonnement spatial qualitatif (ex: "à gauche de", "atteignable"). Cependant, ils souffrent de limitations fondamentales pour la robotique réelle :

• Manque de précision métrique : Ils se limitent souvent à des estimations qualitatives ou à des régressions statistiques, incapables de fournir la précision centimétrique requise pour la manipulation robotique.
• Ignorance des données métriques : Bien que les capteurs de profondeur et les caméras fournissent des informations métriques riches, les VLM existants traitent ces signaux comme des représentations d'images, perdant les propriétés géométriques nécessaires aux calculs exacts.
• Absence de calcul déterministe : Les approches actuelles réduisent le raisonnement géométrique à de la reconnaissance de motifs, sans utiliser les intrinsèques/extrinsèques de la caméra ou les bibliothèques géométriques pour effectuer des calculs précis (ex: matrices de rotation, trajectoires sans collision).

2. Méthodologie : Le Framework TIGeR

TIGeR propose un changement de paradigme : transformer les VLM de simples "estimateurs perceptuels" en "ordinateurs géométriques" capables de générer et d'exécuter du code précis via des outils externes.

A. Architecture et Flux de Travail
Le framework fonctionne en trois étapes clés lors du raisonnement :

1. Détection du besoin : Le modèle identifie quand un raisonnement géométrique précis est nécessaire.
2. Génération de code et invocation d'outils : Au lieu d'essayer d'intégrer les calculs complexes dans les poids du réseau neuronal, TIGeR génère du code Python pour appeler des bibliothèques spécialisées.
3. Exécution et intégration : Le code est exécuté dans un environnement sécurisé (sandbox), et les résultats numériques exacts sont renvoyés au modèle pour la suite du raisonnement.

B. Catégorisation des Outils
Les outils sont divisés en deux groupes hiérarchiques :

• Outils de Perception Visuelle : Extraient les informations métriques brutes.
  • Intrinsèques/Extrinsèques de la caméra : Pour aligner les observations dans un système de coordonnées 3D unifié.
  • Capteurs de profondeur : Interrogation directe des données de profondeur (ou estimation via MoGe-2 si absent).
  • Segmentation d'objets : Utilisation de SAM2 pour obtenir des masques précis à partir de boîtes 2D.
• Outils de Calcul Géométrique : Effectuent les transformations et calculs.
  • Conversion 2D vers 3D : Transformation des boîtes 2D en boîtes 3D en intégrant la profondeur.
  • Projection 3D vers 2D : Projection des points 3D sur le plan image.
  • Exécuteur de code : Génère et exécute des scripts pour des calculs complexes (distances, poses, vérification de collisions).

C. Pipeline d'Entraînement (Deux Étapes)
L'entraînement repose sur un pipeline combinant Supervised Fine-Tuning (SFT) et Reinforcement Fine-Tuning (RFT) :

1. SFT (Cold-Start) : Utilisation du dataset TIGeR-300K pour apprendre au modèle à générer des chaînes de raisonnement incluant des appels d'outils et du code.
2. RFT (Reinforcement Fine-Tuning) : Utilisation de l'algorithme GRPO (Group Relative Policy Optimization) avec une fonction de récompense hiérarchique conçue spécifiquement pour le raisonnement intégré aux outils (TIR). Cette récompense évalue :
   • Le format (syntaxe des tokens et des outils).
   • L'invocation de l'outil (choix correct et paramètres valides).
   • Le contenu des paramètres (précision des valeurs continues/discretes).
   • La génération de code (exécution réussie et sortie correcte).
   • La réponse finale (exactitude par rapport à la vérité terrain).

3. Contributions Clés

• Concept & Méthode : Introduction de TIGeR, un framework qui redéfinit le rôle des VLM pour permettre un calcul géométrique exact via la génération de code, dépassant les limitations des approches purement basées sur les données.
• Dataset TIGeR-300K : Création d'un jeu de données massif de 300 000 échantillons orientés "invocation d'outils". Il couvre la transformation de points, l'estimation de pose, la génération de trajectoires et la vérification de compatibilité spatiale. Chaque échantillon inclut l'énoncé, la solution, la séquence complète d'appels d'outils et les calculs intermédiaires. Le dataset est généré via une approche hybride :
  • Génération par templates à partir de CA-1M (pour la précision géométrique).
  • Réécriture par CoT (Chain-of-Thought) via LLMs à partir de SSR-CoT (pour la diversité et la flexibilité).
• Résultats Expérimentaux : Démonstration d'une précision centimétrique dans des tâches de manipulation réelles et d'un état de l'art (SOTA) sur les benchmarks de raisonnement géométrique.

4. Résultats Expérimentaux

• Benchmarks de Raisonnement Spatial : TIGeR atteint une précision SOTA de 79,30 % sur des benchmarks publics (CV-Bench, BLINK, RoboSpatial, Q-Spatial++), surpassant même le modèle Gemini 2.5-Pro de 5,83 %. Il excelle particulièrement dans les tâches quantitatives (Q-Spatial++).
• Simulation Robotique (Open6DOR) : Sur le suivi de position, TIGeR améliore le taux de réussite de 11,3 % par rapport aux modèles VLA (Vision-Language-Action) de base et aux méthodes basées sur des boîtes 2D, grâce à sa capacité à résoudre les ambiguïtés d'occlusion via la géométrie 3D.
• Robotique Réelle (UR5 + Caméra L515) : Dans des tâches de manipulation exigeant une précision métrique (ex: "placer un objet à 10 cm à droite", "derrière un objet masqué"), TIGeR atteint des taux de réussite de 55 % à 70 %, là où les méthodes de base (OpenVLA, RoboPoint) échouent souvent (0 % à 10 %). Il est capable de gérer des occlusions partielles et des contraintes spatiales complexes que les VLM 2D ne peuvent pas inférer.
• Études d'Ablation : Les résultats montrent que la combinaison de données synthétiques par templates et de données réécrites par LLM est cruciale. De plus, chaque composante de la récompense hiérarchique (format, outil, paramètre, code, réponse) contribue significativement à la performance finale.

5. Signification et Impact

Ce travail marque une avancée majeure pour l'intégration de l'IA dans la robotique physique :

• Précision vs. Approximation : Il résout le problème de l'approximation inhérente aux réseaux de neurones pour les tâches nécessitant une exactitude mathématique, en déléguant le calcul aux outils appropriés.
• Interprétabilité et Adaptabilité : En exposant les étapes intermédiaires (appels d'outils, code généré), le système est plus transparent et plus facile à déboguer que les modèles "boîte noire". Il permet également d'intégrer de nouveaux outils sans réentraînement coûteux du modèle de base.
• Faisabilité Réelle : TIGeR démontre qu'il est possible de passer de la compréhension spatiale qualitative à la manipulation quantitative précise dans des environnements réels, ouvrant la voie à des robots plus autonomes et fiables pour des tâches complexes de logistique, de service et d'assemblage.