TinyDETR-Pose: Towards End-to-End Real-Time Single-Stage 6DoF Object Pose Estimation with Lightweight Transformers

Imaginez un bras robotique dans une usine ou une paire de lunettes de réalité augmentée sur le visage d'un utilisateur. Pour que ces machines puissent interagir avec le monde, elles doivent faire plus que simplement voir un objet ; elles doivent comprendre exactement où il se trouve dans l'espace tridimensionnel et comment il est orienté. Cela nécessite le calcul de six nombres spécifiques : trois pour décrire la position de l'objet (gauche, droite, haut, bas, avant, arrière) et trois pour décrire sa rotation (inclinaison, roulis ou lacet). C'est ce qu'on appelle l'estimation de pose à six degrés de liberté. Si les ordinateurs puissants des laboratoires peuvent résoudre ce casse-tête avec une grande précision, le faire sur de petits appareils alimentés par batterie est resté un défi tenace. Les méthodes traditionnelles reposent souvent sur des processus complexes à plusieurs étapes qui sont trop lents pour une utilisation en temps réel, tandis que les systèmes plus récents et très précis sont trop lourds pour fonctionner sur les appareils de bord qui alimentent la robotique moderne et la technologie portable.

Une équipe de chercheurs du Fraunhofer IGD en Allemagne et de la TU Delft aux Pays-Bas a introduit une nouvelle approche appelée TinyDETR-Pose, conçue pour résoudre ce problème en rendant l'ensemble du processus léger et rapide. Au lieu de diviser la tâche en étapes distinctes — d'abord trouver l'objet, puis calculer sa position, puis affiner la réponse — leur système effectue toutes ces étapes en une seule passe unifiée. Considérez cela comme une machine qui regarde une image et sait instantanément non seulement quel est l'objet, mais aussi exactement comment il est positionné dans l'espace, sans avoir besoin de s'arrêter pour vérifier son travail. Cela est rendu possible grâce à l'utilisation d'une version spécialisée et rationalisée d'une architecture transformer, un type de modèle d'intelligence artificielle reconnu pour sa capacité à traiter efficacement les données visuelles. Les chercheurs ont construit leur système pour qu'il soit « de bout en bout » (end-to-end), ce qui signifie que l'ordinateur apprend à détecter l'objet et à estimer son orientation 3D simultanément, éliminant ainsi le besoin d'étapes intermédiaires qui ralentissent souvent les anciens systèmes.

Le cœur de leur innovation réside dans la manière dont le système gère les mathématiques en coulisses. Les méthodes précédentes nécessitaient souvent un calcul séparé pour déterminer la distance par rapport à un objet ou utilisaient des solveurs géométriques complexes qui ne peuvent pas être facilement entraînés par l'IA elle-même. TinyDETR-Pose évite ces obstacles en prédisant directement le point central de l'objet sur l'écran et sa profondeur, puis en utilisant une géométrie simple pour reconstruire la position 3D complète. Il gère également un problème courant en robotique : les objets qui se ressemblent sous différents angles, tels qu'une canette de soda ou une boîte symétrique. Plut lieu de nécessiter des règles spéciales pour chaque type d'objet, le système utilise une méthode unique et unifiée pour juger sa précision, lui permettant d'apprendre à partir d'articles symétriques et asymétriques sans confusion. Cette conception permet au modèle de rester incroyablement petit, contenant beaucoup moins de paramètres ajustables que d'autres systèmes similaires, ce qui est crucial pour fonctionner sur du matériel limité.

Lorsqu'il a été testé sur un ensemble de données standard contenant vingt et un objets ménagers, le système a démontré qu'une haute précision ne nécessite pas une puissance de calcul massive. Il a atteint un niveau de précision comparable à celui de modèles beaucoup plus grands et complexes, identifiant correctement la position et l'orientation d'objets dans des scènes encombrées. Plus important encore, le système a prouvé sa rapidité sur une petite puce informatique économe en énergie connue sous le nom de NVIDIA Jetson Nano, un dispositif souvent utilisé dans les drones et les robots portables. Sur ce matériel, le système a traité une nouvelle image en environ 4,5 millisecondes, une vitesse suffisamment rapide pour suivre les mouvements du monde réel. Cette performance suggère que le compromis entre précision et vitesse, qui a longtemps limité le déploiement de la robotique avancée sur de petits appareils, peut être considérablement réduit.

Les chercheurs reconnaissent que, bien que leur système soit très efficace, il n'est pas parfait. Dans les cas où les objets sont fortement obstrués ou partiellement cachés, la précision du système peut chuter, particulièrement pour les articles aux formes irrégulières. Ils notent que leur conception actuelle privilégie la vitesse et la simplicité plutôt que la précision absolue la plus élevée, laquelle est souvent atteinte par des systèmes qui prennent beaucoup plus de temps pour calculer. Cependant, en démontrant qu'un modèle compact à étape unique peut fonctionner en temps réel sur des appareils de bord, ce travail ouvre une voie pratique pour le déploiement d'une vision 3D sophistiquée dans les applications quotidiennes. Les conclusions suggèrent que l'avenir de la robotique et de la réalité augmentée ne dépendra pas de la construction d'ordinateurs plus gros et plus puissants, mais plutôt de la conception de systèmes plus intelligents et plus légers, capables d'en faire plus avec moins.