MotionDLO: Hybrid Event- and Frame-Based Tracking of Deformable Linear Objects

Dans le monde de la robotique, il existe un écart persistant entre ce qu'une machine peut voir et ce qu'elle doit faire. Les robots excellent dans le déplacement d'objets lourds et rigides comme des boîtes métalliques ou des pièces de voiture, mais ils ont du mal avec tout ce qui est mou, flexible ou imprévisible. Pensez à un faisceau de câbles dans une usine automobile, un câble dans une salle de serveurs ou un fil de suture dans un hôpital. Ces objets sont connus sous le nom d'objets linéaires déformables. Ils se tordent, se courbent et s'emmêlent de manières impossibles à prédire parfaitement à l'avance. Pour les manipuler, un robot doit les observer bouger en temps réel, mettant à jour sa compréhension de leur forme des centaines de fois par seconde. Les caméras traditionnelles, qui prennent des photos comme une caméra de film standard, sont souvent trop lentes pour cette tâche. Le temps qu'une caméra standard capture une image claire d'un fil en mouvement rapide, le fil a déjà bougé, laissant au robot une image floue et obsolète. Ce décalage provoque l'échec du robot qui rate sa cible ou, pire encore, perd totalement la trace de l'objet.

Pour résoudre ce problème, des chercheurs ont commencé à utiliser un autre type de capteur appelé caméra à événements. Contra_irement à une caméra standard qui prend des photos à intervalles fixes, une caméra à événements fonctionne comme un système nerveux. Elle ne rapporte que les changements. Si un pixel sur le capteur voit un changement de lumière, il envoie un signal immédiatement. Si la scène est immobile, le capteur reste silencieux. Cela permet à la caméra de réagir au mouvement en microsecondes, capturant la vitesse d'un fil en mouvement sans aucun flou. Cependant, bien que ces caméras soient incroyablement rapides, elles sont souvent peu performantes pour déterminer exactement où se trouve un objet ou quel est son aspect détaillé. Elles voient le mouvement, mais elles ont du mal à définir la forme. Le défi pour les ingénieurs a été de combiner la réaction fulgurante de la caméra à événements avec la vision précise et détaillée de la caméra standard, créant ainsi un système qui soit à la fois assez rapide et précis pour qu'un robot puisse accomplir des tâches délicates.

Une équipe de chercheurs a développé un nouveau système appelé MotionDLO pour combler ce fossé. Leur travail se concentre sur le suivi de ces fils et câbles flexibles lorsqu'ils se déplacent, garantissant que le robot sait exactement où se trouve chaque partie de l'objet à tout moment. Le système fonctionne en utilisant deux "yeux" différents simultanément. L'un est une caméra standard haute résolution qui prend des photos pour obtenir une vue claire et détaillée de la forme du fil. L'autre est la caméra à événements, qui guette tout mouvement. Les chercheurs ont conçu le logiciel pour basculer entre ces deux vues en fonction de ce que fait le fil. Lorsque le fil est immobile, le système s'appuie sur la caméra standard pour construire une carte parfaite et détaillée de sa forme. Dès que le fil commence à bouger, le système bascule instantanément sur la caméra à événements. Parce que la caméra à événements réagit très vite, elle peut suivre le mouvement du fil au fur et à mesure qu'il se produit, mettant à jour la compréhension du robot sur la position du fil toutes les 12 millisecondes.

Le génie du système réside dans la manière dont il fait fonctionner ces deux flux d'informations différents ensemble sans s'embrouiller. Les chercheurs ont découvert que s'ils se référaient uniquement à la caméra à événements rapide, le robot pourrait perdre la trace du fil qu'il suit, surtout s'il y avait plusieurs fils dans la scène. S'ils se référaient uniquement à la caméra standard, le robot serait trop lent pour rattraper les mouvements rapides. MotionDLO résout cela en utilisant la caméra standard pour établir un point de départ solide et précis et pour confirmer l'identité de l'objet. Ensuite, alors que l'objet bouge, la caméra à événements prend le relais, fournissant un flux continu de mises à jour qui maintiennent les connaissances du robot à jour. Le système est assez intelligent pour savoir quand l'objet a cessé de bouger et pour revenir à la caméra détaillée afin de corriger toute petite erreur qui aurait pu s'immiscer pendant le mouvement rapide. Cela crée une boucle sans faille où le robot ne perd jamais de vue l'objet, quelle que soit sa vitesse de mouvement.

L'équipe a testé son système dans un environnement industriel réaliste, en utilisant un bras robotisé pour saisir et déplacer différents types de câbles et de tubes. Ils ont utilisé trois types d'objets spécifiques : un tube en plastique utilisé pour l'air comprimé, un câble de communication blindé et un fil électrique fin. Le robot a déplacé ces objets à diverses vitesses, y compris des mouvements très rapides qui causeraient à une caméra standard de ne voir qu'un flou. Les résultats ont montré que MotionDLO pouvait suivre les objets avec une précision remarquable. Même lorsque le robot déplaçait les câbles à des vitesses allant jusqu'à 2 255 millimètres par seconde, le système maintenait une erreur moyenne de moins d'un demi-millimètre. Ce niveau de précision est crucial car cela signifie que le robot peut manipuler le fil sans l'endommager ou le faire tomber. En revanche, d'autres méthodes existantes qui reposent sur des caméras standard ou sur un suivi par événements plus simple échouaient dans ces conditions. Elles perdaient soit la trace de l'objet, soit commettaient des erreurs si importantes que le robot ne pouvait pas terminer la tâche.

L'une des découvertes les plus significatives fut que le système pouvait suivre un seul fil en mouvement même lorsqu'il était emmêlé avec d'autres fils stationnaires. Dans une scène encombrée comportant plusieurs câbles, les autres méthodes de suivi se confondaient souvent, mélangeant quel fil était lequel ou perdant totalement le fil en mouvement. MotionDLO, cependant, utilisait la capacité unique de la caméra à événements à ne voir que les parties en mouvement. Puisque les fils stationnaires ne déclenchaient pas la caméra à événements, le système pouvait isoler le fil en mouvement du désordre environnant et le suivre de manière constante. Cette capacité à maintenir une identité cohérente de l'objet au fil du temps est une avancée majeure, car elle permet aux robots d'accomplir des tâches complexes qui nécessitent une attention prolongée sans être distraits ou perdre leur orientation.

Les chercheurs ont également démontré que leur système fonctionne sans avoir besoin d'être entraîné sur des types de fils spécifiques. De nombreux systèmes de vision robotique modernes nécessitent des milliers d'heures de données d'entraînement pour apprendre à reconnaître un objet spécifique. Si le robot rencontre un nouveau type de câble qu'il n'a jamais vu, il échoue souvent. MotionDLO évite ce problème en utilisant une approche "zero-shot" (apprentissage sans exemple préalable). Il utilise un modèle polyvalent capable de comprendre ce qu'est un fil sur la base de descriptions simples, plutôt que d'avoir mémorisé des exemples spécifiques. Cela signifie que le système peut être déployé dans une usine avec un nouveau type de câble et commencer à travailler immédiatement, sans nécessiter une longue période d'entraînement. Cette flexibilité rend cette technologie beaucoup plus pratique pour une utilisation industrielle réelle, où les types de matériaux et d'outils changent fréquemment.

Dans leurs expériences, l'équipe a mesuré le temps nécessaire au système pour traiter chaque mise à jour. Ils ont constaté que l'ensemble du processus, de la détection du mouvement à la mise à jour du plan du robot, ne prenait que 12 millisecondes. Cette vitesse est suffisante pour permettre au robot de réagir en temps réel, en ajustant sa prise ou sa trajectoire à mesure que le fil bouge. Le système a été capable de maintenir cette performance sur les trois types de câbles testés, du tube en plastique épais au fil électrique très fin. La précision est restée élevée même lorsque les fils bougeaient rapidement, prouvant que l'approche hybride combine avec succès la vitesse de la détection par événements et la précision de l'imagerie standard.

Les implications de ce travail s'étendent au-delà du simple déplacement de fils. La capacité de suivre des objets flexibles en temps réel ouvre la voie aux robots pour manipuler une gamme beaucoup plus large de tâches. À l'avenir, cette technologie pourrait être utilisée pour automatiser l'assemblage de faisceaux de câbles complexes dans les voitures, l'installation de câbles dans des baies de serveurs étroites, ou même pour assister dans des procédures médicales délicates comme la suture. Les chercheurs ont noté que si leur système actuel fonctionne en deux dimensions, la prochaine étape consisterait à ajouter la perception de la profondeur afin que le robot puisse comprendre la forme tridimensionnelle complète de l'objet. Ils prévoient également de tester le système dans des environnements avec des conditions de luminosité changeantes, tels que ceux que l'on trouve dans les ateliers de soudage ou de découpe laser, afin de garantir sa robustesse dans tous les contextes industriels.

Le succès de MotionDLO démontre que l'avenir de la perception robotique ne réside pas dans le choix entre la vitesse et la précision, mais dans la combinaison des forces de différentes technologies. En écoutant les signaux rapides d'une caméra à événements tout en gardant le regard fixe d'une caméra standard, le système atteint un niveau de performance qu'aucun des deux ne pourrait atteindre seul. Cette approche offre une solution pratique à un problème qui a longtemps entravé l'automatisation des tâches impliquant des matériaux flexibles. À mesure que les robots deviennent plus courants dans les usines et les foyers, la capacité de manipuler l'imprévisible et le délicat sera tout aussi importante que la capacité à soulever des charges lourdes. MotionDLO trace une voie claire vers ce futur, montant qu'avec la bonne combinaison de capteurs et de logiciels, les robots peuvent enfin apprendre à manipuler le monde tel qu'il est réellement : désordonné, en mouvement et rempli de choses flexibles.