BOP-Distrib++: Local Symmetry Discovery for 6D Pose Benchmarking Under Visual Ambiguities

Les robots et les systèmes de réalité augmentée reposent sur une capacité fondamentale : savoir exactement où se trouve un objet dans l'espace et comment il est orienté. Cette tâche, connue sous le nom d'estimation de pose en six dimensions, consiste à calculer la position tridimensionnelle d'un objet et son orientation tridimensionnelle par rapport à une caméra. C'est la logique invisible qui permet à un bras robotisé de saisir un outil ou à une superposition numérique de rester fixée sur une pièce en mouvement. Pour que cette technologie fonctionne, les ordinateurs doivent être entraînés sur de vastes bibliothèques d'images où la bonne réponse est déjà connue. Cependant, un défaut caché dans la manière dont ces réponses sont fournies a longtemps biaisé l'évaluation des algorithmes conçus pour résoudre ce casse-tête. Le problème survient lorsqu'un objet semble identique sous différents angles, ou lorsque certaines de ses parties sont cachées. Dans ces moments d'ambiguïté visuelle, il n'existe pas de réponse unique correcte ; il existe plusieurs possibilités valides.

Pendant des années, la méthode standard pour tester ces systèmes traitait chaque objet comme s'il n'avait qu'une seule position réelle, même lorsque l'image suggérait le contraire. Les chercheurs prenaient une position de référence unique et appliquaient un ensemble fixe de règles pour tenir compte de la symétrie, en supposant que ces règles s'appliquaient à chaque image de cet objet de la même manière. Cette approche ignorait la réalité de la scène. Si une caméra ne voit que le côté lisse et arrondi d'une tasse, l'ordinateur ne peut pas déterminer si la tasse est à l'endroit ou à l'envers. Si un trou est visible, la réponse devient claire. L'ancienne méthode ne parvenait pas à distinguer ces cas, traitant une vue confuse et ambiguë de la même manière qu'une vue claire et non ambiguë. Cela signifiait que les bancs d'essai utilisés pour classer les meilleurs algorithmes étaient construits sur une base imparfaite, récompensant potentiellement des méthodes qui devinaient bien par chance tout en pénalisant celles qui identifiaient correctement plusieurs possibilités.

Une équipe de chercheurs de l'Université Paris-Saclay et d'autres institutions a désormais corrigé cet oubli avec une nouvelle approche appelée BOP-Distrib++. Au lieu d'attribuer une réponse statique unique à chaque image, ils ont développé une méthode pour découvrir automatiquement les symétries spécifiques d'un objet en fonction de ce qui est réellement visible dans chaque photo. Ils ont commencé par analyser les modèles numériques 3D des objets pour trouver leurs symétries intrinsèques, telles que des motifs de rotation ou des surfaces planes qui paraissent identiques sous différents angles. Ensuite, pour chaque image de leurs ensembles de données, ils ont simulé la vue de la caméra pour déterminer quelles parties de l'objet étaient cachées et lesquelles étaient visibles. En combinant la forme de l'objet avec la vue spécifique, ils ont généré un ensemble unique de positions possibles pour ce moment précis. Ce processus a transformé la vérité de terrain, passant d'un point unique à une distribution de possibilités, reflétant fidèlement si la scène était claire ou confuse.

Les chercheurs ont appliqué ce nouveau système d'étiquetage plus précis aux ensembles de données standards utilisés pour tester les meilleures méthodes d'estimation de pose au monde. Lorsqu'ils ont réévalué les algorithmes les plus performants à l'aide de ces distributions spécifiques à chaque image, les résultats ont radicalement changé. Les méthodes qui étaient auparavant en tête du classement ont vu leurs scores chuter considérablement, tandis que d'autres ont progressé dans le classement. Ce changement s'est produit parce que les anciens bancs d'essai étaient trop indulgents ; ils acceptaient des réponses qui étaient techniquement correctes pour une vue différente de l'objet, même si elles étaient fausses pour l'image spécifique présentée. Cette nouvelle évaluation a révélé que de nombreux systèmes de pointe n'étaient pas aussi robustes que précédemment supposé face à des vues partielles ou des formes symétriques. L'étude a montré que lorsque le test est équitable et tient compte du contexte visuel spécifique, le paysage de performance de ces technologies est complètement différent.

Au-delà de la correction des classements pour les systèmes à réponse unique, ce travail a également ouvert la voie à l'évaluation d'une nouvelle génération de méthodes qui prédisent un ensemble complet de positions possibles plutôt qu'une seule supposition. Jusqu'à présent, ces méthodes multi-poses ne pouvaient être testées que sur des images synthétiques générées par ordinateur, car les ensembles de données du monde réel manquaient des annotations nécessaires. Grâce à ces nouvelles distributions image par image, les chercheurs ont pu tester ces systèmes avancés sur des photographies réelles pour la première fois. Ils ont découvert que, si les méthodes à pose unique restaient meilleures pour localiser précisément un endroit spécifique lorsque la vue est claire, les méthodes multi-poses excellaient à capturer toute la gamme de possibilités lorsque la vue est ambiguë. Cette capacité à reconnaître et à lister plusieurs solutions valides est cruciale pour les applications réelles où un robot doit comprendre qu'un objet peut se trouver dans un ou plusieurs endroits avant de tenter d'interagir avec lui.

L'étude conclut que la façon dont nous mesurons le succès en vision par ordinateur doit évoluer pour correspondre à la complexité du monde réel. En s'éloignant d'une définition de la justesse rigide et universelle pour embrasser la nature fluide de l'ambiguïté visuelle, les chercheurs peuvent désormais construire et tester des systèmes qui sont véritablement prêts pour les environnements imprévisibles des usines, des foyers et des milieux extérieurs. Ce travail ne prétend pas avoir résolu le problème de l'ambiguïté visuelle, mais il a fourni la première carte précise du terrain, permettant aux futures innovations de naviguer avec une précision et une fiabilité accrues.