Object-Centric Low-Data Datasets for Artificial Intelligence Research: A Multi-Domain Data Resource

Dans le monde de l'intelligence artificielle, les machines apprennent à voir en étudiant de vastes bibliothèques d'images. Habituellement, ces bibliothèques sont remplies de scènes complètes : une rue animée avec des voitures, des personnes et des bâtiments tous mélangés, ou une forêt avec des arbres, des rochers et des animaux partageant le cadre. Pour qu'un ordinateur apprenne, il doit déterminer où un objet se termine et où un autre commence, ce qui nécessite souvent des millions d'exemples pour maîtriser les règles. Mais que se passe-t-il si un chercheur souhaite étudier un objet unique, comme un piéton ou un panneau de signalisation, sans la distraction de l'arrière-plan ? C'est le défi de la recherche centrée sur l'objet. Elle demande si une machine peut apprendre plus efficacement en se concentrant sur l'élément individuel lui-même, isolé de son environnement. Cette approche est particulièrement précieuse lorsque les données sont rares, permettant aux scientifiques de tester la capacité d'une IA à apprendre à partir de seulement quelques exemples plutôt que d'avoir besoin d'une montagne d'images. L'objectif est de créer une méthode plus propre et plus contrôlée pour entraîner ces systèmes, en éliminant le bruit de la scène complète pour voir comment l'objet central se comporte.

Une équipe de chercheurs de l'Université du Queensland et de l'Université de technologie de Swinburne a répondu à ce besoin en assemblant une nouvelle collection de ressources de données conçues spécifiquement pour ce type d'étude ciblée. Ils ont créé un ensemble de quatre jeux de données qui traitent les objets individuels comme l'unité primaire d'information, plutôt que la photographie entière. Cette collection n'est pas un simple assortiment aléatoire d'images ; c'est un ensemble d'outils soigneusement organisé pour aider les scientifiques à mener des expériences contrôlées avec des données limitées. Les chercheurs voulaient aller au-delà des jeux de données standards de vision par ordinateur, qui sont souvent optimisés pour détecter de nombreuses choses à la fois dans des scènes complexes, et proposer à la place une ressource où chaque fragment de donnée est une vue standardisée et isolée d'un objet unique. Ce faisant, ils espèrent faciliter la reproduction des expériences et le développement de méthodes d'intelligence artificielle efficaces et fiables, même lorsque les données d'entraînement sont difficiles à obtenir.

La collection est construite à partir de quatre parties distinctes, chacune couvrant un domaine visuel différent pour montrer comment cette méthode fonctionne à travers divers types d'images. Deux de ces parties se concentrent sur les panneaux de signalisation, tandis que les deux autres traitent de personnes marchant dans des villes et de plantes en pot trouvées dans des images naturelles. La première partie, appelée TrafficSigns-Raw, est une publication directe de 4 185 images de vues de rue qui ont été vérifiées manuellement par des humains. Dans ces images, les chercheurs ont dessiné des boîtes autour de 8 249 panneaux de signalisation, marquant à la fois les panneaux standards et ceux qui sont endommagés. Comme il s'agit de scènes de rue complètes, elles servent de matériel source. À partir de cette source, l'équipe a créé une deuxième partie, TrafficSigns-OC, qui est la version centrée sur l'objet. Ici, ils ont découpé les panneaux et les ont redimensionnés en un carré uniforme de 256 par 256 pixels. Cela donne lieu à 3 009 images standardisées de panneaux, avec 4 607 annotations. Cela permet à un chercheur d'étudier les panneaux eux-mêmes sans l'encombrement de la route, du ciel ou des voitures environnantes.

Les deux autres parties de la collection traitent d'un défi différent : la confidentialité et le droit d'auteur. Pour le jeu de données Cityscapes-Pedestrian, les chercheurs ne pouvaient pas simplement publier les images originales de personnes marchant dans des villes en raison de règles strictes de confidentialité et de licence. Au lieu de cela, ils ont fourni un kit de reconstruction. Ce kit comprend les instructions et les coordonnées spécifiques nécessaires pour découper les piétons des images originales, publiquement disponibles, de Cityscapes. Le résultat est une collection de 2 156 images standardisées de personnes, dérivées de 1 264 photos sources, contenant près de 17 500 boîtes individuelles autour des piétons. De même, pour le COCO-PottedPlant, l'équipe a travaillé avec la célèbre collection Microsoft Common Objects in Context. Ils ont créé un processus pour extraire les images de plantes en pot de cette vaste base de données. Ils ont généré 7 679 enregistrements de plantes en pot, créant un recadrage unique de 256 par 256 pour chaque plante trouvée. Comme pour les données sur les piétons, cette ressource fournit les scripts et les cartes nécessaires pour reconstruire le jeu de données, garantissant que les règles des propriétaires des images originales sont respectées tout en donnant aux chercheurs accès aux données spécifiques de l'objet dont ils ont besoin.

Ce qui rend ce travail particulièrement utile, c'est la cohérence qu'il apporte au processus. Dans de nombreux projets de recherche, chaque fois qu'un scientifique souhaite étudier un nouvel objet, il doit écrire un nouveau code pour le découper d'une photo, le redimensionner et l'étiqueter. Cette nouvelle ressource élimine cette friction. Chaque image de la collection est présentée sous le même format, avec des étiquettes claires et des métadonnées expliquant exactement comment l'image a été créée. Les chercheurs ont également veillé à ce que les données soient correctement réparties en groupes pour l'entraînement, le test et la validation, afin qu'un modèle d'apprentissage automatique n'obtienne pas accidentellement des résultats en voyant la même image deux fois sous des formes différentes. Par exemple, pour les données de panneaux de signalisation, ils ont utilisé des outils de vision par ordinateur avancés pour vérifier qu'aucune image du groupe de test n'était trop similaire à une image du groupe d'entraînement, garantissant ainsi que les résultats de toute expérience sont authentiques.

Les chercheurs sont clairs sur ce que cette collection peut et ne peut pas faire. Ce n'est pas une encyclopédie complète de tous les objets du monde. Elle se concentre sur seulement trois types de choses : les personnes, les panneaux de signalisation et les plantes en pot. Elle ne couvre pas tous les types de dommages possibles pour un panneau, et elle n'inclut pas tous les types de plantes ou de personnes. De plus, parce que les données sont recadrées pour se concentrer sur l'objet, le contexte de la scène est perdu. Un panneau de signalisation dans ce jeu de données est juste un panneau ; il ne montre pas la route sur laquelle il se trouve ou les conditions météorologiques. C'est un choix délibéré pour isoler l'objet pour l'étude, mais cela signifie que les données ne peuvent pas être utilisées pour étudier comment les objets interagissent avec leur environnement. De plus, les annotations fournies sont des boîtes qui délimitent l'objet, plutôt que des cartes détaillées pixel par pixel de la forme de l'objet.

Malgré ces limites, la collection représente une étape significative pour les chercheurs travaillant sur l'intelligence artificielle efficace en termes de données. En fournissant un ensemble standardisé et multidomaine de données centrées sur l'objet, l'équipe a créé un terrain d'entente pour tester de nouvelles idées. Qu'un scientifique essaie d'apprendre à un ordinateur à reconnaître un panneau endommagé à partir d'un seul exemple, ou qu'il teste la capacité d'une IA à apprendre à partir d'un petit nombre d'images, cette ressource fournit les outils nécessaires. Les données sont librement disponibles, ainsi que le code nécessaire pour reconstruire les images à partir du matériel source lorsque la publication directe n'était pas possible. Cette transparence garantit que quiconque peut vérifier le travail et s'appuyer dessus, favorisant un avenir plus fiable et reproductible pour la recherche en intelligence artificielle. Ce travail se présente comme une ressource pratique, offrant une voie claire pour ceux qui souhaitent explorer comment les machines peuvent apprendre à voir le monde un objet à la fois.