Object-Centric Low-Data Datasets for Artificial Intelligence Research: A Multi-Domain Data Resource

In de wereld van kunstmatige intelligentie leren machines te zien door het bestuderen van enorme bibliotheken met afbeeldingen. Meestal zijn deze bibliotheken gevuld met volledige scènes: een drukke straat met auto's, mensen en gebouwen die allemaal door elkaar staan, of een bos met bomen, rotsen en dieren die hetzelfde kader delen. Om een computer te laten leren, moet deze ontdekken waar het ene object eindigt en het andere begint, wat vaak miljoenen voorbeelden vereist om de regels goed te krijgen. Maar wat als een onderzoeker een enkel object wil bestuderen, zoals een voetganger of een verkeersbord, zonder de afleiding van de achtergrond? Dit is de uitdaging van object-centrisch onderzoek. Het stelt de vraag of een machine efficiënter kan leren door zich te concentreren op het individuele item zelf, geïsoleerd van zijn omgeving. Deze aanpak is bijzonder waardevol wanneer data schaars is, omdat het wetenschappers in staat stelt te testen hoe goed een AI kan leren van slechts enkele voorbeelden in plaats van een berg afbeeldingen nodig te hebben. Het doel is om een schonere, meer gecontroleerde manier te creëren om deze systemen te trainen, waarbij de ruis van de volledige scène wordt weggestript om te zien hoe het kernobject zich gedraagt.

Een team van onderzoekers van The University of Queensland en Swinburne University of Technology heeft aan deze behoefte voldaan door een nieuwe collectie gegevensbronnen samen te stellen die specifiek zijn ontworpen voor dit soort gerichte studie. Ze hebben een set van vier datasets gecreëerd die individuele objecten behandelen als de primaire eenheid van informatie, in plaats van de volledige foto. Deze collectie is niet zomaar een willekeurige verzameling foto's; het is een zorgvuldig georganiseerde toolkit die is gebouwd om wetenschappers te helpen bij het uitvoeren van gecontroleerde experimenten met beperkte data. De onderzoekers wilden verder gaan dan de standaard computer vision-datasets, die vaak geoptimaliseerd zijn voor het detecteren van veel zaken tegelijk in complexe scènes, en in plaats daarvan een bron bieden waar elk stuk data een gestandaardiseerd, geïsoleerd beeld van een enkel object is. Door dit te doen, hopen ze het gemakkelijker te maken voor anderen om experimenten te reproduceren en om methoden voor kunstmatige intelligentie te ontwikkelen die efficiënt en betrouwbaar zijn, zelfs wanneer trainingsdata moeilijk verkrijgbaar is.

De collectie is opgebouwd uit vier afzonderlijke delen, die elk een ander visueel domein bestrijken om te laten zien hoe deze methode werkt over verschillende soorten afbeeldingen heen. Twee van deze delen richten zich op verkeersborden, terwijl de andere twee gaan over mensen die door steden lopen en kamerplanten die in natuurlijke afbeeldingen worden gevonden. Het eerste deel, genaamd TrafficSigns-Raw, is een directe release van 4.185 straatbeeld-afbeeldingen die handmatig door mensen zijn gecontroleerd. In deze afbeeldingen hebben de onderzoekers kaders getrokken rond 8.249 verkeersborden, waarbij zowel standaard borden als beschadigde borden zijn gemarkeerd. Omdat dit volledige straatscènes zijn, dienen zij als bronmateriaal. Vanuit deze bron heeft het team een tweede deel gecreëerd, TrafficSigns-OC, de object-centrische versie. Hier hebben ze de borden uitgeknipt en op een uniforme grootte van 256 bij 256 pixels aangepast. Dit resulteert in 3.009 gestandaardiseerde afbeeldingen van borden, met 4.607 annotaties. Dit stelt een onderzoeker in staat om de verkeersborden zelf te bestuderen zonder de rommel van de weg, de lucht of de auto's eromheen.

De andere twee delen van de collectie gaan over een andere uitdaging: privacy en auteursrecht. Voor de Cityscapes-Pedestrian dataset konden de onderzoekers de originele afbeeldingen van mensen die door steden lopen niet zomaar vrijgeven vanwege strikte privacy- en licentieregels. In plaats daarvan hebben ze een reconstructieset verstrekt. Deze kit bevat de instructies en de specische coördinaten die nodig zijn om de voetgangers uit de originele, publiekelijk beschikbare Cityscapes-afbeeldingen te snijden. Het resultaat is een collectie van 2.156 gestandaardiseerde afbeeldingen van mensen, afgeleid van 1.264 bronfoto's, met bijna 17.500 individuele kaders rond voetgangers. Op dezelfde manier hebben de onderzoekers voor de COCO-PottedPlant dataset gewerkt met de beroemde Microsoft Common Objects in Context-collectie. Ze hebben een proces ontwikkeld om afbeeldingen van kamerplanten uit die grote database te extraheren. Ze genereerden 7.679 records van kamerplanten, waarbij voor elke gevonden plant een enkele uitsnede van 256 bij 256 werd gemaakt. Net als bij de voetganger-data biedt deze bron de scripts en kaarten die nodig zijn om de dataset opnieuw op te bouwen, waardoor de regels van de oorspronkelijke beeldhouders worden nageleefd terwijl onderzoekers toch toegang krijgen tot de specifieke objectdata die ze nodig hebben.

Wat dit werk bijzonder nuttig maakt, is de consistentie die het brengt in het proces. In veel onderzoeksprojecten moet elke keer dat een wetenschapper een nieuw object wil bestuderen, nieuwe code schrijven om het uit een foto te snijden, te vergroten en te labelen. Deze nieuwe bron neemt die frictie weg. Elke afbeelding in de collectie wordt in hetzelfde formaat gepresenteerd, met duidelijke labels en metadata die uitleggen hoe de afbeelding precies is gemaakt. De onderzoekers zijn ook zorgvuldig geweest om ervoor te zorgen dat de data correct is opgesplitst in groepen voor training, testen en validatie, zodat een machine learning-model niet per ongeluk resultaten krijgt door dezelfde afbeelding in een andere vorm te zien. Bijvoorbeeld, in de verkeersbordgegevens gebruikten ze geavanceerde computer vision-tools om te controleren of geen enkele afbeelding in de testgroep te veel leek op een afbeelding in de trainingsgroep, om zo te garanderen dat de resultaten van elk experiment echt zijn.

De onderzoekers zijn duidelijk over wat deze collectie wel en niet kan. Het is geen volledige encyclopedie van elk object ter wereld. Het richt zich op slechts drie soorten dingen: mensen, verkeersborden en kamerplanten. Het dekt niet elke mogelijke beschadigingstoestand van een bord, noch bevat het elk type plant of persoon. Bovendien, omdat de data is uitgesneden om de focus op het object te leggen, gaat de context van de scène verloren. Een verkeersbord in deze dataset is gewoon een bord; het toont niet de weg waarop het staat of de weersomstandigheden. Dit is een bewuste keuze om het object te isoleren voor studie, maar het betekent dat de data niet gebruikt kan worden om te bestuderen hoe objecten interageren met hun omgeving. Daarnaast zijn de verstrekte annotaties kaders die het object omlijnen, in plaats van gedetailleerde pixel-voor-pixel kaarten van de vorm van het object.

Ondanks deze beperkingen biedt de collectie een belangrijke stap voorwaarts voor onderzoekers die werken aan data-efficiënte kunstmatige intelligentie. Door een gestandaardiseerde, multi-domein set van object-centrische data te bieden, heeft het team een gemeenschappelijke basis gecreëerd voor het testen van nieuwe ideeën. Of een wetenschapper nu probeert een computer te leren een beschadigd bord te herkennen vanuit één enkel voorbeeld, of test hoe goed een AI kan leren van een klein aantal afbeeldingen, deze bron biedt de noodzakelijke instrumenten. De data is gratis beschikbaar, samen met de code die nodig is om de afbeeldingen uit het bronmateriaal te reconstrueren waar directe release niet mogelijk was. Deze transparantie zorgt ervoor dat iedereen het werk kan verifiëren en erop kan voortbouwen, wat een betrouwbaardere en reproduceerbare toekomst voor kunstmatige intelligentie-onderzoek bevordert. Het werk staat als een praktisch hulpmiddel dat een duidelijk pad biedt voor degenen die willen verkennen hoe machines kunnen leren de wereld te zien, één object tegelijk.