Object-Centric Low-Data Datasets for Artificial Intelligence Research: A Multi-Domain Data Resource

In der Welt der künstlichen Intelligenz lernen Maschinen das Sehen durch das Studium riesiger Bildbibliotheken. Normalerweise sind diese Bibliotheken mit vollständigen Szenen gefüllt: einer belebten Straße mit Autos, Menschen und Gebäuden, die alle miteinander vermischt sind, oder einem Wald mit Bäumen, Felsen und Tieren, die sich den Rahmen teilen. Damit ein Computer lernen kann, muss er herausfinden, wo ein Objekt endet und ein anderes beginnt, was oft Millionen von Beispielen erfordert, um die Regeln richtig zu verstehen. Aber was, wenn ein Forscher ein einzelnes Objekt untersuchen möchte, wie etwa einen Fußgänger oder ein Verkehrsschild, ohne die Ablenkung durch den Hintergrund? Dies ist die Herausforderung der objektzentrierten Forschung. Sie stellt die Frage, ob eine Maschine effizienter lernen kann, indem sie sich auf das einzelne Element selbst konzentriert, isoliert von seiner Umgebung. Dieser Ansatz ist besonders wertvoll, wenn Daten knapp sind, da er Wissenschaftlern ermöglicht zu testen, wie gut eine KI aus nur wenigen Beispielen lernen kann, anstatt einen Berg von Bildern zu benötigen. Das Ziel ist es, einen saubereren, kontrollierteren Weg zu schaffen, um diese Systeme zu trainieren, indem man das Rauschen der vollen Szene entfernt, um zu sehen, wie sich der Kern des Objekts verhält.

Ein Team von Forschern der University of Queensland und der Swinburne University of Technology hat diesem Bedarf Rechnung getragen, indem sie eine neue Sammlung von Datenressourcen zusammengestellt hat, die speziell für diese Art der fokussierten Untersuchung konzipiert sind. Sie haben einen Satz von vier Datensätzen erstellt, die einzelne Objekte als die primäre Informationseinheit behandeln, anstatt das gesamte Foto. Diese Sammlung ist nicht bloß eine zufällige Ansammlung von Bildern; sie ist ein sorgfältig organisiertes Toolkit, das Wissenschaftlern helfen soll, kontrollierte Experimente mit begrenzten Daten durchzuführen. Die Forscher wollten über die Standard-Computer-Vision-Datensätze hinausgehen, die oft darauf optimiert sind, viele Dinge gleichzeitig in komplexen Szenen zu erkennen, und statlich eine Ressource bereitstellen, bei der jedes Stück der Daten eine standardisierte, isolierte Ansicht eines einzelnen Objekts ist. Durch dies hoffen sie, es anderen zu erleichtern, Experimente zu reproduzieren und Methoden der künstlichen Intelligenz zu entwickeln, die effizient und zuverlässig sind, selbst wenn Trainingsdaten schwer zu bekommen sind.

Die Sammlung besteht aus vier verschiedenen Teilen, von denen jeder eine andere visuelle Domäne abdeckt, um zu zeigen, wie diese Methode über verschiedene Arten von Bildern hinweg funktioniert. Zwei dieser Teile konzentrieren sich auf Verkehrsschilder, während die anderen beiden sich mit Menschen befassen, die in Städten gehen, und mit Topfpflanzen, die in natürlichen Bildern zu finden sind. Der erste Teil, genannt TrafficSigns-Raw, ist eine direkte Veröffentlichung von 4.185 Street-View-Bildern, die von Menschen manuell überprüft wurden. In diesen Bildern haben die Forscher Kästen um 8.249 Verkehrsschilder gezeichnet, wobei sowohl Standardbeschilderungen als auch beschädigte Schilder markiert sind. Da dies vollständige Straßenszenen sind, dienen sie als Ausgangsmaterial. Aus dieser Quelle hat das Team einen zweiten Teil erstellt, TrafficSigns-OC, welches die objektzentrierte Version ist. Hier haben sie die Schilder ausgeschnitten und sie auf ein einheitliches Quadrat von 256 mal 256 Pixeln angepasst. Dies ergibt 3.009 standardisierte Bilder von Schildern mit 4.607 Annotationen. Dies ermöglicht es einem Forscher, die Schilder selbst zu untersuchen, ohne den Unrat der Straße, des Himmels oder der umgebenden Autos.

Die anderen zwei Teile der Sammlung behandeln eine andere Herausforderung: Datenschutz und Urheberrecht. Für den Cityscapes-Pedestrian-Datensatz konnten die Forscher die Originalbilder von Menschen, die in Städten gehen, aufgrund strenger Datenschutz- und Lizenzregeln nicht einfach veröffentlichen. Stattdessen haben sie ein Rekonstruktions-Kit zur Verfügung gestellt. Dieses Kit enthält die Anweisungen und die spezifischen Koordinaten, die benötigt werden, um die Fußgänger aus den ursprünglich öffentlich verfügbaren Cityscapes-Bildern auszuschneiden. Das Ergebnis ist eine Sammlung von 2.156 standardisierten Bildern von Menschen, die aus 1.264 Quellbildern abgeleitet wurden und fast 17.500 einzelne Kästen um Fußgänger enthalten. Ähnlich verhielt es sich mit dem COCO-PottedPlant-Datensatz, bei dem das Team mit der berühmten Microsoft Common Objects in Context Sammlung gearbeitet hat. Sie entwickelten einen Prozess, um Bilder von Topfpflanzen aus dieser großen Datenbank zu extrahieren. Sie generierten 7.679 Datensätze von Topfpflanzen, wobei für jede gefundene Pflanze ein einzelner 256-mal-256-Ausschnitt erstellt wurde. Wie beim Fußgänger-Datensatz stellt diese Ressource die Skripte und Karten bereit, die zum Wiederaufbau des Datensatzes nötig sind, wodurch sichergestellt wird, dass die Regeln der ursprünglichen Bildeigentümer eingehalten werden, während Forschern dennoch Zugang zu den spezifischen Objektdaten gewährt wird.

Was diese Arbeit besonders nützlich macht, ist die Konsistenz, die sie dem Prozess verleiht. In vielen Forschungsprojekten müssen Wissenschaftler jedes Mal, wenn sie ein neues Objekt untersuchen wollen, neuen Code schreiben, um es aus einem Foto auszuschneiden, zu skalieren und zu beschriften. Diese neue Ressource entfernt diese Reibung. Jedes Bild in der Sammlung wird im gleichen Format präsentiert, mit klaren Labels und Metadaten, die genau erklären, wie das Bild erstellt wurde. Die Forscher waren auch sorgfältig darin, die Daten korrekt in Gruppen für Training, Testen und Validierung aufzuteilen, damit ein Modell für maschinelles Lernen nicht versehentlich Ergebnisse erzielt, indem es dasselbe Bild in zweierlei Formen zweimal sieht. In den Verkehrsschild-Daten verwendeten sie beispielsweise fortschrittliche Computer-Vision-Werkzeuge, um zu prüfen, dass kein Bild in der Testgruppe zu ähnlich zu einem Bild in der Trainingsgruppe war, um sicherzustellen, dass die Ergebnisse eines jeden Experiments echt sind.

Die Forscher sind sich darüber im Klaren, was diese Sammlung leisten kann und was nicht. Sie ist keine vollständige Enzyklopädie über jedes Objekt der Welt. Sie konzentriert sich auf nur drei Arten von Dingen: Menschen, Verkehrsschilder und Topfpflanzen. Sie deckt nicht jeden mögliche Beschädigungszustand eines Schildes ab, noch enthält sie jeden Typ von Pflanze oder Mensch. Da die Daten zudem zugeschnitten sind, um den Fokus auf das Objekt zu legen, geht der Kontext der Szene verloren. Ein Verkehrsschild in diesem Datensatz ist einfach nur ein Schild; es zeigt nicht die Straße, auf der es sich befindet, oder die Wetterbedingungen. Dies ist eine bewusste Entscheidung, um das Objekt für die Untersuchung zu isolieren, aber es bedeutet auch, dass die Daten nicht dazu verwendet werden können, um zu untersuchen, wie Objekte mit ihrer Umgebung interagieren. Zusätzlich sind die bereitgestellten Annotationen Kästen, die das Objekt umreißen, anstatt detaillierter, pixelgenauer Karten der Form des Objekts.

Trotz dieser Einschränkungen bietet die Sammlung einen bedeutenden Fortschritt für Forscher, die an dateneffizienter künstlicher Intelligenz arbeiten. Indem sie einen standardisierten, multidomänen-basierten objektzentrierten Datensatz bereitstellen, hat das Team eine gemeinsame Basis für das Testen neuer Ideen geschaffen. Ob ein Wissenschaftler nun versucht, einem Computer beizubringen, ein beschädigtes Schild aus nur einem einzigen Beispiel zu erkennen, oder ob er testet, wie gut eine KI aus einer geringen Anzahl von Bildern lernen kann – diese Ressource bietet die notwendigen Werkzeuge. Die Daten sind frei verfügbar, zusammen mit dem Code, der benötigt wird, um die Bilder aus dem Ausgangsmaterial zu rekonstruieren, sofern eine direkte Veröffentlichung nicht möglich war. Diese Transparenz stellt sicher, dass jeder die Arbeit verifizieren und darauf aufbauen kann, was einen transparenteren und reproduzierbareren Weg für die Forschung im Bereich der künstlichen Intelligenz ebnet. Die Arbeit steht als praktische Ressource zur Verfügung und bietet einen klaren Pfad für diejenigen, die erforschen möchten, wie Maschinen lernen können, die Welt ein Objekt nach dem anderen zu sehen.