HyperCookies A hyperspectral dataset of cookies for spectral-spatial machine learning

In der Welt des Sehens sind unsere Augen und die Standardkameras, die wir in unseren Taschen tragen, auf einen engen Ausschnitt der Realität beschränkt. Sie erfassen Licht in drei breiten Bändern – Rot, Grün und Blau – und erzeugen so Bilder, die uns vertraut erscheinen, aber eine enorme Menge an Informationen verpassen, die im Spektrum verborgen liegen. Viele Materialien, von den Blättern einer Pflanze bis hin zur Oberfläche eines Kekses, reflektieren Licht auf eine Weise, die für unsere Augen identisch aussieht, aber über hunderte spezifische Wellenlängen hinweg einzigartige chemische Fingerabdrücke besitzt. Dies ist das Reich der hyperspektralen Bildgebung, einer Technologie, die nicht nur ein Bild, sondern einen detaillierten chemischen Bericht für jedes einzelne Pixel in diesem Bild erfasst. Während diese Technologie schon lange dazu verwendet wird, Ernten zu sortieren oder Industrieteile zu inspizieren, blieb eine beständige Herausforderung bestehen: Wie man Computern beibringt, sowohl die chemischen Daten als auch die visuelle Form eines Objekts gleichzeitig zu nutzen. Die meisten existierenden Datensätze erlauben es Computern, Probleme zu lösen, indem sie entweder nur nach der Chemie oder nur nach der Form schauen, aber reale Aufgaben erfordern oft, dass eine Maschine versteht, wie die beiden miteinander verwoben sind.

Ein Forscherteam der KU Leuven in Belgien hat diese Lücke geschlossen, indem es einen neuen Benchmark namens HyperCookies erschaffen hat. Sie haben nicht einfach nur Bilder von Lebensmitteln gesammelt; sie haben ein spezifisches Rätsel konstruiert, das einen Computer dazu zwingt, sowohl die chemische Zusammensetzung als auch die physische Anordnung eines Kekses zu betrachten, um es zu lösen. Die Forscher backten 160 handgemachte Kekse, die jeweils mit Schokoladen-Tropfen dekoriert waren. Der Trick liegt in den Zutaten und dem Layout. Sie verwendeten zwei Arten von Schokolade: eine mit 54 Prozent Kakaoanteil und eine andere mit 80 Prozent Kakaoanteil. Für das bloße Auge, und selbst für eine Standardkamera, sehen diese beiden Schokoladen fast identisch aus. Ihr chemischer Aufbau ist jedoch unterschiedlich genug, dass eine hyperspektrale Kamera sie unterscheiden kann. Die Forscher ordneten diese Tropfen dann in vier verschiedenen Mustern auf den Keksen an: einige in einem Kreis mit der dunkleren Schokolade außen, andere mit der dunkleren Schokolade in der Mitte und andere in Schachbrett- oder Diagonal-Layouts.

Das Ziel war es, einen Datensatz zu erstellen, bei dem ein Computer nicht gewinnen kann, indem er sich auf nur eine Modalität verlässt. Wenn eine Maschine versuchte, den Keks unter Verwendung nur des chemischen Signals der Schokolade zu identifizieren, würde sie scheitern, da die durchschnittliche chemische Mischung des gesamten Kekses über die verschiedenen Klassen hinweg zu ähnlich aussah. Wenn sie versuchte, den Keks unter Verwendung nur des visuellen Musters zu identifizieren, würde sie ebenfalls scheitern, da die beiden Schokoladenarten im Standardlicht visuell ununterscheidbar sind. Um erfolgreich zu sein, musste ein Algorithmus lernen, das Muster zu sehen und zu wissen, wo sich welche Chemikalie befindet. Die Forscher erfassten diese Kekse mit zwei spezialisierten Kameras, die das Lichtspektrum scannen, eine, die den sichtbaren und den nahen Infrarotbereich abdeckt, und eine andere, die den kurzwelligen Infrarotbereich abdeckt. Sie machten Bilder der Kekse sowohl vor dem Backen als auch nach dem Herauskommen aus dem Ofen, um die natürlichen Veränderungen einzuführen, die Hitze am Teig und an der Schokolade verursacht.

Als die Forscher Standard-Maschinelle-Lernwerkzeuge auf diesen neuen Datensatz testeten, waren die Ergebnisse eindeutig und demütigend. Sie probierten Methoden aus, die nur nach den chemischen Daten suchen, indem sie das Spektrum des gesamten Kekses mitteln, und diese Methoden schnitten nicht besser ab als beim Raten. Sie probierten auch leistungsstarke Bilderkennungsnetzwerke aus, die nur nach der Form und Textur des Kekses suchen, und auch diese hatten Schwierigkeiten, die Klassen voneinander zu unterscheiden. Die besten Ergebnisse, die sie mit diesen getrennten Ansätzen erzielten, lagen bei etwa 40 bis 50 Prozent Genauigkeit, weit unter dem Niveau, das für ein zuverlässiges System erforderlich wäre. Dieses Ergebnis war kein Scheitern der Technologie, sondern eine Bestätigung des Designs des Datensatzes. Es bewies, dass für diese spezifische Aufgabe das Betrachten der Chemie allein oder der Form allein nicht ausreicht. Die Information, die erforderlich ist, um das Rätsel zu lösen, ist in der Beziehung zwischen beiden verschlossen.

Das Paper präsentiert den HyperCookies-Datensatz als öffentliche Ressource für Wissenschaftler, damit diese neue Methoden entwickeln und testen können. Durch die Bereitstellung von vorab segmentierten Datengruppen für Training und Test stellen die Forscher sicher, dass zukünftige Studien fair verglichen werden können. Der Datensatz enthält detaillierte Aufzeichnungen der Kekse, die sogar geringfügige Unvollkommenheiten wie Risse oder verschmierte Schokolade vermerken, die während des Backens auftraten, was es Forschern ermöglicht, die Robustheit ihrer Modelle gegenüber realer Unordnung zu testen. Die Arbeit beansprucht nicht, das Problem der Keks-Klassifizierung gelöst zu haben, noch schlägt sie einen neuen Weg vor, um bessere Leckereien zu backen. Stattdessen bietet sie ein strenges Testfeld. Sie zeigt, dass aktuelle Werkzeuge zwar exzellent darin sind, entweder die Chemie oder den Raum zu sehen, die nächste Generation der künstlichen Intelligenz jedoch lernen muss, beide zusammen zu sehen, so wie ein menschlicher Experte es tun würde, um die komplexe, vielschichtige Realität der physischen Welt zu navigieren.