HyperCookies A hyperspectral dataset of cookies for spectral-spatial machine learning

In de wereld van het zien zijn onze ogen en de standaardcamera's die we in onze zakken dragen beperkt tot een smalle inkeping van de werkelijkheid. Ze leggen licht vast in drie brede banden — rood, groen en blauw — en creëren beelden die voor ons vertrouwd ogen, maar die een enorme hoeveelheid verborgen informatie in het spectrum missen. Veel materialen, van de bladeren van een plant tot het oppervlak van een koekje, reflecteren licht op manieren die er voor ons ogen identiek uitzien, maar die unieke chemische vingerafdrukken bezitten wanneer ze worden bekeken over honderden specifieke golflengten. Dit is het domein van hyperspectrale beeldvorming, een technologie die niet alleen een foto vastlegt, maar een gedetailleerd chemisch rapport voor elke individuele pixel in die foto. Hoewel deze technologie al lang wordt gebruikt om gewassen te sorteren of industriële onderdelen te inspecteren, is er een hardnekkige uitdaging gebleven: hoe leer je computers om zowel de chemische gegevens als de visuele vorm van een object tegelijkertijd te gebruiken. De meeste bestaande datasets stellen computers in staat om problemen op te lossen door naar slechts de chemie of slechts de vorm te kijken, maar in de echte wereld vereisen taken vaak dat een machine begrijpt hoe die twee met elkaar verweven zijn.

Een team onderzoekers aan de KU Leuven in België heeft deze kloof gedicht door een nieuwe benchmark te creëren genaamd HyperCookies. Ze hebben niet simpelweg afbeeldingen van voedsel verzameld; ze hebben een specifieke puzzel ontworpen die een computer dwingt om naar zowel de chemische samenstelling als de fysieke ordening van een koekje te kijken om het op te lossen. De onderzoekers bakten 160 handgemaakte koekjes, elk versierd met chocoladedruppels. De truc zit in de ingrediënten en de lay-out. Ze gebruikten twee soorten chocolade: één met 54 procent cacao en een andere met 80 procent cacao. Voor het blote oog, en zelfs voor een standaardcamera, zien deze twee chocolades er bijna exact hetzelfde uit. Hun chemische samenstelling is echter verschillend genoeg zodat een hyperspectrale camera ze kan onderscheiden. De onderzoekers plaatsten deze druppels vervolgens op de koekjes in vier verschillende patronen: sommigen in een cirkel met de donkere chocolade aan de buitenkant, anderen met de donkere chocolade in het midden, en anderen in een schaakbord- of diagonale lay-out.

Het doel was om een dataset te creëren waarbij een computer niet kon winnen door te vertrouwen op slechts één modaliteit. Als een machine probeerde het type koekje te identificeren door alleen naar de chemische signatuur van de chocolade te kijken, zou het falen omdat het gemiddelde chemische mengsel van het hele koekje te veel op elkaar leek tussen de verschillende klassen. Als het probeerde het koekje te identificeren door alleen naar het visuele patroon te kijken, zou het ook falen omdat de twee soorten chocolade visueel ononderscheidbaar zijn in standaard licht. Om te slagen, moest een algoritme leren het patroon te zien én te weten waar de chemie zich bevond. De onderzoekers legden deze koekjes vast met twee gespecialiseerde camera's die het lichtspectrum scannen, één die het zichtbare en nabij-infrarood bereik dekt en de andere die het kortgolvig infrarood bereik dekt. Ze maakten foto's van de koekjes zowel vóór het bakken als nadat ze uit de oven kwamen, waarmee de natuurlijke veranderingen die hitte veroorzaakt in het deeg en de chocolade werden geïntroduceerd.

Toen de onderzoekers standaard machine learning-tools testten op deze nieuwe dataset, waren de resultaten duidelijk en nederig. Ze probeerden methoden te gebruiken die alleen naar de chemische gegevens kijken, waarbij het spectrum van het hele koekje wordt gemiddeld, en deze methoden presteerden niet beter dan willekeurig gokken. Ze probeerden ook krachtige beeldherkenningsnetwerken die alleen naar de vorm en textuur van het koekje kijken, en ook deze hadden moeite om de klassen uit elkaar te houden. De beste resultaten die ze met deze afzonderlijke benaderingen behaalden, schommelden rond de 40 tot 50 procent nauwkeurigheid, ver onder het niveau dat nodig is voor een betrouwbaar systeem. Deze uitkomst was geen falen van de technologie, maar een bevestiging van het ontwerp van de dataset. Het bewees dat voor deze specifieke taak, het kijken naar alleen de chemie of alleen de vorm niet voldoende is. De informatie die nodig is om de puzzel op te lossen, zit vergrendeld in de relatie tussen de twee.

Het artikel presenteert de HyperCookies-dataset als een publieke bron voor wetenschappers om nieuwe methoden te ontwikkelen en te testen die deze twee soorten informatie kunnen combineren. Door vooraf gesneden groepen data te leveren voor training en testen, zorgen de onderzoekers ervoor dat toekomstige studies eerlijk vergeleken kunnen worden. De dataset bevat gedetailleerde verslagen van de koekjes, waarbij zelfs kleine imperfecties zoals barsten of uitgesmeerde chocolade die tijdens het bakken optraden, worden genoteerd, waardoor onderzoekers kunnen testen hoe robuust hun modellen zijn tegen de rommeligheid van de echte wereld. Het werk beweert niet het probleem van koekjesclassificatie te hebben opgelost, noch suggereert het een nieuwe manier om betere lekkernijen te bakken. In plaats daarvan biedt het een rigoureuze testgrond. Het laat zien dat hoewel huidige instrumenten uitstekend zijn in het zien van óf de chemie óf de ruimtelijke structuur, de volgende generatie kunstmatige intelligentie moet leren om ze samen te zien, net zoals een menselijke expert dat zou doen, om de complexe, gelaagde realiteit van de fysieke wereld te navigeren.