New York Smells: A Large Multimodal Dataset for Olfaction

Stel je een wereld voor waarin computers een foto van een roos kunnen zien en direct weten dat deze zoet ruikt. Al decennia lang zijn machines meesters geworden in zicht, gehoor en zelfs tast, door patronen in foto's en audiofragmenten met ongelooflijke snelheid te leren herkennen. Maar er is één zintuig dat voor hen een mysterie is gebleven: geur. Terwijl dieren zoals honden hun neus gebruiken om de wereld te navigeren, voedsel te vinden en gevaar te detecteren, hebben machines moeite gehad om ook maar iets te "ruiken". De belangrijkste reden is niet dat de technologie onmogelijk is, maar dat de data ontbreekt. Om een computer te leren ruiken, heb je een enorme bibliotheek nodig van voorbeelden waarbij een specifieke geur gekoppeld is aan precies wat de oorzaak ervan is. Tot nu toe werd de meeste geurdata verzameld in steriele, stille laboratoria met enkelvoudige objecten, wat niet de rommelige, complexe realiteit van de echte wereld weerspiegelt.

Dit artikel introduceert een enorme nieuwe stap voorwaarts genaamd "New York Smells". De onderzoekers, een team van Columbia University, Cornell en Osmo Labs, gingen de vrije natuur in—letterlijk wandelend door parken, bibliotheken, sportscholen en straten in New York City. Ze bouwden een speciale rugzakconstructie met een high-definition camera direct naast een elektronische neus (een apparaat dat chemische stoffen in de lucht detecteert). Terwijl ze liepen, namen ze duizenden paren afbeeldingen en geuren op, variërend van een punt pizza tot een pluk mos, een houten bankje en een plastic zak. Ze namen niet alleen een momentopname; ze registreerden de geur over een bepaalde tijd, waarbij ze vastlegden hoe de geur van een object verandert naarmate de lucht eromheen beweegt. Door deze real-world geuren te koppelen aan de visuele data van wat ze rooken, creëerden ze een dataset met 7.000 unieke geur-beeldparen, verspreid over 3.500 verschillende objecten. Dit is ongeveer 70 keer groter dan elke voorgaande geurdataset.

Het team gebruikte deze nieuwe bibliotheek om computers te leren hoe ze geuren begrijpen. Ze probeerden een methode genaamd "contrastive learning", wat lijkt op een groot matchingsspel. De computer krijgt tegelijkertig een foto van een boek en de geur van een boek te zien, en leert de twee aan elkaar te koppelen. Vervolgens wordt getest of de computer bij een nieuwe geur de bijbehorende foto kan vinden, of bij een foto kan raden wat de geur is. De resultaten waren verrassend en veelbelovend. De computer leerde dat ruwe, onbewerkte geurdata (de rommelige, real-time signalen van de sensor) veel beter was voor het leren dan de "opgeschoonde" samenvattingen die wetenschappers gewoonlijk gebruiken. Sterker nog, de computer leerde objecten en materialen te herkennen op basis van geur alleen, maar dit kon alleen omdat het de visuele signalen als supervisor gebruikte tijdens het trainingsproces. Het kon zelfs het verschil zien tussen twee zeer vergelijkbare soorten gras die zij aan zij in een park groeiden.

Het artikel suggereert dat door machines een visuele "leraar" te geven, we hen kunnen helpen om te ruiken in de echte wereld, en niet alleen in een lab. De onderzoekers ontdekten dat wanneer de computer de foto's gebruikte om het leerproces te sturen, het een veel scherper reukvermogen ontwikkelde dan wanneer het probeerde te leren van de geurdata alleen. Dit betekent niet dat de computer al kan ruiken als een hond, maar het bewijst dat het koppelen van zicht en geur een krachtige manier is om machines iets te leren over de chemische wereld. Het team merkt voorzichtig op dat hun data afkomstig is uit één stad en dat hun sensoren niet elke chemische stof kunnen detecteren, maar ze hebben een deur geopend. Ze hebben aangetoond dat als we machines een diverse, real-world bibliotheek van geuren en beelden geven, ze kunnen beginnen met het opbouwen van hun eigen begrip van de onzichtbare wereld om ons heen.