New York Smells: A Large Multimodal Dataset for Olfaction

Stellen Sie sich eine Welt vor, in der Computer ein Bild einer Rose sehen können und sofort wissen, dass sie süß riecht. Seit Jahrzehnten sind Maschinen Meister des Sehens, Hörens und sogar des Tastens geworden und haben gelernt, Muster in Fotos und Audioclips mit unglaublicher Geschwindigkeit zu erkennen. Aber es gibt einen Sinn, der ihnen ein Rätsel geblieben ist: der Geruchssinn. Während Tiere wie Hunde ihre Nasen benutzen, um sich in der Welt zu orientieren, Nahrung zu finden und Gefahr zu wittern, haben Maschinen Schwierigkeiten, überhaupt etwas zu „erschnuppern“. Der Hauptgrund ist nicht, dass die Technologie unmöglich ist, sondern dass die Daten fehlen. Um einen Computer das Riechen zu lehren, benötigt man eine massive Bibliothek von Beispielen, bei denen ein bestimmter Geruch exakt mit dem verknüpft ist, was ihn verursacht. Bis jetzt wurden die meisten Geruchsdaten in sterilen, ruhigen Laboren mit einzelnen Objekten gesammelt, was die unordentliche, komplexe Realität der echten Welt nicht widerspiegelt.

Dieses Paper stellt einen massiven neuen Schritt nach vorn vor, der „New York Smells“ genannt wird. Die Forscher, ein Team von der Columbia University, Cornell und Osmo Labs, sind hinaus in die Wildnis gegangen – sie sind buchstäblich durch Parks, Bibliotheken, Fitnessstudios und Straßen in New York City gelaufen. Sie bauten ein spezielles Rucksack-Gestell, das eine hochauflösende Kamera direkt neben einer elektronischen Nase (einem Gerät, das Chemikalien in der Luft erkennt) hielt. Während sie spazierten, nahmen sie tausende Paare von Bildern und Gerüchen auf und erfassten alles, von einer Pizzascheibe bis hin zu einem Moospolster, einer Holzbank und einer Plastiktüte. Sie machten nicht nur eine Momentaufnahme; sie zeichneten den Geruch über die Zeit auf und erfassten, wie sich der Duft eines Objekts verändert, während die Luft um es herum bewegt. Indem sie diese realen Gerüche mit den visuellen Daten dessen paarten, was sie gerade rochen, erstellten sie einen Datensatz mit 7.000 einzigartigen Geruch-Bild-Paaren, die 3.500 verschiedene Objekte abdecken. Dies ist etwa 70 Mal größer als jeder bisherige Geruchsdatensatz.

Das Team nutzte diese neue Bibliothek, um Computern beizubringen, wie man Gerüche versteht. Sie probierten eine Methode namens „kontrastives Lernen“, was wie ein riesiges Zuordnungsspiel ist. Dem Computer wird gleichzeitig das Bild eines Buches und der Geruch eines Buches gezeigt, und er lernt, die beiden miteinander zu verknüpfen. Dann wird getestet, ob er in der Lage ist, bei einem neuen Geruch das passende Bild zu finden oder bei einem Bild den Geruch zu erraten. Die Ergebnisse waren überraschend und vielversprechend. Der Computer lernte, dass rohe, unverarbeitete Geruchsdaten (die unordentlichen Echtzeit-Signale vom Sensor) viel besser für das Lernen geeignet waren als die „aufgeräumten“, zusammengefassten Daten, die Wissenschaftler normalerweise verwenden. Tatsächlich lernte der Computer, Objekte und Materialien allein aus dem Geruch zu erkennen, aber nur, weil er während des Trainings die visuellen Signale als Aufseher nutzte. Er konnte sogar zwischen zwei sehr ähnlichen Arten von Gras unterscheiden, die nebeneinander in einem Park wachsen.

Das Paper legt nahe, dass wir Maschinen helfen können, in der realen Welt zu riechen und nicht nur in einem Labor, indem wir ihnen einen visuellen „Lehrer“ geben. Die Forscher fanden heraus, dass der Computer einen viel schärferen Geruchssinn entwickelte, wenn er die Bilder nutzte, um sein Lernen zu leiten, als wenn er versuchte, allein aus den Geruchsdaten zu lernen. Das bedeutet nicht, dass der Computer schon wie ein Hund riechen kann, aber es beweist, dass die Verknüpfung von Sehen und Riechen ein kraftvoller Weg ist, um Maschinen die chemische Welt beizubringen. Das Team weist vorsichtig darauf hin, dass ihre Daten aus einer einzigen Stadt stammen und ihre Sensoren nicht jede Chemikalie detektieren können, aber sie haben eine Tür geöffnet. Sie haben gezeigt, dass Maschinen – wenn wir ihnen eine vielfältige, reale Bibliothek aus Gerüchen und Sichtweisen geben – damit beginnen können, ihr eigenes Verständnis der unsichtbaren Welt um uns herum aufzubauen.