Stellen Sie sich eine Welt vor, in der Ihr Smartphone nicht nur sieht, was Sie anschauen oder hört, was Sie sagen, sondern auch riecht, was in der Luft liegt. Seit Jahrzehnten sind Computer brillant darin, Gesichter auf Fotos zu erkennen und Sätze in Büchern zu verstehen, aber sie waren vollkommen geruchblind. Sie können nicht zwischen einem frisch gebackenen Keks und einem brennenden Reifen unterscheiden, selbst wenn sie direkt vor ihnen stehen. Dieses Paper taucht in die seltsame, unsichtbare Welt der Olfaktion (des Geruchssinns) ein und versucht, einem Computer beizubringen, wie er einen Duft mit dem Objekt verbindet, das ihn erzeugt hat.

Um zu verstehen, wie das funktioniert, stellen Sie sich das „Gehirn“ eines Computers wie eine riesige Bibliothek vor, in der jede Idee einen spezifischen Platz im Regal hat. Normalt liegen Bilder von Hunden in der Nähe des Wortes „Hund“, und Bilder von Katzen in der Nähe von „Katze“. Dies wird als gemeinsamer Raum (shared space) bezeichnet. Wissenschaftler haben massive Bibliotheken für das Sehen und das Sprechen aufgebaut, aber sie hatten nie genug Bücher über den Geruchssinn, um ein ähnliches Fach zu erstellen. Die große Frage ist: Können wir einem Roboter beibringen, einen Duft zu riechen, einen Raum anzusehen und zu erraten: „Ah, dieser Geruch kommt von der Kaffeemaschine und nicht vom Toaster“, ohne jemals zuvor ein Bild einer Kaffeemaschine gesehen zu haben, die nach Kaffee duftet? Dieses Paper untersucht genau das und versucht, die Lücke zwischen der chemischen Struktur eines Moleküls, den Gassensoren, die es detektieren, und den Bildern, die wir mit unseren Kameras aufnehmen, zu schließen.

Die „Geruch-Sicht“-Brücke: Einführung von COLIP-2

Lernen Sie COLIP-2 kennen (Contrastive Olfaction-Language-Image Pre-training 2), ein neues KI-Gehirn, das von Scentience, Inc. entwickelt wurde. Betrachten Sie es als einen universellen Übersetzer, der vier Sprachen gleichzeitig spricht: Moleküle (die winzigen chemischen Bausteine), Sensoren (die elektronischen Nasen, die die Luft erschnüffeln), Wörter (Beschreibungen wie „zitrusartig“ oder „rauchig“) und Bilder (was Ihre Kamera sieht).

Vor diesem Durchbruch mussten Sie einem Roboter beibringen, einen bestimmten Geruch zu finden, indem Sie ihn einen spezifischen Duft nach dem anderen lehrten, so wie ein Hund, der lernt, eine bestimmte Droge aufzuspüren. COLIP-2 ist anders. Es versucht, das Konzept von Geruch zu erlernen. Es nimmt die chemische Struktur eines Moleküls, die Messung eines Gassensors und eine Textbeschreibung und presst sie alle in dasselbe unsichtbare „Regal“ in seinem Gehirn, in dem es bereits Bilder der Welt aufbewahrt.

Wie es funktioniert: Der „No-Photo“-Trick

Hier ist der clevere Teil: Die Forscher verfügten nicht über Millionen von Fotos von „duftenden Objekten“, um das Modell zu trainieren. Solche Daten existieren noch gar nicht. Also nutzten sie eine geschickte Abkürzung. Sie erkannten, dass Wörter wie „blumig“ oder „verbrannt“ bereits im Gehirn des Computers existieren, weil er versteht, wie Bilder und Texte zusammenhängen.

Stellen Sie sich vor, Sie haben eine Weltkarte, auf der „Blumen“ in der Nähe von „Gärten“ liegen und „Feuer“ in der Nähe von „Rauch“. COLIP-2 nimmt einen Geruch (wie ein Molekül) und fragt: „Welche Wörter beschreiben dies?“ Wenn der Geruch „zitrusartig“ ist, platziert das Modell diesen Geruch direkt neben das Wort „Zitrus“ auf der Karte. Da der Computer bereits weiß, dass das Wort „Zitrus“ in der Nähe von Bildern von Zitronen und Orangen liegt, „weiß“ der Geruch plötzlich, wo Zitronen sind, obwohl er noch nie eine Zitrone gesehen hat! Es ist, als würde man lernen, dass ein neuer Geschmack nach „Zitrone“ schmeckt, und plötzlich weiß das Gehirn genau, wo der Zitronenbaum in einem Wald steht, den man noch nie besucht hat.

Die zwei Versionen: Cloud vs. Edge

Das Paper beschreibt zwei Versionen dieses Gehirns:

1. Der Cloud-Riese: Eine massive, extrem präzise Version (1,15 Milliarden Parameter), die auf leistungsstarken Servern lebt. Er ist wie ein Chefkoch, der ein Gericht probieren und jede einzelne Gewürzkomponente darin beschreiben kann.
2. Die Edge-Taschenversion: Eine winzige, leichtgewichtige Version (101 Millionen Parameter), die darauf ausgelegt ist, im Gehirn eines Roboters oder auf einem Mobiltelefon zu laufen. Sie ist etwas weniger genau, aber schnell genug, um offline zu laufen, sodass ein Roboter die Luft erschnüffeln und auf einen Geruch in Echtzeit zeigen kann.

Was es tatsächlich leisten kann

Wenn Sie diesem Modell ein Bild einer unordentlichen Küche und einen Sensorwert von „Alkohol“ geben, sagt es nicht einfach nur „Alkohol erkannt“. Es zeichnet eine Heatmap über das Bild. Es hebt die Flasche Wodka mit einer warmen, leuchtenden Farbe hervor und zeigt dem Roboter genau, von wo der Geruch kommt.

Das Paper zeigt, dass das Modell bei etwa 90 % der getesteten Moleküle die richtige Geruchsbeschreibung unter seinen Top-fünf-Tipps finden konnte. Wenn es darum geht, die Quelle eines Geruchs in einem Bild zu identifizieren, trifft es das richtige Objekt in etwa 72 % der Fälle bei exakten Übereinstimmungen und in 90 % der Fälle, wenn man nur nach der allgemeinen Kategorie fragt (z. B. „Obst“ statt „spezifischer Apfel“).

Die Grenzen: Wo es stolpert

Die Autoren sind sehr ehrlich darüber, was dieses Modell nicht kann. Es ist kein Zauberstab.

• Es ist ein „Familien“-Finder, kein Detektiv: Das Modell ist großartig darin zu sagen: „Das riecht nach Zitrus“, aber es hat Schwierigkeiten zu sagen: „Das ist spezifisch eine Zitrone, keine Orange.“ Es arbeitet am besten auf der Ebene der „Familie“ (z. B. „rauchig“, „blumig“) statt die Identität eines einzelnen, einzigartigen Moleküls zu bestimmen.
• Keine Magie für neue Dinge: Wenn Sie ihm ein völlig neues chemisches Element füttern, das es noch nie gesehen hat, kann es es nicht perfekt benennen. Es wird die „Familie“ erraten, zu der es gehört, aber es wird nicht die exakte Identität kennen.
• Nicht für die Sicherheit: Das Paper warnt ausdrücklich: Verwenden Sie dies nicht, um giftige Gasaustritte zu erkennen oder zu prüfen, ob Lebensmittel sicher sind. Das Modell liefert Rankings und Wahrscheinlichkeiten, keine präzisen Messwerte. Wenn ein Roboter glaubt, ein Geruch sei „wahrscheinlich“ ein Gasleck, kann er sich irren, und das kann gefährlich sein. Es ist ein Forschungswerkzeug, kein Sicherheitsgerät.

Die Zukunft: Gemeinsam lernen

Das Paper legt nahe, dass das größte Hindernis nicht die Intelligenz des Computers ist, sondern der Mangel an Daten. Wir haben nicht genug „Geruch-und-Sehen“-Beispiele, um das Modell perfekt zu trainieren. Um dies zu lösen, nutzt das Team eine Methode namens Federated Learning. Stellen Sie sich tausende von Robotern und Sensoren auf der ganzen Welt vor, die Dinge erschnüffeln und voneinander lernen, ohne jemals ihre privaten Fotos oder Rohdaten zu teilen. Sie senden nur die „Lektionen“, die sie gelernt haben, an ein zentrales Gehirn, welches dann eine intelligentere Version an alle zurückschickt. Auf diese Weise wird der gesamte Flottenbestand gemeinsam klüger, während die Privatsphäre aller gewahrt bleibt.

Das Fazleit

COLIP-2 ist ein bedeutender Schritt nach vorn und beweist, dass wir Computer lehren können, Gerüche mit Sichtverbindungen zu verknüpfen, indem wir die Wörter nutzen, die wir bereits kennen. Es deutet darauf hin, dass ein Roboter mit der richtigen Architektur eine Szene betrachten und sagen kann: „Ich rieche etwas Rauchiges von jenem Grill kommen.“ Die Autoren betonen jedoch, dass dies erst der Anfang ist. Das Modell ist ein Prototyp, der uns die Grenzen dessen aufzeigt, was mit den heutigen offenen Daten möglich ist. Um wirklich perfekte Geruch-Sicht-Roboter zu bekommen, müssen wir neue Datensätze aufbauen und Millionen weitere Beispiele von Gerüchen gepaart mit Bildern sammeln. Bis dahin ist COLIP-2 ein leistungsfähiges, spielerisches Werkzeug für Forscher, um die Zukunft der robotischen Nasen zu gestalten.