💻 computer science

See & Sniff: Learning Visuo-Olfactory Representations

Dit artikel introduceert SmellNet-V, een schaalbare visuo-olfactorische dataset die is gecreëerd door synthetisch geurmonsters te koppelen aan semantisch uitgelijnde afbeeldingen, en stelt het "See & Sniff" zelfgesuperviseerde framework voor om gezamenlijke representaties te leren die geurclassificatie, ruimtelijke lokalisatie en cross-modale retrieval mogelijk maken.

Oorspronkelijke auteurs: Seongyu Kim, Seungwoo Lee, Hyeonggon Ryu, Joon Son Chung, Arda Senocak

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Seongyu Kim, Seungwoo Lee, Hyeonggon Ryu, Joon Son Chung, Arda Senocak

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superkracht hebt: je kunt naar een foto van een appel kijken en direct weten hoe die ruikt. Of andersom, als iemand je een flesje met "appelgeur" geeft, kun je precies aanwijzen waar de appel in een drukke foto te vinden is.

Lange tijd waren computers erg goed in zien en horen, maar waren ze volledig "geestblind" voor geur. Ze konden een geur niet aan een plaatje koppelen omdat niemand hen ooit had geleerd hoe dat moest. Dit artikel, getiteld "See & Sniff," is als het geven van de eerste les in ruiken aan een computer.

Hier is de eenvoudige uitleg van wat de onderzoekers hebben gedaan, met behulp van enkele alledaagse analogieën.

1. Het Probleem: De "Ontbrekende Schakel"

Beschouw de hersenen van de computer als een student. Het heeft een bibliotheek met boeken over hoe je ziet (afbeeldingen) en een bibliotheek met boeken over hoe je hoort (audio). Maar de bibliotheek over geur is leeg.

Normaal gesproken, om een computer te leren een geur aan een plaatje te koppelen, zou je een robot nodig hebben die naar buiten gaat, aan een aardbei snuffelt, een foto van die exacte aardbei op dat exacte moment maakt en deze samen opslaat. Dit doen voor duizenden artikelen is ongelooflijk duur en traag. Het is alsof je probeert een woordenboek op te bouwen door een vertaler in te huren die in een kamer zit en elk woord dat gesproken wordt, één voor één vertaalt.

2. De Slimme Afkorting: De "Magische Koppeling"

De onderzoekers realiseerden zich iets slims over hoe geuren werken: een geur verandert niet alleen omdat het object er anders uitziet.

De Analogie: Stel je een rode appel en een groene appel voor. Ze zien er anders uit, maar ze ruiken allebei naar "appel". Een kleine appel en een reusachtige appel ruiken bijna hetzelfde. Een verse appel en een licht beschadigde appel ruiken grotendeels hetzelfde.
De Oplossing: In plaats van nieuwe foto's te maken en te snuffelen, heeft het team een bestaande database van alleen geuren (genaamd SmellNet) genomen en deze "getrouwd" met willekeurige, echte foto's van diezelfde ingrediënten die op het internet te vinden zijn.
Ze creëerden een nieuwe dataset genaamd SmellNet-V. Het is alsof je een afspeellijst van liedjes (de geuren) neemt en deze willekeurig koppelt aan videoclips (de afbeeldingen) waarin dezelfde artiest voorkomt. Zelfs als de video niet de exacte versie is waarin het nummer is opgenomen, past de "vibe" (de semantische categorie) overeen.

3. De Hersenen: "See & Sniff"

Zodra ze deze nieuwe dataset hadden, bouwden ze een computermodel genaamd See & Sniff. Denk aan dit model als een detective met twee vergrootglazen: één voor de ogen en één voor de neus.

De Training: Het model kijkt naar een foto van een kaneelstokje en ruikt een "kaneel" signaal. Het probeert de verbinding te vinden.
Het Geheime Ingrediënt (Dense Local Alignment): De meeste AI-modellen kijken alleen naar het "gehele plaatje" en zeggen: "Dit ziet eruit als kaneel." Maar See & Sniff is meer als een detective die op zoek is naar aanwijzingen. Het scant de afbeelding pixel voor pixel om precies te vinden waar de kaneel zich bevindt. Het leert dat het geursignaal overeenkomt met de specifieke textuur en kleur van de kaneelstok, en niet met de houten tafel waarop het ligt.

4. Wat kan het doen? (De Drie Trucs)

Het artikel laat zien dat dit model drie coole trucs heeft geleerd:

Truc 1: De Geurdetective (Smell Localization)
Als je de computer een "geur" geeft (zoals "ananas"), kan hij naar een rommelige keukenfoto kijken en een kader trekken rond de ananas. Hij negeert het mes, de snijplank of de andere vruchten. Hij weet precies waar de geur vandaan komt.
- Analogie: Het is alsof je je ogen sluit, een pizza ruikt en vervolgens met je vinger naar de exacte pizzaslice op de tafel kunt wijzen zonder te kijken.
Truc 2: De Vertaler (Cross-Modal Retrieval)
Als je het een foto van een mango laat zien, kan het de "mangogeur" vinden in een database. Als je het een "mangogeur" geeft, kan het de foto van een mango vinden. Het leert dat de visuele vorm en de chemische geur twee kanten van dezelfde munt zijn.
Trick 3: De Betere Snuiver (Smell Classification)
Hier is het verrassende deel: door te leren naar plaatjes te kijken terwijl het ruikt, werd de computer eigenlijk beter in ruiken dan wanneer het alleen zou ruiken.
- Analogie: Het is also al lerend een liedje te herkennen door ernaar te luisteren terwijl je de videoclip bekijkt. Zelfs als je later alleen naar het liedje luistert, herinnert je brein de visuele aanwijzingen, wat hels bij het sneller en nauwkeuriger identificeren. Het artikel beweert dat dit hun nauwkeurigheid met 7% verbeterde vergeleken met modellen die alleen geur gebruikten.

5. Waarom dit belangrijk is (Volgens het artikel)

De onderzoekers hebben niet alleen een leuk speeltje gebouwd; ze hebben de eerste "sportschool" voor geur-AI gebouwd.

Ze hebben de eerste dataset (SmellNet-V) gecreëerd die geuren aan afbeeldingen koppelt.
Ze hebben de eerste test gecreëerd voor het vinden van geuren in plaatjes (Smell Localization).
Ze hebben bewezen dat je geen dure, gesynchroniseerde robots nodig hebt om een computer te leren ruiken; je kunt "slimme koppeling" gebruiken van bestaande data.

In een notendop: Dit artikel gaat over het leren van een computer om zijn ogen aan zijn neus te koppelen. Ze deden dit door bestaande geurdata slim te matchen met internetfoto's, waardoor ze een model creëerden dat niet alleen geuren kan identificeren, maar ook precies kan aanwijzen waar ze in een foto zitten, terwijl het tegelijkertijd slimmer wordt in ruiken door simpelweg te kijken.

Technische Samenvatting: See & Sniff: Leren van Visuo-Olfactorische Representaties

Probleemstelling

Ondanks de integratie van visie met taal, audio en tastzin in moderne multimodale AI, blijft olfactie een grotendeels onverkend medium. Deze kloof komt voort uit het tekort aan gekoppelde visuo-olfactorische data; in tegen tegenstelling tot camera's of microfoons zijn draagbare olfactorische sensoren historisch gezien beperkt gebleven tot laboratoria, en grote publieke datasets missen de bijbehorende visuele informatie. Hoewel recente inspanningen zoals SmellNet grote schaal aan geurdatasets hebben vrijgegeven, blijven deze unimodaal (alleen olfactorisch), wat het leren van gezamenlijke representaties tussen visueel uiterlijk en geuridentiteit verhindert. De kernuitdaging die dit werk aanpakt, is hoe men zelfgesuperviseerd leren van visuo-olfactorische representaties kan mogelijk maken zonder de beschikbaarheid van natuurlijk gekoppelde, gelijktijdig verzamelde data.

Methodologie

1. Datasetconstructie: SmellNet-V

De auteurs introduceren SmellNet-V, een schaalbare visuo-olfactorische dataset die is geconstrueerd door bestaande geur-alleen data synthetisch te koppelen aan in-the-wild webafbeeldingen. Deze aanpak rust op het cruciale inzicht dat geuridentiteit grotendeels invariant is voor visuele transformaties (bijv. verlichting, schaal of kleine kleurvariaties) binnen een semantische categorie. Een kleine rode appel en een grote rode appel stoten bijvoorbeeld bijna identieke vluchtige organische stoffen (VOC's) uit en behoren tot dezelfde geurcategorie.

De constructiepipeline omvat:

Sniffing Units: Het uitbreiden van de SmellNet-dataset door lange olfactorische opnames te segmenteren in vaste tijdsvensters (die biologische "snuifjes" simuleren) om de datagranulariteit te vergroten.
Afbeeldingverzameling: Het gebruik van een Large Language Model (LLM) om contextrijke zoekopdrachten te genereren voor elk ingrediënt (bijv. "hele appel op houten tafel", "appels in de groenteafdeling van een supermarkt") om diverse webafbeeldingen te verzamelen.
Filtering: Een driefasige pipeline met behulp van CLIP voor prompt-gebaseerde verificatie (om categorische consistentie, fotorealisme en een geldige objectstatus te waarborgen), watermerkdetectie en menselijke verfijning.
Koppeling: Het willekeurig matchen van elk sniff unit met een afbeelding uit dezelfde ingrediëntencategorie om de trainingsparen te vormen.

2. Framework: See & Sniff

See & Sniff is een zelfgesuperviseerd framework dat is ontworpen om gezamenlijke visuo-olfactorische representaties te leren via dense lokale uitlijning.

Architectuur: Het model maakt gebruik van een twee-stroom transformer-architectuur.
- Visuele Encoder: Gebruikt een bevroren DINOv3-Small backbone met een lichtgewicht aligner (LayerNorm + 1x1 convolutie).
- Olfactorische Encoder: Volgt de ScentFormer-architectuur (4-laags transformer) die vanaf nul wordt getraind, gevolgd door een twee-laags MLP-aligner.
Trainingsdoel: Het framework maakt gebruik van contrastief leren. In tegenstelling tot standaard globale uitlijndingsmethoden die kenmerken aggregeren, berekent See & Sniff een gelijkeniskaart tussen de ruimtelijke visuele feature map en de geaggregeerde sniff-feature.
- De sniff-feature wordt over de tijd gemiddeld (average-pooled).
- Een gelijkeniskaart $M \in \mathbb{R}^{H \times W}$ wordt gegenereerd door het inwendig product te berekenen tussen de geaggregeerde sniff-vector en elke ruimtelijke locatie in de visuele feature map.
- De uiteindelijke gelijkenis-score wordt afgeleid via max-pooling van deze kaart.
- De verliesfunctie trekt positieve paren (overeenkomstige geur en afbeelding) aan en stoot negatieve paren (mismatched afbeeldingen) af binnen de batch.

3. Nieuwe Taken en Benchmarks

Het artikel introduceert en evalueert drie downstream taken:

Geurclassificatie: Het voorspellen van ingrediëntencategorieën vanuit louter olfactorische input.
Cross-Modale Retrieval: Bidirectionele retrieval tussen geur en visie (bijv. het ophalen van een afbeelding op basis van een geur, of vice versa).
Geurlokalisatie: Een nieuwe taak waarbij het model de ruimtelijke locatie van een geurbron binnen een visuele scène moet identificeren. Dit wordt geëvalueerd met behulp van een nieuw geconstrueerde benchmark, SmellNet-V-Source, die pixel-niveau segmentatiemaskers voor ingrediënten bevat.

Belangrijkste Bijdragen

SmellNet-V Dataset: De constructie van de eerste grootschalige visuo-olfactorische dataset door gebruik te maken van geur-invariantie om geur-alleen data synthetisch te koppelen aan diverse webafbeeldingen, waarmee de noodzaak voor kostbare co-collectie wordt omzeild.
See & Sniff Framework: Een zelfgesuperviseerd model dat gezamenlijke representaties leert via dense lokale uitlijning, wat van nature geur-saliency maps produceert voor ruimtelijke gronding.
Geurlokalisatie Taak: De introductie van geurlokalisatie als een nieuwe downstream taak, vergezeld van de eerste pixel-niveau geurlokalisatie dataset en benchmark.
Prestatiewinst: Demonstratie dat visuo-olfactorische training de intrinsieke olfactorische representatie het leren versterkt, waarbij de prestaties van geur-alleen baselines worden overtroffen.

Experimentele Resultaten

Geurclassificatie

Geëvalueerd op de SmellNet-Test set (geur-alleen inferentie), bereikte het See & Sniff model een verbetering van 7% in nauwkeurigheid ten opzichte van de geur-alleen ScentFormer baseline (57,71% vs. 50,6%). Deze winst was consistent over alle ingrediëntenfamilies (vruchten, kruiden, noten, specerijen, groenten), met opvallende verbeteringen in categorieën met duidelijke visuele structuren (bijv. vruchten, noten).

Cross-Modale Retrieval

Op de SmellNet-V-Test set behaalde See & Sniff de beste prestaties in 4 van de 6 metrieken (Recall@1, @5, @10 voor beide richtingen). Merkwaardig genoeg presteerde het beter dan globale uitlijning-baselines in de meer uitdagende Recall@1 setting, wat wijst op superieure fijnmazige matchingscapaciteiten.

Geurlokalisatie

Het model presteerde significant beter dan alle baselines op de SmellNet-V-Source benchmark:

mAP: 0,8362 (See & Sniff) vs. 0,6676 (Global alignment) en 0,1736 (Global-CLIP).
mIoU: 0,6456 (See & Sniff) vs. 0,5016 (Global alignment).
Belangrijkste bevinding: Dense lokale uitlijning was essentieel voor ruimtelijke gronding; globale uitlijndingsmethoden faalden in het modelleren van ruimtelijke cross-modale interacties. Het verenigde end-to-end model presteerde ook beter dan gecascadeerde pipelines (SmellNet + SAM3), wat de noodzaak van gezamenlijke feature-interactie aantoont.
Interactieve Lokalisatie: In scenario's met meerdere ingrediënten in één enkele afbeelding, slaagde See & Sniff erin de voorspelde regio te verschuiven op basis van de specifieke geurquery, terwijl globale methoden en visuele-alleen baselines faalden.

Betekenis en Claims

Het artikel positioneert See & Sniff als een fundamentele stap naar de integratie van olfactie in multimodale perceptiesystemen. De auteurs beweren dat:

Visuele supervisie versterkt de olfactorische leerprocessen: Tegen de aanname in dat visie slechts bijkomstig is, versterken visuele data de intrinsieke representatie van geur aanzienlijk, wat de classificatieprestaties verbetert zelfs wanneer visie niet aanwezig is tijdens inferentie.
Synthetische koppeling is levensvatbaar: De strategie om geur-alleen data te koppelen aan in-the-wild afbeeldingen op basis van semantische invariantie is een effectief, schaalbaar alternatief voor kostbare real-world dataverzameling.
Ruimtelijke gronding is mogelijk: Door dense lokale uitlijningen te leren, kunnen modellen verder gaan dan eenvoudige classificatie om geurbronnen ruimtelijk te lokaliseren, een capaciteit die voorheen onverkend was in machine-olfactie.

Het werk vestigt nieuwe benchmarks voor classificatie, retrieval en ruimtelijke gronding, waardoor machine-olfactie verder gaat dan unimodale modellering. De auteurs merken bescheiden op dat toekomstig werk deze capaciteiten kan uitbreiden naar gedegradeerde toestanden (bederf) en complexe menggeuren, maar de huidige bijdrage richt zich op het vaststellen van de haalbaarheid van visuo-olfactorisch leren in normale, niet-gedegradeerde ingrediëntenstaten.