New York Smells: A Large Multimodal Dataset for Olfaction

Immaginate un mondo in cui i computer possano vedere l'immagine di una rosa e sapere istantaneamente che profuma di dolce. Per decenni, le macchine sono diventate maestre della vista, dell'udito e persino del tatto, imparando a riconoscere modelli in foto e clip audio con una velocità incredibile. Ma c'è un senso che è rimasto un mistero per loro: l'olfatto. Mentre gli animali come i cani usano il naso per navigare nel mondo, trovare cibo e rilevare pericoli, le macchine hanno faticato a "fiutare" qualsiasi cosa. Il motivo principale non è che la tecnologia sia impossibile, ma che i dati mancano. Per insegnare a un computer a sentire l'odore, è necessaria una vasta libreria di esempi in cui un odore specifico sia accoppiato esattamente a ciò che lo sta causando. Fino ad ora, la maggior parte dei dati olfattivi è stata raccolta in laboratori sterili e silenziosi con singoli oggetti, il che non riflette la realtà disordinata e complessa del mondo reale.

Questo articolo presenta un nuovo passo avanti massiccio chiamato "New York Smells". I ricercatori, un team proveniente dalla Columbia University, Cornell e Osmo Labs, sono usciti all'aperto — camminando letteralmente attraverso parchi, biblioteche, palestre e strade cittadine di New York City. Hanno costruito un particolare supporto a zaino che conteneva una telecamera ad alta definizione proprio accanto a un naso elettronico (un dispositivo che rileva le sostanze chimiche nell'aria). Mentre camminavano, hanno registrato migliaia di coppie di immagini e odori, catturando tutto, da una fetta di pizza a un lembo di muschio, una panchina di legno e un sacchetto di plastica. Non si sono limitati a scattare un'istantanea; hanno registrato l'odore nel tempo, catturando come la fragranza di un oggetto cambi mentre l'aria si muove intorno ad esso. Accoppiando questi odori del mondo reale con i dati visivi di ciò che stavano annusando, hanno creato un dataset con 7.000 coppie immagine-odore uniche, che coprono 3.500 diversi oggetti. Questo è circa 70 volte più grande di qualsiasi precedente dataset olfattivo.

Il team ha utilizzato questa nuova libreria per insegnare ai computer come comprendere gli odori. Hanno provato un metodo chiamato "apprendimento contrastivo", che è come giocare a un enorme gioco di abbinamento. Al computer viene mostrata la foto di un libro e l'odore di un libro contemporaneamente, e esso impara a collegare le due cose. Successivamente, viene testato per vedere se riesce a guardare un nuovo odore e trovare l'immagine corrispondente, o guardare un'immagine e indovinare l'odore. I risultati sono stati sorprendenti e promettenti. Il computer ha imparato che i dati olfattivi grezzi e non elaborati (i segnali disordinati e in tempo reale provenienti dal sensore) erano molto migliori per l'apprendimento rispetto ai riassunti "ripuliti" che gli scienziati usano di solito. In effetti, il computer ha imparato a riconoscere oggetti e materiali solo dall'odore, ma solo perché utilizzava i segnali visivi come supervisore durante il processo di addestramento. Poteva persino distinguere tra due tipi molto simili di erba che cresce fianco a fianco in un parco.

L'articolo suggerisce che, fornendo alle macchine un "insegnante" visivo, possiamo aiutarle a imparare a sentire gli odori nel mondo reale, non solo in un laboratorio. I ricercatori hanno scoperto che quando il computer utilizzava le immagini per guidare il suo apprendimento, sviluppava un senso dell'olfatto molto più acuto rispetto a quando cercava di imparare solo dai dati del profumo. Questo non significa che il computer possa già annusare come un cane, ma dimostra che collegare vista e olfatto è un modo potente per insegnare alle macchine l'esistenza del mondo chimico. Il team sottolinea con cautela che i loro dati provengono da una singola città e che i loro sensori non possono rilevare ogni sostanza chimica, ma hanno aperto una porta. Hanno dimostrato che, se forniamo alle macchine una libreria diversificata di odori e visioni del mondo reale, esse possono iniziare a costruire la propria comprensione del mondo invisibile che ci circonda.