New York Smells: A Large Multimodal Dataset for Olfaction
L'article présente « New York Smells », un ensemble de données multimodales à grande échelle contenant 7 000 paires image-odeur issues de divers contextes réels, ce qui démontre que les données visuelles facilitent l'apprentissage de représentations olfactives intermodales et surpasse les caractéristiques traditionnelles conçues à la main dans des tâches telles que la recherche et la classification.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où les ordinateurs pourraient voir la photo d'une rose et savoir instantanément qu'elle sent bon. Depuis des décennies, les machines sont devenues des maîtres de la vue, de l'ouïe et même du toucher, apprenant à reconnaître des motifs dans des photos et des clips audio avec une rapidité incroyable. Mais il reste un sens qui demeure un mystère pour elles : l'odorat. Alors que les animaux comme les chiens utilisent leur nez pour naviguer dans le monde, trouver de la nourriture et détecter le danger, les machines ont eu du mal à « renifler » quoi que ce soit. La raison principale n'est pas que la technologie est impossible, mais que les données sont manquantes. Pour apprendre à un ordinateur à sentir, il faut une immense bibliothèque d'exemples où une odeur spécifique est associée précisément à ce qui la provoque. Jusqu'à présent, la plupart des données olfactives étaient collectées dans des laboratoires stériles et calmes avec des objets uniques, ce qui ne reflète pas la réalité complexe et désordonnée du monde réel.
Ce document présente une nouvelle étape majeure appelée « New York Smells ». Les chercheurs, une équipe de l'Université de Columbia, de Cornell et d'Osmo Labs, sont allés dans la nature — marchant littéralement dans des parcs, des bibliothèques, des gymnases et des rues de la ville de New York. Ils ont construit un équipement spécial en sac à dos qui tenait une caméra haute définition juste à côté d'un nez électronique (un dispositif qui détecte les substances chimiques dans l'air). En marchant, ils ont enregistré des milliers de paires d'images et d'odeurs, capturant tout, d'une part de pizza à une plaque de mousse, un banc en bois et un sac en plastique. Ils n'ont pas seulement pris un instantané ; ils ont enregistré l'odeur au fil du temps, capturant la façon dont l'odeur d'un objet change à mesure que l'air circule autour de lui. En associant ces odeurs du monde réel aux données visuelles de ce qu'elles sentaient, ils ont créé un ensemble de données comprenant 7 000 paires image-odeur uniques, couvrant 3 500 objets différents. C'est environ 70 fois plus grand que n'importe quel précédent ensemble de données olfactives.
L'équipe a utilisé cette nouvelle bibliothèque pour apprendre aux ordinateurs comment comprendre les odeurs. Ils ont testé une méthode appelée « apprentissage contrastif », qui est comme un immense jeu de correspondance. L'ordinateur se voit présenter la photo d'un livre et l'odeur d'un livre en même temps, et il apprend à lier les deux. Ensuite, on teste s'il peut regarder une nouvelle odeur et trouver l'image correspondante, ou regarder une image et deviner l'odeur. Les résultats ont été surprenants et prometteurs. L'ordinateur a appris que les données d'odeur brutes et non traitées (les signaux réels et désordonnés provenant du capteur) étaient bien meilleures pour l'apprentissage que les résumés « nettoyés » que les scientifiques utilisent habituellement. En fait, l'ordinateur a appris à reconnaître des objets et des matériaux par l'odeur seule, mais seulement parce qu'il utilisait les signaux visuels comme superviseur pendant le processus d'entraînement. Il pouvait même faire la différence entre deux types d'herbe très similaires poussant côte à côte dans un parc.
Le document suggère qu'en donnant aux machines un « enseignant » visuel, nous pouvons les aider à apprendre à sentir dans le monde réel, et pas seulement dans un laboratoire. Les chercheurs ont constaté que lorsque l'ordinateur utilisait les images pour guider son apprentissage, il développait un odorat beaucoup plus aiguisé que lorsqu'il essayait d'apprendre à partir des seules données de senteur. Cela ne signifie pas que l'ordinateur peut encore sentir comme un chien, mais cela prouve que lier la vue et l'odorat est un moyen puissant d'enseigner aux machines le monde chimique. L'équipe précise avec prudence que leurs données proviennent d'une seule ville et que leurs capteurs ne peuvent pas détecter toutes les substances chimiques, mais ils ont ouvert une porte. Ils ont montré que si nous donnons aux machines une bibliothèque diversifiée d'odeurs et de vues du monde réel, elles peuvent commencer à construire leur propre compréhension du monde invisible qui nous entoure.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.