🤖 machine learning

What Images Cannot Say: Language-Guided Olfactory Representation Learning

Cet article présente SCENT, un cadre multimodal qui exploite des descripteurs sémantiques guidés par le langage issus de modèles vision-langage pour combler l'écart entre les scènes visuelles et les signaux de nez électronique, atteignant ainsi l'état de l'art en matière de recherche croisée de modalités et d'apprentissage de représentations olfactives interprétables sur le jeu de données New York Smells.

Auteurs originaux : Eleftherios Tsonis, Xi Wang, Vicky Kalogeiton

Publié 2026-07-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Eleftherios Tsonis, Xi Wang, Vicky Kalogeiton

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : La caméra « aveugle »

Imaginez que vous regardez la photo d'une rue animée dans une ville. Vos yeux vous disent exactement à quoi ressemble la scène : des voitures, des gens, du béton et un ciel bleu. Mais votre nez sait quelque chose que la caméra ne voit pas : l'odeur des gaz d'échappement, l'odeur de l'asphalte chaud ou la légère odeur d'une boulangerie à proximité.

Les auteurs de cet article soulignent une faille majeure dans la façon dont les ordinateurs « voient » le monde actuellement. Les caméras sont excellentes pour capturer le visuel, mais elles sont « aveugles à l'odorat ». Même si un ordinateur possède une photo d'une scène et le relevé d'un capteur d'odeur pour ce même endroit, il a du mal à faire le lien entre les deux. Pourquoi ? Parce que l'odeur provient souvent de choses qui se trouvent en dehors du cadre de la photo.

L'analogie : Imaginez que vous êtes dans une pièce avec une porte fermée. Vous pouvez voir l'intérieur de la pièce (la photo), mais vous pouvez sentir la pizza qui cuit dans la cuisine à travers l'entrebâillement de la porte (le capteur d'odeur). Un ordinateur qui regarde uniquement la photo de la pièce n'a aucune idée que la pizza existe. C'est comme essayer de deviner la saveur d'une soupe en regardant simplement une photo de la cuillère.

La solution : SCENT (Le cadre de travail du « Détective »)

Pour corrifier cela, les chercheurs ont construit un système appelé SCENT (Semantic Context-aware e-Nose Transformer). Au lieu de simplement forcer l'ordinateur à faire correspondre une image à une odeur, ils ont introduit un troisième assistant : le Langage.

Considérez l'ordinateur comme un détective essayant de résoudre un mystère.

L'indice visuel : La photo (ce qui est visible).
L'indice sensoriel : Le relevé du nez électronique (le mélange chimique dans l'air).
L'indice linguistique : Un assistant IA intelligent qui agit comme un « expert du monde ».

Comment ça marche : L'« Assistant Intelligent »

Les chercheurs utilisent une IA puissante (appelée Modèle de Vision-Langage ou VLM) qui a lu des millions de livres et vu des millions d'images. Cette IA connaît les « règles du monde ».

Observer la photo : L'IA regarde l'image d'une cuisine.
Penser au-delà des pixels : Elle ne se contente pas de dire : « Je vois une cafetière ». Elle utilise ses connaissances du monde pour dire : « Je vois une cafetière sur un comptoir. Par conséquent, il est très probable qu'il y ait une odeur de résidus de café, de plastique provenant de l'électronique et de poussière dans l'air, même si ces odeurs spécifiques ne sont pas visibles sur la photo ».
Combler le fossé : Le système prend ces descriptions textuelles (« café », « plastique », « poussière ») et les utilise comme un pont sémantique. Il enseigne à l'ordinateur : « Quand tu sens ce mélange chimique, cela correspond à l'idée d'une cuisine de café, et pas seulement à l'image de la cafetière ».

Le « Dé-mélangeur » (Démêler l'odeur)

Les odeurs dans le monde réel sont désordonnées. Une seule inspiration peut contenir l'odeur d'un objet spécifique (comme une banane) mélangée à l'arrière-plan (comme l'odeur d'un parc).

L'article introduit une astuce ingénieuse appelée Décomposition Latente.

L'analogie : Imaginez un smoothie composé de fraises et d'épinards. Si vous goûtez simplement le smoothie, il est difficile de savoir exactement quelle quantité de fraise par rapport à l'épinard s'y trouve.
La méthode SCENT : Le système apprend à « déconstruire » l'odeur. Il sépare la partie « fraise » (l'odeur spécifique à l'objet) de la partie « épinard » (l'environnement de l'arrière-plan). Il fait cela en utilisant les descriptions textuelles pour lui dire ce qu'il doit chercher. Cela permet à l'ordinateur de comprendre que l'odeur de « café » appartient à la machine, tandis que l'odeur de « poussière » appartient à la pièce.

Les résultats : Sentir mieux que voir

L'équipe a testé cela sur le jeu de données « New York Smells », qui contient des milliers de paires de photos de la ville et de relevés d'odeurs.

L'ancienne méthode : Les systèmes précédents essayaient de faire correspondre l'odeur directement à la photo. Ils étaient souvent confus car la photo ne montrait pas la source de l'odeur.
La méthode SCENT : En utilisant les « indices » linguistiques (les suppositions éclairées de l'IA sur ce qui devrait sentir), le système est devenu bien meilleur pour trouver la bonne correspondance.
- Si vous donniez au système une odeur de « pluie sur l'asphalte chaud », il pouvait trouver la bonne photo d'une rue de la ville, même si la photo ne montrait pas la pluie elle-même, car le pont linguistique comprenait le contexte.
- Il est également devenu meilleur pour associer les odeurs à des descriptions textuelles (par exemple, « odeur d'une bibliothèque ») sans avoir besoin d'une photo.

Le test du « Tour de Magie »

Pour prouver que l'IA ne faisait pas que deviner ou « halluciner » (inventer de fausses odeurs), les chercheurs ont réalisé un test spécial.

Ils ont montré à l'IA la Vue 1 (une photo d'un bureau avec un ordinateur) et lui ont demandé de deviner les odeurs.
L'IA a deviné des choses comme « poussière de papier » et « plastique ».
Ensuite, ils leur ont montré la Vue 2 (un autre angle de la même pièce que l'IA n'avait pas encore vu).
Le résultat : La Vue 2 montrait réellement une pile de papiers et une chaise en plastique — exactement ce que l'IA avait deviné ! Cela a prouvé que l'IA utilisait une logique du monde réel pour inférer des détails cachés, et non pas simplement pour faire des suppositions aléatoires.

Résumé

En bref, cet article apprend aux ordinateurs à « sentir » en leur donnant un guide linguistique. Au lieu de simplement fixer une photo et un relevé de capteur, l'ordinateur demande à une IA intelligente : « De quoi cet endroit devrait-il sentir bon selon ce que je vois ? ». Cette couche supplémentaire de bon sens aide l'ordinateur à connecter le monde invisible des odeurs avec le monde visible des images, ce qui le rend bien meilleur pour comprendre notre environnement.

Résumé Technique : Ce que les images ne peuvent pas dire : Apprentissage de représentations olfactives guidé par le langage

Énoncé du problème
L'article traite du défi fondamental de l'alignement des signaux de nez électronique (e-nose) à haute dimension avec les données visuelles. Bien que des ensembles de données récents (tels que New York Smells, NYS) associent des scènes visuelles à des mesures olfactives, l'alignement de ces modalités reste difficile. Les auteurs identifient une limitation critique : les images ne capturent qu'une vue partielle d'une scène, tandis que les signaux olfactifs proviennent souvent de sources situées en dehors du champ de vision de la caméra (par exemple, les systèmes de ventilation, le trafic lointain ou des objets cachés). Par conséquent, la supervision visuelle seule est insuffisante pour rendre compte pleinement des signaux d'odeur mesurés. De plus, les enregistrements d'odeurs représentent des mélanges complexes d'odeurs spécifiques à des objets et de facteurs environnementaux contextuels, ce qui rend difficile le désenchevêtrement des contributions sémantiques individuelles à l'aide d'approches basées uniquement sur la vision.

Méthodologie : Le cadre SCENT
Les auteurs proposent SCENT (Semantic Context-aware e-Nose Transformer), un cadre multimodal qui utilise le langage comme pont sémantique entre la vision et l'olfaction. Le cadre fonctionne à travers trois étapes principales :

Augmentation sémantique de la scène basée sur les VLM :
Le système exploite des modèles de vision-langage (VLM) pré-entraînés, spécifiquement Qwen3-VL-30B, pour générer des descripteurs textuels structurés à partir des images d'entrée. Contra à la légende standard, le VLM est incité à inférer des indices d'odeurs ambiantes plausibles basés sur le contexte visuel, les objets et l'arrière-plan environnemental. Cela produit un ensemble de descripteurs : objet ( $t_{obj}$ ), contexte ( $t_{ctx}$ ) et odeurs inférées ( $t_{smell}$ ). Ces descripteurs sont encodés à l'aide d'un encodeur de texte CLIP gelé pour créer un ancrage textuel ( $z_T$ ) qui compense la l'observabilité partielle de l'entrée visuelle.
Apprentissage de représentations olfactives multimodales :
Un encodeur d'odeur basé sur un Transformer ( $f_S$ ) traite les signaux de l'e-nose (concaténation temporelle des enregistrements de la ligne de base et de l'échantillon) pour générer un plongement olfactif global ( $z_S$ ). Deux têtes de projection cartographient ce plongement dans les espaces partagés de 512 dimensions des encodeurs visuel ( $z_I$ ) et textuel ( $z_T$ ) de CLIP. Le modèle est entraîné à l'aide de pertes contrastives InfoNCE symétriques pour aligner les représentations d'odeur avec la scène visuelle et les descripteurs textuels augmentés. Cela crée un espace de plongement conjoint où les signaux olfactifs sont ancrés dans la scène visuelle et la connaissance sémantique du monde.
Désenchevêtrement de l'odeur latente :
Pour répondre à la nature mixte des signaux olfactifs, le cadre introduit un mécanisme de décomposition latente. Le plongement olfactif est divisé en deux composantes : un vecteur d'odeur spécifique à l'objet ( $z^S_{obj}$ ) et un vecteur de contexte environnemental ( $z^S_{ctx}$ ). Ces composantes sont alignées avec leurs descripteurs textuels respectifs ( $t_{obj}$ et $t_{ctx}$ ) via des pertes contrastives distinctes. Une contrainte de reconstruction garantit que la somme de ces composantes désenchevêtrées préserve l'information du signal capteur original, empêchant l'effondrement de la représentation.

Contributions clés

Pont sémantique guidé par le langage : L'article introduit le concept d'utiliser le langage généré par VLM pour inférer des indices olfactifs qui ne sont pas directement visibles, comblant ainsi l'écart entre les observations visuelles partielles et les mesures olfactives holistiques.
Cadre SCENT : Une architecture novatrice qui aligne les plongements d'e-nose, visuels et textuels, permettant l'apprentissage de représentations olfactives qui vont au-delà de la supervision visuelle directe.
Désenchevêtrement guidé par le langage : Une méthode pour séparer les odeurs spécifiques aux objets du contexte environnemental au sein de l'espace latent, facilitant l'interprétation des mélanges d'odeurs complexes.

Résultats expérimentaux
Le cadre a été évalué sur le jeu de données New York Smells (NYS), comprenant 7 000 paires image-olfaction à travers divers environnements urbains.

Performance de recherche (Retrieval) : SCENT atteint des performances de pointe sur les tâches de recherche cross-modale. Dans la recherche de l'Odeur vers l'Image (S2I), il améliore le Recall@5 de 20,0 % (baseline NYS reproduite) à 23,0 %. Dans la recherche de l'Odeur vers le Texte (S2T), il atteint 11,9 % de Recall@5, soit une amélioration relative de 47 % par rapport à la meilleure baseline adaptée. La recherche de multimodalité conjointe (S2IT) montre également des gains significatifs.
Études d'ablation : Les résultats démontrent que la performance augmente avec la granularité sémantique de la guidance par le langage. L'utilisation de seuls les étiquettes d'objets donne de faibles résultats, tandis que l'incorporation du contexte environnemental et des odeurs inférées par VLM booste considérablement l'alignement.
Validation du désenchevêtrement : Dans une tâche de recherche de recombinaison zero-shot, le modèle a réussi à synthétiser de nouvelles empreintes olfactives en combinant des facteurs d'objets et de contextes provenant de différents échantillons d'entraînement, surpassant les baselines de recombinaison de signaux bruts.
Sensibilité du VLM : L'étude a révélé que la qualité de la recherche est plus fortement corrélée à la capacité de raisonnement du VLM (par exemple, Qwen3-VL-30B) qu'au nombre de paramètres seul, soulignant l'importance d'inférer des indices non visibles plausibles.

Signification et affirmations
Les auteurs affirment que SCENT révèle l'importance critique de l'information sémantique contextuelle pour ancrer la perception olfactive dans l'apprentissage multimodal. En utilisant le langage pour inférer « ce que les images ne peuvent pas dire », le cadre permet l'interprétation des mesures d'odeur à travers la connaissance du monde, permettant au modèle de généraliser à des échantillons hors distribution où les indices visuels sont insuffisants. Ce travail établit un nouveau paradigme pour l'apprentissage de représentations olfactives, passant des environnements de laboratoire contraints aux scénarios « in-the-wild » en exploitant la vaste connaissance du monde ancrée dans les VLM modernes. L'article conclut que cette approche ouvre la voie à de futures recherches dans le désenchevêtrement et l'alignement cross-modal pour les modalités sensorielles non visuelles.