🤖 machine learning

What Images Cannot Say: Language-Guided Olfactory Representation Learning

यह शोध पत्र SCENT को प्रस्तुत करता है, जो एक मल्टीमॉडल फ्रेमवर्क है जो विज़न-लैंग्वेज मॉडल्स से भाषा-निर्देशित सिमेंटिक डिस्क्रिप्टर्स का लाभ उठाकर दृश्य दृश्यों और इलेक्ट्रॉनिक-नोज़ संकेतों के बीच के अंतर को पाटने के लिए है, जिससे न्यूयॉर्क स्मेल्स्स (New York Smells) डेटासेट पर स्टेट-ऑफ-द-आर्ट क्रॉसमोडल रिट्रीवल और व्याख्यात्मक घ्राण प्रतिनिधित्व शिक्षण (interpretable olfactory representation learning) प्राप्त होता है।

मूल लेखक: Eleftherios Tsonis, Xi Wang, Vicky Kalogeiton

प्रकाशित 2026-07-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eleftherios Tsonis, Xi Wang, Vicky Kalogeiton

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र "What Images Cannot Say: Language-Guided Olfactory Representation Learning" का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: "अंधा" कैमरा

कल्पना कीजिए कि आप एक व्यस्त शहर की सड़क की तस्वीर देख रहे हैं। आपकी आँखें आपको ठीक से बताती हैं कि दृश्य कैसा दिखता है: कारें, लोग, कंक्रीट और नीला आसमान। लेकिन आपकी नाक वह जानती है जो कैमरा नहीं देख सकता: धुएं की गंध, गर्म डामर (asphalt) की महक, या पास की किसी बेकरी की हल्की खुशबू।

इस शोध पत्र के लेखक बताते हैं कि वर्तमान में कंप्यूटर दुनिया को कैसे "देखते" हैं, इसमें एक बड़ी खामी है। कैमरे दृश्यों को कैप्चर करने में बेहतरीन हैं, लेकिन वे "सूंघने में अंधे" (smell-blind) हैं। भले ही कंप्यूटर के पास उसी स्थान की एक फोटो और एक सेंसर रीडिंग हो, फिर भी उसे दोनों को आपस में जोड़ने में संघर्ष करना पड़ता है। क्यों? क्योंकि गंध अक्सर फोटो के फ्रेम के बाहर की चीजों से आती है।

उपमा (Analogy): कल्पना कीजिए कि आप एक कमरे में हैं जिसका दरवाज़ा बंद है। आप कमरे के अंदर का हिस्सा देख सकते हैं (फोटो), लेकिन आप दरवाजे की दरार से रसोई में पक रहे पिज्जा की खुशबू भी सूंघ सकते हैं (स्मेल सेंसर)। केवल कमरे की फोटो देखने वाला कंप्यूटर यह नहीं जान पाता कि वहां पिज्जा मौजूद है। यह बिल्कुल वैसा ही है जैसे चम्मच की तस्वीर देखकर सूप के स्वाद का अंदाजा लगाने की कोशिश करना।

समाधान: SCENT (एक "डिटेक्टिव" फ्रेमवर्क)

इसे ठीक करने के लिए, शोधकर्ताओं ने SCNT (Semantic Context-aware e-Nose Transformer) नामक एक सिस्टम बनाया। केवल कंप्यूटर को एक तस्वीर को गंध से मिलाने के लिए मजबूर करने के बजाय, उन्होंने एक तीसरा सहायक: भाषा (Language) पेश किया।

कंप्यूटर को एक जासूस (detective) के रूप में सोचें जो एक रहस्य सुलझाने की कोशिश कर रहा है।

दृश्य सुराग (Visual Clue): फोटो (जो दिखाई दे रहा है)।
संवेदी सुराग (Sensory Clue): इलेक्ट्रॉनिक नोज़ रीडिंग (हवा में मौजूद रासायनिक मिश्रण)।
भाषाई सुराग (Language Clue): एक स्मार्ट AI असिस्टेंट जो "दुनिया का विशेषज्ञ" (world expert) है।

यह कैसे काम करता है: "स्मार्ट असिस्टेंट"

शोधकर्ता एक शक्तिशाली AI (जिसे विजन-लैंग्वेज मॉडल या VLM कहा जाता है) का उपयोग करते हैं जिसने लाखों किताबें पढ़ी हैं और लाखों चित्र देखे हैं। यह AI "दुनिया के नियमों" को जानता है।

फोटो को देखना: AI रसोई की एक इमेज देखता है।
पिक्सेल से परे सोचना: यह केवल यह नहीं कहता, "मुझे एक कॉफी मेकर दिख रहा है।" यह अपने विश्व-ज्ञान का उपयोग करके कहता, "मैं काउंटर पर एक कॉफी मेकर देख रहा हूँ। इसलिए, यह अत्यधिक संभावित है कि हवा में कॉफी के अवशेष (residue), इलेक्ट्रॉनिक्स से निकलने वाले प्लास्टिक और धूल की गंध मौजूद है, भले ही वे विशिष्ट गंध चित्र में दिखाई न दे रही हों।"
अंतराल को पाटना: सिस्टम इन टेक्स्ट विवरणों ("कॉफी", "प्लास्टिक", "धूल") को लेता है और उन्हें एक सेमेंटिक ब्रिज (semantic bridge) के रूप में उपयोग करता है। यह कंप्यूटर को सिखाता है: "जब तुम इस रासायनिक मिश्रण को सूंघो, तो यह कॉफी किचन के विचार से मेल खाता है, न कि केवल कॉफी मेकर की तस्वीर से।"

"डी-मिक्सर" (गंध को अलग करना)

वास्तविक दुनिया में गंध बहुत उलझी हुई होती है। एक बार सूंघने पर उसमें किसी विशिष्ट वस्तु (जैसे केला) की गंध और बैकग्राउंड (जैसे पार्क की गंध) का मिश्रण हो सकता है।

यह पेपर लेटेंट डिकंपोजिशन (Latent Decomposition) नामक एक चतुर तकनीक पेश करता है।

उपमा: कल्पना कीजिए कि स्ट्रॉबेरी और पालक से बने एक स्मूदी का। यदि आप केवल स्मूदी का स्वाद लेते हैं, तो यह जानना कठिन है कि उसमें स्ट्रॉबेरी कितनी है और पालक कितना।
SCENT विधि: सिस्टम गंध को "डिकंस्ट्रक्ट" (अलग करना) करना सीखता है। यह "वस्तु-विशिष्ट गंध" (जैसे स्ट्रॉबेरी) को "बैकग्राउंड वातावरण" (जैसे पालक) से अलग करता है। यह ऐसा करने के लिए टेक्स्ट विवरणों का उपयोग करता है ताकि इसे पता चल सके कि क्या ढूँढना है। यह कंप्यूटर को यह समझने में मदद करता है कि "कॉफी" की गंध मशीन की है, जबकि "धूल" की गंध कमरे की है।

परिणाम: देखने से बेहतर सूंघना

टीम ने इसका परीक्षण "New York Smells" डेटासेट पर किया, जिसमें हजारों शहर की फोटो और गंध की रीडिंग शामिल हैं।

पुराना तरीका: पिछले सिस्टम सीधे फोटो से गंध मिलाने की कोशिश करते थे। वे अक्सर भ्रमित हो जाते थे क्योंकि फोटो में गंध का स्रोत दिखाई नहीं देता था।
SCNT तरीका: भाषा के "संकेतों" (AI के शिक्षित अनुमानों) का उपयोग करके, यह सिस्टम सही मिलान खोजने में बहुत बेहतर हो गया।
- यदि आप सिस्टम को "गर्म डामर पर बारिश" की गंध देते, तो यह शहर की सड़क की सही फोटो ढूंढ सकता था, भले ही फोटो में बारिश न दिख रही हो, क्योंकि भाषाई पुल (language bridge) संदर्भ को समझ गया था।
- यह गंध को टेक्स्ट विवरणों (जैसे "लाइब्रेरी की गंध") से मिलाने में भी बेहतर हो गया, बिना किसी फोटो की आवश्यकता के।

"मैजिक ट्रिक" टेस्ट

यह साबित करने के लिए कि AI केवल अनुमान नहीं लगा रहा है या "हैलुसिनेट" (बनावटी चीजें बनाना) नहीं कर रहा है, शोधकर्ताओं ने एक विशेष परीक्षण किया।

उन्होंने AI को View 1 (कंप्यूटर के साथ एक डेस्क की फोटो) दिखाया और उससे गंध का अनुमान लगाने को कहा।
AI ने "कागज की धूल" और "प्लास्टिक" जैसी चीजें गेस कीं।
फिर, उन्होंने उन्हें View 2 (उसी कमरे का एक अलग कोण जिसे AI ने पहले नहीं देखा था) दिखाया।
परिणाम: View 2 में वास्तव में कागजों का ढेर और एक प्लास्टिक की कुर्सी थी—ठीक वही जो AI ने गेस किया था! इसने साबित कर दिया कि AI वास्तविक दुनिया के तर्क का उपयोग करके छिपे हुए विवरणों का अनुमान लगा रहा था, न कि केवल रैंडम अनुमान लगा रहा था।

सारांश

संक्षेप में, यह पेपर कंप्यूटर को एक भाषा गाइड देकर उन्हें "सूंघना" सिखाता है। केवल एक तस्वीर और सेंसर रीडिंग को घूरने के बजाय, कंप्यूटर एक स्मार्ट AI से पूछता है, "जो मैं देख रहा हूँ उसके आधार पर इस जगह की गंध कैसी होनी चाहिए?" समझ का यह अतिरिक्त स्तर कंप्यूटर को गंध की अदृश्य दुनिया को छवियों की दृश्य दुनिया से जोड़ने में मदद करता है, जिससे वह हमारे परिवेश को समझने में बहुत बेहतर हो जाता है।

तकनीकी सारांश: जो चित्र नहीं कह सकते: भाषा-निर्देशित घ्राण प्रतिनिधित्व शिक्षण (Language-Guided Olfactory Representation Learning)

समस्या विवरण
यह शोध पत्र उच्च-आयामी इलेक्ट्रॉनिक-नोज़ (e-nose) संकेतों को दृश्य डेटा के साथ संरेखित करने की मौलिक चुनौती को संबोधित करता है। जबकि हाल के डेटासेट (जैसे न्यू यॉर्क स्मेल्स, NYS) दृश्य दृश्यों को घ्राण मापों के साथ जोड़ते हैं, इन विभिन्न मोडैलिटीज़ को संरेखित करना कठिन बना हुआ है। लेखक एक महत्वपूर्ण सीमा की पहचान करते हैं: चित्र दृश्य के केवल एक आंशिक दृश्य को कैप्चर करते हैं, जबकि घ्राण संकेत अक्सर कैमरे के दृश्य क्षेत्र (field of view) से बाहर के स्रोतों (जैसे वेंटिलेशन सिस्टम, दूर का ट्रैफ़िक, या छिपी हुई वस्तुएं) से उत्पन्न होते हैं। फलस्वरूप, केवल दृश्य पर्यवेक्षण (visual supervision) दृश्य संकेतों को पूरी तरह से समझाने के लिए अपर्याप्त है। इसके अलावा, गंध के रिकॉर्डिंग वस्तुओं-विशिष्ट गंध और प्रासंगिक पर्यावरणीय कारकों के जटिल मिश्रण का प्रतिनिधित्व करते हैं, जिससे केवल विज़न-आधारित दृष्टिकोणों का उपयोग करके व्यक्तिगत अर्थ संबंधी योगदान को अलग करना कठिन हो जाता है।

कार्यप्रणाली: SCENT फ्रेमवर्क
लेखक SCENT (सेमेंटिक कॉन्टेक्स्ट-अवेयर ई-नोज़ ट्रांसफॉर्मर) प्रस्तावित करते हैं, जो एक मल्टीमॉडल फ्रेमवर्क है जो दृष्टि और घ्राण के बीच एक सेमेंटिक ब्रिज के रूप में भाषा मार्गदर्शन (language guidance) का उपयोग करता है। यह फ्रेमवर्क तीन प्राथमिक चरणों के माध्यम से कार्य करता है:

VLM-आधारित सेमेंटिक सीन ऑगमेंटेशन:
सिस्टम इनपुट छवियों से संरचित पाठ्य विवरण (textual descriptors) उत्पन्न करने के लिए पूर्व-प्रशिक्षित विजन-लैंग्वेज मॉडल्स (VLMs), विशेष रूप से Qwen3-VL-30B का लाभ उठाता है। मानक कैप्शनिंग के विपरीत, VLM को दृश्य संदर्भ, वस्तुओं और पर्यावरणीय पृष्ठभूमि के आधार पर संभावित परिवेशी गंध संकेतों (ambient smell cues) का अनुमान लगाने के लिए प्रेरित किया जाता है। यह विवरणों का एक सेट उत्पन्न करता है: वस्तु ( $t_{obj}$ ), संदर्भ ( $t_{ctx}$ ), और अनुमानित गंध ( $t_{smell}$ )। इन विवरणों को फ्रोजन CLIP टेक्स्ट एनकोडर का उपयोग करके एनकोड किया जाता है ताकि एक टेक्स्टुअल एम्बेडिंग ( $z_T$ ) बनाई जा सके, जो एक सेमेंटिक एंकर के रूप में कार्य करती है और दृश्य इनपुट की आंशिक दृश्यता की भरपाई करती है।
मल्टीमॉडल घ्राण प्रतिनिधित्व शिक्षण (Multimodal Olfactory Representation Learning):
एक ट्रांसफॉर्मर-आधारित स्मेल एनकोडर ( $f_S$ ) ई-नोज़ संकेतों (बेसलाइन और सैंपल रिकॉर्डिंग का टेम्पोरल कॉनकेटेनेशन) को प्रोसेस करता है ताकि एक ग्लोबल ऑल्फैक्टरी एम्बेडिंग ( $z_S$ ) उत्पन्न की जा सके। दो प्रोजेक्शन हेड्स इस एम्बेडिंग को CLIP के विजुअल ( $z_I$ ) और टेक्स्टुअल ( $z_T$ ) एनकोडर के साझा 512-डायमेंशनल स्पेस में मैप करते हैं। मॉडल को विजुअल सीन और ऑगमेंटेड टेक्स्टुअल डिस्क्रिप्टर्स दोनों के साथ $z_S$ को संरेखित करने के लिए सिमेट्रिक InfoNCE कंट्रास्टिव लॉस का उपयोग करके प्रशिक्षित किया जाता है। यह एक संयुक्त एम्बेडिंग स्पेस बनाता है जहाँ घ्राण संकेतों को विजुअल सीन और सेमेंटिक वर्ल्ड नॉलेज के साथ ग्राउंड किया जाता है।
लेटेंट स्मेल डिसेंटैंगलमेंट (Latent Smell Disentanglement):
घ्राण संकेतों की मिश्रित प्रकृति को संबोधित करने के लिए, फ्रेमवर्क एक लेटेंट डिकंपोजिशन मैकेनिज्म पेश करता है। ऑल्फैक्टरी एम्बेडिंग को दो घटकों में विभाजित किया जाता है: एक वस्तु-विशिष्ट गंध वेक्टर ( $z^S_{obj}$ ) और एक प्रासंगिक पर्यावरणीय वेक्टर ( $z^S_{ctx}$ )। इन घटकों को अलग-अलग कंट्रास्टिव लॉस के माध्यम से उनके संबंधित टेक्स्टुअल डिस्क्रिप्टर्स ( $t_{obj}$ और $t_{ctx}$ ) के साथ संरेखित किया जाता है। एक रिकंस्ट्रक्शन कंस्ट्रेंट यह सुनिश्चित करता है कि इन डिसेंटैंगल्ड घटकों का योग मूल सेंसर सिग्नल की जानकारी को सुरक्षित रखता है, जिससे रिप्रेजेंटेशन कोलैप्स को रोका जा सके।

प्रमुख योगदान

भाषा-निर्देशित सेमेंटिक ब्रिज: यह पेपर VLM-जनरेटेड भाषा का उपयोग करके घ्राण संकेतों का अनुमान लगाने की अवधारणा पेश करता है जो सीधे दिखाई नहीं देते हैं, जिससे आंशिक दृश्य अवलोकन और समग्र घ्राण माप के बीच के अंतर को प्रभावी ढंग से पाटा जा सके।
SCENT फ्रेमवर्क: एक नवीन आर्किटेक्चर जो ई-नोज़, विजुअल और टेक्स्टुअल एम्बेडिंग्स को संरेखित करता है, जिससे ऐसे घ्राण प्रतिनिधित्वों को सीखने में मदद मिलती है जो प्रत्यक्ष दृश्य पर्यवेक्षण से परे जाते हैं।
भाषा-निर्देशित डिसेंटैंगलमेंट: लेटेंट स्पेस के भीतर वस्तु-विशिष्ट गंध को पर्यावरणीय संदर्भ से अलग करने की एक विधि, जो जटिल गंध मिश्रणों की व्याख्या को सुगम बनाती है।

प्रायोगिक परिणाम
फ्रेमवर्क का मूल्यांकन न्यू यॉर्क स्मेल्स (NYS) डेटासेट पर किया गया, जिसमें विविध शहरी वातावरणों में 7,000 इमेज-ऑल्फैक्टरी पेयर्स शामिल हैं।

रिट्रीवल प्रदर्शन: SCENT क्रॉस-मोडल रिट्रीवल कार्यों पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है। स्मेल-टू-इमेज (S2I) रिट्रीवल में, यह रिकॉल@5 को 20.0% (पुनरुत्पादित NYS बेसलाइन) से बढ़ाकर 23.0% कर देता है। स्मेल-टू-टेक्स्ट (S2T) रिट्रीवल में, यह 11.9% रिकॉल@5 प्राप्त करता है, जो सबसे अच्छे एडेप्टेड बेसलाइन पर 47% का सापेक्ष सुधार है। जॉइंट-मोडैलिटी रिट्रीवल (S2IT) भी महत्वपूर्ण लाभ दिखाता है।
एब्लेशन स्टडीज: परिणाम दर्शाते हैं कि प्रदर्शन भाषा मार्गदर्शन की सेमेंटिक ग्रैनुलैरिटी के साथ बढ़ता है। केवल ऑब्जेक्ट लेबल्स का उपयोग करने से खराब परिणाम मिलते हैं, जबकि पर्यावरणीय संदर्भ और VLM-अनुमानित गंधों को शामिल करने से संरेखण में काफी वृद्धि होती है।
डिसेंटैंगलमेंट वैलिडेशन: एक ज़ीरो-शॉट रीकॉम्बिनेशन रिट्रीवल टास्क में, मॉडल ने अलग-अलग ट्रेनिंग सैंपल्स से ऑब्जेक्ट और कॉन्टेक्स्ट फैक्टर्स को मिलाकर नए स्मेल फिंगरप्रिंट्स सफलतापूर्वक सिंथेसाइज किए, जो रॉ सिग्नल रीकॉम्बिनेशन बेसलाइन्स से बेहतर प्रदर्शन करता है।
VLM सेंसिटिविटी: अध्ययन में पाया गया कि रिट्रीवल की गुणवत्ता पैरामीटर काउंट की तुलना में VLM की रीजनिंग क्षमता (जैसे Qwen3-VL-30B) के साथ अधिक मजबूती से सह-संबंधित है, जो संभावित, गैर-दृश्य संकेतों का अनुमान लगाने के महत्व को उजागर करता है।

महत्व और दावे
लेखक दावा करते हैं कि SCENT मल्टीमॉडल लर्निंग में घ्राण धारणा (olfactory perception) को ग्राउंड करने के लिए प्रासंगिक सेमेंटिक जानकारी के महत्व को प्रकट करता है। भाषा का उपयोग करके "जो चित्र नहीं कह सकते" का अनुमान लगाकर, यह फ्रेमवर्क विश्व ज्ञान (world knowledge) के माध्यम से घ्राण मापों की व्याख्या करने में सक्षम बनाता है, जिससे मॉडल उन आउट-ऑफ-डिस्ट्रीब्यूशन नमूनों में सामान्यीकरण (generalize) कर पाता है जहाँ विजुअल संकेत अपर्याप्त होते हैं। यह कार्य घ्राण प्रतिनिधित्व शिक्षण के लिए एक नया प्रतिमान स्थापित करता है, जो आधुनिक VLMs में निहित व्यापक विश्व ज्ञान का लाभ उठाकर प्रयोगशाला सेटिंग्स से आगे बढ़कर "इन-द-वाइल्ड" परिदृश्यों तक पहुँचता है। पेपर निष्कर्ष निकालता है कि यह दृष्टिकोण गैर-दृश्य संवेदी मोडैलिटीज़ के लिए डिसेंटैंगलमेंट और क्रॉस-मोडल एलाइनमेंट में भविष्य के अनुसंधान का मार्ग प्रशस्त करता है।