Benchmark for Assessing Olfactory Perception of Large Language Models
यह शोध पत्र ओल्फैक्ट्री परसेप्शन (OP) बेंचमार्क प्रस्तुत करता है, जो 1,010 प्रश्नों का एक डेटासेट है जिसे गंध के बारे में तर्क करने की लार्ज लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि वर्तमान मॉडल संरचनात्मक आणविक तर्क के बजाय मुख्य रूप से शाब्दिक जुड़ाव पर निर्भर करते हैं और अधिकतम 64.4% सटीकता प्राप्त करते हैं जबकि बहुभाषी एकत्रीकरण के माध्यम से बेहतर प्रदर्शन दिखाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जिसने लगभग हर किताब, वेबसाइट और लेख को पढ़ा है। यह कविता लिख सकता है, जटिल गणित की समस्याओं को हल कर सकता है और कंप्यूटर कोड भी लिख सकता है। लेकिन एक चीज़ ऐसी है जिसे इसने कभी वास्तव में "अनुभव" नहीं किया है: गंध (Smell)।
आप किसी गंध को किताब में नहीं डाल सकते। आप केवल शब्दों का उपयोग करके ताज़ा स्ट्रॉबेरी या गीले कुत्ते की महक को पूरी सटीकता के साथ वर्णित नहीं कर सकते। यह शोध पत्र एक नया परीक्षण पेश करता है, जिसे ऑल्फैक्ट्री परसेप्शन (Olfactory Perception - OP) बेंचमार्क कहा जाता है, यह देखने के लिए कि क्या ये सुपर-स्मार्ट रोबोट्स (लार्ज लैंग्वेज मॉडल्स या LLMs) वास्तव में यह "अनुमान" लगा सकते हैं कि चीजों की गंध कैसी होती है, या वे केवल उन शब्दों के आधार पर अनुमान लगा रहे हैं जिन्हें उन्होंने पहले देखा है।
यहाँ बताया गया है कि उन्होंने क्या किया और उन्हें क्या मिला, सरल उपमाओं (analogies) का उपयोग करते हुए।
1. परीक्षण: रोबोट्स के लिए एक "गंध क्विज़"
शोधकर्ताओं ने 1,010 प्रश्नों वाला एक विशाल क्विज़ बनाया। इसे गंध स्कूल की एक फाइनल परीक्षा की तरह समझें। प्रश्न कठिनाई के विभिन्न स्तरों को कवर करते हैं:
- आसान चीजें: "क्या यह अणु (molecule) गंध देता है, या यह गंधहीन है?" (जैसे पूछना, "क्या यह पत्थर गीला है?")
- मध्यम चीजें: "क्या यह गंध गुलाब जैसी है या नींबू जैसी?" या "क्या यह गंध तेज़ है या हल्की?"
- कठिन चीजें: "यहाँ 10 रसायनों का मिश्रण है। क्या इसकी गंध स्ट्रॉबेरी जैसी है या मछली जैसी?" या "मानव नाक के कौन से विशिष्ट जैविक सेंसर इस अणु को सक्रिय करेंगे?"
2. ट्विस्ट: "नाम" बनाम "ब्लूप्रिंट"
यही इस अध्ययन का सबसे चतुर हिस्सा है। शोधकर्ताओं ने रोबोट्स से उन्हीं सवालों को दो अलग-अलग तरीकों से पूछा:
- विधि A (नाम): उन्होंने रोबोट को सामान्य नाम दिया, जैसे "वैनिला"।
- विधि B (ब्लूप्रिंट): उन्होंने रोबोट को रासायनिक सूत्र (जिसे SMILES नामक अक्षरों और संख्याओं की एक स्ट्रिंग कहा जाता है) दिया, जो अणु के डीएनए या वास्तुशिल्प ब्लूप्रिंट जैसा है।
उपमा: कल्पना कीजिए कि आप अनुमान लगाने की कोशिश कर रहे हैं कि केक का स्वाद कैसा है।
- विधि A आपको बता रही है, "यह एक चॉकलेट केक है।"
- विधि B आपको बिना यह बताए कि केक क्या है, सामग्री की एक सूची और रासायनिक संरचनाएँ थमा रही है।
3. परिणाम: धोखाधड़ी बनाम समझ
परिणाम आश्चर्यजनक थे और एक स्पष्ट कहानी बताते हैं:
- रोबोट "शब्दों के धोखेबाज" (Word Cheaters) हैं: जब रोबोट्स को नाम (जैसे "वैनिला") दिए गए, तो वे काफी अच्छा प्रदर्शन करते थे। वे जानते थे कि "वैनिला" आमतौर पर मीठा होता है।
- रोबोट "ब्लूप्रिंट के प्रति अंधे" हैं: जब उन्हें रासायनिक ब्लूप्रिंट (SMILES स्ट्रिंग्स) दिए गए, तो उनका प्रदर्शन काफी गिर गया।
इसका अर्थ क्या है: रोबोट वास्तव में अणुओं के काम करने के तरीके को "समझ" नहीं रहे हैं। वे अणु के आकार को देखकर यह नहीं सोच रहे हैं कि, "आह, यह आकार पुदीने जैसी गंध देने वाले नाक के सेंसर में फिट बैठता है।" इसके बजाय, वे केवल यह याद रख रहे हैं कि "पुदीना" शब्द अक्सर कुछ गंधों से जुड़ा होता है। वे लेक्सिकल एसोसिएशन (शब्द संबंधों) पर निर्भर हैं, न कि स्ट्रောက်चरल रीजनिंग (भौतिक वस्तु को समझने) पर।
यह उस छात्र की तरह है जिसने परीक्षा के उत्तर कुंजी को रट लिया है लेकिन वास्तव में गणित को नहीं समझा है। यदि आप संख्याएँ बदल देते हैं लेकिन प्रश्न वही रखते हैं, तो वे असफल हो जाते हैं।
4. "मिक्सिंग बाउल" की समस्या
सबसे कठिन हिस्सा मिश्रण समानता (Mixture Similarity) था।
- कार्य: "यहाँ रसायन A, B और C का एक कटोरा है। यहाँ रसायन X, Y और Z का एक कटोरा है। क्या इनकी गंध एक जैसी है?"
- वास्तविकता: वास्तविक दुनिया में, रसायनों के दो पूरी तरह से अलग कटोरे एक जैसी गंध दे सकते हैं (जैसे एक ही सूप के लिए दो अलग-अलग रेसिपी)।
- रोबोट की विफलता: रोबोट इसमें बुरी तरह विफल रहे। उन्होंने सामग्रियों को गिनने की कोशिश की। यदि कटोरों में बिल्कुल समान सामग्रियां नहीं थीं, तो रोबोट ने कहा, "इनकी गंध बिल्कुल अलग है!" वे इस अवधारणा को नहीं समझ सके कि 'पूर्ण' (whole) अपने 'हिस्सों के योग' (sum of its parts) से अलग गंध दे सकता है।
5. भाषा की बाधा
शोधकर्ताओं ने 21 अलग-अलग भाषाओं में भी परीक्षण किया।
- निष्कर्ष: गंध कुछ भाषाओं में पेचीदा होती है। कुछ भाषाओं में गंध के लिए बहुत विशिष्ट शब्द होते हैं, जबकि अन्य (जैसे अंग्रेजी) थोड़ी अस्पष्ट होती हैं।
- अच्छी खबर: जब उन्होंने सभी 21 भाषाओं के उत्तरों को मिलाया, तो रोबोट अधिक स्मार्ट हो गए! यह विशेषज्ञों की एक टीम होने जैसा है जहाँ एक फ्रेंच बोलता है, एक जापानी और एक जर्मन। अपने ज्ञान को साझा करके, वे किसी भी एकल भाषा की तुलना में गंध का बेहतर अनुमान लगा सकते थे।
6. सुरक्षा ग्लिच (Safety Glitch)
एक मज़ेदार (लेकिन गंभीर) साइड नोट: कुछ सबसे स्मार्ट रोबोट्स खतरनाक रसायनों (जैसे तंत्रिका एजेंट/nerve agents) के बारे में सवालों के जवाब देने से इनकार कर देते हैं क्योंकि उनके सुरक्षा फिल्टर सक्रिय हो जाते हैं। वे यह नहीं कहेंगे कि, "इसकी गंध बुरी है," क्योंकि उन्हें मददगार और हानिरहित होने के लिए प्रोग्राम किया गया है। यह दिखाता है कि एक विज्ञान परीक्षण में भी, रोबोट का "विवेक" (conscience) उत्तर के बीच में आ सकता है।
मुख्य निष्कर्ष
वर्तमान में, ये AI मॉडल शब्दों को याद रखने में बहुत अच्छे हैं लेकिन गंध की भौतिक दुनिया को समझने में बहुत खराब हैं।
- वे जानते हैं कि "कॉफी" की गंध कॉफी जैसी होती है क्योंकि उन्होंने कॉफी शब्द को लाखों बार पढ़ा है।
- वे नहीं जानते कि एक विशिष्ट रासायनिक संरचना कॉफी जैसी गंध क्यों देती है।
भविष्य:
लेखकों का कहना है कि यह तो बस शुरुआत है। AI को वास्तव में "सूंघने" के लिए, हमें उन्हें केवल नामों को नहीं, बल्कि आणविक ब्लूप्रिंट को देखना सिखाना होगा। हमें उन्हें शब्द-रटने वालों से आणविक-समझने वालों में बदलना होगा। तब तक, यदि आप उनसे किसी नए, अजीब रसायन की गंध के बारे में पूछते हैं, तो वे केवल उन शब्दों के आधार पर अनुमान लगा रहे हैं जिन्हें उन्होंने देखा है, न कि उस विज्ञान के आधार पर जिसे वे समझते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।