Language Models Can Resolve Reference Compositionally, But It's Not Their Native Strength: The Case of the Personal Relation Task
यह शोध पत्र यह प्रदर्शित करता है कि जहाँ लार्ज लैंग्वेज मॉडल्स (LLMs) व्यक्तिगत संबंधों की संरचित, अर्थपूर्ण (intensional) व्याख्या करने में मनुष्यों की तुलना में उत्कृष्ट हैं, वहीं वे संदर्भपरक, विस्तारवादी (extensional) कार्य में कम प्रदर्शन करते हैं, जो यह सुझाव देता है कि संदर्भपरक आधार (referential grounding) का अभाव मानव-समान भाषा बोध प्राप्त करने की उनकी क्षमता में एक महत्वपूर्ण सीमा है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास छह लोगों का एक विशाल, जटिल पारिवारिक वृक्ष (family tree) है: एम्बर, ब्रायन, क्रिस्टीना और डेना। वे सभी "दोस्त", "दुश्मन", "माता-पिता" और "बच्चा" जैसे रिश्तों से जुड़े हुए हैं।
अब, कल्पना कीजिए कि कोई आपसे इस पारिवारिक वृक्ष के बारे में एक पेचीदा सवाल पूछता है, जैसे: "एम्बर के माता-पिता का दोस्त कौन है?"
यह शोध पत्र इंसानों और AI भाषा मॉडलों (LLMs) के बीच एक आमने-सामने की प्रतियोगिता है, यह देखने के लिए कि इस प्रश्न का उत्तर देने में कौन बेहतर है। लेकिन इसमें एक मोड़ है, शोधकर्ताओं ने प्रतिभागियों से इस समस्या को दो पूरी तरह से अलग तरीकों से हल करने के लिए कहा था।
पहेली को हल करने के दो तरीके
"वह कौन है?" वाला खेल (Extensional Task):
- लक्ष्य: बस उस व्यक्ति का नाम दें।
- उत्तर: "फेलिसिया।"
- यह क्या परीक्षण करता है: क्या आप मानचित्र (map) पर रास्ता ढूँढ सकते हैं और विशिष्ट गंतव्य तक पहुँच सकते हैं? यह एक मानचित्र को देखने और उस शहर की ओर इशारा करने जैसा है जहाँ आपको जाना है।
"वहाँ कैसे पहुँचें?" वाला खेल (Intensional Task):
- लक्ष्य: नाम न दें। इसके बजाय, उस व्यक्ति को खोजने का नुस्खा (recipe) या सूत्र (formula) लिखें।
- उत्तर:
friend(parent(Amber)) - यह क्या परीक्षण करता है: क्या आप वाक्य की संरचना को समझ सकते हैं और चरणों को लिख सकते हैं? यह वास्तव में कार चलाने के बजाय ड्राइविंग के निर्देश लिखने जैसा है।
बड़ा आश्चर्य: इंसान और AI एक-दूसरे के विपरीत हैं
शोधकर्ताओं ने पाया कि इंसान और AI पूरी तरह से अलग चीजों में अच्छे हैं। यह एक मानव नाविक (navigator) और एक सुपर-फास्ट अनुवादक (translator) की तुलना करने जैसा है।
इंसान नाविक हैं:
जब पूछा गया "वह कौन है?", तो इंसान इसमें बहुत अच्छे थे (83% सटीकता)। वे पारिवारिक वृक्ष को देख सकते थे, संबंधों का पीछा कर सकते थे और सही व्यक्ति की ओर इशारा कर सकते थे।
हालाँकि, जब उन्हें "नुस्खा" (friend(parent(Amber))) लिखने के लिए कहा गया, तो वे संघर्ष करने लगे (71% सटीकता)। यह एक बेहतरीन ड्राइवर की तरह है जो अचानक एक पाठ्यपुस्तक लिखने की कोशिश करता है कि गाड़ी कैसे चलाई जाए, लेकिन लिखते समय नियम भूल जाता है।AI एक सुपर-अनुवादक है:
जब "नुस्खा" लिखने के लिए कहा गया, तो AI अद्भुत था (95% सटीकता)। इसने प्रश्न को एक भाषा की पहेली की तरह लिया। इसने "एम्बर के माता-पिता का दोस्त" देखा और बस शब्दों को एक सूत्र में व्यवस्थित कर दिया। यह एक ऐसे अनुवादक की तरह है जो फ्रेंच को अंग्रेजी में बदलने में तो माहिर है, लेकिन कभी फ्रांस नहीं गया है।
हालाँकि, जब पूछा गया "वह कौन है?", तो AI भ्रमित हो गया (80% सटीकता)। इसे वास्तव में पारिवारिक वृक्ष का उपयोग करके व्यक्ति को ढूँढने में कठिनाई हुई। इसे नुस्खा तो पता था, लेकिन यह उस नुस्खे का पालन करके गंतव्य तक नहीं पहुँच सका।
ऐसा क्यों होता है?
पेपर यह सुझाव देता है कि इसका एक सरल कारण है: जहाँ उन्होंने अपने कौशल सीखे।
- इंसान भाषा को वास्तविक दुनिया के साथ बातचीत करके सीखते हैं। हम जानते हैं कि "दोस्त" या "माता-पिता" क्या होता है क्योंकि हमने उन्हें वास्तव में देखा या महसूस किया है। हम वास्तविकता में रचे-बसे (grounded) हैं। इसलिए, एक विशिष्ट व्यक्ति (कौन) को ढूँढना हमारे लिए स्वाभाविक है।
- AI केवल टेक्स्ट (पाठ) से सीखता है। उसने कभी एम्बर नाम के व्यक्ति से मुलाकात नहीं की है। उसने केवल दोस्तों और माता-पिता के बारे में लाखों वाक्य देखे हैं। वह शब्दों के पैटर्न को पहचानने और उन्हें पुनर्व्यवस्थित करने में विशेषज्ञ है (अनुवाद), लेकिन उसके पास नेविगेट करने के लिए कोई "वास्तविक दुनिया" का मानचित्र नहीं है। यह एक ऐसे शेफ की तरह है जिसने दुनिया की हर कुकबुक पढ़ ली है, लेकिन उसने कभी खाना बनाया नहीं या सामग्री का स्वाद नहीं चखा है।
द "एब्स्ट्रैक्ट" ट्विस्ट (अमूर्त मोड़)
शोधकर्ताओं ने एक कठिन संस्करण भी आज़माया जहाँ उन्होंने "एम्बर" जैसे नामों को "h" जैसे यादृच्छिक अक्षरों से और "दोस्त" को "x" से बदल दिया।
- इंसानों को यह बहुत बुरा लगा। यादृच्छिक अक्षरों के साथ "नुस्खा" समझना उनके लिए बहुत कठिन था।
- AI अभी भी नुस्खे वाले हिस्से में ठीक था, लेकिन व्यक्ति को खोजने के मामले में वह बहुत खराब हो गया।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि जबकि AI प्रतीकों (symbols) को हेरफेर करने और सूत्र लिखने (Intational Task) में अविश्वसनीय रूप से स्मार्ट है, यह अभी भी इंसानों की तरह उन प्रतीकों का उपयोग करके वास्तविक दुनिया के उत्तर खोजने (Extensional Task) में उतना अच्छा नहीं है।
लेखकों का तर्क है कि AI को वास्तव में इंसानों की तरह भाषा समझने के लिए केवल किताबें पढ़ने की नहीं, बल्कि वास्तविक दुनिया में "ग्राउंडेड" होने की आवश्यकता है, ठीक वैसे ही जैसे हम हैं। तब तक, AI विचारों का एक शानदार अनुवादक है, लेकिन वास्तविकता का पूर्ण नाविक नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।