Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives
यह शोध पत्र कार्यात्मक और प्रतिनिधि दोनों दृष्टिकोणों का उपयोग करके बड़े भाषा मॉडलों में विशेषण-संज्ञा संयोजनशीलता (adjective-noun compositionality) का मूल्यांकन करता है, जो एक महत्वपूर्ण विचलन को प्रकट करता है जहाँ मॉडल सफल संयोजनकारी आंतरिक प्रतिनिधित्व विकसित करने में तो सफल होते हैं लेकिन उन्हें कार्यात्मक कार्य सफलता में लगातार अनुवादित करने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि एक नया, सुपर-स्मार्ट रोबोट शेफ वास्तव में खाना बनाना समझता है या वह सिर्फ नकल करने में माहिर है।
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs)—जो ChatGPT जैसे टूल्स के पीछे का AI दिमाग है—का परीक्षण करने के बारे में है, यह देखने के लिए कि क्या वे वास्तव में समझते हैं कि शब्द नए अर्थ बनाने के लिए कैसे जुड़ते हैं। विशेष रूप से, लेखकों ने विशेषण-संज्ञा (Adjective-Noun) संयोजनों (जैसे "लाल कार" या "कथित चोर") पर ध्यान केंद्रित किया।
यहाँ उनके शोध की कहानी दी गई है, जिसे रसोई के कुछ उपमाओं (analogies) के माध्यम से समझाया गया है।
बड़ा सवाल: क्या रोबोट जानता है या सिर्फ अनुमान लगाता है?
मानव भाषा में, हम "कंपोजिशनल" (compositional) होते हैं। इसका मतलब है कि हम सरल हिस्सों (जैसे "लाल" और "कार") को ले सकते हैं और उन्हें एक नई चीज़ ("लाल कार") को समझने के लिए जोड़ सकते हैं, बिना उस विशिष्ट वाक्यांश को पहले से याद किए। हम जानते हैं कि एक "लाल कार" अभी भी एक कार ही है।
लेकिन क्या AI ऐसा करता है? या क्या यह सिर्फ एक विशाल ऑटो-कंप्लीट मशीन है जो अपने प्रशिक्षण डेटा में देखे गए पैटर्न के आधार पर अगले शब्द का अनुमान लगाती है?
शोधकर्ताओं ने यह देखने के लिए कि रोबोट के दिमाग में वास्तव में क्या चल रहा है, दो अलग-अलग "टॉर्च" का उपयोग करके AI का परीक्षण करने का निर्णय लिया।
टॉर्च 1: "प्रदर्शन परीक्षण" (कार्यात्मक दृष्टिकोण)
उपमा: कल्पना कीजिए कि आप रोबोट शेफ को एक व्यंजन बनाने के लिए कहते हैं। आप उसे एक रेसिपी देते हैं: "एक 'लाल कार' बनाओ।" यदि वह आपको एक लाल कार परोसता है, तो आप कहते हैं, "अच्छा काम किया!" यदि वह आपको एक नीला ट्रक परोसता है, तो आप कहते, "असफल।"
इसे शोधकर्ता कार्यात्मक मूल्यांकन (Functional Evaluation) कहते हैं। उन्होंने AI को तर्क पहेलियाँ हल करने के लिए कहा:
- प्रतिस्थापन क्षमता (Substitutivity): यदि "द रनर सेट अ रिकॉर्ड" सत्य है, तो क्या "द रनर सेट अ न्यू रिकॉर्ड" भी सत्य है? (हाँ, क्योंकि "नया" केवल विवरण जोड़ता है)।
- व्यवस्थितता (Systematicity): यदि एक "लाल कार" एक "कार" है, और एक "कार" एक "वाहन" है, तो क्या एक "लाल कार" एक "लाल वाहन" है?
- अति-सामान्यीकरण (Overgeneralization): यदि एक "ट्रेंच कोट" एक प्रकार का कोट है, तो क्या एक "टर्नकोट" (गद्दार) भी एक प्रकार का कोट है? (नहीं! AI को अंतर पता होना चाहिए)।
परिणाम: परिणाम अस्त-व्यết थे। कभी-कभी AI इसे सही कर लेता था। लेकिन आश्चर्यजनक रूप से, जब शोधकर्ताओं ने AI को "स्मार्टर" बनाया (इसे बड़ा करके या इसे निर्देशों का पालन करना सिखाकर), तो यह वास्तव में इनमें से कुछ तर्क पहेलियों में बदतर हो गया। यह ऐसा था जैसे किसी शेफ को एक बड़ी रसोई और बेहतर उपकरण दिए गए हों, लेकिन वे टोस्ट को जलाना अधिक बार शुरू कर देते हैं।
टॉर्च 2: "ब्रेन स्कैन" (प्रतिनिधित्व संबंधी दृष्टिकोण)
उपमा: अब, कल्पना कीजिए कि हम केवल यह नहीं देखते कि शेफ क्या परोसता है, बल्कि हम शेफ के सोचते समय उसे एक MRI मशीन के नीचे रखते हैं। हम उनकी मस्तिष्क गतिविधि को देखते हैं ताकि यह देख सकें कि क्या वे वास्तव में सामग्रियों को सही ढंग से प्रोसेस कर रहे हैं।
यह प्रतिनिधित्व मूल्यांकन (Representational Evaluation) है। शोधकर्ताओं ने AI के "न्यूरॉन्स" (इसके आंतरिक गणितीय अवस्थाओं) के अंदर देखा कि क्या "लाल कार" की अवधारणा "लाल" + "कार" से सही ढंग से बनाई जा रही है, भले ही AI ने सही उत्तर जोर से न बोला हो।
परिणाम: यह यहाँ चौंकाने वाला है। "ब्रेन स्कैन" ने दिखाया कि AI वास्तव में अवधारणाओं को सही ढंग से बना रहा था! आंतरिक गणित ने दिखाया कि विशेषण और संज्ञा कैसे जुड़ते हैं, इसकी एकदम सटीक समझ थी। "सामग्री" को कटोरे में पूरी तरह से मिलाया जा रहा था।
महान विचलन: "मौन जीनियस"
यहाँ मोड़ आता है: AI अपने दिमाग में उत्तर जानता था, लेकिन वह उसे बोल नहीं पाया।
- दिमाग के अंदर: AI के पास शब्दों के संयोजन का एक पूर्ण, तार्किक मानचित्र था।
- मुंह के बाहर: जब कार्य करने के लिए पूछा गया, तो AI अक्सर गलत उत्तर देता था।
यह एक मेधावी छात्र की तरह है जो परीक्षा के दौरान गणित को पूरी तरह से समझता है लेकिन घबराहट में गलत नंबर लिख देता है। या एक ऐसे शेफ की तरह जो जानता है कि सूफ़ले (soufflé) कैसे बनाया जाता है लेकिन परोसने से पहले गलती से ट्रे गिरा देता है।
यह क्यों मायने रखता है?
यह शोध पत्र निष्कर्ष निकालता है कि हम AI के स्मार्ट होने का न्याय करने के लिए केवल उसके द्वारा किए गए कार्य (आउटपुट) को नहीं देख सकते। हमें यह भी देखना होगा कि वह कैसे सोचता है (आंतरिक अवस्था)।
यदि हम केवल आउटपुट देखते हैं, तो हमें लग सकता है कि AI तर्क करने में विफल हो रहा है। लेकिन यदि हम अंदर देखते हैं, तो हम देखते हैं कि उसके पास वास्तव में तर्क है; बस उसे उस तर्क को अंतिम उत्तर में बदलने में संघर्ष करना पड़ता है, खासकर जब हम मॉडल्स को बड़ा करते हैं या उन्हें कैसे प्रशिक्षित किया जाता है, इसे बदलते हैं।
मुख्य बात (Takeaway)
लेखक हमें कह रहे हैं: सिर्फ किताब के कवर (या रोबोट के आउटपुट) से उसका निर्णय न करें।
यह समझने के लिए कि क्या AI "कंपोजिशनल" (सरल भागों से जटिल अर्थ बनाने में सक्षम) है, हमें दोनों टॉर्च का उपयोग करने की आवश्यकता है:
- कार्यात्मक (Functional): क्या वह काम कर सकता है?
- प्रतिनिधित्व संबंधी (Representational): क्या वह काम करते समय वास्तव में काम को समझता है?
यदि हम केवल एक का उपयोग करते हैं, तो हमें एक भ्रमित करने वाली तस्वीर मिलती है। लेकिन जब हम दोनों का उपयोग करते हैं, तो हम देखते हैं कि ये AI मॉडल अक्सर "मौन जीनियस" होते हैं—वे गहराई में भाषा के नियमों को समझते हैं, भले ही वे इसे दिखाने में लड़खड़ा जाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।