Reversing Arrows in Large Language Models
यह शोध पत्र इस बात का पहला व्यवस्थित अध्ययन प्रस्तुत करता है कि लार्ज लैंग्वेज मॉडल्स (large language models) व्युत्क्रम संबंध दिशात्मकता (inverse relation directionality) को कैसे संभालते हैं, जो उनके वर्गीकरण प्रदर्शन में व्यवस्थित विषमताओं को प्रकट करता है और यह प्रदर्शित करता है कि मॉडल की सटीकता एंटिटी रिप्रजेंटेशन (entity representations) के प्रति संवेदनशील है जबकि संबंध विवरण (relation descriptions) परिणामों में निरंतर सुधार नहीं करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखा रहे हैं, केवल शब्दों को पढ़कर नहीं, बल्कि उन्हें तथ्यों के एक विशाल, अदृश्य जाल में जोड़कर। यह नॉलेज ग्राफ (Knowledge Graphs) की दुनिया है, जहाँ हर संबंध का एक विशिष्ट दिशा होती है, जैसे कि एक वन-वे स्ट्रीट। यदि आप जानते हैं कि "एलिस बॉब की माँ है," तो रोबोट को यह भी समझना चाहिए कि "बॉब एलिस का बच्चा है।" लेकिन यहाँ पेचीदा बात यह है कि यदि आप क्रम को उलट देते हैं और "बॉब से एलिस" के बारे में पूछते हैं, तो अर्थ पूरी तरह बदल जाता है। यह ऐसा ही है जैसे यह जानना कि एक चाबी ताले को खोलती है, इसका मतलब यह नहीं है कि ताला अपने आप चाबी को खोल देगा। वैज्ञानिक इन इनवर्स रिलेशंस (inverse relations) यानी विपरीत संबंधों को कहते हैं, और यही वे तथ्य हैं जो सही तथ्य जानने और तथ्य को उल्टा समझने के बीच का अंतर तय करते हैं।
हाल ही में, हमने लार्ज लैंग्वेज मॉडल्स (LLMs) नामक सुपर-स्मार्ट कंप्यूटर बनाए हैं। ये डिजिटल मस्तिष्क की तरह हैं जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। ये कहानियाँ लिखने और सवालों के जवाब देने में अद्भुत हैं। लेकिन एक चिंता बनी रहती है: क्या ये डिजिटल मस्तिष्क वास्तव में इन संबंधों की दिशा को समझते हैं, या वे केवल इस आधार पर अनुमान लगा रहे हैं कि शब्द आमतौर पर एक साथ कैसे दिखाई देते हैं? यदि एक रोबोट सोचता है कि "माँ" और "बच्चा" केवल आपस में बदले जाने वाले लेबल हैं, तो वह दुनिया का एक टूटा हुआ नक्शा बना सकता है। यह शोध पत्र ठीक इसी सवाल की जांच करता है, कि क्या ये AI मस्तिष्क नाम बदलने पर माता-पिता और बच्चे के बीच के अंतर को वास्तव में पहचान सकते हैं या नहीं।
द ग्रेट एरो रिवर्सल टेस्ट (The Great Arrow Reversal Test)
इस अध्ययन में, शोधकर्ताओं, सेफिका एफ़ेओग्लू और एड्रियन पाशके ने पाँच लोकप्रिय AI मॉडल्स को अंतिम परीक्षा में डाला। उन्होंने AI से केवल एक वाक्य लिखने के लिए नहीं कहा; उन्होंने 5,457 अलग-अलग परिदृश्यों के साथ एक विशाल बहुविकल्पीय क्विज़ तैयार किया। एक गेम शो की कल्पना करें जहाँ होस्ट एक वाक्य पढ़ता है जैसे, "नील्स बोर और उनके पुत्र आगे पहुँचे..." और AI से पूछता है: "नील्स से आगे का संबंध 'पिता' है या 'पुत्र'?" फिर, अगले दौर में, वे स्क्रिप्ट को उलट देते हैं: "आगे से नील्स का क्या संबंध है?"
शोधकर्ता देखना चाहते थे कि क्या AI भ्रमित हो जाएगा जब तीर दूसरी दिशा में इशारा करेंगे। यह सुनिश्चित करने के लिए कि AI केवल याद किए गए पैटर्न (जैसे यह जानना कि नील्स बोर एक वास्तविक वैज्ञानिक हैं) पर निर्भर नहीं है, उन्होंने कुछ चालें चलीं। कभी-कभी, उन्होंने वास्तविक लोगों को "डेविन रोड्रिगेज" या "एंजेला ब्रैडली" जैसे नकली नामों से बदल दिया। अन्य समय में, उन्होंने नामों को पूरी तरह से "XXX" और "YYY" से ढक दिया, जिससे AI को केवल वाक्य के तर्क पर निर्भर रहने के लिए मजबूर किया जा सके, न कि शामिल लोगों की प्रसिद्धि पर। उन्होंने AI को शब्दों की परिभाषाओं के साथ एक संदर्भ शीट भी दी, यह देखने के लिए कि क्या इससे मदद मिलती है।
AI ने वास्तव में क्या किया (और क्या नहीं किया)
परिणाम थोड़े मिले-जुले रहे, जिससे पता चला कि ये AI मस्तिष्क दिशा के मामले में अभी भी थोड़े अनाड़ी हैं।
सबसे पहले, अध्ययन में पाया गया कि दिशा बहुत मायने रखती है। AI मॉडल सुसंगत नहीं थे। कभी-कभी वे "हेड-टू-टेल" (जैसे माता-पिता से संतान) को समझने में बेहतरीन थे, लेकिन जब शोधकर्ताओं ने इसे "टेल-टू-हेड" (संतान से माता-पिता) में बदला, तो स्कोर या तो गिर गए या नाटकीय रूप से बदल गए। यह ऐसा ही है जैसे कोई AI उत्तर की ओर जाने वाला नक्शा पढ़ने में तो अच्छा है, लेकिन दक्षिण की ओर जाने के लिए पूछे जाने पर खो जाता है। उदाहरण के लिए, एक डेटासेट पर, एक मॉडल एक दिशा में जाने पर 67.28% सही था, लेकिन दूसरे मॉडल ने उसी विपरीत दिशा के कार्य में केवल 2.03% सही प्रदर्शन किया। यह सुझाव देता है कि AI वास्तव में संबंध को "समझ" नहीं रहा है; यह अक्सर केवल उन पैटर्न पर प्रतिक्रिया दे रहा है जो उसने पहले देखे हैं।
दूसौ, शोधकर्ताओं ने परीक्षण किया कि क्या AI को शब्दकोश की परिभाषा (एक "रिलेशन डिस्क्रिप्शन") देने से मदद मिलेगी। उन्हें उम्मीद थी कि यदि वे AI को बताएंगे, "एक 'माँ' एक महिला माता-पिता है," तो यह बेहतर प्रदर्शन करेगा। परिणामों ने सुझाव दिया कि इससे लगातार मदद नहीं मिली। कुछ मामलों में, अतिरिक्त शब्दों ने AI को थोड़ा बेहतर बनाया, लेकिन कई अन्य मामलों में, इसने कुछ भी नहीं बदला या स्थिति को और खराब कर दिया। यह पता चलता है कि केवल परिभाषा पढ़ने से यह जादू की तरह ठीक नहीं हो जाता कि तीर किस दिशा में इशारा कर रहा है।
अंत में, "नकली नाम" वाला प्रयोग सबसे अधिक खुलासा करने वाला था। जब AI को वास्तविक लोगों के साथ काम करना पड़ा, तो इसने काफी अच्छा प्रदर्शन किया, संभवतः इसलिए क्योंकि इसने अपने प्रशिक्षण डेटा में उन नामों और संबंधों को देखा था। लेकिन जब शोधकर्ताओं ने कृत्रिम नाम डाले या नामों को पूरी तरह से छिपा दिया, तो प्रदर्शन बहुत संवेदनशील हो गया। कुछ मॉडल पूरी तरह विफल हो गए, जबकि अन्य आश्चर्यजनक रूप से डटे रहे। यह सुझाव देता है कि AI की सफलता अक्सर शुद्ध तर्क के बजाय एंटिटीज (entities/इकाइयों) की परिचितता पर निर्भर करती है। यदि AI "नील्स बोर" को पहचानता है, तो वह सही उत्तर केवल इसलिए दे सकता है क्योंकि वह उस कहानी को जानता है, न कि इसलिए कि वह "पिता होने" की अवधारणा को समझता है।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि हालांकि लार्ज लैंग्वेज मॉडल्स शक्तिशाली हैं, लेकिन उन्होंने अभी तक इनवर्स रिलेशन डायरेक्शनलिटी (विपरीत संबंध दिशात्मकता) की कला में महारत हासिल नहीं की है। वे व्यवस्थित विषमताएं (systematic asymmetries) दिखाते हैं, जिसका अर्थ है कि वे अक्सर एक दिशा में दूसरे की तुलना में बेहतर होते हैं, और वे शुद्ध तर्क के बजाय शामिल व्यक्तियों को जानने पर बहुत अधिक निर्भर दिखते हैं।
लेखक सावधानीपूर्वक यह नोट करते हैं कि उन्होंने समस्या को "हल" नहीं किया है या यह साबित नहीं किया है कि AI हमेशा के लिए टूट गया है। इसके बजाय, उनका कार्य सुझाव देता है कि हमें उन कार्यों के लिए इन मॉडल्स का उपयोग करते समय अधिक सावधान रहने की आवश्यकता है जिनमें सटीक, दिशात्मक ज्ञान की आवश्यकता होती है। यदि हम चाहते हैं कि AI दुनिया का सटीक नक्शा बनाए, तो हम यह मानकर नहीं चल सकते कि वह समझता है कि "माँ" और "बच्चा" एक ही सिक्के के दो पहलू हैं। हमें परीक्षण करते रहना होगा, तीरों को उलटते रहना होगा, और यह सुनिश्चित करना होगा कि रोबोट केवल इस आधार पर अनुमान नहीं लगा रहा है कि वह किसे प्रसिद्ध मानता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।