Exploring the Reversal Curse and Other Deductive Logical Reasoning in BERT and GPT-Based Large Language Models
यह अध्ययन प्रकट करता है कि जहाँ द्विदिश (bidirectional) BERT मॉडल उस "रिवर्सल कर्से" (Reversal Curse) से मुक्त हैं जो सममित तार्किक अनुमान (symmetric logical deduction) में ऑटो-रिग्रेसिव GPT मॉडलों को बाधित करता है, वहीं दोनों आर्किटेक्चर जटिल मल्टी-सेट निगमनात्मक तर्क (complex multi-set deductive reasoning) के साथ संघर्ष करते हैं, जो यह सुझाव देता है कि मॉडल का चयन बायोमेडिकल नॉलेज ग्राफ निर्माण जैसे कार्यों की विशिष्ट तार्किक मांगों के अनुरूप तैयार किया जाना चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द ब्रेन की बॉट्स एंड द मिरर मेज़ (The Brainy Bots and the Mirror Maze)
कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखा रहे हैं। आप उसे बिल्ली की एक तस्वीर दिखाते हैं और कहते हैं, "यह एक बिल्ली है।" बाद में, आप उसे "बिल्ली" शब्द दिखाते हैं और पूछते हैं, "इस शब्द के साथ कौन सी तस्वीर जाएगी?" एक मानव मस्तिष्क इस बदलाव को सहजता से संभाल लेता है; हम जानते हैं कि यदि "बिल्ली" बराबर "तस्वीर" है, तो "तस्वीर" बराबर "बिल्ली" है। लेकिन लंबे समय तक, सबसे उन्नत कंप्यूटर दिमाग, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है, इस सरल उलटफेर के लिए संघर्ष करते रहे। वे उन छात्रों की तरह थे जिन्होंने उत्तरों की एक सूची तो रट ली थी, लेकिन अगर उनसे उल्टा सवाल पूछा जाए, तो वे सवाल को समझ नहीं पाते थे। इस विशिष्ट खामी को "रिवर्सल कर्ज़" (Reversal Curse) कहा जाता है।
यह समझने के लिए कि यह क्यों मायने रखता है, इन AI मॉडल्स को दो अलग-अलग प्रकार के पाठकों के रूप में सोचें। एक प्रकार का डिकोडर (जैसे प्रसिद्ध GPT सीरीज़), कहानी को बाएँ से दाएँ पढ़ता है, जो केवल पहले आए शब्दों के आधार पर अगले शब्द की भविष्यवाणी करता है। यह कहानियाँ लिखने या वाक्यों को पूरा करने में बहुत अच्छा है, लेकिन यह पूरी तस्वीर देखने के लिए आगे नहीं देख सकता। दूसरा प्रकार का एनकोडर (जैसे BERT), एक वाक्य को एक साथ पढ़ता है, हर शब्द को अन्य सभी शब्दों के संबंध में देखता है। यह एक वाक्य को आवर्धक लेंस (magnifying glass) के साथ पढ़ने जैसा है जो आपको एक ही समय में प्रत्येक शब्द के संदर्भ को दिखाता है। वैज्ञानिक सोच रहे हैं: यदि हम इन रोबोटों को चीजों के समूहों के साथ बुनियादी गणित करना सिखाते हैं—जैसे दोस्तों की सूचियों को मिलाना या उनके साझा दोस्तों को खोजना—तो क्या वे वास्तव में तर्क (logic) के माध्यम से 'सोच' सकते हैं, या वे केवल उन पैटर्न के आधार पर अनुमान लगा रहे हैं जो उन्होंने पहले देखे हैं? यह प्रश्न महत्वपूर्ण है क्योंकि यदि हम इन रोबोटों का उपयोग ज्ञान के जटिल मानचित्र (जैसे चिकित्सा या विज्ञान के लिए) बनाने के लिए करना चाहते हैं, तो उन्हें तर्क करने की क्षमता चाहिए, न कि केवल दोहराने की।
रिसर्च पेपर की कहानी: कौन मेज पलट सकता है?
इस अध्ययन में, शोधकर्ताओं दा वू, जिंग्ये यांग और काई वांग ने इन विभिन्न रोबोट दिमागों को परखने का निर्णय लिया। वे यह देखना चाहते थे कि "रिवर्सल कर्ज़" एक स्थायी बग है या यह कुछ विशेष मॉडल्स की बनावट का एक हिस्सा है, और क्या ये मॉडल्स वस्तुओं के सेट (sets) से जुड़े अधिक जटिल तर्क पहेलियों को संभाल सकते हैं।
मिरर टेस्ट: रिवर्सल कर्ज़
सबसे पहले, उन्होंने "रिवर्सल कर्ज़" पर प्रहार किया। कल्पना कीजिए कि आपने एक रोबोट को सिखाया कि "जिमी कार्टर 39वें राष्ट्रपति हैं।" यदि आप रोबोट से पूछते हैं, "39वें राष्ट्रपति कौन हैं?", तो एक मानक रोबोट (जैसे GPT-3) अक्सर अटक जाता है। वह एक दिशा में तथ्य जानता है लेकिन वह प्रश्न को उलटने में असमर्थ रहता है। शोधकर्ताओं ने पाया कि डिकोडर मॉडल्स (जैसे GPT और Lãma) वास्तव में इस अभिशाप से पीड़ित हैं; उन्हें "A है B" से "B है A" का निष्कर्ष निकालने में कठिनाई होती है।
हालाँकि, एनकोडर मॉडल (BERT) एक अलग कहानी था। क्योंकि BERT दोनों दिशाओं में एक साथ पढ़ता है, वह भ्रमित नहीं हुआ। जब शोधकर्ताओं ने BERT से उल्टा सवाल पूछा, तो उसने लगभग 99% बार सही उत्तर दिया। यह स्पष्ट है कि यदि आप चाहते हैं कि एक रोबोट यह समझे कि एक संबंध दोनों तरफ काम करता है, तो आपको एक ऐसे दिमाग की आवश्यकता है जो पूरी तस्वीर देख सके, न कि केवल अतीत को।
लॉजिक पजल: समूहों को मिलाना और मेल करना
इसके बाद, टीम एक कठिन चुनौती पर आगे बढ़ी: सेट ऑपरेशंस (set operations)। उन्होंने रोबोट्स को "यूनियन" (दो दोस्तों की सूचियों को एक बड़ी सूची में मिलाना) और "इंटरसेक्शन" (उन दोस्तों को खोजना जो दोनों सूचियों में मौजूद हैं) करना सिखाया।
- आसान स्तर (दो सेट): जब रोबोट्स को केवल दो समूहों के नाम मिलाने या तुलना करने के लिए कहा गया (जैसे "सुपरहीरो" और "डायनासोर"), तो दोनों डिकोडर मॉडल्स (Llama 2 और 3) और एनकोडर मॉडल (BERT) ने शानदार काम किया। उन्होंने लगभग हर बार सही उत्तर दिया। ऐसा लगा जैसे उन्होंने तर्क में महारत हासिल कर ली है।
- कठिन स्तर (तीन सेट): फिर, शोधकर्ताओं ने पहेली को कठिन बना दिया। उन्होंने रोबм्स को एक साथ तीन समूहों को मिलाने या ऑपरेशंस का मिश्रण करने के लिए कहा, जैसे "ग्रुप A और ग्रुप B के साझा दोस्त खोजें, फिर ग्रुप C को जोड़ें।"
यहीं पर जादू का खेल विफल हो गया। जहाँ रोबोट दो-समूह वाले कार्यों में बेहतरीन थे, वहीं तीन समूहों के शामिल होने पर वे बुरी तरह लड़खड़ा गए।
- BERT की समस्या: BERT मॉडल शायद नकल (cheating) कर रहा था। वह वास्तव में गणित नहीं कर रहा था; वह केवल उन शब्दों को खोज रहा था जिन्हें वह पहचानता था। यदि किसी वाक्य में कोई नया नाम होता जिसे उसने पहले नहीं देखा था, तो वह तुरंत कहता, "नहीं, यह गलत है।" लेकिन यदि गलत उत्तर में ऐसे नाम होते जिन्हें वह जानता था, तो वह भ्रमित हो जाता और कहता, "हाँ, यह सही है।" वह तर्क को नहीं, बल्कि शब्दावली को याद कर रहा था।
- Llama की समस्या: Llama मॉडल्स (डिकोडर वाले) भी संघर्ष कर रहे थे। जब उन्हें तीन समूहों में साझा दोस्त खोजने के लिए कहा गया, तो उन्होंने अक्सर उन सभी लोगों की सूची दे दी जिन्हें वे जानते थे, पहेली के विशिष्ट नियमों को अनदेखा करते हुए। वे गणना करने के बजाय प्रशिक्षण के दौरान देखी गई नामों की सूची को याद कर रहे थे।
GPT-4 का वाइल्डकार्ड
शोधकर्ताओं ने नवीनतम, क्लोज्ड-सोर्स मॉडल, GPT-4 का भी परीक्षण किया। यह रोबोट अन्य मॉडल्स की तुलना में बहुत बेहतर था। यह अधिकांश तीन-सेट वाले लॉजिक पजल्स को सही ढंग से संभाल सकता था, और अक्सर समस्या को हल करने के लिए इसे छोटे चरणों में तोड़ देता था। हालाँकि, यहाँ तक कि GPT-4 भी गलतियाँ करने लगा जब समूहों की संख्या बहुत अधिक हो गई (जैसे सात या आठ सेट), जो यह दर्शाता है कि सबसे स्मार्ट वर्तमान मॉडल्स की भी जटिल, बहु-चरणीय कटौती (deduction) के मामले में सीमाएँ हैं।
मुख्य निष्कर्ष
इस पेपर का मुख्य सबक यह है कि सभी AI दिमाग एक जैसे नहीं बने होते हैं, और कोई भी एक रोबोट हर काम के लिए परफेक्ट नहीं है। यदि आपको एक ऐसे मॉडल की आवश्यकता है जो एक संबंध को उलटने में समझ सके (जैसे किसी तथ्य को पलटना), तो एक द्विदिश (bidirectional) मॉडल जैसे BERT स्पष्ट विजेता है। लेकिन यदि आपको एक कहानी लिखने या वाक्य में अगले शब्द की भविष्यवाणी करने की आवश्यकता है, तो एक एकदिशीय (unidirectional) मॉडल जैसे GPT अभी भी राजा हैं।
सबसे महत्वपूर्ण बात यह है कि यह अध्ययन सुझाव देता है कि जबकि ये मॉडल्स पैटर्न पहचानने और मानव भाषा की नकल करने में अद्भुत हैं, वे आवश्यक रूप से उस तरह से "सोच" नहीं रहे हैं जैसे इंसान सोचते हैं। जब तर्क बहुत जटिल हो जाता है, तो वे नियमों को समझने के बजाय शब्दों को याद करने पर वापस आ जाते हैं। इसलिए, यदि आप चिकित्सा ज्ञान ग्राफ बनाने या कठिन गणितीय प्रमाण हल करने के लिए कोई सिस्टम बना रहे हैं, तो आप केवल रोबोट पर यह भरोसा नहीं कर सकते कि वह खुद से सब सुलझा लेगा; आपको इस बात पर बहुत ध्यान देना होगा कि आप सवाल कैसे पूछते हैं और आप किस तरह का रोबोट काम करने के लिए चुनते हैं। रोबोट स्मार्ट हो रहे हैं, लेकिन उन्हें वास्तविक तार्किक तर्क (logical reasoning) सीखने के लिए अभी भी बहुत कुछ सीखना बाकी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।