LoopMTP: A looped transformer guided by latent multi-token prediction
यह शोध पत्र LoopMTP का प्रस्ताव करता है, जो एक पैरामीटर-कुशल ढांचा (framework) है जो लेटेंट मल्टी-टोकन प्रेडिक्शन के माध्यम से मध्यवर्ती हिडन स्टेट्स को भविष्य के टोकन एम्बेडिंग्स के साथ संरेखित करके लूप वाले ट्रांसफॉर्मर्स को बेहतर बनाता है, जिससे ओवरथिंकिंग को कम किया जा सकता है और तर्क की सटीकता में महत्वपूर्ण सुधार किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही कठिन पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि कोई जटिल गणितीय समस्या या किसी ट्विस्ट वाली कहानी लिखना। आप इसे हल करने के लिए विशेषज्ञों की एक विशाल टीम को काम पर रख सकते हैं, जिनमें से प्रत्येक के पास अपना डेस्क हो। आज के अधिकांश शक्तिशाली AI मॉडल इसी तरह काम करते हैं: वे विशाल होते हैं, जिनमें हजारों "विशेषज्ञों" की परतें एक के ऊपर एक जमी होती हैं। लेकिन क्या होगा अगर आपके पास केवल एक ही प्रतिभाशाली विशेषज्ञ और एक छोटा सा डेस्क हो? क्या वह अभी भी पहेली को हल कर सकता है यदि आप उसे इसके बारे में बार-बार सोचने और हर बार अपने उत्तर को परिष्कृत करने की अनुमति दें? यह आर्टिफिशियल इंटेलिजेंस की दुनिया में एक बड़ा सवाल है, विशेष रूप से "लूप्ड ट्रांसफॉर्मर" (looped transformers) नामक एक क्षेत्र में।
लंबे समय तक, वैज्ञानिकों का मानना था कि स्मार्ट बनने के लिए AI को बड़ा होना चाहिए। लेकिन इसमें एक पेंच है: बड़े मॉडल महंगे होते हैं और उन्हें सामान्य कंप्यूटरों पर चलाना कठिन होता है। वे कभी-कभी अपने ही विचारों के चक्रव्यूह में फंस जाते हैं, यानी एक सरल उत्तर पर इतना अधिक विचार करने लगते हैं कि वे उसे बिगाड़ देते हैं। एक अन्य विचार, जिसे "मल्टी-टोकन प्रेडिक्शन" (Multi-Token Prediction) कहा जाता है, यह सुझाव देता है कि AI को केवल वाक्य में अगले शब्द का अनुमान लगाने के बजाय, एक साथ अगले कुछ शब्दों का अनुमान लगाने की कोशिश करनी चाहिए। यह AI को आगे की योजना बनाने के लिए मजबूर करता है, जैसे कि एक शतरंज खिलाड़ी जो केवल एक कदम आगे देखने के बजाय तीन कदम आगे देखता है। चुनौती यह figuring out करने में थी कि "इस पर दोबारा विचार करने" वाले दृष्टिकोण को "आगे की योजना बनाने" वाले दृष्टिकोण के साथ कैसे जोड़ा जाए, बिना AI को भ्रमित किए या उसकी ऊर्जा बर्बाद किए।
यहाँ LOOPMTP आता है, जो शोधकर्ता बेहज़ाद शोमाली और उनकी टीम द्वारा प्रस्तावित एक नई विधि है। LOOPMTP को उस एकल प्रतिभाशाली विशेषज्ञ के लिए एक चतुर रणनीति के रूप में समझें। यह सुनिश्चित करने के बजाय कि विशेषज्ञ बस पहेली को घूरता रहे और अपने नोट्स को फिर से लिखता रहे (जिससे अक्सर अच्छे विचार मिट जाते हैं), LOOPMTP उन्हें एक विशेष मार्गदर्शक देता है। जब भी विशेषज्ञ पहेली को एक नया रूप देता है (एक "लूप"), तो उसे धीरे से इस बात की ओर प्रेरित किया जाता है कि उसका ध्यान समाधान के एक विशिष्ट भविष्य के हिस्से पर केंद्रित रहे।
व्यवहार में यह कैसे काम करता है: कल्पना कीजिए कि AI एक कहानी लिख रहा है। एक मानक लूप में, यह एक वाक्य लिख सकता है, फिर तुरंत भूल जाता है कि उसने क्या लिखा था और उसे फिर से लिखने की कोशिश करता है, जिससे अक्सर गलतियाँ होती हैं। LOOPMTP नियमों को बदल देता है। जब AI कहानी के दूसरे दौर (pass) में होता है, तो उसे गुप्त रूप से बताया जाता है, "हे, याद रखो कि तुम्हें उस शब्द के लिए तैयार रहना है जो अब से दो कदम आगे आएगा।" तीसरे दौर में, उसे तीन कदम आगे देखने के लिए कहा जाता है। यह "मल्टी-टोकन प्रेडिक्शन" वाला हिस्सा है जो एक मार्गदर्शक के रूप में कार्य करता है। यह AI को भविष्य के शब्द चिल्लाकर बोलने के लिए मजबूर नहीं करता; बल्कि यह AI के आंतरिक विचारों को उन भविष्य के शब्दों के विचार के साथ संरेखित करता है। यह एक हाइकर (हाइकर) की तरह है जो अपने जेब में एक नक्शा रखता है, न कि आगे कूदने के लिए, बल्कि यह सुनिश्चित करने के लिए कि उसका हर कदम सही दिशा में हो।
शोधकर्ताओं ने एक "गेटकीपर" (gatekeeper) तंत्र भी जोड़ा है। अतीत में, जब AI लूप करता है, तो वह अक्सर पिछले लूपों के काम को फेंक देता है, जैसे कि एक शेफ हर बार चखने के बाद सॉस को फेंक देता है। LOOPMTP सॉस के सभी संस्करणों को रखता है, लेकिन यह तय करने के लिए एक स्मार्ट गेट का उपयोग करता है कि अंतिम व्यंजन में प्रत्येक संस्करण को कितना मिलाना है। यह सुनिश्चित करता है कि कोई भी अच्छी जानकारी नष्ट न हो, भले ही AI समस्या के बारे में कई बार सोचे।
इस दृष्टिकोण के परिणाम काफी उत्साहजनक हैं। जब टीम ने गणित, कोडिंग और सामान्य ज्ञान के प्रश्नों सहित विभिन्न कार्यों पर LOOPMTP का परीक्षण किया, तो इसने अन्य लूप वाले मॉडलों की तुलना में काफी बेहतर प्रदर्शन किया। वास्तव में, इसने एक मानक मॉडल की तुलना में, जिसने इस लूपिंग ट्रिक का उपयोग नहीं किया था, औसतन 8.1% तक सटीकता में सुधार किया। इससे भी अधिक प्रभावशाली बात यह है कि यह स्थिर रहा और तब भी बेहतर होता रहा जब AI को लगातार 15 बार समस्या के बारे में "सोचने" के लिए कहा गया। इसी तरह के अन्य मॉडल केवल कुछ ही लूप के बाद बिखर जाते या भ्रमित हो जाते।
पेपर यह सुझाव देता है कि यह विधि छोटे AI मॉडलों को विशाल, महंगे मॉडल बनाने की आवश्यकता के बिना स्मार्ट बनाने का एक मजबूत तरीका है। यह दिखाता है कि AI के आंतरिक विचारों को भविष्य की ओर निर्देशित करके, हम इसे अत्यधिक सोचने से रोक सकते हैं और इसे अपनी सीमित कंप्यूटिंग शक्ति का अधिक कुशलता से उपयोग करने में मदद कर सकते हैं। हालांकि शोधकर्ता नोट करते हैं कि यह विशेष रूप से गणित और तर्क संबंधी कार्यों के लिए अच्छा काम करता है, लेकिन वे यह भी बताते हैं कि इसकी एक सीमा है; यदि आप मॉडल को बहुत अधिक बार सोचने के लिए कहते हैं, तो अंततः यह फिर से भ्रमित हो सकता है। लेकिन फिलहाल के लिए, LOOPMTP AI को बिना बड़ा दिमाग बनाए अधिक गहराई से "सोचने" में मदद करने का एक नया और रोचक तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।