AdaR: A Framework for Equipping LLMs with Adaptive Reasoning
AdaR फ्रेमवर्क बड़े भाषा मॉडलों (LLMs) की गणितीय तर्क सुदृढ़ता और सामान्यीकरण क्षमता को स्वचालित रूप से संश्लेषित, तार्किक रूप से समान प्रश्नों पर सुदृढीकरण लर्निंग (Reinforcement Learning) के माध्यम से प्रशिक्षित करके बढ़ाता है ताकि स्पूरियस सहसंबंधों (spurious correlations) को दंडित किया जा सके और अनुकूलन योग्य तर्क को प्रोत्साहित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के विशाल परिदृश्य में, लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल) शक्तिशाली उपकरणों के रूप में उभरे हैं जो कविता लिखने से लेकर कोड को डीबग करने जैसी जटिल समस्याओं को हल करने में सक्षम हैं। उनकी सबसे प्रभावशाली उपलब्धियों में से एक गणितीय तर्क (mathematical reasoning) है, जहाँ ये सिस्टम एक प्रश्न को समाधान तक पहुँचने के लिए तार्किक चरणों की एक श्रृंखला में तोड़ते हैं। वर्षों से, शोधकर्ताओं ने इस क्षमता का जश्न मनाया है, यह मानते हुए कि जब कोई मॉडल किसी समस्या को सही ढंग से हल करता है, तो वह वास्तव में इसके पीछे के तर्क को समझता है। हालाँकि, एक सूक्ष्म दृष्टि एक परेशान करने वाले दोष को प्रकट करती है: इनमें से कई मॉडल वास्तव में समस्या के माध्यम से तर्क नहीं कर रहे होते हैं। इसके बजाय, वे अक्सर अपने प्रशिक्षण डेटा से पैटर्न को याद कर रहे होते हैं। वे विशिष्ट संख्याओं या वाक्यांशों को निश्चित उत्तरों के साथ जोड़ना सीख जाते हैं, ठीक उसी तरह जैसे एक छात्र अभ्यास परीक्षण के लिए उत्तर कुंजी को याद कर लेता है बिना अंतर्नि었던 गणित को समझे। जब परीक्षण थोड़ा बदल जाता है—जब संख्याएँ अलग होती हैं या शब्दों में बदलाव किया जाता है—तो ये मॉडल अक्सर लड़खड़ा जाते हैं, क्योंकि वे अनुकूलित होने में विफल रहते हैं क्योंकि उनका "तर्क" कभी वास्तविक था ही नहीं।
यह एक नई स्टडी का केंद्रीय विषय है जिसे नानजिंग यूनिवर्सिटी और मीतुआन (Meituan) के शोधकर्ताओं द्वारा विकसित किया गया है, जिन्होंने मशीनों को अनुकूल रूप से सोचना सिखाने के लिए 'AdaR' नामक एक फ्रेमवर्क विकसित किया है। टीम ने पाया कि समस्या की जड़ उस चीज़ में है जिसे वे "स्प्यूरियस रीजनिंग" (spurious reasoning - आभासी तर्क) कहते हैं। यह तब होता है जब एक मॉडल सतही संबंधों पर निर्भर करता है, जैसे कि प्रश्न में किसी संख्या का विशिष्ट मान, न कि समस्या के संरचनात्मक तर्क पर। इसे समझाने के लिए, कल्पना करें कि एक मॉडल को ऐसी समस्या हल करने के लिए प्रशिक्षित किया गया है जहाँ एक संख्या का घन (cube) निकाला जाता है। यदि प्रशिक्षण डेटा में हमेशा संख्या 3 का उपयोग किया गया था, तो मॉडल किसी भी गुणा की समस्या को देखते ही "घन" आउटपुट करना सीख सकता है, चाहे शामिल संख्याएँ कुछ भी हों। यदि समस्या किसी अन्य संख्या को शामिल करने के लिए बदल जाती है, तो मॉडल विफल हो जाता है क्योंकि उसने कभी घन करने के नियम को नहीं सीखा; उसने केवल संख्या 3 के पैटर्न को पहचानना सीखा था। शोधकर्ताओं ने पाया कि उन्नत मॉडल भी, जो मानक परीक्षणों पर शानदार प्रदर्शन करते हैं, इस भंगुरता (brittleness) से ग्रस्त हैं, और नए, थोड़े अलग परिदृश्यों में अपने कौशल को सामान्य बनाने (generalize) में असमर्थ हैं।
इसे ठीक करने के लिए, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई जो मॉडल को संख्याओं के बजाय तर्क सीखने के लिए मजबूर करती है। उन्होंने मौजूदा गणितीय समस्याओं को लेकर उन्हें उनके मूल ढांचे, या 'टेम्पलेट' तक सीमित करना शुरू किया। फिर उन्होंने एक कंप्यूटर प्रोग्राम का उपयोग करके इन समस्याओं के हजारों नए संस्करण स्वचालित रूप से उत्पन्न किए, जिसमें विशिष्ट संख्याओं को बदलते हुए तार्किक चरणों को बिल्कुल समान रखा गया। महत्वपूर्ण बात यह है कि उन्होंने केवल एक भाषा मॉडल से नए उत्तरों का अनुमान लगाने के लिए नहीं कहा; उन्होंने पूर्ण निश्चितता के साथ सही उत्तरों की गणना करने के लिए निष्पादन योग्य कोड (executable code) लिखा। इसने यह सुनिश्चित किया कि उनके द्वारा बनाया गया प्रत्येक नया प्रश्न वैध था और उसका सत्यापित समाधान था। इसके बाद उन्होंने इन नए, विविध प्रश्नों का उपयोग करके अपने मॉडल्स को एक कठोर प्रशिक्षण प्रक्रिया के अधीन किया। मॉडल को केवल सही उत्तर दिखाने के बजाय, उन्होंने एक ऐसी विधि का उपयोग किया जो मॉडल को तभी पुरस्कृत करती थी जब वह विविध प्रश्नों के पूरे सेट को सही ढंग से हल कर सके। यदि मॉडल ने याद किए गए पैटर्न पर भरोसा किया, तो वह नए नंबरों पर विफल हो जाएगा और उसे दंडित किया जाएगा। यदि उसने वास्तविक तर्क सीखा, तो वह सभी विविधताओं में सफल होगा और पुरस्कार प्राप्त करेगा।
इस दृष्टिकोण के परिणाम चौंकाने वाले थे। परिचित और पूरी तरह से नए प्रकार के गणितीय प्रश्नों पर परीक्षण किए जाने पर, इस अनुकूल फ्रेमवर्क के साथ प्रशिक्षित मॉडल्स ने महत्वपूर्ण सुधार दिखाया। औसतन, उनका प्रदर्शन अन्य तरीकों की तुलना में आठ अंकों से अधिक बढ़ गया, जो आर्टिफिशियल इंटेलिजेंस की दुनिया में एक बड़ा उछाल है। इससे भी महत्वपूर्ण बात यह है कि मॉडल्स बहुत अधिक सुदृढ़ (robust) हो गए। वे समस्या की संख्याओं में बदलाव को बिना टूटे संभाल सकते थे, जिससे यह सिद्ध हुआ कि उन्होंने केवल विशिष्ट उदाहरणों को याद करने के बजाय अंतर्निहित नियमों को सीख लिया है। शोधकर्ताओं ने मॉडल्स के "सोचने" के तरीके में भी बदलाव देखा। इस प्रशिक्षण से पहले, मॉडल्स प्रश्न में विशिष्ट संख्याओं पर ध्यान केंद्रित करते थे और संरचना को अनदेखा करते थे। प्रशिक्षण के बाद, उनका ध्यान समस्या की संरचना की ओर स्थानांतरित हो गया, जिससे वे अज्ञात चरों (variables) के साथ भी ज्ञात संख्याओं की तरह ही तार्किक सावधानी बरतने में सक्षम हुए। यह बदलाव बताता है कि मॉडल्स बीजगणितीय सोच (algebraic thinking) विकसित कर रहे थे, जो समस्याओं को तथ्यों की सूची के बजाय संबंधों की एक प्रणाली के रूप में देखते हैं।
अध्ययन ने यह भी पता लगाया कि विभिन्न प्रकार के परिवर्तनों ने सीखने की प्रक्रिया को कैसे प्रभावित किया। उन्होंने पाया कि केवल प्रश्नों को अलग शब्दों में फिर से लिखने की तुलना में, समस्याओं में संख्या बदलना मॉडल को तर्क सिखाने में कहीं अधिक प्रभावी था। यह इंगित करता है कि अनुकूल तर्क की कुंजी मॉडल को विविध संख्यात्मक परिदृश्यों के संपर्क में लाना है, जो उसे अंतरों को समझने के लिए तर्क पर निर्भर रहने के लिए मजबूर करता है। शोधकर्ताओं ने उल्लेख किया कि हालांकि यह तरीका अच्छी तरह से काम करता है, लेकिन इसकी सीमाएं भी हैं; इसके लिए आवश्यक है कि समस्याएँ एक कंप्यूटर प्रोग्राम द्वारा हल करने योग्य हों, जिसका अर्थ है कि यह गणित और तर्क कार्यों के लिए सबसे उपयुक्त है, न कि जटिल प्रमेयों को सिद्ध करने जैसे अधिक अमूर्त क्षेत्रों के लिए। इसके अलावा, इस पद्धति की सफलता इस बात पर निर्भर थी कि मॉडल के पास पहले से ही गणितीय ज्ञान का एक ठोस आधार हो। यह प्रणाली किसी ऐसे मॉडल को शून्य से तर्क नहीं सिखा सकती जो कुछ भी नहीं जानता; यह केवल एक ऐसे मॉडल के तर्क को परिष्कृत कर सकती है जिसके पास पहले से ही बुनियादी निर्माण खंड मौजूद हों।
अंततः, यह कार्य आर्टिफिशियल इंटेलिजेंस को अधिक विश्वसनीय बनाने के लिए एक स्पष्ट मार्ग प्रदान करता है। सरल याद रखने (memorization) से हटकर अनुकूल तर्क (adaptive reasoning) की ओर बढ़ते हुए, शोधकर्ताओं ने दिखाया है कि ऐसे मॉडल बनाना संभव है जो अप्रत्याशित स्थितियों को संभाल सकें। निष्कर्ष बताते हैं कि बुद्धिमान प्रणालियों का भविष्य केवल उन्हें बड़ा या तेज़ बनाने में नहीं है, बल्कि उन्हें उन नियमों को समझने में सिखाने में है जो दुनिया को नियंत्रित करते हैं, न कि केवल उन विशिष्ट उदाहरणों में जिन्हें उन्होंने पहले देखा है। जैसे-जैसे ये मॉडल वित्तीय समीकरणों को हल करने से लेकर जटिल लॉजिस्टिक्स की योजना बनाने तक हमारे दैनिक जीवन में एकीकृत होते जा रहे हैं, बिना विफल हुए नई जानकारी के अनुकूल होने की क्षमता आवश्यक होगी। AdaR फ्रेमवर्क इस लक्ष्य को प्राप्त करने के लिए एक ब्लूप्रिंट प्रदान करता है, जो भंगुर, पैटर्न-मैचिंग मशीनों को लचीले, तार्किक विचारकों में बदल देता है जो लगातार बदलते संसार में नेविगेट करने में सक्षम हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।