QuestA: Expanding Reasoning Capacity in LLMs via Question Augmentation
यह शोध पत्र QuestA को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) रणनीति है जो प्रशिक्षण प्रश्नों को आंशिक समाधानों के साथ बढ़ाकर बड़े भाषा मॉडल (large language model) की तर्क क्षमता को बढ़ाती है, जिससे 1.5B-पैरामीटर वाले मॉडलों के साथ भी चुनौतीपूर्ण गणितीय बेंचमार्क पर नए अत्याधुनिक परिणाम प्राप्त होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ QUESTA पेपर का स्पष्टीकरण दिया गया है, जिसे सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवादित किया गया है।
बड़ी समस्या: "बहुत कठिन" की दीवार
कल्पना कीजिए कि आप एक छात्र (एक लार्ज लैंग्वेज मॉडल) को अविश्वसनीय रूप से कठिन गणितीय समस्याओं को हल करना सिखाने की कोशिश कर रहे हैं, जैसे कि दुनिया की सबसे कठिन गणित प्रतियोगिताओं में पाई जाती हैं।
आपके पास उन्हें सिखाने के दो मुख्य तरीके हैं:
- उन्हें आसान समस्याएँ दें: वे सब कुछ जल्दी से सही कर लेते हैं, लेकिन वे गहराई से सोचना बंद कर देते हैं। वे केवल पैटर्न को याद कर लेते हैं। जब आप अंततः उन्हें एक कठिन समस्या देते हैं, तो वे क्रैश हो जाते हैं क्योंकि उन्होंने कभी संघर्ष करना या नए विचारों को खोजना नहीं सीखा।
- उन्हें कठिन समस्याएँ दें: यहीं पर उन्हें सीखने की ज़रूरत होती है। लेकिन यहाँ एक पेंच है: यदि समस्या बहुत कठिन है, तो छात्र तुरंत अटक जाता है। वह बेतरतीब ढंग से अनुमान लगाता है, गलत होता है, और उसे कोई फीडबैक नहीं मिलता। यह आँखों पर पट्टी बाँधकर घास के ढेर में सुई खोजने जैसा है। शिक्षक (ट्रेनिंग एल्गोरिदम) मदद नहीं कर सकता क्योंकि छात्र को कभी "सही" उत्तर नहीं मिलता जिससे उसे सुदृढ़ (reinforce) किया जा सके। वे बस समय और ऊर्जा बर्बाद करते हुए चक्र घुमाते रहते हैं।
यह वह दुविधा थी जिसका सामना शोधकर्ताओं ने किया: आसान समस्याएँ मॉडल को आलसी बनाती हैं; कठिन समस्याएँ मॉडल को हार मानने पर मजबूर करती हैं।
समाधान: QUESTA ("ट्रेनिंग व्हील्स" रणनीति)
इस पेपर के लेखकों, QUESTA ने इसे ठीक करने के लिए एक चतुर तरकीब निकाली। उन्होंने महसूस किया कि छात्र को सीधे गहरे पानी में फेंकने के बजाय, उन्हें शुरुआत में ही आंशिक समाधान (partial solutions) या संकेत (hints) देने चाहिए।
इसे इस तरह सोचें:
- पुराना तरीका: आप एक छात्र को एक जटिल भौतिकी समीकरण (physics equation) देते हैं और कहते हैं, "इसे हल करो!" यदि उसे पहला कदम नहीं पता, तो वह विफल हो जाता है।
- QUESTA का तरीका: आप उन्हें वही समीकरण देते हैं, लेकिन आप बोर्ड पर उनके लिए समाधान का आधा हिस्सा लिख देते हैं। आप कहते हैं, "यह रहा सेटअप। अब, तुम बाकी का हिस्सा सुलझाओ।"
मॉडल को "हेड स्टार्ट" (आंशिक समाधान) देकर, समस्या प्रबंधनीय हो जाती है। मॉडल सफलतापूर्वक समस्या को पूरा कर सकता है, "शाबाश!" वाला रिवॉर्ड प्राप्त कर सकता है, और कैसे सोचना है यह सीख सकता है।
व्यवहार में यह कैसे काम करता है
शोधकर्ताओं ने 220,000 गणित की समस्याओं का एक डेटासेट लिया। उन्होंने आसान समस्याओं को हटा दिया (क्योंकि वे विकास के लिए उपयोगी नहीं हैं) और असंभव समस्याओं को भी हटा दिया (जहाँ मॉडल 100% बार विफल हो जाता है)।
फिर, उन्होंने एक विशेष ट्रेनिंग करिकुलम बनाया:
- चरण 1 (भारी संकेत): उन्होंने सबसे कठिन समस्याएँ लीं और मॉडल को संकेत के रूप में उत्तर का 50% दिया। मॉडल ने काम को पूरा करना सीखा।
- चरण 2 (हल्के संकेत): एक बार जब मॉडल इसमें अच्छा हो गया, तो उन्होंने संकेत को घटाकर केवल 25% कर दिया। मॉडल को अधिक काम करना पड़ा, लेकिन उसके पास अभी भी एक सुरक्षा जाल (safety net) था।
यह एक वीडियो गेम की तरह है जहाँ आप एक गाइड के साथ "इजी मोड" पर शुरू करते हैं, लेकिन जैसे-जैसे आप लेवल अप करते हैं, गाइड गायब हो जाता है, जो आपको अभी सीखी गई स्किल्स का उपयोग करके "हार्ड मोड" पर खेलने के लिए मजबूर करता है।
जादुई परिणाम: छोटे मॉडल, बड़े दिमाग
इस पेपर का सबसे रोमांचक हिस्सा इसका परिणाम है। उन्होंने इसका परीक्षण एक बहुत छोटे मॉडल (केवल 1.5 बिलियन पैरामीटर्स) पर किया। आमतौर पर, 32 बिलियन या उससे अधिक पैरामीटर्स वाले विशाल मॉडलों की तुलना में छोटे मॉडलों को "कम बुद्धिमान" माना जाता है।
हालाँकि, QUESTA का उपयोग करके:
- इस नन्हे 1.5B मॉडल ने कई कठिन गणितीय बेंचमार्क पर विशाल 32B मॉडलों को हरा दिया।
- इसने उन समस्याओं को हल किया जिन्हें विशाल मॉडल हल नहीं कर सके।
- यह केवल एक प्रकार की समस्या में बेहतर नहीं हुआ; यह समग्र रूप से एक बेहतर रीज़नर (reasoner) बन गया।
यह क्यों महत्वपूर्ण है ("अहा!" मोमेंट)
आमतौर पर, जब आप AI को कठिन समस्याओं पर प्रशिक्षित करते हैं, तो यह "कोलैप्स" (collapse) हो जाता है। यह चीजों को हल करने के एक विशिष्ट तरीके में इतना आश्वस्त हो जाता है कि यह अन्वेषण करना बंद कर देता है। यह कठोर (rigid) हो जाता है।
QUESTA इस कोलैप्स को रोकता है। क्योंकि मॉडल को लगातार सही मात्रा में कठिनाई के साथ चुनौती दी जा रही है (संकेतों के कारण), यह उसकी जिज्ञासा को जीवित रखता है। यह समाधान के विभिन्न रास्तों को खोजना सीखता है, न कि केवल उस एक रास्ते को जिसे उसने रटा है।
सारांश उपमा (Summary Analogy)
कल्पना कीजिए कि आप एक विशाल, खड़ी पहाड़ी (रीज़निंग कैपेसिटी) चढ़ने की कोशिश कर रहे हैं।
- मानक प्रशिक्षण (Standard Training): या तो आप नीचे एक समतल रास्ते से शुरू करते हैं (आसान समस्याएँ) और शिखर तक कभी नहीं पहुँच पाते, या आप सीधे ऊपर कूदने की कोशिश करते हैं (कठिन समस्याएँ) और गिर जाते हैं।
- QUESTA: आप पहाड़ी के किनारे स्कैफोल्डिंग प्लेटफॉर्म (scaffolding platforms) की एक श्रृंखला बनाते हैं।
- पहले, आप आधे रास्ते पर एक प्लेटफॉर्म बनाते हैं और पर्वतारोही को वहां से चढ़ने का अभ्यास करने देते हैं।
- एक बार जब वे मजबूत हो जाते हैं, तो आप नीचे के हिस्से की स्कैफोल्डिंग हटा देते हैं, जिससे उन्हें निचला हिस्सा खुद चढ़ने के लिए मजबूर होना पड़ता है।
- अंततः, स्कैफोल्डिंग गायब हो जाती है, लेकिन पर्वतारोही अपने दम पर शिखर तक पहुँचने के लिए पर्याप्त मजबूत होता है।
मुख्य बात (The Bottom Line): QUESTA साबित करता है कि कठिन समस्याओं को हल करने के लिए आपको बड़े दिमाग की ज़रूरत नहीं है; आपको बस इसे सिखाने के एक स्मार्ट तरीके की ज़रूरत है। प्रशिक्षण के दौरान AI को "आंशिक उत्तर" देकर, हम छोटे, सस्ते मॉडलों को रीज़निंग के जीनियस में बदल सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।