Learning to Self-Verify Makes Language Models Better Reasoners
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स में जनरेशन (उत्पत्ति) और सेल्फ-वेरिफिकेशन (स्व-सत्यापन) के बीच क्षमता विषमता की जांच करता है और एक मल्टी-टास्क रीइन्फोर्समेंट लर्निंग फ्रेमवर्क प्रस्तावित करता है जो उन्हें पूरक उद्देश्यों के रूप में प्रशिक्षित करके रीजनिंग और वेरिफिकेशन दोनों के प्रदर्शन में सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को जटिल गणित की समस्याएं हल करना सिखा रहे हैं। आमतौर पर, हम एक ही चीज़ पर ध्यान केंद्रित करते हैं: "सही उत्तर प्राप्त करना।" हम उन्हें एक समस्या देते हैं, वे उस पर काम करते हैं, और यदि वे सही उत्तर प्राप्त करते हैं, तो हम उन्हें एक गोल्ड स्टार देते हैं। आज अधिकांश AI मॉडल इसी तरह प्रशिक्षित किए जाते हैं।
हालाँकि, यह शोध पत्र AI के सीखने के तरीके में एक दिलचस्प "ग्लिच" (खराबी) की खोज करता है, और उन्होंने इसे ठीक करने का एक चतुर तरीका खोज निकाला है।
समस्या: "स्मार्ट लेकिन अनभिज्ञ" छात्र
शोधकर्ताओं ने एक अजीब घटना देखी जिसे असममिति (asymmetry) कहा जाता है।
इसे इस तरह सोचें: कल्पना कीजिए कि एक छात्र गणित की समस्याएं हल करने में जीनियस है लेकिन वह अपना काम खुद चेक करने में पूरी तरह असमर्थ है। वह तीन पन्नों का समाधान लिख सकता है, गलत उत्तर पर पहुँच सकता है, और फिर आत्मविश्वास से कह सकता है, "हाँ, यह सही है!"
AI के संदर्भ में, मॉडल उत्तर बनाने (करने) में तो बेहतर हो जाता है, लेकिन वह उन्हें सत्यापित करने (चेक करने) में अपने आप बेहतर नहीं होता। जैसे-जैसे AI गणित में स्मार्ट होता जाता है, अपनी गलतियों को पहचानने की उसकी क्षमता वहीं रुकी रहती है। यह एक ऐसे शेफ की तरह है जो एक जटिल व्यंजन बना तो सकता है, लेकिन यह नहीं बता सकता कि वह बहुत नमकीन है या नहीं, जब तक कि कोई और उसे चख न ले।
खोज: "संपादक" (Editor) प्रभाव
शोधकर्ताओं ने कुछ उल्टा करने का निर्णय लिया। AI को समस्या हल करने के लिए प्रशिक्षित करने के बजाय, उन्होंने अपना समय केवल एक संपादक बनने के लिए प्रशिक्षण देने में बिताया।
उन्होंने AI को एक गणित की समस्या और एक समाधान (जो सही या गलत हो सकता है) दिया और कहा: "कुछ भी हल मत करो। बस मुझे बताओ कि क्या यह समाधान सही है या गलत।"
यहाँ जादू वाला हिस्सा है: एक बेहतरीन "संपादक" बनने का प्रशिक्षण लेकर, AI वास्तव में एक बेहतर "लेखक" बन गया।
यह एक ऐसे लेखक की तरह है जो व्याकरण और तर्क का अध्ययन करने में एक साल बिताता है। भले ही वे नई कहानियाँ नहीं लिख रहे हों, लेकिन उनका मस्तिष्क त्रुटियों को पकड़ने के लिए इतना सुधारा हुआ हो जाता है कि जब वे अंततः लिखना शुरू करते हैं, तो उनके पहले ड्राफ्ट बहुत अधिक स्पष्ट, तार्किक और सटीक होते हैं।
तीन बड़ी जीत
AI को "स्व-सत्यापित" (Self-Verify) करना सिखाकर, शोधकर्ताओं ने तीन चीजें हासिल कीं:
- उच्च सटीकता: "संपादक-प्रशिक्षित" AI समस्याओं को हल करने में "सॉल्वर-प्रशिक्षित" AI के समान ही अच्छा (और कभी-कभी बेहतर) था।
- दक्षता (अब कोई बड़बड़ाना नहीं): मानक AI मॉडल अक्सर "बड़बड़ाते" हैं—वे तर्क के लंबे, घुमावदार रास्ते लिखते हैं, इस उम्मीद में कि वे सही उत्तर तक पहुँच जाएँगे (ठीक वैसे ही जैसे कोई व्यक्ति यह छिपाने के लिए गोल-गोल बातें करता है कि वह रास्ता भटक गया है)। स्व-सverifying AI बहुत अधिक सीधा हो गया। क्योंकि वह खुद को चेक करना जानता है, उसे भटकने की आवश्यकता नहीं है; वह सत्य के सबसे कुशल पथ पर चलता है।
- बेहतर "टेस्ट-टाइम" सोच: जब AI वास्तव में किसी कठिन समस्या पर काम कर रहा होता है, तो अब वह "रुक" सकता है और खुद से पूछ सकता है, "रुको, क्या यह चरण समझ में आ रहा है?" यह उसे वास्तविक समय में गलतियों को पकड़ने की अनुमति देता है, बिल्कुल एक पेशेवर एथलीट की तरह जो अपनी फॉर्म को सुधारने के लिए गेम फुटेज देख रहा हो।
"मल्टी-टास्क" समाधान
अंत में, शोधकर्ताओं ने केवल एक को नहीं चुना। उन्होंने एक प्रशिक्षण कार्यक्रम बनाया जहाँ AI एक "सॉल्वर" और एक "संपादक" के बीच बदलता रहता है।
यह एक पेशेवर एथलीट के प्रशिक्षण जैसा है जो खेल खेलने (जेनरेशन) और खेल का फुटेज देखने (सत्यापन) के बीच बारी-बारी से अभ्यास करता है। दोनों करने से, AI एक बहुत अधिक पूर्ण और विश्वसनीय "तर्ककर्ता" बन जाता है।
संक्षेप में
पुराना तरीका: AI को समस्याएं हल करने के लिए प्रशिक्षित करें वह हल करने में बेहतर होता है, लेकिन अपना काम चेक करने में बुरा रहता है।
नया तरीका: AI को काम चेक करने के लिए प्रशिक्षित करें वह एक मास्टर एडिटर बन जाता है, जो अनजाने में उसे एक तेज़, स्मार्ट और अधिक कुशल समस्या समाधानकर्ता बना देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।