Process Supervision via Verbal Critique Improves Reasoning in Large Language Models
यह शोध पत्र वर्बल प्रोसेस सुपरविजन (VPS) को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त ढांचा है जो एक अधिक शक्तिशाली पर्यवेक्षक से प्राप्त संरचित प्राकृतिक-भाषा आलोचनाओं का लाभ उठाकर एक पुनरावृत्ति जनरेट-क्रिटिक-रिफाइन लूप को निर्देशित करता है, जो आलोचना की सूक्ष्मता (granularity) को इन्फरेंस-टाइम स्केलिंग के एक नए अक्ष के रूप में स्थापित करके विविध बेंचमार्क पर तर्क प्रदर्शन में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत कठिन पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि कोई जटिल गणित की समस्या या कोई पेचीदा विज्ञान का प्रश्न। आपके पास एक स्मार्ट दोस्त (एक AI) है जो आपकी मदद कर रहा है, लेकिन कभी-कभी वे बीच में ही अटक जाते हैं या कोई गलती कर देते हैं।
पारंपरिक रूप से, जब हम AI को और अधिक गहराई से सोचने के लिए कहते हैं, तो हम तीन में से एक चीज़ करते हैं:
- उन्हें लंबे समय तक सोचने दें: उन्हें अपने विचारों को लिखने के लिए अधिक स्थान दें (चेन ऑफ थॉट - Chain of Thought)।
- उन्हें कई बार प्रयास करने के लिए कहें: उन्हें पाँच अलग-अलग उत्तर उत्पन्न करने के लिए कहें और सबसे लोकप्रिय वाले को चुनें (सैंपल ब्रैडथ - Sample Breadth)।
- एक शिक्षक को प्रशिक्षित करें: एक विशेष AI को सिखाएं कि वह उनके द्वारा उठाए गए हर कदम के लिए एक सरल "थम्स अप" या "थम्स डाउन" स्कोर दे (प्रोसेस रिवॉर्ड मॉडल्स - Process Reward Models)।
यह नया शोध पत्र AI को स्मार्ट बनाने का एक चौथा तरीका पेश करता है, और इसके लिए किसी अतिरिक्त प्रशिक्षण या पैसे की आवश्यकता नहीं है। इसे वर्बल प्रोसेस सुपरविजन (VPS) कहा जाता है।
मुख्य विचार: "कदम-दर-कदम" कोच
AI को समस्या हल करने की कोशिश करते हुए एक छात्र के रूप में सोचें जो परीक्षा दे रहा है।
- पुराना तरीका (आउटकम क्रिटीक - परिणाम की आलोचना): कल्पना करें कि एक शिक्षक इंतज़ार करता है जब तक कि छात्र पूरा टेस्ट जमा न कर दे। फिर, शिक्षक कहता है, "आपने यह गलत किया। यहाँ बताया गया है कि अंतिम उत्तर क्यों खराब है।" छात्र को यह अनुमान लगाना पड़ता है कि परीक्षण के बीच में उसने कहाँ गलती की थी।
- नया तरीका (VPS): कल्पना करें कि एक शिक्षक छात्र को कदम-दर-कदम देखते हुए देखता है। जैसे ही छात्र एक वाक्य लिखता है, शिक्षक कहता है, "रुको, स्टेप 3 में तुम्हारा तर्क थोड़ा कमजोर है। तुम दो अवधारणाओं को मिला रहे हो। आगे बढ़ने से पहले उस विशिष्ट भाग को ठीक करो।"
यह शोध पत्र इसे VPS कहता है। यह एक "मजबूत" AI (कोच) का उपयोग करता है जो एक "कमजोर" AI (छात्र) को विस्तृत, प्राकृतिक भाषा में फीडबैक देता है, जबकि छात्र काम कर रहा होता है, न कि केवल अंत में।
यह कैसे काम करता है (लूप)
यह प्रक्रिया एक सरल, दोहराने वाला लूप है:
- जेनरेट (उत्पन्न करना): छात्र AI समस्या को हल करने का प्रयास करता है।
- क्रिटीक (आलोचना करना): कोच AI छात्र द्वारा अभी लिखे गए हिस्से को पढ़ता है और कहता है, "शुरुआत अच्छी है, लेकिन आपने इस वाक्य में एक छोटी सी गलती की है। इसे ठीक करने का सही तरीका यह है।"
- रिफाइन (सुधारना): छात्र AI उस सलाह को लेता है, उस विशिष्ट भाग को फिर से लिखता है, और आगे बढ़ता है।
- रिपीट (दोहराना): वे तब तक इसे करते रहते हैं जब तक कि उत्तर एकदम सही न हो जाए या उनका समय समाप्त न हो जाए।
यह एक बड़ी बात क्यों है?
शोधकर्ताओं ने तीन बहुत कठिन चुनौतियों पर इसका परीक्षण किया:
- कठिन विज्ञान प्रश्न (GPQA): जैसे कि स्नातक स्तर की सामान्य ज्ञान क्विज़।
- गणित प्रतियोगिताएं (AIME): बहुत पेचीदा गणित की समस्याएं।
- कोडिंग चुनौतियां (LiveCodeBench): कंप्यूटर प्रोग्राम लिखना।
यहाँ उनके द्वारा पाए गए शानदार परिणाम हैं:
- यह "सर्वश्रेष्ठ" AI को भी पीछे छोड़ देता है: विज्ञान क्विज़ पर, एक मानक शीर्ष-स्तरीय AI ने 92.8% सही उत्तर दिए। लेकिन जब उसी AI ने इस स्टेप-बाय-स्टेप तरीके का उपयोग करके खुद के ही थोड़े कमजोर संस्करण की मदद करने के लिए एक "कोच" के रूप में काम किया, तो उन्होंने 94.9% हासिल किया। उन्होंने बिना कुछ नया सीखे पिछला विश्व रिकॉर्ड तोड़ दिया!
- यह "कमजोर" AI को बचा लेता है: गणित प्रतियोगिता में, कुछ AI मॉडल अकेले बहुत खराब थे (केवल 11% से 26% स्कोर)। लेकिन एक मजबूत कोच द्वारा स्टेप-बाय-स्टेप मौखिक सलाह मिलने के बाद, वे 63% से 90% तक पहुँच गए। यह ऐसा है जैसे एक संघर्ष करने वाला छात्र अचानक एक शीर्ष छात्र बन गया, सिर्फ इसलिए क्योंकि उसके पास एक ट्यूटर था जिसने हर गलती के तुरंत बाद उसे सुधारा।
- यह केवल "अधिक प्रयास करने" से बेहतर है: शोधकर्ताओं ने इसकी तुलना इस बात से की कि यदि AI को केवल 5 बार प्रयास करने और सबसे अच्छा चुनने के लिए कहा जाए (जो कि एक सामान्य ट्रिक है)। "कोच" विधि लगातार बेहतर रही, जिससे साबित हुआ कि AI को सुधारने का तरीका महत्वपूर्ण है, न कि केवल उसे अधिक कंप्यूटिंग पावर देना।
कमी (जहाँ यह विफल होता है)
शोध पत्र ने एक सीमा भी पाई। यह तरीका उन चीजों के लिए बहुत अच्छा काम करता है जिन्हें आप शब्दों से समझा सकते हैं (जैसे गणित का तर्क या विज्ञान के तथ्य)। लेकिन यह कोडिंग के मामले में थोड़ा संघर्ष करता है।
क्यों? क्योंकि जब आप कोड लिखते हैं, तो गलती हमेशा आपके द्वारा लिखे गए शब्दों में नहीं होती; गलती यह होती है कि कोड रन (execute) नहीं होता। एक मौखिक कोच कह सकता है, "यह गलत लग रहा है," लेकिन वे यह नहीं देख सकते कि कंप्यूटर क्रैश हो गया है। कोडिंग के लिए, आपको एक ऐसे कोच की आवश्यकता है जो वास्तव में कोड को चला सके और त्रुटि देख सके, न कि केवल उसे पढ़ सके।
निचोड़
इस शोध पत्र ने AI को स्मार्ट बनाने का एक नया "अक्ष" (axis) खोजा है। केवल AI को बड़ा बनाने या उसे लंबे समय तक प्रशिक्षित करने के बजाय, हम बस उसे एक स्मार्ट कोच दे सकते हैं जो काम करते समय उससे बात करता है।
यदि आपके पास एक स्मार्ट AI है और एक थोड़ा कम स्मार्ट AI है, तो आपको उन्हें फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आपको बस स्मार्ट वाले को कम स्मार्ट वाले से बात करने देना है, स्टेप-दर-स्टेप, और कम स्मार्ट वाला काफी बेहतर हो जाता है। यह एक व्यक्तिगत ट्यूटर होने जैसा है जो आपका होमवर्क सही होने तक आपको सुधारना बंद नहीं करता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।