Refining Over Resampling: Test-Time Self-Correction for LLM Reasoning
यह शोध पत्र एक वर्िफायर-मुक्त (verifier-free) "ब्रेड्थ-डेप्थ" फ्रेमवर्क का प्रस्ताव करता है जो सेल्फ-क्रिटिक और सेल्फ-करेक्शन के माध्यम से विविध सैम्पल्ड रोलआउट्स को पुनरावृत्ति (iteratively) से परिष्कृत करने के लिए टेस्ट-टाइम कंप्यूट का उपयोग करके LLM रीजनिंग को बढ़ाता है, जिससे पारंपरिक सैंपलिंग और वर्िफायर-आधारित चयन विधियों की तुलना में कई गणितीय बेंचमार्क पर बेहतर प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही कठिन गणितीय पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि कोई ऐसी पहेली जिसे सुलझाने के लिए तर्क की एक लंबी श्रृंखला की आवश्यकता हो। आपके पास एक बहुत ही बुद्धिमान मित्र है (एक लार्ज लैंग्वेज मॉडल, या LLM) जिससे आप बात कर सकते हैं। आमतौर पर, जब आप इस मित्र से कोई प्रश्न पूछते हैं, तो वे तुरंत एक उत्तर दे देते हैं। लेकिन कभी-कभी, वे पहले कदम पर ही अटक जाते हैं और अंत तक वही गलती दोहराते रहते हैं।
इसे ठीक करने के लिए, वैज्ञानिकों ने दो मुख्य तरकीबें आजमाई हैं। पहली है "रीसैंपलिंग" (resampling): अपने मित्र से पहेली को दस बार हल करने के लिए कहना और उस उत्तर को चुनना जो सबसे अधिक बार आता है। यह एक ही पहेली को हल करने के लिए दस अलग-अलग लोगों को पूछने और यह देखने जैसा है कि वे आपस में किस बात पर सहमत हैं। दूसरी तरकीब है एक "वेरिफायर" (verifier) का उपयोग करना: एक अलग, बहुत सख्त शिक्षक जो हर उत्तर को ग्रेड देता है ताकि यह देखा जा सके कि कौन सा सबसे अच्छा है। लेकिन इसमें एक पेच है: दस लोगों को पूछने से अक्सर आपको एक ही गलत विचार के दस थोड़े अलग संस्करण ही मिलते हैं, और एक शिक्षक पर भरोसा करने का मतलब है कि आपको यह विश्वास करना होगा कि वह शिक्षक भ्रमित या पक्षपाती नहीं है।
यह शोध पत्र, जिसका शीर्षक "रिफाइनिंग ओवर रीसैंपलिंग" (Refining Over Resampling) है, एक तीसरा तरीका सुझाता है। केवल अधिक अनुमान लगाने या एक शिक्षक को नियुक्त करने के बजाय, लेखक AI को अपना स्वयं का संपादक बनने की शिक्षा देने का प्रस्ताव देते हैं। वे AI को कुछ अलग शुरुआती विचार उत्पन्न करने देते हैं, और फिर, प्रत्येक विचार के लिए, वे AI को खुद के काम की आलोचना करने, अपनी गलतियाँ खोजने और अंतिम उत्तर देने से पहले उन्हें ठीक करने के लिए रुकने की अनुमति देते हैं। यह अपने मित्र को दूसरा मौका देने जैसा है, लेकिन उसे फिर से शुरू करने के लिए कहने के बजाय, यह कहने के माध्यम से कि, "अरे, रुको, तुमने तीसरे चरण में एक छोटी सी गलती की है; चलो इसे ठीक करते हैं और आगे बढ़ते हैं।"
समस्या: "इको चैंबर" (Echo Chamber) और "हैलुसिनेशन फ्लोर" (Hallucination Floor)
शोधकर्ताओं ने देखा कि जब उन्होंने AI मॉडलों को केवल अधिक उत्तर उत्पन्न करके गणित की समस्याओं को हल करने के लिए कहा, तो कुछ अजीब हो रहा था। उन्होंने इसे "डाइवर्सिटी सैचुरेशन" (diversity saturation) कहा। कल्पना कीजिए कि आप अपने दोस्तों से एक जार में जेलीबीन की संख्या का अनुमान लगाने के लिए कहते हैं। यदि आप दस लोगों से पूछते हैं, तो आपको दस अलग-अलग अनुमान मिल सकते हैं। लेकिन यदि आप सौ लोगों से पूछते हैं, तो आप पाएंगे कि उनमें से नब्बे लोग केवल ऐसे नंबरों का अनुमान लगा रहे हैं जो एक-दूसरे के बहुत करीब हैं क्योंकि उन सभी ने एक ही "स्पष्ट" (लेकिन गलत) सुराग देखा था। AI भी ऐसा ही कर रहा था: वह गलत रास्तों के एक ही कुछ संस्करणों को बार-बार उत्पन्न कर रहा था, जिससे उसकी मानसिक शक्ति नए समाधान खोजने के बजाय दोहराव में बर्बाद हो रही थी।
इसके ऊपर, "हैलुसिनेशन फ्लोर" (hallucination floor) भी था। भले ही AI गहराई में सही उत्तर जानता हो, लेकिन लिखते समय वह अनजाने में एक छोटी सी अंकगणितीय त्रुटि या तर्क की चूक का शिकार हो सकता है। चूंकि प्रत्येक अनुमान स्वतंत्र रूप से बनाया गया था, इसलिए प्रत्येक अनुमान के उसी तरह की गलती करने की संभावना समान थी। अधिक अनुमान मांगना मदद नहीं कर रहा था क्योंकि इसने उस ठोकर को ठीक नहीं किया; इसने केवल आपको और अधिक ठोकरें दीं।
समाधान: चौड़ाई और गहराई (Breadth and Depth)
लेखकों ने एक रणनीति विकसित की जिसे वे "ब्रेड्थ-डेप्थ रिफाइनमेंट" (Breadth-Depth Refinement) कहते हैं। इसे एक भूलभुलैया (maze) को खोजने जैसा समझें।
चौड़ाई (Breadth) एक विस्तृत जाल बिछाने के बारे में है। केवल एक रास्ता चलने के बजाय, AI कई अलग-अलग शुरुआती मार्ग (जिन्हें "रोलआउट्स" कहा जाता है) उत्पन्न करता है। यह सुनिश्चित करता है कि वे गलत विचारों के एक ही "इको चैंबर" में फंसे न रहें।
गहराई (Depth) असली जादू है। एक बार जब उनके पास ये विभिन्न मार्ग होते हैं, तो वे तुरंत सबसे अच्छे को नहीं चुनते। इसके बजाय, वे प्रत्येक मार्ग को सुधार के एक चक्र (loop) के माध्यम through भेजते हैं।
- जेनेरेटर (The Generator): AI समाधान का अगला भाग लिखता है।
- क्रिटिक (The Critic): AI रुकता है और एक सख्त संपादक की तरह कार्य करता है, जो अभी लिखे गए काम को पढ़ता है और कहता है, "रुको, यह गणित मेल नहीं खा रहा है," या "यह तर्क समझ में नहीं आ रहा है।"
- करैक्टर (The Corrector): AI, क्रिटिक की बात सुनता है और उस विशिष्ट त्रुटि को ठीक करने के लिए उस हिस्से को फिर से लिखता है।
वे इस चक्र को प्रत्येक मार्ग के लिए कुछ बार (जिसे "डेप्थ" कहा जाता है) दोहराते हैं। अंत में, वे सभी अब पॉलिश किए गए, स्वयं-सुधार किए गए उत्तरों को लेते हैं और उन्हें वोट करने देते हैं। जो उत्तर वोट जीतता है, वही अंतिम उत्तर होता है।
उन्होंने क्या पाया
टीम ने इस विचार का परीक्षण कुछ बहुत कठिन गणित प्रतियोगिताओं पर किया, जैसे कि AIME (अमेरिकन इनविटेशनल मैथमेटिक्स एग्जामिनेशन) और MATH500 डेटासेट। उन्होंने इसकी तुलना पुराने तरीकों से की: केवल एक बार अनुमान लगाना (Greedy), आठ बार अनुमान लगाकर वोट करना (Majority Voting), या आठ बार अनुमान लगाकर एक "शिक्षक" AI को विजेता चुनने देना (Verifier-based Best-of-N)।
परिणाम काफी उत्साहजनक थे। उनकी विधि ने अन्य सभी को लगातार पीछे छोड़ दिया। उदाहरण के लिए, जब उन्होंने Qwen2.5-1.5B नामक एक छोटे, कम शक्तिशाली AI मॉडल का उपयोग किया, तो पुराने "शिक्षक" तरीके ने MATH500 के लगभग 29.6% प्रश्नों को सही हल किया। लेकिन उनके नए "स्व-संपादन" (self-editing) तरीके के साथ, उसी मॉडल की सटीकता बढ़कर 58.0% हो गई। यह लगभग दोगुना है! AMC (अमेरिकन मैथमेटिक्स कॉम्पिटिशन) टेस्ट पर, वही छोटा मॉडल 25.0% से बढ़कर 32.5% हो गया।
बड़े, अधिक स्मार्ट मॉडलों के साथ भी, उनकी विधि ने स्कोर में सुधार किया, हालांकि बड़े मॉडलों के लिए लाभ थोड़ा कम था क्योंकि वे स्मार्ट मॉडल पहले से ही अपने आप में अच्छा काम कर रहे थे।
यह क्यों काम करता है (और यह अलग क्यों है)
मुख्य अंतर्दृष्टि यह है कि AI को यह बताने के लिए बाहरी शिक्षक की आवश्यकता नहीं है कि क्या गलत है। यदि आप इसे सही संरचना दें, तो यह अपनी गलतियों को पहचानना सीख सकता है। शोध पत्र सुझाव देता है कि "क्रिटिक" चरण महत्वपूर्ण है; जब उन्होंने उस हिस्से को हटा दिया जहाँ AI स्पष्ट रूप से अपने काम की आलोचना करता था, तो स्कोर गिर गया। यह पता चला कि केवल AI को "फिर से प्रयास करने" के लिए कहना पर्याप्त नहीं है; इसे यह बताने की आवश्यकता है कि क्या ठीक करना है।
साथ ही, यह तरीका "ट्रेनिंग-फ्री" (training-free) है। उन्हें AI को कुछ नया सिखाने या उसे खुद को सुधारने के हजारों उदाहरण दिखाने की आवश्यकता नहीं थी। उन्होंने बस परीक्षण के दौरान AI की मौजूदा मानसिक शक्ति का अधिक स्मार्ट तरीके से उपयोग किया।
ट्रेड-ऑफ (Trade-off)
हालाँकि, इसकी एक लागत भी है। इस तरीके में अधिक कंप्यूटर पावर और समय लगता है। क्योंकि AI को प्रत्येक समस्या के लिए कई बार उत्पन्न, आलोचना और पुन: लेखन करना पड़ता है, इसलिए यह केवल एक बार अनुमान लगाने की तुलना में अधिक "कंप्यूट" (कंप्यूटर के दिमाग की शक्ति का तकनीकी शब्द) का उपयोग करता है। हालाँकि, लेखकों ने गणना की कि यह अतिरिक्त काम करने के बदले में, सटीकता में सुधार वास्तव में सार्थक है, विशेष रूप से छोटे मॉडलों के लिए जो पहली बार में सही उत्तर पाने के लिए संघर्ष करते हैं।
अंत में, यह शोध पत्र सुझाव देता है कि जब हम चाहते हैं कि AI अधिक स्मार्ट बने, तो हमें केवल इसे और अधिक प्रयास करने या अधिक अनुमान लगाने के लिए नहीं कहना चाहिए। हमें इसे सोचने, अपने काम की जांच करने और हमें अंतिम उत्तर देने से पहले अपनी गलतियों को ठीक करने के लिए समय और संरचना देनी चाहिए। यह "अधिक बेहतर है" से "बेहतर (गुणवत्ता) बेहतर है" की ओर एक बदलाव है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।