Provable Benefits of RLVR over SFT for Reasoning Models: Learning to Backtrack Efficiently
यह शोध पत्र सैद्धांतिक रूप से सिद्ध करता है कि वेरिफिएबल रिवॉर्ड्स के साथ रिइन्फोर्समेंट लर्निंग (RLVR), रीजनिंग कार्यों में सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) से बेहतर प्रदर्शन करती है, क्योंकि यह मॉडल्स को डेड एंड्स (dead ends) से बैकट्रैकिंग कुशलतापूर्वक सीखने में सक्षम बनाती है, जिससे इन्फरेंस-टाइम कंप्यूट लागत में घातांकीय कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) सुलझाना सिखा रहे हैं। भूलभुलैया में एक शुरुआती बिंदु है, रास्ते में एक मोड़ (fork in the road) है, और फिर कई लंबे, घुमावदार रास्ते (branches) हैं। केवल एक रास्ता खजाने की ओर ले जाता है (सही उत्तर); अन्य रास्ते बंद गलियां (dead ends) हैं।
यह शोध पत्र इस बात की तुलना करता है कि दो अलग-अलग तरीकों से इस रोबोट को भूलभुलैया में नेविगेट करना सिखाया जा सकता है: सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR)।
दो शिक्षक
1. "परफेक्ट गाइड" शिक्षक (SFT)
कल्पना कीजिए कि एक शिक्षक केवल रोबोट को किसी व्यक्ति द्वारा भूलभुलैया को पूरी तरह से हल करने का वीडियो दिखाता है। रोबोट उस गाइड को देखते हुए सीखता है जो शुरुआत से खजाने तक बिल्कुल सीधा चलता है, कभी गलती नहीं करता, कभी पीछे नहीं मुड़ता, और कभी भी गलत रास्ते पर नहीं टकराता।
- परिणाम: रोबोट गाइड की नकल करना सीख जाता है। उसे पता है कि उसे ठीक किस दिशा में जाना है यदि वह सही रास्ते पर है।
- समस्या: रोबोट ने कभी यह नहीं देखा कि गलत मोड़ लेने पर क्या होता है। उसे यह नहीं पता कि बंद गली (dead end) से बाहर कैसे निकलना है। यदि वह गलती से गलत रास्ते पर कदम रख देता है, तो वह तब तक आगे बढ़ता रहता है जब तक कि वह दीवार से न टकरा जाए, फिर वह भ्रमित हो जाता है और बाहर निकलने का रास्ता खोजने के लिए बिना सोचे-समझे भटकने लगता है। उसे कुशलतापूर्वक "पीछे मुड़ने" (backtrack) का तरीका नहीं पता।
2. "गलती और सुधार" वाला शिक्षक (RLVR)
कल्पना कीजिए कि एक शिक्षक रोबोट को खुद भूलभुलैया हल करने की कोशिश करने देता है। हर बार जब रोबोट अपना काम पूरा करता है, तो शिक्षक उसे एक स्कोर देता है: "बहुत अच्छा काम अगर आपने खजाना जल्दी ढूंढ लिया! बुरा स्कोर अगर आप भटक गए या बहुत अधिक समय लिया।"
- परिणाम: रोबोट कई रास्तों को आजमाता है। कभी-कभी वह सही रास्ता चुन लेता है। कभी-कभी वह गलत रास्ता चुनता है, एक बंद गली में फंस जाता है, और महसूस करता है, "ओह नहीं, मैं फंस गया हूँ।" क्योंकि उसे समय बर्बाद करने के लिए बुरा स्कोर मिलता है, इसलिए वह एक महत्वपूर्ण कौशल सीखता है: कैसे जल्दी से वापस मुड़कर आया जा सके।
- लाभ: रोबोट न केवल सही रास्ता सीखता है, बल्कि यह भी सीखता है कि गलत रास्ते से कुशलतापूर्वक कैसे पीछे हटें और दूसरा रास्ता आजमाएं।
बड़ी खोज: "बैकट्रैकिंग" का अंतर
यह शोध पत्र गणितीय रूप से सिद्ध करता है कि इन दोनों रोबोटों के बीच का अंतर बहुत बड़ा है, खासकर जब भूलभुलैया गहरी होती जाती है।
- SFT रोबोट (गाइड का छात्र): यदि यह गलत शाखा (branch) चुन लेता है, तो यह फंस जाता है। यह गलत शाखा में बहुत लंबे समय तक इधर-उधर भटकता रहता है जब तक कि यह अंततः हार मानकर वापस मुख्य मोड़ पर जाने की कोशिश नहीं करता। जैसे-जैसे भूलभुलैया गहरी होती जाती है, इसके द्वारा बर्बाद किया गया समय घातीय (exponentially) रूप से बढ़ता जाता है। यह ऐसा है जैसे हर बार गलत जगह चुनने पर पूरे घास के ढेर (haystack) को खोदकर खोजना।
- RLVR रोबोट (प्रयास करने वाला छात्र): क्योंकि इसने कुशलतापूर्वक बैकट्रैक करना सीख लिया है, इसे एहसास होता है कि यह गलत शाखा पर है, यह तुरंत पीछे मुड़ता है और अगली शाखा को आजमाता है। खजाना खोजने में इसका समय भूलभुलैया के आकार के साथ रैखिक (linearly) (धीरे-धीरे और निरंतर) बढ़ता है।
उपमा (Analogy):
कल्पना कीजिए कि आप 100 गलियों वाले पुस्तकालय में एक विशिष्ट पुस्तक खोज रहे हैं।
- SFT रोबोट उस व्यक्ति की तरह है जिसे केवल सही गली का नक्शा दिखाया गया था। यदि वह गलती से गलत गली में चला जाता है, तो वह तब तक चलता रहता है जब तक कि वह गली के बिल्कुल अंत तक नहीं पहुँच जाता, फिर उसे एहसास होता है कि वह खो गया है, और फिर उसे अगली गली आज़माने के लिए वापस सामने तक चलना पड़ता है। वह बहुत सारा समय बर्बाद करता है।
- RLVR रोबोट उस व्यक्ति की तरह है जो पहले पुस्तकालय में रह चुका है और जानता है कि यदि उसे कुछ कदमों के बाद किताब नहीं दिखती है, तो उसे तुरंत पीछे मुड़कर अगली गली आज़मानी चाहिए। वह किताब बहुत तेज़ी से ढूंढ लेता है।
"डिस्टिलेशन" का मोड़
शोध पत्र ने एक चतुर समाधान भी खोजा है। यदि आप RLVR रोबोट (जिसने बैकट्रैक करना सीखा है) की पूरी यात्रा रिकॉर्ड करते हैं—जिसमें वे सभी समय भी शामिल हैं जब वह फंस गया था और उससे कैसे निकला—तो आप उन रिकॉर्डिंग्स का उपयोग करके एक नए रोबोट को "परफेक्ट गाइड" विधि (SFT) का उपयोग करके सिखा सकते हैं।
नए रोबोट को स्मार्ट रोबोट की पूरी कहानी दिखाने से (जिसमें उसकी गलतियाँ और उनसे उबरना भी शामिल है), वह भी कुशलतापूर्वक बैकट्रैक करना सीख जाता है। यह एक ऐसे छात्र के नोट्स लेने जैसा है जिसने असफल होकर सीखा है और उन नोट्स को एक नए छात्र को देना; नया छात्र बिना खुद असफल हुए ही सबक सीख जाता है।
दावों का सारांश
- SFT (केवल आदर्श उदाहरणों से सीखना) मॉडल को गलतियों से कुशलतापूर्वक उबरना नहीं सिखा पाता है। जब मॉडल गलत मोड़ लेता है, तो यह घातीय धीमी गति की ओर ले जाता है।
- RLVR (पुरस्कारों और विफलताओं से सीखना) मॉडल को कुशलतापूर्वक बैकट्रैक करना सिखाता है। यह रैखिक गति की ओर ले जाता है, जो बहुत तेज़ है।
- डिस्टिलेशन (एक RLVR मॉडल के सफल ट्रेसेस का उपयोग करके मॉडल को सिखाना) इस कुशल बैकट्रैकिंग क्षमता को एक नए मॉडल में स्थानांतरित कर सकता है।
यह शोध पत्र यह दावा नहीं करता है कि यह चिकित्सा निदान, स्वायत्त कारों या विशिष्ट भविष्य की तकनीकों पर लागू होता है; यह सख्ती से पथ-खोज (pathfinding) के रूप में मॉडल किए गए तार्किक तर्क कार्यों के लिए एक गणितीय प्रमाण पर केंद्रित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।