How Much Backtracking is Enough? Exploring the Interplay of SFT and RL in Enhancing LLM Reasoning
यह शोध पत्र यह प्रदर्शित करता है कि बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडेल्स) में सुदृढ़ीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) को अनुकूलित करने के लिए सुपरवाइज्ड फाइन-ट्यूनिंग वॉर्म-अप चरण में बैकट्रैकिंग को स्पष्ट रूप से शामिल करना आवश्यक है, जिसमें प्रभावी गैर-रेखीय ट्री सर्च रीजनिंग को सक्षम करने के लिए बैकट्रैकिंग की इष्टतम गहराई कार्य की कठिनाई के साथ सीधे स्केल करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) सुलझाना सिखा रहे हैं। पुराने दिनों में, आप बस रोबोट को कह सकते थे, "दीवार से टकराने तक आगे बढ़ो, फिर दाएं मुड़ जाओ।" यह सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) की तरह है: आप रोबोट को इसे करने का एक आदर्श उदाहरण दिखाते हैं, और वह आपकी नकल करने की कोशिश करता है। लेकिन क्या होगा अगर भूलभुलैया एक विशाल, घुमावदार चक्रव्यूह हो जहाँ "सही" रास्ता स्पष्ट न हो? रोबोट किसी डेड एंड (बंद रास्ते) में जा सकता है, चलता रह सकता है, और फंस सकता है।
इसे ठीक करने के लिए, वैज्ञानिकों ने रीइन्फोर्समेंट लर्निंग (RL) का उपयोग करना शुरू किया। इसे एक वीडियो गेम कोच की तरह समझें। रोबभोट भूलभुलैया सुलझाने की कोशिश करता है, और यदि वह सही उत्तर पाता है, तो कोच उसे 'हाई-फाइव' देता है (एक इनाम)। यदि वह विफल होता है, तो कोच कहता है, "फिर से कोशिश करो।" समय के साथ, रोबोट अलग-अलग रास्तों को तलाशना सीखता है, कभी-कभी पीछे हटने (backtracking) की भी कोशिश करता है जब उसे एहसास होता है कि वह गलत दिशा में जा रहा है। हाल ही में, हमने देखा है कि रोबोट इसमें अविश्वसनीय रूप से कुशल हो गए हैं, लेकिन शोधकर्ता हैरान थे: रोबोट वास्तव में "बैकट्रैक" करना कैसे सीखता है? क्या यह सिर्फ एक तुक्का है, या प्रशिक्षण में कोई गुप्त सामग्री है जो इसे यह कहने के लिए सिखाती है कि, "रुको, मैंने गलती की, चलो वापस चलते हैं"? यह प्रश्न महत्वपूर्ण है क्योंकि यदि हम इन दिमागों को प्रशिक्षित करने का सटीक नुस्खा खोज लेते हैं, तो हम उन्हें जटिल गणित, तर्क पहेलियों से लेकर बहुत कठिन समस्याओं को हल करने के योग्य बना सकते हैं, बिना उनके पूरी तरह से भटक जाने के।
यह शोध पत्र, जिसका शीर्षक है "कितना बैकट्रैकिंग पर्याप्त है?", ठीक उसी रहस्य की गहराई में जाता है। लेखक, जो ड्यूक यूनिवर्सिटी और मिला (Mila) की एक टीम है, तर्क संबंधी कार्यों पर AI को प्रशिक्षित करने के लिए "गोल्डिलॉक्स" ज़ोन (एक आदर्श स्थिति) की तलाश कर रहे थे। उन्होंने पूछा: रीइन्फोर्समेंट लर्निंग का खेल शुरू करने से पहले हमें AI को कितनी "बैकट्रैकिंग" (गलती का एहसास होने पर वापस जाने की क्रिया) दिखानी चाहिए?
उन्होंने अपने विचारों का परीक्षण आठ अलग-अलग प्रकार के तर्क वाले खेलों पर किया, जिसमें "Arc 1D" (ग्रिड में पैटर्न पहचानना) जैसे आसान से लेकर "Countdown" (संख्याओं को लक्ष्य तक जोड़ने) जैसे मध्यम और "Sudoku" (ग्रिड में संख्याएं भरना) जैसे अत्यंत कठिन खेल शामिल थे।
यहाँ उन्होंने क्या खोजा, एक मजेदार उपमा का उपयोग करते हुए: AI को प्रशिक्षित करना एक हाइकर (पगडंडी यात्री) को जंगल में रास्ता दिखाना सिखाने जैसा है।
"बस चलो" वाला दृष्टिकोण (शुद्ध RL)
सबसे पहले, उन्होंने हाइकर (AI) को बिना किसी मानचित्र और बिना किसी अभ्यास के जंगल में भेज दिया, बस उन्हें ट्रायल और एरर (गलती और सुधार) से सीखने दिया (Pure RL)।
- परिणाम: हाइकर सीधा चलना सीख गया और कभी-कभी समाधान तक भी पहुँच गया। लेकिन वास्तव में घने और पेचीदा जंगलों (जैसे सुडोकू) के लिए, हाइकर बस गोल-गोल घूमता रहता या फंस जाता। वे यह नहीं समझ पाते कि डेड एंड आने पर वापस कैसे मुड़ना है।
"नक्शा कॉपी करो" वाला दृष्टिकोण (मानक SFT)
इसके बाद, उन्होंने हाइकर को एक सफल यात्रा का नक्शा दिया (Self-sampled SFT)। उन्होंने RL प्रशिक्षण शुरू होने से पहले AI को उसके द्वारा बनाए गए रास्तों पर अभ्यास करने दिया।
- परिणाम: इससे थोड़ी मदद मिली! हाइकर चलने में थोड़ा बेहतर हो गया। लेकिन सबसे कठिन जंगलों के लिए, यह पर्याप्त नहीं था। हाइकर को अभी भी यह नहीं पता था कि रास्ता भटकने पर क्या करना है। यह ऐसा था जैसे किसी हाइकर को एक सरल पथ का नक्शा देना, और फिर उसे जंगल में छोड़ देना।
"वापस मुड़ना सीखो" वाला दृष्टिकोण (सिंथेटिक बैकट्रैकिंग)
यहीं पर जादू हुआ। शोधकर्ताओं ने महसूस किया कि रहस्य केवल AI को एक सही रास्ता दिखाने में नहीं था, बल्कि उसे एक ऐसा रास्ता दिखाने में था जहाँ AI गलती करता है, उसे पहचानता है, और वापस जाता है। उन्होंने "सिंथेटिक" प्रशिक्षण डेटा बनाया जहाँ AI को इस विशिष्ट कौशल का अभ्यास करने के लिए मजबूर किया गया:
- एक रास्ते पर जाओ।
- महसूस करो कि यह गलत है।
- "रुको!" कहो और पिछले सुरक्षित स्थान पर वापस जाओ।
- एक अलग रास्ता आजमाओ।
उन्होंने इस अभ्यास के विभिन्न "डेप्थ" (गहराई) का परीक्षण किया:
- आसान जंगल के लिए (Arc 1D): हाइकर को वापस मुड़ने का अभ्यास करने की बिल्कुल आवश्यकता नहीं थी। वास्तव में, उन्हें बैकट्रैक करना सिखाने से वे धीमे हो गए! सबसे अच्छी रणनीति केवल उन्हें एकदम सीधा और सही रास्ता दिखाना था। शून्य बैकट्रैक (Zero backtracks) विजेता रहा।
- मध्यम जंगल के लिए (Countdown): हाइकर को केवल एक बार वापस मुड़ने का अभ्यास करने की आवश्यकता थी। उन्हें यह सीखने की जरूरत थी कि यदि कोई गणितीय गणना अजीब लग रही है, तो उन्हें रुकना चाहिए और एक अलग संयोजन आज़माना चाहिए। एक बैकट्रैक ही सबसे सटीक था।
- अत्यंत कठिन जंगल के लिए (Sudoku): हाइकर को पाँच या अधिक बार वापस मुड़ने का अभ्यास करने की आवश्यकता थी। ये पहेलियाँ इतनी जटिल हैं कि समाधान खोजने के लिए आपको अपने काम को कई बार वापस लेने (undo) के लिए तैयार रहना पड़ता है। यदि आपने उन्हें केवल एक बार बैकट्रैक करना सिखाया, तो वे अभी भी फंस जाएंगे।
मुख्य निष्कर्ष
शोध पत्र ने पाया कि "एक ही नियम सब पर लागू नहीं होता" (one size does not fit all)।
- यदि आप किसी आसान कार्य पर AI को बहुत अधिक बैकट्रैक करना सिखाते हैं, तो वह भ्रमित हो जाता है और खराब प्रदर्शन करता है।
- यदि आप उसे कठिन कार्य पर पर्याप्त बैकट्रैक करना नहीं सिखाते हैं, तो वह हार मान लेता है।
- बैकट्रैकिंग की "परफेक्ट" मात्रा पूरी तरह से इस बात पर निर्भर करती है कि पहेली कितनी कठिन है।
उन्होंने एक आश्चर्यजनक बात भी खोजी: इससे कोई फर्क नहीं पड़ता कि अभ्यास का नक्शा गलत है, जब तक कि उसमें "बैकट्रैकिंग" का ढांचा मौजूद है। भले ही उन्होंने AI को एक ऐसा रास्ता दिखाया जो गलतियों से भरा था लेकिन जिसमें "रुको, चलो वापस चलते हैं" वाले चरण शामिल थे, फिर भी AI ने पहेली को बेहतर ढंग से हल करना सीखा, बजाय इसके कि वे उसे केवल एक सीधी रेखा दिखाते। यह एक बच्चे को साइकिल चलाना सिखाने जैसा है—उसे गिरने और फिर से उठने देने से, बजाय इसके कि आप उसे किसी के एकदम सही तरीके से साइकिल चलाने का वीडियो दिखाएं। गिरने से उबरने की क्रिया ही वह चीज़ है जो मांसपेशियों की स्मृति (muscle memory) बनाती है।
अंत में, लेखक सुझाव देते हैं कि AI को जटिल तर्क में वास्तव में स्मार्ट बनाने के लिए, हमें केवल उन्हें उत्तर दिखाना बंद करना होगा और उन्हें अपनी गलतियों से उबरना सिखाना शुरू करना होगा। कार्य की कठिनाई के अनुसार "बैकट्रैकिंग" के नॉब (knob) को ट्यून करके, हम बुद्धिमत्ता के एक बहुत उच्च स्तर को अनलॉक कर सकते हैं, जिससे छोटे मॉडल भी उन पहेलियों को हल कर पाएंगे जिनके लिए पहले विशाल, सुपर-शक्तिशाली कंप्यूटरों की आवश्यकता होती थी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।