Surgical Post-Training: Proximal On-Policy Distillation for Reasoning with Knowledge Retention
यह शोध पत्र सर्जिकल पोस्ट-ट्रेनिंग (SPOT) का प्रस्ताव करता है, जो एक प्रॉक्सिमल ऑन-पॉलिसी डिस्टिलेशन फ्रेमवर्क है जो एलएलएम (LLM) की रीजनिंग क्षमताओं को कुशलतापूर्वक बढ़ाने और कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को प्रभावी ढंग से कम करने के लिए एक डेटा रेक्टिफिकेशन पाइपलाइन और एक केएल-कंस्ट्रेंड (KL-constrained) रिवॉर्ड ऑब्जेक्टिव का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली छात्र है, जिसे हम "Qwen" कह सकते हैं, जो पहले से ही गणित, लेखन और निर्देशों का पालन करने में बहुत अच्छा है। आप उसे कुछ नई, कठिन गणितीय तरकीबें सिखाना चाहते हैं।
समस्या यह है कि जब आप पारंपरिक तरीकों का उपयोग करके उसे ये नई तरकीबें सिखाने की कोशिश करते हैं, तो वह नई चीज़ों पर इतना ध्यान केंद्रित कर देता है कि वह वह सब कुछ भूल जाता है जो वह पहले से जानता था। यह ऐसा ही है जैसे आप किसी शेफ को एक नई रेसिपी सिखाने के लिए उसका इतना गहन अभ्यास करवाएं कि वह प्याज काटना या पानी उबालना भी भूल जाए। इसे "कैटास्ट्रोफिक फॉरगेटिंग" (catastrophic forgetting) कहा जाता है।
यह शोध पत्र इस समस्या को ठीक करने के लिए एक नया तरीका पेश करता है जिसे SPOT (सर्जिकल पोस्ट-ट्रेनिंग) कहा जाता है। इसे एक "सर्जिकल" दृष्टिकोण के रूप में समझें, न कि एक "सledgehammer" (भारी हथौड़े) वाले दृष्टिकोण के रूप में।
यह कैसे काम करता है, इसे तीन सरल चरणों में नीचे समझाया गया है:
1. "सर्जिकल" सुधार (डेटा पाइपलाइन)
आमतौर पर, जब हम AI को प्रशिक्षित करते हैं, तो या तो हम उसे आदर्श उत्तर दिखाते हैं (जिसे शायद वह तक पहुँचने का रास्ता नहीं जानता) या फिर उसे अनुमान लगाने देते हैं और उम्मीद करते हैं कि वह सही होगा (जो कि धीमा और अक्षम है)।
SPOT कुछ अलग करता है। यह AI को एक कठिन गणितीय समस्या हल करने के लिए कहता है।
- गलती: AI प्रयास करता है, लेकिन अपने तर्क के बीच में एक विशिष्ट त्रुटि करता है।
- सर्जन (द ओरकल): पूरे उत्तर को फेंक देने के बजाय, एक "सुपर-टीचर" (जैसे कि एक अधिक स्मार्ट AI, Gemini) उस गलती को देखता है। वह सर्जरी करता है। वह केवल गलत तर्क के छोटे से हिस्से को काटता है और उसमें सही तर्क को सिल देता है।
- परिणाम: अंतिम उत्तर छात्र के मूल प्रयास के लगभग समान दिखता है, बस उसका एक टूटा हुआ हिस्सा ठीक किया गया है। यह छात्र की "शैली" और "शब्दावली" को बरकरार रखता है, ताकि छात्र को ऐसा न लगे कि वह कोई पूरी तरह से विदेशी भाषा सीख रहा है।
2. "इलास्टिक टेदर" (पुरस्कार प्रणाली)
यही असली सफलता का मंत्र है। AI को सिखाते समय, शोधकर्ता एक विशेष गणितीय सूत्र (एक "रिवॉर्ड फंक्शन") का उपयोग करते हैं जो एक इलास्टिक टेदर (लचीली डोरी) या एक बंजी कॉर्ड की तरह काम करता है।
- पुराना तरीका (SFT): कल्पना कीजिए कि एक शिक्षक चिल्ला रहा है, "इसे बिल्कुल सही करो!" छात्र इतना प्रयास करता है कि वह घबरा जाता है और अपने पुराने कौशल भूल जाता है। वह डोरी को इतना खींच देता है कि वह टूट जाती है।
- SPOT का तरीका: "इलास्टिक टेदर" कहता है, "ठीक है, तुम सही उत्तर के करीब पहुँच रहे हो। बहुत अच्छे! लेकिन बहुत ज़ोर से मत खींचो।"
- यदि AI किसी चरण में पहले से ही काफी अच्छा है, तो टेदर ढीला हो जाता है, और शिक्षक उसे धक्का देना बंद कर देता है। यह AI को अत्यधिक सुधार करने और अपने पुराने ज्ञान को भूलने से रोकता है।
- यदि AI बहुत दूर है, तो टेदर उसे वापस लाने के लिए धीरे से खींचता है।
- उपमा: यह एक कुत्ते को प्रशिक्षित करने जैसा है। यदि कुत्ता पहले से ही "बैठना" जानता है, तो आपको हर बार जब वह बैठता है तो चिल्लाने की ज़रूरत नहीं है। आप केवल तभी इनाम देते हैं जब वह कुछ नया करता है या अपनी गलती सुधारता है। यह कुत्ते को खुश रखता है और उसे उसके पुराने करतब याद रखने में मदद करता है।
3. "बाइनरी स्विच" (ऑप्टिमाइज़ेशन ऑब्जेक्टिव)
अधिकांश AI प्रशिक्षण विधियाँ उत्तरों को रैंक करने की कोशिश करती हैं: "यह उत्तर उस उत्तर से बेहतर है।" शोध पत्र का तर्क है कि गणित के लिए यह बुरा है क्योंकि गणित राय के बारे में नहीं है; यह इस बारे बारे में है कि आप सही हैं या गलत।
- रैंकिंग की समस्या: यदि आप केवल कहते हैं "उत्तर A, उत्तर B से बेहतर है," तो AI केवल उत्तर B को बहुत बुरा दिखाने की कोशिश कर सकता है, बिना वास्तव में उत्तर A को बेहतर बनाए।
- SPOT का समाधान: वे एक सरल बाइनरी स्विच (जैसे कि लाइट स्विच) का उपयोग करते हैं।
- ON: "यह सुधारा गया उत्तर निश्चित रूप से सही है। इसे और चमकीला बनाएं!"
- OFF: "यह गलत उत्तर निश्चित रूप से गलत है। इसे बंद कर दें!"
- यह एक बहुत ही स्पष्ट संकेत बनाता है। यह AI को बताता है कि किसे सुदृढ़ करना है और किसे दबाना है, बिना "रैंकिंग" के भ्रम के।
परिणाम: क्या हुआ?
शोधकर्ताओं ने Qwen3-8B नामक मॉडल पर इसका परीक्षण किया।
- गति: उन्हें केवल 4,000 सुधारे गए गणित के प्रश्नों की आवश्यकता थी (AI मानकों के अनुसार यह बहुत कम है)।
- समय: शक्तिशाली कंप्यूटरों पर प्रशिक्षण में केवल 16 मिनट लगे।
- परिणाम: मॉडल गणित में काफी बेहतर हो गया (वह भी जो उसने प्रशिक्षण के दौरान देखा और जो नए, अनदेखे प्रकार के थे)। महत्वपूर्ण बात यह है कि इसने निर्देशों का पालन करने या अच्छी तरह से लिखने का अपना कौशल नहीं भुलाया।
- बोनस: क्योंकि मॉडल ने बिना भूले इतनी अच्छी तरह से सीखा, इसलिए यह बाद के और भी उन्नत प्रशिक्षण के लिए एक आदर्श "स्टार्टर" बन गया, जिससे प्रदर्शन की और भी उच्च सीमाएँ खुल गईं।
सारांश
SPOT एक मास्टर सर्जन की तरह है जो एक छात्र को सिखा रहा है। छात्र की पूरी पाठ्यपुस्तक को फिर से लिखने के बजाय (जिसके कारण वह सब कुछ भूल सकता है), सर्जन छात्र की गलतियों में सूक्ष्म, सटीक सुधार करता है। वे एक कोमल "टेदर" का उपयोग करते हैं ताकि यह सुनिश्चित हो सके कि छात्र अत्यधिक सुधार न करे, और एक सरल "ऑन/ऑफ" स्विच का उपयोग करते हैं ताकि छात्र को पता चल सके कि क्या सही है और क्या गलत। परिणाम एक स्मार्ट AI है जिसने अपनी पहचान नहीं खोई है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।