Weight-Space Geometry of Offline Reasoning Training
यह शोध पत्र एक Qwen3-4B मॉडल पर छह ऑफलाइन रीजनिंग ट्रेनिंग विधियों के वेट-स्पेस ज्योमेट्री का विश्लेषण करता है, जो यह प्रकट करता है कि जहाँ SFT, RFT और RIFT लगभग कोलीनियर अपडेट्स के साथ समान सटीकता की ओर अभिसरित होते हैं, वहीं DPO एक विशिष्ट, निकट-लंबवत (near-orthogonal) सबस्पेस अपनाता है जो GSM8K और AIME26 बेंचमार्क पर काफी बेहतर प्रदर्शन प्राप्त करता है, जबकि ऑफलाइन GRPO SFT लॉस बेसिन के भीतर रहते हुए भी एक पर्याप्त लंबवत घटक पेश करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, विशाल गणित का ट्यूटर (शिक्षक) है जो जटिल समस्याओं को हल कर सकता है। आप एक छोटे, सस्ते छात्र (छात्र) को उस शिक्षक की तरह सोचना सिखाना चाहते हैं। आप छात्र को शिक्षक के चरण-दर-चरण समाधानों (रोलआउट्स) को देते हैं और छात्र से उनसे सीखने के लिए कहते हैं।
यह शोध पत्र एक सरल लेकिन गहरा प्रश्न पूछता है: क्या इससे फर्क पड़ता है कि हम छात्र को सीखने के लिए कैसे कहते हैं?
कई अलग-अलग "शिक्षण सूत्र" (लॉस फंक्शन्स) हैं जिनका शोधकर्ता उपयोग करते हैं। कुछ कहते, "केवल सही उत्तरों को देखें।" कुछ कहते, "सभी उत्तरों को देखें, लेकिन अच्छे उत्तरों को अतिरिक्त क्रेडिट दें।" कुछ कहते, "अच्छे उत्तरों की तुलना बुरे उत्तरों से करें।"
लेखक यह जानना चाहते थे: क्या ये अलग-अलग सूत्र छात्र के मस्तिष्क (कंप्यूटर के वेट्स) को एक ही तरह से बदलते हैं, या वे पूरी तरह से अलग तरह के विचारक बनाते हैं?
यहाँ उनके निष्कर्षों का विवरण दिया गया, सरल उपमाओं का उपयोग करते हुए:
1. "नकलची" समूह (SFT, RFT, RIFT)
उपमा: कल्पना कीजिए कि तीन छात्र एक ड्राइंग की नकल करने की कोशिश कर रहे हैं।
- छात्र A हर एक रेखा की नकल करता है।
- छात्र B केवल उन्हीं रेखाओं की नकल करता है जो एकदम सटीक हैं।
- छात्र C हर रेखा की नकल करता है, लेकिन सटीक रेखाओं को थोड़ा गहरा बनाता है।
निष्कर्ष: भले ही वे थोड़े अलग नियमों का उपयोग करते हैं, वे सभी लगभग एक ही चित्र बना लेते हैं।
- गणितीय रूप से, उनके मस्तिष्क में परिवर्तन लगभग समान हैं (97% समान)।
- वे गणित के परीक्षणों पर लगभग एक ही स्कोर प्राप्त करते हैं (लगभग 87-88%)।
- टेकअवे: यदि आप केवल चाहते हैं कि छात्र शिक्षक के तर्क की नकल करे, तो इससे बहुत फर्क नहीं पड़ता कि आप इनमें से किस विशिष्ट सूत्र का उपयोग करते हैं। वे प्रभावी रूप से एक ही काम कर रहे हैं।
2. "स्व-समायोजक" (DFT)
उपमा: यह छात्र उसी कागज का उपयोग करता है जिसका उपयोग छात्र A करता है, लेकिन उसकी एक अजीब आदत है: वह अपने आप पेन को हल्का कर देता है जब वह आत्मविश्वासी होता है और जब वह अनिश्चित होता है तो उसे गहरा कर देता है।
निष्कर्ष: यह छोटा सा बदलाव ड्राइंग की दिशा को महत्वपूर्ण रूप से बदल देता है। छात्र का मस्तिष्क इस तरह से बदलता है जो "नकलची" समूह से बहुत अलग है, भले ही उन्होंने उन्हें मार्गदर्शन देने के लिए किसी "रिवॉर्ड" स्कोर का उपयोग नहीं किया हो। यह एक अनूचा रास्ता है, लेकिन यह जरूरी नहीं कि बेहतर स्कोर की ओर ले जाए।
3. "साइड-स्टेप" (Offline GRPO)
उपमा: यह छात्र शिक्षक के काम को देखता है लेकिन एक बड़ा कदम बगल की ओर (side-step) लेने का निर्णय लेता है। वे अभी भी उसी सामान्य पड़ोस (लॉस बेसिन) में रहते हैं, लेकिन वे एक अलग रास्ते पर चल रहे हैं।
निष्कर्ष: यह विधि छात्र के मस्तिष्क को एक ऐसी दिशा में धकेलती है जो "नकलची" समूह से 67% भिन्न है। मस्तिष्क की बाद की परतों (अंतिम विचारों) में, यह अंतर बढ़कर लगभग 86% हो जाता है।
- हालाँकि, वे अभी भी एक समान टेस्ट स्कोर (लगभग 87%) प्राप्त करते हैं।
- टेकअवे: यह विधि एक नया दिशा तलाशती है, लेकिन यह नकलचियों की तुलना में सटीकता के मामले में कोई "सुपरपावर" अनलॉक करती हुई प्रतीत नहीं होती है।
4. "आउटलायर" (DPO)
उपमा: जबकि बाकी सभी एक ही कमरे में एक ही कागज पर ड्राइंग बना रहे हैं, यह छात्र एक पूरी तरह से अलग कैनवास पर, एक अलग कमरे में, पूरी तरह से अलग शैली का उपयोग करके ड्राइंग बना रहा है।
निष्कर्ष:
- ज्यामिति (Geometry): इस छात्र के मस्तिष्क में परिवर्तन बाकी सभी से लगभग 90 डिग्री (ऑर्थोगोनल) है। वे मौलिक रूप से अलग काम कर रहे हैं।
- बाधा: यदि आप इस छात्र के मस्तिष्क को नकलची के मस्तिष्क के साथ मिलाने (एक लीनियर इंटरपोलेशन) की कोशिश करेंगे, तो परिणाम टूट जाएगा। वे समाधानों के अलग "ब्रह्मांडों" में हैं।
- स्कोर: इतना अलग होने के बावजूद, इस छात्र ने सबसे अधिक स्कोर (गणित में 93.5%, कठिन पहेलियों में 30%) प्राप्त किया।
- कैच (Catch): इस छात्र को 10 गुना कम लर्निंग रेट के साथ प्रशिक्षित किया गया था (उन्होंने बहुत छोटे, अधिक सावधानीपूर्ण कदम उठाए)। लेखक चेतावनी देते हैं कि हम 100% निश्चित नहीं हो सकते कि उच्च स्कोर सूत्र के कारण है या केवल इसलिए क्योंकि उन्होंने छोटे, अधिक सटीक कदम उठाए।
5. "लाइव बनाम रिकॉर्डेड" का सरप्राइज
शोध पत्र ने यह भी देखा कि क्या होता है जब छात्र लाइव अभ्यास (Online) से सीखता है बनाम रिकॉर्डेड अभ्यास (Offline) से।
- ऑफलाइन: रिकॉर्ड किए गए शिक्षक के उत्तरों के एक निश्चित सेट से सीखते समय, "साइड-स्टेप" छात्र (Offline GRPO) नकलचियों के काफी करीब रहता है।
- ऑनलाइन: जब छात्र अपने खुद के अभ्यास प्रश्न उत्पन्न करता है (Online GRPO), तो वे नकलचियों से पूरी तरह से ऑर्थोगोनल (बिल्कुल अलग) हो जाते हैं।
- निष्कर्ष: यह तथ्य कि "ऑफलाइन" विधियाँ नकलचियों के समान दिखती हैं, आंशिक रूप से इसलिए है क्योंकि वे सभी शिक्षक के ठीक उसी निश्चित सेट के उत्तरों को देख रहे हैं। यदि आप उन्हें अपना अभ्यास उत्पन्न करने देते हैं, तो वे बहुत अलग हो जाते हैं।
सारांश
- अधिकांश विधियाँ (SFT, RFT, RIFT) केवल "शिक्षक की नकल करो" कहने के अलग-अलग तरीके हैं। वे एक ही तरह की मस्तिष्क संरचना और समान स्कोर का परिणाम देती हैं।
- DPO आउटलायर है। यह एक पूरी तरह से अलग मस्तिष्क संरचना बनाता है। यह सबसे अच्छे स्कोर प्राप्त करता है, लेकिन यह एक बहुत ही विशिष्ट, सतर्क प्रशिक्षण शैली (छोटा लर्निंग रेट) के साथ ऐसा करता है जो इसे दूसरों के साथ सीधे तुलना करने के लिए कठिन बनाता है।
- "ऑफलाइन" प्रकृति प्रशिक्षण डेटा की एक प्रमुख वजह है जिसके कारण इनमें से कई विधियाँ एक-दूसरे के समान दिखाई देती हैं।
यह शोध पत्र अनिवार्य रूप से इन शिक्षण विधियों के "भूगोल" का मानचित्र बनाता है, यह दिखाता है कि कौन से पड़ोसी हैं और कौन से अलग ग्रहों पर रह रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।