SignalReasoner: Assessing the Upper Bound of 3B Models for Signal Mathematical Reasoning
यह शोध पत्र स्नातक-स्तरीय सिग्नल प्रोसेसिंग समस्याओं के लिए एक 3B Qwen2.5 मॉडल को अनुकूलित करने हेतु GRPO, GSPO और GMPO सहित सुदृढीकरण फाइन-ट्यूनिंग (reinforcement fine-tuning) रणनीतियों की जांच करता है, जो यह प्रदर्शित करता है कि डोमेन-विशिष्ट चेन-ऑफ-थॉट सुपरवाइज्ड फाइन-ट्यूनिंग को सुदृढीकरण शिक्षण (reinforcement learning) के साथ संयोजित करने से बेस मॉडल की तुलना में सटीकता में तीन गुना सुधार प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के विशाल परिदृश्य में, बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) उन समस्याओं को हल करने में उल्लेखनीय रूप से कुशल हो गए हैं जिनमें तार्किक चरणों की एक श्रृंखला की आवश्यकता होती है। पाठ की विशाल मात्रा पर प्रशिक्षित ये सिस्टम अब 'चेन-ऑफ-थॉट' (सोचने की श्रृंखला) रीजनिंग नामक प्रक्रिया का उपयोग करके जटिल गणित और विज्ञान के प्रश्नों को छोटे, प्रबंधनीय टुकड़ों में तोड़कर हल कर सकते हैं। हालाँकि, सामान्य बुद्धिमत्ता और विशिष्ट इंजीनियरिंग के बीच एक महत्वपूर्ण अंतर बना हुआ है। जबकि एक मॉडल एक मानक बीजगणित (अलजेब्रा) की समस्या को हल कर सकता है, वह अक्सर सिग्नल प्रोसेसिंग की विशिष्ट और कठोर मांगों के सामने लड़खड़ा जाता है—जो कि वायरलेस सिग्नल कैसे यात्रा करते हैं, बाधाओं से टकराते हैं और उपकरणों द्वारा कैसे पुनर्गठित किए जाते हैं, इसके पीछे का गणित है। इस क्षेत्र के लिए न केवल गणना की, बल्कि भौतिक नियमों और सिस्टम व्यवहारों की गहरी समझ की आवश्यकता होती है जो सामान्य मॉडल्स में शायद ही कभी होती है। शोधकर्ताओं के सामने प्रश्न यह है कि क्या इन शक्तिशाली लेकिन संक्षिप्त AI मॉडल्स को बिना दोबारा बनाए (रीबिल्ड) इस विशिष्ट डोमेन में महारत हासिल करने के लिए सिखाया जा सकता है।
एक शोधकर्ता ने Qwen2.5-3B नामक एक विशिष्ट, छोटे AI मॉडल का परीक्षण करके इसका उत्तर देने का प्रयास किया। अपने मामूली आकार के बावजूद, लक्ष्य यह देखना था कि क्या इसे 'WirelessMATHBench-XL' नामक एक विशेष संग्रह से स्नातक स्तर की समस्याओं को हल करने के लिए प्रशिक्षित किया जा सकता है। इस डेटासेट में हजारों कठिन प्रश्न शामिल हैं जो वास्तविक तकनीकी शोध पत्रों से लिए गए हैं, जो रेडियो तरंगों को कैसे निर्देशित किया जाए या संचार नेटवर्क में हस्तक्षेप (इंटरफेरेंस) को कैसे प्रबंधित किया जाए जैसे विषयों को कवर करते हैं। शोधकर्ता ने मॉडल को सिखाने के लिए दो अलग-अलग रास्तों का पता लगाया। पहले पथ में मॉडल को सीधे गहरे पानी में उतार दिया गया, जिसमें शुद्ध रूप से 'ट्रायल एंड एरर' (प्रयास और त्रुटि) के माध्यम से सीखने के लिए एक रिवॉर्ड सिस्टम (पुरस्कार प्रणाली) का उपयोग किया गया। दूसरा पथ अधिक संरचित था: पहले, उन्होंने मॉडल को विशेषज्ञों के चरण-दर-चरण तर्क की नकल करना सिखाया, और उसके बाद ही रिवॉर्ड-आधारित प्रशिक्षण लागू किया। उन्होंने तीन अलग-अलग लर्निंग एल्गोरिदम का परीक्षण किया ताकि यह देखा जा सके कि कौन सा मॉडल सुधारने में सबसे अधिक मदद करता है, जिसका उद्देश्य यह पता लगाना था कि एक सामान्य-उद्देश्य वाले AI को विशिष्ट सिग्नल-प्रोसेसिंग विशेषज्ञ में बदलने का सबसे कुशल तरीका क्या है।
परिणामों ने यह स्पष्ट किया कि ये मॉडल कैसे सीखते हैं। जब शोधकर्ता ने कच्चे, बिना प्रशिक्षित मॉडल के साथ शुरुआत की, तो वह केवल 12 प्रतिशत प्रश्नों का सही उत्तर दे सका। केवल रिवॉर्ड-आधारित प्रशिक्षण लागू करने के बाद, सटीकता काफी बढ़ गई, लेकिन मॉडल अभी भी सोचने का सबसे कुशल तरीका खोजने के लिए संघर्ष कर रहा था। सबसे सफल दृष्टिकोण दो-चरणीय विधि थी। पहले मॉडल को एक संरचित तर्क प्रारूप का पालन करना सिखाकर, और फिर रिवॉर्ड सिस्टम के साथ उसके कौशल को परिष्कृत करके, टीम ने एक नाटकीय सुधार हासिल किया। सबसे अच्छा संस्करण, जिसे एक विशिष्ट एल्गोरिदम के साथ प्रशिक्षित किया गया था जो स्थिरता और निरंतरता को प्राथमिकता देता है, ने 39.12 प्रतिशत की सटीकता प्राप्त की। यह शुरुआती बिंदु की तुलना में तीन गुना से अधिक का सुधार है, जो यह सिद्ध करता है कि यदि सही प्रशिक्षण आधार दिया जाए, तो एक छोटा मॉडल भी जटिल इंजीनियरिंग कार्यों को संभालने के लिए अनुकूलित किया जा सकता है।
दिलचस्प बात यह है कि इन समस्याओं को हल करने के लिए मॉडल के सीखने का तरीका एल्गोरिदम के उपयोग के आधार पर बदल गया। सबसे सफल एल्गोरिदम, जिन्होंने पूरे उत्तर का मूल्यांकन एक एकल इकाई के रूप में किया (न कि शब्द-दर-शब्द), ने मॉडल को आश्चर्यजनक रूप से संक्षिप्त बना दिया। जबकि शुरुआती प्रशिक्षण प्रयासों ने लंबे, विस्तृत विवरण उत्पन्न किए, इन अनुकूलित मॉडल्स ने अनावश्यक चरणों को हटाना और बहुत कम शब्दों के साथ उत्तर देना सीख लिया। वास्तव में, सबसे कुशल मॉडल्स ने कम कुशल मॉडल्स की तुलना में आधे से भी कम शब्दों का उपयोग किया, फिर भी उन्होंने उच्चतम स्कोर प्राप्त किया। यह सुझाव देता है कि मॉडल ने एक शॉर्टकट खोज लिया: उसने महसूस किया कि ग्रेडिंग सिस्टम केवल अंतिम उत्तर की परवाह करता है, न कि व्याख्या की लंबाई की। फलस्वरूप, उसने संक्षिप्त और सीधा होना सीखा, और उस विस्तृत "अपना काम दिखाएं" (शो योर वर्क) शैली का त्याग कर दिया जिसकी मनुष्य अक्सर अपेक्षा करते हैं, ताकि शुद्ध दक्षता प्राप्त की जा सके।
अध्ययन ने इन प्रणालियों को प्रशिक्षित करने के बारे में एक महत्वपूर्ण सबक भी उजागर किया। शोधकर्ता ने पाया कि यदि वे रिवॉर्ड-आधारित चरण में जाने से पहले प्रारंभिक उदाहरणों पर मॉडल को बहुत लंबे समय तक प्रशिक्षित करते हैं, तो मॉडल बहुत कठोर हो जाता है। उसने प्रशिक्षण डेटा के विशिष्ट पैटर्न को इतनी अच्छी तरह से याद कर लिया कि उसने नए, अनदेखे प्रश्नों को हल करने के लिए आवश्यक लचीलापन खो दिया। 'स्वीट स्पॉट' (इष्टतम बिंदु) तब मिला जब प्रारंभिक प्रशिक्षण को जल्दी रोक दिया गया, जिससे मॉडल को एक संकीर्ण सोच में फँसाए बिना पर्याप्त संरचना प्रदान करने के लिए पर्याप्त मार्गदर्शन मिला। इस संतुलन ने मॉडल को रिवॉर्ड से सीखने के लिए खुला रखा, जिससे अंततः सर्वश्रेष्ठ प्रदर्शन हुआ। यह कार्य प्रदर्शित करता है कि हालांकि छोटे मॉडल वास्तव में कठिन इंजीनियरिंग कार्यों में महारत हासिल कर सकते हैं, लेकिन प्रशिक्षण की विधि स्वयं डेटा जितनी ही महत्वपूर्ण है, और "सफलता" की परिभाषा लंबे, विस्तृत तर्क देने से बदलकर सटीक, संक्षिप्त उत्तर देने में बदल सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।