Towards Active Synthetic Data Generation for Finetuning Language Models
यह शोध पत्र लैंग्वेज मॉडल्स को फाइनट्यून करने के लिए सिंथेटिक डेटा जनरेशन के एक इटरेटिव, क्लोज्ड-लूप दृष्टिकोण का समर्थन और सत्यापन करता है, यह प्रदर्शित करते हुए कि स्टूडेंट की वर्तमान स्थिति के आधार पर टीचर-जेनरेटेड सैंपल्स को क्यूरेट करने के लिए सरल एक्टिव लर्निंग मानदंडों का उपयोग करना स्टेटिक जनरेशन विधियों की तुलना में बेहतर प्रदर्शन प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छोटे छात्र (एक Small Language Model) को जटिल गणितीय समस्याओं या तार्किक पहेलियों को हल करना सिखाने की कोशिश कर रहे हैं। आपके पास एक अत्यंत बुद्धिमान, विश्व प्रसिद्ध प्रोफेसर (एक Large Language Model) है जो उत्तर जानता है, लेकिन उन्हें काम पर रखना महंगा है और वे बहुत धीरे काम करते हैं।
परंपरागत रूप से, लोग छात्र को सिखाने के लिए प्रोफेसर से एक साथ 10,000 अभ्यास प्रश्नों की एक विशाल पाठ्यपुस्तक लिखने के लिए कहते हैं, और फिर वह पुस्तक छात्र को अध्ययन के लिए दे देते हैं। समस्या यह है कि प्रोफेसर उन आसान प्रश्नों को लिखने में समय बर्बाद करते हैं जिन्हें छात्र पहले से ही जानता है, और छात्र उबाऊ या अत्यधिक सामग्री से अभिभूत हो जाता है।
यह शोध पत्र सीखने के एक स्मार्ट, अधिक संवादात्मक तरीके का प्रस्ताव करता है: "एक्टिव ट्यूटर" (Active Tutor) लूप।
मुख्य विचार: एक फीडबैक लूप
प्रोफेसर से पहले से ही पूरी किताब लिखवाने के बजाय, आप एक क्लोज्ड-लूप सिस्टम का उपयोग करते हैं:
- परीक्षण (The Test): आप छात्र को एक छोटे "सीड" (seed) सूची से कुछ अभ्यास प्रश्न देते हैं।
- संघर्ष (The Struggle): आप देखते हैं कि छात्र कहाँ लड़खड़ाता है। आप केवल यह नहीं देखते कि उन्होंने क्या गलत किया; आप यह भी मापते हैं कि उनके लिए वह कितना कठिन था। यदि वे संघर्ष कर रहे थे, तो वह प्रश्न "उच्च मूल्य" वाला है।
- अनुरोध (The Request): आप उन विशिष्ट "संघर्ष वाले" प्रश्नों को लेते हैं और प्रोफेसर से कहते हैं: "कृपया इन विशिष्ट प्रश्नों के आधार पर नए, मिलते-जुलते प्रश्न लिखें।"
- पाठ (The Lesson): छात्र इन नए, लक्षित प्रश्नों का अध्ययन करता है।
- दोहराव (Repeat): आप छात्र का फिर से परीक्षण करते हैं, उन नए क्षेत्रों को पाते हैं जहाँ वे संघर्ष करते हैं, और उनसे और अधिक विशिष्ट सहायता मांगते हैं।
यह शोध पत्र तर्क देता है कि यह पुनरावृत्ति, छात्र-निर्देशित दृष्टिकोण एक बार में एक विशाल डेटासेट बनाने के "स्थिर" (static) तरीके की तुलना में बहुत अधिक कुशल है।
बड़ी खोज: इसे सरल रखें
शोधकर्ताओं ने यह तय करने के कई तरीकों का परीक्षण किया कि प्रोफेसर को कौन से प्रश्न भेजने हैं। उन्हें उम्मीद थी कि प्रश्नों की कठिनाई का निर्णय लेने के लिए सुपर-स्मार्ट प्रोफेसर का उपयोग करना (एक "जज" के रूप में कार्य करना) सबसे अच्छा तरीका होगा।
आश्चर्यजनक रूप से, ऐसा नहीं था।
- महंगा जज (The Expensive Judge): प्रोफेसर से छात्र के उत्तरों को ग्रेड करने के लिए कहना बहुत अधिक कंप्यूटिंग शक्ति और समय लेता था। यह अक्सर खराब प्रदर्शन करता था, विशेष रूप से उन कठिन कार्यों पर जिनसे प्रोफेसर परिचित नहीं थे।
- सरल मीट्रिक (The Simple Metric): सबसे अच्छा तरीका सबसे सरल था: बस छात्र के अपने भ्रम को देखें। यदि छात्र का आंतरिक "लॉस" (loss - एक गणितीय माप कि वे कितने अनिश्चित हैं) अधिक है, तो वह प्रोफेसर को भेजने के लिए एक अच्छा प्रश्न है।
उपमा (Analogy): एक कोच खिलाड़ी को देख रहा है।
- महंगा जज: कोच एक खिलाड़ी को देखने के लिए एक प्रसिद्ध खेल विश्लेषक को बुलाता है और सुधार के लिए क्या करना है, इस पर 5 पन्नों की रिपोर्ट लिखता है।
- सरल मीट्रिक: कोच बस खिलाड़ी को शॉट मिस करते हुए देखता है। "ठीक है, यह कठिन था। चलिए उस विशिष्ट चाल का अभ्यास करते हैं।" शोध पत्र ने पाया कि कोच का सरल अवलोकन तेज़, सस्ता और उतना ही प्रभावी था।
"स्टीयरिंग" (Steering) प्रभाव
शोध पत्र ने नए प्रश्नों की गुणवत्ता के बारे में कुछ दिलचस्प भी खोजा। प्रोफेसर द्वारा उत्पन्न किए गए नए प्रश्न पुराने प्रश्नों के "व्यक्तित्व" को विरासत में प्राप्त करते हैं।
- यदि आप प्रोफेसर से उन आसान प्रश्नों के आधार पर प्रश्न बनाने के लिए कहते हैं जिन्हें छात्र ने सही हल किया है, तो नए प्रश्न भी आसान होंगे।
- यदि आप उन्हें उन कठिन प्रश्नों के आधार पर बनाने के लिए कहते हैं जिन्हें छात्र ने गलत किया है, तो नए प्रश्न भी कठिन होंगे।
इसका अर्थ है कि छात्र प्रभावी रूप से सीखने की प्रक्रिया को "स्टीयर" (नियंत्रित) कर सकता है। कठिन से कठिन प्रश्न चुनकर, वे प्रोफेसर को एक ऐसा पाठ्यक्रम तैयार करने के लिए मजबूर करते हैं जो छात्र की सीमाओं को चुनौती देने के लिए पूरी तरह से अनुकूलित हो, न कि केवल रैंडम शोर (random noise) उत्पन्न करे।
निचोड़ (The Bottom Line)
समय और पैसे (कंप्यूटिंग पावर) के एक निश्चित बजट के लिए:
- एक साथ प्रश्नों का एक विशाल, स्थिर डेटासेट बनाएं नहीं।
- एक पुनरावृत्ति लूप का उपयोग करें जहाँ छात्र के वर्तमान संघर्ष नए प्रश्नों के निर्माण का मार्गदर्शन करते हैं।
- सर्वश्रेष्ठ प्रश्नों को चुनने के लिए महंगे AI जजों पर निर्भर न रहें।
- यह देखने के लिए कि छात्र कहाँ भ्रमित है, सरल, सस्ते गणित का उपयोग करें, और इसका उपयोग बेहतर अभ्यास सामग्री मांगने के लिए करें।
यह दृष्टिकोण छोटे, सस्ते मॉडलों को पारंपरिक, स्थिर प्रशिक्षण विधियों की तुलना में तेजी से और बेहतर प्रदर्शन करने की अनुमति देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।