💬 NLP

DynamixSFT: Dynamic Mixture Optimization of Instruction Tuning Collections

यह शोध पत्र DynamixSFT का प्रस्ताव करता है, जो एक गतिशील और स्वचालित विधि है जो समस्या को प्रायर-स्केल्ड बोल्ट्ज़मैन एक्सप्लोरेशन (Prior-scaled Boltzmann Exploration) और 1-स्टेप लुक-अहेड रिवॉर्ड (1-Step Look-ahead Reward) के साथ एक मल्टी-आर्म्ड बैंडिट (multi-armed bandit) के रूप में फ्रेम करके इंस्ट्रक्शन-ट्यूनिंग डेटासेट मिश्रणों को अनुकूलित करती है, जो न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ कई बेंचमार्क पर मॉडल के प्रदर्शन को प्रभावी रूप से बढ़ाती है।

मूल लेखक: Haebin Shin, Lei Ji, Xiao Liu, Zhiwei Yu, Hyunwoo Yoo, Qi Chen, Yeyun Gong

प्रकाशित 2026-07-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haebin Shin, Lei Ji, Xiao Liu, Zhiwei Yu, Hyunwoo Yoo, Qi Chen, Yeyun Gong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अनुभवहीन छात्र (एक लार्ज लैंग्वेज मॉडल) को एक सहायक बनने के लिए सिखाने की कोशिश कर रहे हैं। आपके पास विभिन्न पाठ्यपुस्तकों का एक विशाल पुस्तकालय है, जो "कोडिंग कैसे करें" और "उन्नत गणित" से लेकर "सामान्य ज्ञान" और "रचनात्मक लेखन" तक फैला हुआ है।

बड़ा सवाल यह है: आप छात्र की दैनिक अध्ययन योजना में इन किताबों को एक साथ कैसे मिलाएंगे?

यदि आप उन्हें एक साथ सारे किताबें एक रैंडम ढेर के रूप में थमा देते हैं, तो वे अभिभूत हो सकते हैं या महत्वपूर्ण किताबों को अनदेखा कर सकते हैं। यदि आप एक कठोर समय सारणी (जैसे, "सोमवार को गणित, मंगलवार को कोडिंग") पर टिके रहते हैं, तो आप इस तथ्य को मिस कर सकते हैं कि छात्र आज गणित में संघर्ष कर रहा है लेकिन कल कोडिंग के लिए तैयार है।

यही वह समस्या है जिसे DYNAMIXSFT हल करता है। यह कैसे काम करता है, इसे सरल रूप में यहाँ समझाया गया है:

1. समस्या: "स्थिर रेसिपी" बनाम "जीवंत आहार"

आजकल अधिकांश AI प्रशिक्षण एक स्थिर रेसिपी (Static Recipe) का उपयोग करते हैं। कल्पना कीजिए कि एक शेफ ने तय किया है, "मैं हमेशा इस मसाले का 10%, उस मसाले का 20% और उस मसाले का 5% उपयोग करूँगा," चाहे व्यंजन का स्वाद कैसा भी हो। भले ही व्यंजन को अभी अधिक नमक की आवश्यकता हो, शेफ रेसिपी को समान रखता है।

शोधकर्ताओं ने पाया कि AI मॉडल सीखते समय बदलते हैं। जो चीज़ उन्हें पहले दिन (Day 1) सीखने में मदद करती है, वह सौवें दिन (Day 100) मदद नहीं कर सकती। उन्हें एक डायनेमिक डाइट (Dynamic Diet) की आवश्यकता होती है जो उनकी वर्तमान भूख और कमजोरियों के आधार पर बदलती रहे।

2. समाधान: एक स्मार्ट "स्लॉट मशीन"

लेखकों ने इस समस्या को एक खेल में बदल दिया जिसे मल्टी-आर्म्ड बैंडिट (Multi-Armed Bandit) कहा जाता है।

उपमा: कल्पना कीजिए कि स्लॉट मशीनों (डेटासेट्स) की एक पंक्ति है। प्रत्येक मशीन अलग-अलग प्रकार के डेटा (गणित, कोडिंग, इतिहास, आदि) का प्रतिनिधित्व करती है।
लक्षत: आप उन मशीनों के लीवर (डेटा सैंपल) खींचना चाहते हैं जो आपको अभी सबसे अधिक "पॉइंट्स" (सीखना) दे रहे हैं।
चुनौती: यदि आप केवल उसी मशीन का लीवर खींचते हैं जिसने कल आपको पॉइंट्स दिए थे, तो आप उस मशीन को मिस कर सकते हैं जो आज बड़ा जैकपॉट देने वाली है। आपको यह देखने के लिए अलग-अलग मशीनें आज़माते रहना होगा कि आज सबसे अच्छा क्या काम कर रहा है।

3. सीक्रेट सॉस: दो विशेष ट्रिक्स

इस स्लॉट मशीन गेम को AI के लिए पूरी तरह से काम करने योग्य बनाने के लिए, शोधकर्ताओं ने इसमें दो चतुर विशेषताएं जोड़ीं:

A. "एंकर वाला दिशा सूचक" (प्रायर-स्केल्ड बोल्ट्ज़मैन एक्सप्लोरेशन)

यदि आप AI को केवल हाल ही में जो सबसे अच्छा काम कर रहा है उसके आधार पर डेटा चुनने देते हैं, तो वह पागल हो सकता है और एक सप्ताह के लिए केवल "गणित" की किताबें पढ़ सकता है, जिससे वह अंग्रेजी बोलना भूल सकता है।

समाधान: उन्होंने AI को मूल लाइब्रेरी के संतुलन की ओर इशारा करने वाला एक दिशा सूचक (Compass) दिया।
यह कैसे काम करता है: भले ही AI अभी गणित को बहुत पसंद करे, दिशा सूचक उसे किताबों के मूल मिश्रण की ओर वापस खींचता है। यह सुनिश्चित करता है कि AI एक विषय पर अत्यधिक ध्यान केंद्रित करते समय अन्य कौशल न भूल जाए। यह एक सख्त लेकिन निष्पक्ष माता-पिता की तरह है जो कहता है, "तुम आज गणित की अतिरिक्त पढ़ाई कर सकते हो, लेकिन तुम्हें संतुलित रहने के लिए थोड़ा इतिहास भी पढ़ना होगा।"

B. "फ्लैश फॉरवर्ड" टेस्ट (1-स्टेप लुक-अहेड रिवॉर्ड)

AI को कैसे पता चलता है कि अभी कौन सी किताब सबसे अच्छी है?

पुराना तरीका: कुछ तरीके एक अलग "शिक्षक" AI का उपयोग करते हैं जो यह अनुमान लगाता है कि कौन सी किताब अच्छी है। यह धीमा और महंगा है।
DYNAMIXSFT का तरीका: AI एक त्वरित मानसिक पूर्वाभ्यास (Mental Rehearsal) करता है।
- वह पूछता है: "अगर मैं अभी गणित की किताब का एक पन्ना पढ़ूँ, तो मेरा टेस्ट स्कोर कितना सुधरेगा?"
- फिर वह पूछता है: "क्या होगा अगर मैं कोडिंग की किताब का एक पन्ना पढ़ूँ?"
- वह उस किताब को चुनता है जो तत्काल सबसे बड़ा उछाल (Boost) देती है।
यह क्यों शानदार है: यह सुपर फास्ट है। इसके लिए दूसरे AI या अलग टेस्ट सेट की आवश्यकता नहीं है। यह बस अगले सबक को तय करने के लिए भविष्य की एक छोटी सी "झलक" लेता है।

4. परिणाम: स्मार्ट, तेज़ और संतुलित

शोधकर्ताओं ने विभिन्न आकार के AI मॉडलों का उपयोग करके डेटा के दो बड़े संग्रहों (TÜLU-2 और TÜLU-3) पर इसका परीक्षण किया।

बेहतर ग्रेड: DYNAMIXSFT के साथ प्रशिक्षित AI ने पुराने स्थिर तरीकों की तुलना में 10 विभिन्न टेस्टों (गणित, कोडिंग, तर्क और सामान्य ज्ञान को कवर करते हुए) पर उच्च स्कोर किया।
कोई अतिरिक्त लागत नहीं: आमतौर पर, डेटा चयन के बारे में "स्मार्ट" होने से प्रशिक्षण धीमा हो जाता है। लेकिन क्योंकि उनका "फ्लैश फॉरवर्ड" टेस्ट बहुत हल्का है, इसने प्रशिक्षण प्रक्रिया में केवल लगभग 13% अतिरिक्त समय जोड़ा। अन्य तरीकों ने ऐसा करने की कोशिश की लेकिन उन्होंने 139% से 760% तक अतिरिक्त समय जोड़ दिया!
स्व-समायोजन (Self-Adjusting): सिस्टम ने स्वाभाविक रूप से अपना ध्यान बदला। उदाहरण के लिए, प्रशिक्षण के शुरुआती चरण में, यह सामान्य ज्ञान पर अधिक ध्यान केंद्रित कर सकता था, लेकिन जैसे-जैसे मॉडल स्मार्ट हुआ, इसने जटिल तर्क कार्यों (Reasoning tasks) पर ध्यान केंद्रित करने के लिए अपना रुख बदल लिया, ठीक उसी समय जब मॉडल को इसकी आवश्यकता थी।

सारांश

DYNAMIXSFT एक AI के लिए व्यक्तिगत ट्यूटर की तरह है जो:

सुनता है छात्र की वर्तमान आवश्यकताओं को (क्या चीज़ उन्हें अभी सीखने में मदद कर रही है)।
बड़ी तस्वीर को याद रखता है (यह सुनिश्चित करना कि वे अन्य विषयों को न भूलें)।
पानी की जांच करता है (किसी भी सबक के प्रति प्रतिबद्ध होने से पहले त्वरित परीक्षण)।
यह सब कुछ बिना किसी दूसरे शिक्षक की आवश्यकता के या क्लास को धीमा किए बिना करता है।

शोध निष्कर्ष निकालते हैं कि यह विधि AI मॉडलों को स्वचालित रूप से अपने सीखने के आहार को अनुकूलित करने की अनुमति देती है, जिससे बहुत कम अतिरिक्त प्रयास के साथ स्मार्ट मॉडल बनते हैं।

तकनीकी सारांश: DYNAMIXSFT

समस्या विवरण

जैसे-जैसे इंस्ट्रक्शन-ट्यूनिंग डेटासेट्स का परिदृश्य विस्तृत हो रहा है, उनके मिश्रणों को गतिशील रूप से संतुलित और अनुकूलित करने की चुनौती महत्वपूर्ण होती जा रही है। जबकि रीजनिंग, कोडिंग और नॉलेज जैसे डोमेन में लार्ज लैंग्वेज मॉडल्स (LLMs) की सामान्यीकरण क्षमता (generalization) को बढ़ाने के लिए विविध डेटासेट मिश्रण अत्यंत महत्वपूर्ण हैं, अधिकांश मौजूदा दृष्टिकोण स्थिर, मैन्युअल रूप से क्यूरेट किए गए ह्यूरिस्टिक्स या निश्चित नियमों पर निर्भर करते हैं। वैकल्पिक गतिशील विधियों के लिए अक्सर अतिरिक्त मॉडल्स (जैसे, एक्टर नेटवर्क), बाहरी वैलिडेशन सेट्स, या महत्वपूर्ण कंप्यूटेशनल संसाधनों की आवश्यकता होती है, जो बड़े पैमाने पर, अनक्यूरेटेड संग्रह के लिए स्केलेबिलिटी और व्यावहारिकता को सीमित करते हैं। एक ऐसे हल्के (lightweight), स्व-विकसित (self-evolving) तरीके की आवश्यकता है जो बिना किसी बाहरी पर्यवेक्षण या भारी कंप्यूटेशनल ओवरहेड के प्रशिक्षण के दौरान डेटासेट मिश्रण को अनुकूलित कर सके।

कार्यप्रणाली: DYNAMIXSFT

लेखक DYNAMIXSFT का प्रस्ताव करते हैं, जो इंस्ट्रक्शन-ट्यूनिंग डेटासेट मिश्रणों को अनुकूलित करने के लिए एक गतिशील और स्वचालित ढांचा है। यह दृष्टिकोण तीन मुख्य घटकों पर आधारित है:

1. मल्टी-आर्म्ड बैंडिट (MAB) फॉर्मुलेशन

$K$ विषम डेटा स्रोतों में प्रशिक्षण नमूनों (samples) के आवंटन की समस्या को एक मल्टी-आर्म्ड बैंडिट समस्या के रूप में तैयार किया गया है, जहाँ प्रत्येक डेटासेट को एक "आर्म" (arm) माना जाता है। इसका लक्ष्य वर्तमान प्रशिक्षण गतिकी के आधार पर मॉडल प्रदर्शन को अधिकतम करने वाली एक सैंपलिंग पॉलिसी सीखना है।

2. प्रायर-स्क्ल्ड बोल्ट्ज़मैन एक्सप्लोरेशन (Prior-scaled Boltzmann Exploration)

फाइन-ट्यूनिंग के दौरान रिवॉर्ड्स की नॉन-स्टेशनरी प्रकृति को संबोधित करने और डेटासेट संग्रह की अंतर्निहित विविधता और कवरेज को बनाए रखने के लिए, लेखक एक प्रायर-स्क्ल्ड बोल्ट्ज़मैन एक्सप्लोरेशन रणनीति पेश करते हैं।

तंत्र: मानक बोल्ट्ज़मैन एक्सप्लोरेशन के विपरीत, जो सभी रिवॉर्ड्स को समान रूप से तुलनीय मानता है, यह विधि मूल डेटासेट अनुपातों $p^{(0)}$ (जो अक्सर डेटासेट आकार पर आधारित होते हैं) को एक प्रायर के रूप में शामिल करती है।
फॉर्मूला: डेटासेट $k$ $k$ के लिए सैंपलिंग प्रोबेबिलिटी $p_k$ $p_{k}$ की गणना इस प्रकार की जाती है:
$p_k = (1-\gamma) \cdot \frac{\exp(\beta \cdot Q_k) \cdot p^{(0)}_k}{\sum_j \exp(\beta \cdot Q_j) \cdot p^{(0)}_j} + \frac{\gamma}{K}$
जहाँ:
- $Q_k$ डेटासेट का अनुमानित रिवॉर्ड (वैल्यू) है।
- $\beta$ एक शार्पनेस फैक्टर है जो एक्सप्लोइटेशन (exploitation) को नियंत्रित करता है।
- $\gamma$ एक यूनिफॉर्मिटी फैक्टर है जो सभी डेटासेट्स के लिए एक न्यूनतम फ्लोर प्रोबेबिलिटी ( $\gamma/K$ ) सुनिश्चित करता है ताकि "नेवर-सैंपलिंग" की समस्या को रोका जा सके और एक्सप्लोरेशन की गारंटी दी जा सके।
प्रभाव: यह सीखा गया सैंपलिंग वितरण मूल अनुपातों के साथ "सॉफ्टली एंकर" (softly anchors) होता है, जिससे व्यापक डोमेन कवरेज बनाए रखते हुए एडेप्टिव अपडेट संभव हो पाते हैं।

3. 1-स्टेप लुक-अहेड रिवॉर्ड (1-Step Look-ahead Reward)

सैंपलिंग प्रोबेबिलिटीज को अपडेट करने के लिए, DYNAMIXSFT एक हल्के 1-स्टेप लुक-अहेड रिवॉर्ड का उपयोग करता है।

तंत्र: निश्चित अपडेट अंतराल पर, मॉडल प्रत्येक डेटासेट के मिनी-बैच पर एक वर्चुअल वन-स्टेप ग्रेडिएंट अपडेट करता है। रिवॉर्ड $r_k$ की गणना सापेक्ष लॉस रिडक्शन (relative reduction in loss) के रूप में की जाती है:
$r_k = \frac{1}{|B_k|} \sum_{x \in B_k} \frac{L_{pre}(x) - L_{post}(x)}{L_{pre}(x) + \epsilon}$
लाभ: यह बिना किसी अतिरिक्त पर्यवेक्षण, वैलिडेशन सेट्स, या स्थायी पैरामीटर अपडेट की आवश्यकता के, मॉडल की वर्तमान स्थिति के आधार पर एक डेटासेट की उपयोगिता का तत्काल संकेत प्रदान करता है।
स्मूथिंग: शोर (noise) और नॉन-स्टेशनैरिटी को संभालने के लिए, रिवॉर्ड्स को एक्सपोनेंशियल मूविंग एवरेज (EMA) के माध्यम से बनाए रखा जाता है: $Q_k \leftarrow \alpha \cdot Q_k + (1-\alpha) \cdot r_k$ ।

मुख्य योगदान

फ्रेमवर्क प्रस्ताव: DYNAMIXSFT का परिचय, जो एक डायनेमिक डेटासेट मिश्रण अनुकूलन विधि है जो समस्या को प्रायर-स्क्ल्ड बोल्ट्ज़मैन एक्सप्लोरेशन पॉलिसी के साथ एक MAB के रूप में तैयार करती है।
लाइटवेट एडैप्टेशन: एक 1-स्टेप लुक-अहेड रिवॉर्ड तंत्र का विकास जो मॉडल की अपनी लर्निंग प्रोग्रेस के आधार पर एडेप्टिव सैंपलिंग को सक्षम बनाता है, जिसके लिए किसी बाहरी मॉडल या वैलिडेशन डेटा की आवश्यकता नहीं होती।
अनुभवजन्य सत्यापन (Empirical Validation): 10 बेंचमार्क्स पर LLaMA3.2 1B और LLaMA3.1 8B मॉडल्स पर बड़े पैमाने के संग्रहों (TÜLU-2 के 16 डेटासेट्स और TÜLU-3 के 19 डेटासेट्स) पर इस विधि का अनुप्रयोग, जो निरंतर सुधार प्रदर्शित करता है।
व्यापक विश्लेषण: विस्तृत विज़ुअलाइज़ेशन और एब्लेशन स्टडीज जो दिखाते हैं कि मिश्रण अनुपात समय के साथ कैसे विकसित होते हैं और प्रायर स्केलिंग, एक्सप्लोरेशन/एक्सप्लोइटेशन बैलेंस, और रिवॉर्ड स्मूथिंग की महत्वपूर्ण भूमिकाएँ क्या हैं।

प्रयोगात्मक परिणाम

लेखकों ने TÜLU-2 और TÜLU-3 मिश्रण संग्रहों का उपयोग करके LLaMA3.2 1B और LLaMA3.1 8B मॉडल्स पर DYNAMIXSFT का मूल्यांकन किया।

प्रदर्शन लाभ: DYNAMIXSFT ने स्टैटिक बेसलाइन्स (Full Coverage, Uniform Sampling) और मौजूदा डायनेमिक विधियों (MultiDDS, MultiUAT, HBO) को लगातार पछाड़ दिया।
- TÜLU-2 पर, इसने नेटिव प्रोपोर्शनल सैंपलिंग की तुलना में 10 बेंचमार्क्स पर औसतन +5.1% (1B) और +5.3% (8B) के सापेक्ष सुधार हासिल किया।
- इसने HBO (जिसके लिए एक अतिरिक्त एक्टर नेटवर्क की आवश्यकता होती है) को भी पीछे छोड़ दिया, बावजूद इसके कि DYNAMIXSFT का आर्किटेक्चर अधिक हल्का है।
दक्षता (Efficiency): इस विधि ने नेटिव सैंपलिंग की तुलना में केवल ~12.7% अतिरिक्त कंप्यूटेशनल ओवरहेड पेश किया। इसके विपरीत, पूर्ववर्ती डायनेमिक विधियों में +139% से +760% तक का ओवरहेड देखा गया। यह दक्षता 1-स्टेप लुक-अहेड रिवॉर्ड के कारण है, जो केवल फॉरवर्ड पासेज पर निर्भर करता है।
एब्लेशन इनसाइट्स:
- प्रायर स्केलिंग: प्रायर $p^{(0)}$ को हटाने से प्रदर्शन में भारी गिरावट आई, जो पुष्टि करता है कि स्थिरता और कवरेज के लिए मूल अनुपातों से एंकर होना महत्वपूर्ण है।
- हाइपरपैरामीटर्स: इष्टतम प्रदर्शन के लिए एक्सप्लोइटेशन शार्पनेस ( $\beta$ ) और एक्सप्लोरेशन यूनिफॉर्मिटी ( $\gamma$ ) के बीच संतुलन, साथ ही अस्थिर आवंटन को रोकने के लिए मध्यम EMA स्मूथिंग ( $\alpha$ ) की आवश्यकता थी।
- अपडेट इंटरवल: पॉलिसी को हर 50 स्टेप्स पर अपडेट करने से रिस्पॉन्सिवनेस और स्थिरता के बीच सबसे अच्छा संतुलन मिला।

महत्व और दावे

पेपर का दावा है कि DYNAMIXSFT LLMs को हैंड-क्राफ्टेड ट्यूनिंग या बाहरी पर्यवेक्षण की आवश्यकता के बिना पोस्ट-ट्रेनिंग के दौरान अपने स्वयं के डेटासेट मिश्रण को अनुकूलित करने में सक्षम बनाता है। डेटासेट मिश्रण अनुकूलन को एक स्व-विकसित प्रक्रिया के रूप में मानकर, यह विधि बड़े पैमाने के, विषम डेटासेट संग्रहों का अधिक सिद्धांतगत और स्वचालित तरीके से लाभ उठाना संभव बनाती है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण एक लाइटवेट, सेल्फ-कंटेन्ड समाधान प्रदान करता है जो प्रॉक्सी मॉडल्स या एक्टर नेटवर्क की कंप्यूटेशनल लागतों से बचता है, जबकि मूल डेटासेट संग्रहों में निहित विविधता और कवरेज को बनाए रखता है। यह कार्य प्रशिक्षण की एडेप्टिव डायनेमिक्स के बारे में व्यावहारिक अंतर्द зрения प्रदान करता है, जो दिखाता है कि इष्टतम डेटा मिश्रण स्टेट-डिपेंडेंट (state-dependent) होते हैं न कि स्टैटिक, और तत्काल लर्निंग सिग्नल के आधार पर डायनेमिक एडजस्टमेंट ज्ञान, रीजनिंग, कोडिंग और गणितीय कार्यों में बेहतर सामान्यीकरण की ओर ले जा सकता है।