💬 NLP

Spokes: Optimizing for Diverse Pretraining Data Selection

यह शोध पत्र SPOKES को पेश करता है, जो एक संभाव्य विविधीकरण ढांचा (probabilistic diversification framework) है जो G-Vendi स्कोर और एक्सपोनेंशियल ग्रेडिएंट डिसेंट का उपयोग करके सीधे डेटा विविधता के लिए अनुकूलन करता है, और यह प्रदर्शित करता है कि गुणवत्ता और विविधता दोनों के लिए प्रीट्रेनिंग डेटा का संयुक्त चयन डाउनस्ट्रीम प्रदर्शन में मौजूदा बेसलाइनों और रैंडम सैंपलिंग की तुलना में काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Clarence Lee, Yejin Choi, Luke Zettlemoyer, Pang Wei Koh, Hai Leong Chieu

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Clarence Lee, Yejin Choi, Luke Zettlemoyer, Pang Wei Koh, Hai Leong Chieu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक विशाल, भव्य दावत (एक प्री-ट्रेंड AI मॉडल) बनाने की कोशिश कर रहे हैं, लेकिन आपके पास सामग्री (डेटा) सीमित है। आपके पास लाखों रेसिपीज़ का एक गोदाम है, लेकिन आप केवल कुछ विशिष्ट रेसिपीज़ के साथ ही खाना बना सकते हैं।

बड़ा सवाल यह है: आपको कौन सी रेसिपीज़ चुननी चाहिए?

अधिकांश शेफ (AI शोधकर्ता) के पास चुनने के दो मुख्य तरीके हैं:

रैंडम तरीके से मुट्ठी भर उठा लेना: आपको एक अच्छा मिश्रण मिल सकता है, लेकिन आप गलती से ऐसी 50 रेसिपीज़ चुन सकते हैं जो सभी "स्पाइसी चिकन" जैसी ही स्वाद वाली हों। यह उबाऊ और दोहराव वाला हो सकता है।
केवल "सबसे अच्छी" रेटिंग वाली रेसिपीज़ चुनना: आप खराब रेसिपीज़ को हटा देते हैं, लेकिन हो सकता है कि आप ऐसी 50 रेसिपीज़ चुन लें जो सभी "हाई-एंड फ्रेंच कुजीन" की हों। आप स्ट्रीट फूड, डेसर्ट या सूप जैसे विविध व्यंजनों को खो देंगे। आपके पास विविधता की कमी होगी।

यह पेपर एक नया टूल पेश करता है जिसे SPOKES कहा जाता है (जो डेटा विविधता को अनुकूलित करने की एक विधि है)। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

समस्या: "विविधता" (Diversity) को मापना कठिन है

लेखकों का कहना है कि "विविधता" एक पहिये के स्पोक्स (तीलियों) की तरह है। यदि सभी स्पोक्स एक ही जगह पर गुच्छे में हों, तो पहिया टेढ़ा-मेढ़ा होगा और ठीक से नहीं चलेगा। आप चाहते हैं कि स्पोक्स (आपका डेटा) पूरे घेरे में समान रूप से फैले हुए हों।

समस्या यह है कि आप केवल एक रेसिपी को देखकर यह नहीं बता सकते कि वह विविध है या नहीं। आपको यह देखना होगा कि हर रेसिपी दूसरी हर रेसिपी के साथ कैसे इंटरैक्ट करती है। यदि आप एकदम सही पहिया खोजने के लिए रेसिपीज़ के हर संभावित संयोजन की जाँच करने की कोशिश करते हैं, तो इसमें ब्रह्मांड के अस्तित्व से भी अधिक समय लगेगा। इसकी गणना करना बहुत कठिन है।

समाधान: SPOKES

सरल नियमों (जैसे "विषय के आधार पर समूह बनाना") का उपयोग करने या अंदाज़ा लगाने के बजाय, SPOKES विविधता के लिए सीधे तौर पर ऑप्टिमाइज़ (अनुकूलित) करने के लिए एक चतुर गणितीय ट्रिक का उपयोग करता है।

1. "ग्रेडिएंट" कंपास
सिर्फ रेसिपी के टेक्स्ट को पढ़ने के (जो कि किताब के कवर को देखने जैसा है) के बजाय, SPOKES यह देखता है कि रेसिपी शेफ के दिमाग को कैसे बदलती है। AI की भाषा में, इसे "ग्रेडिएंट" कहा जाता है।

कल्पना कीजिए कि दो रेसिपी हैं: एक केक की और एक पिज्जा की।
यदि आप शेफ को केक की रेसिपी सिखाते हैं, तो उनका दिमाग एक दिशा में शिफ्ट होता है।
यदि आप उन्हें पिज्जा की रेसिपी सिखाते हैं, तो उनका दिमाग बिल्कुल अलग दिशा में शिफ्ट होता है।
SPOKES इन "दिमाग के बदलावों" को मापता है। यह चाहता है कि ऐसी रेसिपी चुनी जाएं जो शेफ के दिमाग को अधिक से अधिक अलग-अलग दिशाओं में धकेलें, जिससे यह सुनिश्चित हो सके कि शेफ विविध कौशल सीख रहे हैं।

2. "स्पोक्स" (Spokes) का उदाहरण
यह विधि डेटा को एक पहिये के स्पोक्स की तरह मानती है। यह G-Vendi स्कोर नामक एक गणितीय स्कोर का उपयोग यह मापने के लिए करती है कि स्पोक्स कितनी समान रूप से फैले हुए हैं।

रैंडम सैंपलिंग (Random Sampling): स्पोक्स बिखरे हुए और गुच्छों में होते हैं।
SPOKES: यह स्पोक्स को फिर से व्यवस्थित करता है ताकि वे एक आदर्श साइकिल व्हील की तरह पूरी तरह से समान रूप से फैले हों।

3. "क्वालिटी" बनाम "डाइवर्सिटी" का संतुलन
कभी-कभी, आप केवल उच्चतम गुणवत्ता वाली रेसिपी चाहते हैं (क्वालिटी फ़िल्टरिंग)। कभी-कभी, आप सबसे अधिक विविधता चाहते हैं (डाइवर्सिटी)। SPOKES आपको इन दोनों लक्ष्यों को मिलाने की अनुमति देता है।

आप SPOKES को बता सकते हैं: "मुझे 90% विविधता और 10% क्वालिटी चाहिए," या "मुझे दोनों का एक आदर्श संतुलन चाहिए।"
पेपर में पाया गया कि सर्वश्रेष्ठ परिणाम इन दोनों को संतुलित करने से मिले। यह एक ऐसे मेनू की तरह है जिसमें उच्च-रेटेड व्यंजन भी हैं और विभिन्न प्रकार के व्यंजन भी, न कि केवल शीर्ष-रेटेड फ्रेंच व्यंजन।

उन्होंने क्या पाया?

लेखकों ने दो विशाल "लाइब्रेरीज़" (जिन्हें DCLM और FineWeb कहा जाता है) पर इसका परीक्षण किया।

बेहतर विविधता: जब उन्होंने 500,000 डॉक्यूमेंट्स चुनने के लिए SPOKES का उपयोग किया, तो रैंडम तरीके से चुनने की तुलना में "डाइवर्सिटी स्कोर" 489 अंक बढ़ गया। मौजूदा तरीकों (जैसे डुप्लिकेट हटाना) ने केवल 7 अंकों की मामूली बढ़त हासिल की।
स्मार्टर AI: जब उन्होंने SPOKES द्वारा चुने गए डेटा पर एक छोटे AI मॉडल (LLaMA-1B) को प्रशिक्षित किया, तो मॉडल अधिक बुद्धिमान हो गया।
- DCLM डेटासेट पर, इसके प्रदर्शन में 1.5 अंक का सुधार हुआ।
- FineWeb डेटासेट पर, इसमें 1.4 अंक का सुधार हुआ।
चौंकाने वाला तथ्य: भले ही SPOKES ने ऐसा डेटा चुना जिसकी "क्वालिटी स्कोर" (मानक फिल्टर के अनुसार) थोड़ी कम थी, फिर भी AI का प्रदर्शन बेहतर रहा। यह साबित करता है कि विविधता, गुणवत्ता जितनी ही महत्वपूर्ण है। "ठीक-ठाक" रेसिपीज़ के एक विविध सेट ने शेफ को उन "परफेक्ट" लेकिन दोहराव वाली रेसिपीज़ की तुलना में अधिक सिखाया।

निचोड़ (The Bottom Line)

SPOKES AI के लिए ट्रेनिंग डेटा चुनने का एक नया तरीका है। केवल "सबसे अच्छे" या "रैंडम" डेटा को चुनने के बजाय, यह गणितीय रूप से सुनिश्चित करता है कि डेटा एक पहिये के स्पोक्स की तरह फैला हुआ है। यह एक अधिक संतुलित, विविध और अंततः स्मार्ट AI मॉडल बनाता है, भले ही आपके पास काम करने के लिए सीमित डेटा हो।

तकनीकी सारांश: SPOKES – विविध प्रीट्रेनिंग डेटा चयन के लिए अनुकूलन

1. समस्या विवरण

डेटा विविधता (Data diversity) प्रीट्रेनिंग कॉर्पोरा के निर्माण में एक महत्वपूर्ण कारक है, क्योंकि यह रिडंडेंसी (redundancy) को कम करती है और निश्चित डेटा बजट के तहत डाउनस्ट्रीम प्रदर्शन में सुधार करती है। हालाँकि, विविधता के लिए अनुकूलन (optimizing for diversity) स्वाभाविक रूप से कठिन है क्योंकि यह एक सेट-लेवल प्रॉपर्टी है जो व्यक्तिगत उदाहरणों के बजाय डेटा बिंदुओं के बीच की अंतःक्रियाओं पर निर्भर करती है। सबसेट चयन की कॉम्बिनेटोरियल प्रकृति के कारण, विशेष रूप से प्रीट्रेनिंग स्केल पर, विविधता के लिए सीधे अनुकूलन करना कम्प्यूटेशनल रूप से अव्यवहार्य (intractable) है।

मौजूदा दृष्टिकोण आमतौर पर मोटे-स्तर के क्लस्टरिंग (विषयों, कौशलों या अनसुपरवाइज्ड क्लस्टर्स द्वारा) या सिमेंटिक डिडुप्लिकेशन (semantic deduplication) जैसे प्रॉक्सी या अनुमानों पर निर्भर करते हैं। जबकि ये विधियाँ क्लस्टर प्रतिनिधित्व सुनिश्चित करती हैं, वे लो-रेज़ोल्यूशन पार्टिशन पर निर्भर करती हैं और अक्सर लॉन्ग-टेल या कम प्रतिनिधित्व वाले ज्ञान में मौजूद जानकारी को पकड़ने में विफल रहती हैं। इसके अलावा, वर्तमान विधियाँ विविधता मेट्रिक्स (जैसे G-Vendi स्कोर) को पोस्ट-हॉक मूल्यांकन उपकरण के रूप में देखती हैं, न कि अनुकूलन उद्देश्य के रूप में। यह कार्य जिस केंद्रीय चुनौती का समाधान करता है वह यह है कि बड़े पैमाने के प्रीट्रेनिंग कॉर्पोरा से विश्वसनीय रूप से विविध सबसेट्स कैसे निकाले जाएं, ताकि उन ह्यूरिस्टिक्स (heuristics) पर निर्भर रहे बिना जो स्केल करने में विफल रहते हैं या सूक्ष्म विविधता (fine-grained diversity) को नहीं पकड़ पाते।

2. कार्यप्रणाली: SPOKES

लेखक SPOKES (Spokes: Optimizing for Diverse Pretraining Data Selection) पेश करते हैं, जो एक स्केलेबल फ्रेमवर्क है जो एक प्रोबेबिलिस्टिक डाइवर्सिफिकेशन फ्रेमवर्क के भीतर G-Vendi स्कोर का उपयोग करके सीधे विविधता के लिए अनुकूलन करता है।

2.1 मुख्य उद्देश्य

यह विधि डेटा चयन को एक ग्लोबल ऑप्टिमाइज़ेशन समस्या के रूप में तैयार करती है जो गुणवत्ता (quality) और विविधता (diversity) दोनों को संयुक्त रूप से अधिकतम करती है। $n$ उदाहरणों के एक डेटासेट के लिए, लक्ष्य आकार $k$ का एक सबसेट $S$ चुनना है जो निम्नलिखित को अधिकतम करे:
$\max_{S \subseteq [n], |S|=k} \alpha \ln \left( \frac{1}{k} \sum_{i \in S} q_i \right) + (1 - \alpha) \ln \text{Vendi}(K_S)$
जहाँ:

$q_i$ उदाहरण $i$ के गुणवत्ता स्कोर (जैसे, FineWeb-Edu क्लासिफायर से) को दर्शाता है।
$K_S$ चयनित सबसेट द्वारा प्रतिबंधित समानता कर्नेल (similarity kernel) है।
$\alpha \in [0, 1]$ एक ट्यूनेबल पैरामीटर है जो गुणवत्ता और विविधता के बीच के ट्रेड-ऑफ को नियंत्रित करता है।

2.2 ग्रेडिएंट-आधारित विविधता (G-Vendi)

स्थिर एम्बेडिंग्स (static embeddings) का उपयोग करने वाली पारंपरिक विधियों के विपरीत, SPOKES ग्रेडिएंट स्पेस में कार्य करता है। यह एक प्रॉक्सी मॉडल का उपयोग करके प्रत्येक डेटा बिंदु के लिए मॉडल पैरामीटर्स $\theta$ के सापेक्ष ग्रेडिएंट्स $\nabla_\theta \ell(x_i)$ की गणना करता है। G-Vendi स्कोर इन ग्रेडिएंट्स से निर्मित सिमिलैरिटी मैट्रिक्स के स्पेक्ट्रम की एंट्रॉपी की जांच करके विविधता को मापता है। यह दृष्टिकोण प्रतिनिधित्व वेक्टर्स (representation vectors) के बीच ऑर्थोगोनैलिटी (orthogonality) को प्रोत्साहित करता है, जिससे अपडेट दिशाओं में रिडंडेंसी कम होती है और अधिक स्वतंत्र, सूचनात्मक ऑप्टिमाइज़ेशन स्टेप्स को बढ़ावा मिलता है।

2.3 एक्सपोनेंटिएटेड ग्रेडिएंट डिसेंट के माध्यम से अनुकूलन

कॉम्बिनेटोरियल सबसेट चयन समस्या को हल करने के लिए, SPOKES एक रिलैक्स्ड ऑप्टिमाइज़ेशन रणनीति अपनाता है:

कंटीन्यूअस रिलैक्सेशन (Continuous Relaxation): डिस्क्रीट चयन के बजाय, प्रत्येक डेटा बिंदु को एक निरंतर गैर-ऋणात्मक वेट वेक्टर $w$ दिया जाता है, जो सिमप्लेक्स ( $w \in \Delta_n$ ) के भीतर होता है।
कर्नेल निर्माण: एक वेट-डिपेंडेंट कर्नेल $K(w)$ परिभाषित किया गया है जहाँ एंट्रीज को $\sqrt{w_i w_j}$ द्वारा स्केल किया जाता है।
अनुकूलन: उद्देश्य को एक्सपोनेंटिएटेड ग्रेडिएंट डिसेंट का उपयोग करके अनुकूलित किया जाता है। प्रत्येक इटरेशन में, वेट्स को $w_i^{(t+1)} \propto w_i^{(t)} \exp(-\eta g_i^{(t)})$ के माध्यम से अपडेट किया जाता है और कुछ उच्च-वेट वाले उदाहरणों पर कोलैप्स होने से रोकने के लिए नॉर्मलाइज़ किया जाता है।
डिस्क्रीट रिकवरी: अभिसरण (convergence) के बाद, अंतिम सबसेट को सीखे गए वेट वेक्टर की टॉप- $k$ एंट्रीज को चुनकर प्राप्त किया जाता है।

2.4 स्केलेबिलिटी संवर्द्धन

इस दृष्टिकोण को प्रीट्रेनिंग स्केल पर व्यवहार्य बनाने के लिए, लेखक कई दक्षता रणनीतियाँ लागू करते हैं:

ट्रंकेटेड ग्रेडिएंट्स (Truncated Gradients): पूर्ण मॉडल ग्रेडिएंट्स की गणना करने के बजाय, विधि केवल अंतिम $n$ ट्रांसफॉर्मर लेयर्स (आमतौर पर 2 लेयर्स) का उपयोग करके उन्हें एप्रोक्सिमेट करती है। यह सिमिलैरिटी कर्नेल की संरचना को बनाए रखते हुए कम्प्यूटेशनल लागत को काफी कम कर देता है।
जॉनसन-लिंडेनस्ट्रॉस (JL) प्रोजेक्शन: हाई-डायमेंशनल ग्रेडिएंट वेक्टर्स (जैसे, 200M पैरामीटर्स) को संभालने के लिए, लेखक डाइमेंशनलिटी कम करने के लिए रैंडम प्रोजेक्शन (Rademacher मैट्रिसेस) लागू करते हैं। अनुभवजन्य परिणाम दिखाते हैं कि कम-डायमेंशनल प्रोजेक्शन (जैसे, $k=1024$ ) भी उच्च सबसेट स्थिरता (हाई-डायमेंशनल रेफरेंस के साथ 95.5% ओवरलैप) बनाए रखते हैं।
पैरेललाइजेशन: डेटासेट को स्वतंत्र रूप से अनुकूलित किए जाने वाले विलगित (disjoint) सबसेट्स में विभाजित किया जा सकता है, जिससे लीनियर स्पीडअप प्राप्त होता है।

3. प्रमुख योगदान

SPOKES फ्रेमवर्क: विविधता अनुकूलन के लिए एक स्केलेबल, सिद्धांत-आधारित तकनीक का परिचय, जो आधुनिक प्रीट्रेनिंग डेटासेट्स के स्केल पर कुशलता से कार्य करती है और मोटे-स्तर के क्लस्टरिंग से आगे बढ़ती है।
प्रत्यक्ष G-Vendi अनुकूलन: यह प्रदर्शन करना कि G-Vendi स्कोर को केवल एक पोस्ट-हॉक मेट्रिक के रूप में उपयोग करने के बजाय, अत्यधिक विविध सबसेट्स निकालने के लिए एक्सपोनेंटिएटेड ग्रेडिएंट डिसेंट के माध्यम से सीधे अनुकूलित किया जा सकता है।
संयुक्त गुणवत्ता-विविधता अनुकूलन: यह सिद्ध करना कि गुणवत्ता और विविधता दोनों के लिए संयुक्त रूप से अनुकूलित करना, किसी एक उद्देश्य या मानक बेसलाइन के लिए अनुकूलित करने की तुलना में बेहतर परिणाम देता है।
दक्षता सुधार: यह प्रमाणित करना कि ट्रंकेटेड ग्रेडिएंट गणना और JL प्रोजेक्शन के माध्यम से डाइमेंशनलिटी रिडक्शन, अत्यधिक कम्प्यूटेशनल लागत के बिना विशाल कॉर्पोरा तक इस पद्धति को स्केल करने की अनुमति देता है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन दो बड़े पैमाने के प्रीट्रेनिंग कॉर्पोरा पर किया गया: DCLM (Dolmino सबसेट, आक्रामक रूप से फ़िल्टर्ड) और FineWeb (कम आक्रामक रूप से फ़िल्टर्ड)। मॉडल्स को 100 बिलियन टोकन्स पर LLaMA-1B आर्किटेक्चर का उपयोग करके स्क्रैच से प्री-ट्रेन किया गया था।

4.1 विविधता मेट्रिक्स

G-Vendi स्कोर में वृद्धि: 500k-सैंपल सबसेट पर, SPOKES ने रैंडम सैंपलिंग की तुलना में G-Vendi स्कोर में +489 पॉइंट की वृद्धि हासिल की। इसके विपरीत, सिमेंटिक डिडुप्लिकेशन (SemDeDup) ने केवल +7 पॉइंट की वृद्धि की।
बैच विविधता: ट्रेनिंग के दौरान, SPOKES द्वारा चुने गए बैचों ने रैंडम सैंपलिंग की तुलना में लगातार उच्च औसत विविधता स्कोर बनाए रखा (DCLM पर 315 से बढ़कर 520 हुआ)।

4.2 डाउनस्ट्रीम प्रदर्शन

मूल्यांकन OLMES सूट के 10 इंग्लिश बेंचमार्क्स पर किया गया।

केवल विविधता (Diversity-Only): SPOKES (विविधता-मात्र) ने रैंडम सैंपलिंग की तुलना में औसत डाउनस्ट्रीम प्रदर्शन में +0.4 (DCLM) और +0.5 (FineWeb) पॉइंट का सुधार किया।
संयुक्त अनुकूलन (Joint Optimization): सबसे मजबूत परिणाम गुणवत्ता और विविधता के संयुक्त अनुकूलन से प्राप्त हुए। SPOKES ने रैंडम सैंपलिंग की तुलना में +1.5 (DCLM) और +1.4 (FineWeb) पॉइंट की बढ़त हासिल की, जो सिमेंटिक डिडुप्लिकेशन और क्वालिटी-ओनली फ़िल्टरिंग सहित सभी बेसलाइन्स से बेहतर रहा।
पूरक ताकतें (Complementary Strengths): परिणाम संकेत देते हैं कि गुणवत्ता और विविधता अलग-अलग लेकिन पूरक गुणों को कैप्चर करते हैं। जबकि क्वालिटी फ़िल्टरिंग नॉलेज-इंटेंसिव बेंचमार्क्स (जैसे, MMLU) पर उत्कृष्ट है, विविधता अनुकूलन कॉमनसेन्स रीजनिंग (जैसे, HellaSwag) में सुधार करता है। संयुक्त अनुकूलन इस अंतर को पाटता है, और सभी कार्यों में प्रतिस्पर्धी प्रदर्शन करता है।

5. महत्व और दावे

पेपर का दावा है कि विविधता का सीधा अनुकूलन न केवल बड़े पैमाने पर संभव है बल्कि व्यावहारिक रूप से फायदेमंद भी है। मोटे-स्तर के अनुमानों और ह्यूरिस्टिक्स से हटकर, SPOKES प्रदर्शित करता है कि:

विविधता एक महत्वपूर्ण अक्ष है: स्पष्ट गुणवत्ता पर्यवेक्षण (quality supervision) के बिना भी, केवल विविधता के लिए अनुकूलित करने से निरंतर लाभ होता है, जो यह सुझाव देता है कि डेटा वितरण का एक विविध ग्रेडिएंट प्रतिनिधित्व सामान्यीकरण (generalization) में सुधार करता है।
गुणवत्ता मेट्रिक्स अपर्याप्त हैं: मानक गुणवत्ता मेट्रिक्स डेटा उपयोगिता (utility) को पूरी तरह से कैप्चर नहीं करते हैं। संयुक्त रूप से विविधता के लिए अनुकूलित करना पूरक प्रशिक्षण संकेत प्रदान कर सकता है जो बेहतर डाउनस्ट्रीम प्रदर्शन की ओर ले जाता है, भले ही चयनित सबसेट का औसत गुणवत्ता स्कोर क्वालिटी-ओनली बेसलाइन की तुलना में कम हो।
स्केलेबिलिटी: प्रस्तावित पद्धति विशाल प्रीट्रेनिंग कॉर्पोरा से घने, अत्यधिक विविध सबसेट्स निकालने में सफल रही है, जो मौजूदा चयन पाइपलाइनों (जो सिमेंटिक डिडुप्लिकेशन या रैंडम सैंपलिंग पर निर्भर हैं) के लिए एक व्यवहार्य विकल्प प्रदान करती है।

लेखक SPOKES को उच्च-गुणवत्ता और विविध सबसेट्स के निर्माण के एक उपकरण के रूप में प्रस्तुत करते हैं, और इस बात पर जोर देते हैं कि विविधता के लाभ विभिन्न फिल्टरिंग व्यवस्थाओं और नॉइज़ प्रोफाइल वाले डेटासेट्स में विश्वसनीय रूप से अनुवादित होते हैं।