तकनीकी सारांश: MixMinMatch – बहुभाषी प्रीट्रेनिंग डेटासेट के लिए क्रॉस-सोर्स एग्रीमेंट (Cross-Source Agreement)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वेब स्क्रैपिंग के माध्यम से उच्च-गुणवत्ता वाले प्रीट्रेनिंग कॉर्पोरा (corpora) बनाना कम्प्यूटेशनल रूप से महंगा और संसाधन-गहन है। गैर-अंग्रेजी भाषाओं के लिए, कई शोध समूह अक्सर स्वतंत्र रूप से वेब को क्रॉल और फ़िल्टर करते हैं, जिसके परिणामस्वरूप महत्वपूर्ण अतिरेक (redundancy) उत्पन्न होता है। जबकि इस अतिरेक को पारंपरिक रूप से अक्षमता के रूप में देखा जाता है—जो डुप्लिकेट सामग्री पर संसाधनों की बर्बादी है—लेखक तर्क देते हैं कि यह एक अनछुए गुणवत्ता संकेत (quality signal) का प्रतिनिधित्व करता है।

मुख्य समस्या जो संबोधित की गई है वह है बहुभाषी डेटासेट में निम्न-गुणवत्ता वाले टेक्स्ट को फ़िल्टर करने के लिए एक कम्प्यूटेशनल रूप से कुशल, मॉडल-मुक्त विधि का अभाव। मौजूदा दृष्टिकोण अक्सर महंगे मॉडल-आधारित गुणवत्ता क्लासिफायर (जिसके लिए प्रत्येक दस्तावेज़ के लिए इन्फरेंस पास की आवश्यकता होती है) या भाषा-विशिष्ट ह्यूरिस्टिक्स (heuristics) पर निर्भर करते हैं जो विविध लिपियों और रूपात्मकता (morphologies) में सामान्यीकरण करने में विफल रहते हैं। इसके अलावा, मानक डीडुप्लिकेशन (deduplication) कंप्यूट बचाने के लिए 'नियर-डुप्लिकेट्स' को हटा देता है, लेकिन इस मेटाडेटा को त्याग देता है कि किन स्रोतों ने विशिष्ट सामग्री को बनाए रखा।

कार्यप्रणाली: MixMinMatch

लेखक MixMinMatch का प्रस्ताव करते हैं, जो एक तीन-चरणीय पाइपलाइन है जो मौजूदा वेब कॉर्पोरा की अतिरेकता (redundancy) का उपयोग गुणवत्ता फिल्टर के रूप में करती है। यह विधि विभिन्न शोध समूहों के स्वतंत्र फ़िल्टरिंग निर्णयों को सामग्री की गुणवत्ता पर "वोटर्स" के एक एन्सेम्बल (ensemble) के रूप में मानती है।

1. Mix (मिश्रण)

पाइपलाइन एक लक्षित भाषा (जैसे अरबी, तुर्की, हिंदी) के लिए कई मौजूदा सार्वजनिक प्रीट्रेनिंग कॉर्पोरा को एकत्रित करती है, जबकि प्रत्येक दस्तावेज़ की उत्पत्ति (provenance) को सुरक्षित रखती है। प्रत्येक दस्तावेज़ को एक टुपल $(x, s)$ के रूप में संग्रहीत किया जाता है, जहाँ $x$ टेक्स्ट है और $s$ मूल डेटासेट को दर्शाता है। एकत्रीकरण से पहले, स्पष्ट निम्न-गुणवत्ता वाली सामग्री को हटाने के लिए प्रत्येक स्रोत पर स्वतंत्र रूप से भाषा-विशिष्ट गुणवत्ता फिल्टर (जैसे लंबाई की बाधाएं, स्क्रिप्ट निरंतरता, n-ग्राम पुनरावृत्ति जांच) लागू किए जाते हैं।

2. MinHash (मिनहैश)

एकत्रित कॉर्पस को MinHash और लोकैलिटी-सेंसिटिव हैशिंग (LSH) का उपयोग करके मानक नियर-डुप्लिकेट डिटेक्शन से गुजारा जाता है।

• प्रक्रिया: दस्तावेज़ों को कैरेक्टर $n$-ग्राम शिंगल्स ($n=5$) के सेट में परिवर्तित किया जाता है। MinHash सिग्नेचर की गणना की जाती है, और जो दस्तावेज़ कम से कम एक LSH बैंड में टकराते हैं, उन्हें उम्मीदवार जोड़े (candidate pairs) माना जाता है।
• क्लस्टरिंग: अनुमानित जैकार्ड समानता (Jaccard similarity) $\geq 0.8$ वाले जोड़ों को Union-Find का उपयोग करके क्लस्टर किया जाता है।
• डीडुप्लिकेशन: प्रत्येक क्लस्टर से एक प्रतिनिधि दस्तावेज़ को बरकरार रखा जाता है।
• मुख्य अंतर्दृष्टि: यह चरण LLM प्रीट्रेनिंग में डुप्लिकेट्स से बचने के लिए एक मानक अभ्यास है। MixMinMatch इस चरण द्वारा उत्पादित क्लस्टर्स का उपयोग करता है, न कि केवल डीडुप्लिकेटेड आउटपुट का।

3. Match (मिलान)

यह चरण डीडुप्लिकेशन प्रक्रिया से गुणवत्ता संकेत निकालता है।

• क्रॉस-सोर्स एग्रीमेंट: प्रत्येक नियर-डुप्लिकेट क्लस्टर के लिए, एल्गोरिदम उन अद्वितीय स्रोत डेटासेट्स ($s$) की संख्या गिनता है जिन्होंने उस क्लस्टर में एक दस्तावेज़ का योगदान दिया है।
• फ़िल्टरिंग: "Matched" उपसमूह केवल उन क्लस्टरों के प्रतिनिधियों को रखता है जहाँ $|S(C_i)| \geq 2$ है। दूसरे शब्दों में, एक दस्तावेज़ को केवल तभी रखा जाता है जब उसे कम से कम दो अलग-अलग स्रोत पाइपलाइनों द्वारा स्वतंत्र रूप से पुनः प्राप्त किया गया हो।
• दक्षता: यह ऑपरेशन डीडुप्लिकेशन स्टेप के सापेक्ष कम्प्यूटेशनल रूप से मुफ्त है। इसमें केवल मौजूदा Union-Find संरचनाओं के भीतर स्रोत लेबल गिनना शामिल है, जिसमें किसी अतिरिक्त इन्फरेंस पास या मॉडल ट्रेनिंग की आवश्यकता नहीं होती है।

मुख्य योगदान

1. अतिरेकता का व्यवस्थित विश्लेषण: लेखक प्रमुख बहुभाषी कॉर्पोरा (C4, CulturaX, HPLT 2.0, FineWeb-2, आदि) में क्रॉस-सोर्स ओवरलैप को मात्रात्मक रूप से दर्शाते हैं, यह दिखाते हुए कि स्वतंत्र पाइपलाइनों में अरबों टोकन साझा किए जाते हैं। उदाहरण के लिए, C4 और CulturaX अरबी में 9 बिलियन से अधिक टोकन का नियर-डुप्लिकेट कंटेंट साझा करते हैं।
2. MixMinMatch एल्गोरिथ्म: एक नवीन विधि जो क्रॉस-सोर्स एग्रीमेंट को एक एन्सेम्बल फिल्टर के रूप में पुनर्गठित करती है। यह मानक MinHash डीडुप्लिकेशन इंफ्रास्ट्रक्चर से "मुफ्त" में एक गुणवत्ता संकेत निकालता है जिसका उपयोग प्रीट्रेनिंग के लिए पहले से ही किया जा रहा है।
3. नए कॉर्पोरा: अरबी, तुर्की और हिंदी के लिए तीन नए बहुभाषी प्रीट्रेनिंग डेटासेट (AraMix, TurMix, HinMix) जारी किए गए हैं। इनमें पूर्ण MinHash-डीडुप्लिकेटेड संस्करण और प्रति-दस्तावेज़ स्रोत गणना के साथ छोटे, उच्च-गुणवत्ता वाले "Matched" उपसमूह शामिल हैं।
4. अनुभवजन्य सत्यापन (Empirical Validation): प्रयोगात्मक प्रमाण जो दिखाते हैं कि क्रॉस-सोर्स मैचिंग उच्च-गुणवत्ता वाली सामग्री की पहचान करती है जो सिंगल-सोर्स बेसलाइन से बेहतर प्रदर्शन करती है।

परिणाम

लेखकों ने 1.46B पैरामीटर वाले Llama-स्टाइल मॉडल्स को एक निश्चित टोकन बजट (29.36B टोकन) पर प्रीट्रेन करने और भाषा-विशिष्ट बेंचमार्क सूट्स (FineTasks) पर प्रदर्शन को मापने के लिए उत्पन्न डेटासेट्स का मूल्यांकन किया।

• अरबी: AraMix-Matched उपसमूह ने 0.161 का कुल स्कोर प्राप्त किया, जो सर्वश्रेष्ठ सिंगल-सोर्स बेसलाइन (ArabicWeb24, 0.154) से 4.5% सापेक्ष सुधार है। पूर्ण AraMix-MinHash मिश्रण (178B टोकन) ने बेसलाइन प्रदर्शन (0.153) के बराबर प्रदर्शन किया जबकि 4.3× अधिक अद्वितीय टोकन प्रदान किए।
• तुर्की: TurMix-Matched ने 0.204 का स्कोर प्राप्त किया, जो FineWeb-2 तुर्की बेसलाइन (0.194) से 5.5% सापेक्ष सुधार है।
• हिंदी: HinMix-MinHash ने सबसे बड़ा लाभ दिखाया, जो CulturaX-Hindi बेसलाइन से 11.6% (0.089 बनाम 0.080) बेहतर रहा। 'मैच्ड' उपसमूह ने भी बेसलाइन से 8.1% बेहतर प्रदर्शन किया।
• एब्लेशन स्टडीज (Ablation Studies): मिश्रण से "सर्वश्रेष्ठ" सिंगल-सोर्स बेसलाइन को हटाने से लाभ कम नहीं हुआ। उदाहरण के लिए, FineWeb-2 के बिना TurMix-Matched अभी भी FineWeb-2 बेसलाइन से बेहतर था, जो पुष्टि करता है कि गुणवत्ता संकेत शेष स्रोतों के बीच सहमति से उत्पन्न होता है, न कि केवल एक बेहतर डेटासेट की गुणवत्ता को विरासत में मिलने से।
• मॉडल-आधारित फ़िल्टरिंग के साथ तुलना: 'मैच्ड' उपसमset ने FineWeb2-HQ को पछाड़ दिया, जो एक महंगे मॉडल-आधारित गुणवत्ता स्कोरिंग का उपयोग करके फ़िल्टर किया गया कॉर्पस है, बावजूद इसके कि MixMatch एक मॉडल-फ्री विधि है।

महत्व और दावे

यह शोध पत्र प्रतिपादित करता है कि मौजूदा वेब कॉर्पोरा में अतिरेकता (redundancy) एक संसाधन है, न कि केवल बर्बादी। लेखक दावा करते हैं कि सामग्री जिसे कई फ़िल्टरिंग पाइपलाइनों द्वारा स्वतंत्र रूप से बनाए रखा गया है, वह गुणवत्ता का एक मजबूत संकेतक है, जो क्राउडसोर्सिंग में इंटर-एनोटेटर एग्रीमेंट या मशीन लर्निंग में एन्सेम्बल विधियों के समान है।

इस कार्य का प्राथमिक महत्व यह प्रदर्शन करना है कि क्रॉस-सोर्स एग्रीमेंट एक मुफ्त, मॉडल-मुक्त गुणवत्ता फिल्टर के रूप में कार्य करता है। प्रत्येक दस्तावेज़ पर गुणवत्ता क्लासिफायर चलाने के कम्प्यूटेशनल ओवरहेड के बिना, डीडुप्लिकेशन स्टेप (MinHash) को सर्वसम्मति (consensus) की पहचान करने के तंत्र के रूप में उपयोग करके, अभ्यासकर्ता उच्च-गुणवत्ता वाले प्रीट्रेनिंग डेटासेट बना सकते हैं। लेखक निष्कर्ष निकालते हैं कि अनुसंधान समुदाय मौजूदा डेटासेट्स को व्यवस्थित रूप से संयोजित करके अतिरिक्त मूल्य निकाल सकता है, बजाय इसके कि प्रत्येक नए प्रोजेक्ट को शून्य से शुरू किया जाए।

यह पेपर पैमाने के संबंध में विनम्र रहता है, यह नोट करते हुए कि प्रयोग FineWeb-2 प्रोटोकॉल के साथ सीधी तुलना सुनिश्चित करने के लिए 1.46B पैरामीटर वाले मॉडल्स पर किए गए थे, हालांकि वे सुझाव देते हैं कि डेटा गुणवत्ता के प्रभाव बड़े पैमाने पर बने रहते हैं या बढ़ जाते हैं। वे यह भी स्वीकार करते हैं कि क्रॉस-सोर्स मैचिंग अन्य डेटा चयन विधियों के विकल्प के बजाय उनके पूरक (complementary) के रूप में है।