Hierarchical Data Selection via Manifold Coverage and Sparse Feature Coverage in LLM Post-training
यह शोध पत्र MASS का प्रस्ताव करता है, जो एक पदानुक्रमित (hierarchical) डेटा चयन ढांचा है जो पहले लो-डायमेंशनल मैनिफोल्ड कवरेज के माध्यम से डेटा को समूहीकृत करके और फिर स्पार्स फीचर कवरेज के माध्यम से उच्च-गुणवत्ता वाले उपसमुच्चयों का चयन करके LLM पोस्ट-ट्रेनिंग दक्षता और प्रदर्शन में सुधार करता है, जो मौजूदा बेसलाइन से लगातार बेहतर प्रदर्शन करता है और अक्सर काफी छोटे डेटासेट के साथ पूर्ण-डेटा प्रशिक्षण के बराबर होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से विकसित होती दुनिया में, जैसे-जैसे मॉडल बड़े और अधिक सक्षम होते जा रहे हैं, एक निरंतर चुनौती उभर कर सामने आई है: उन्हें सिखाने के लिए आवश्यक डेटा की विशाल मात्रा। प्रभावी ढंग से सीखने के लिए, इन प्रणालियों को उदाहरणों के विशाल पुस्तकालयों की आवश्यकता होती है, लेकिन इस जानकारी को इकट्ठा करना और संसाधित करना महंगा और समय लेने वाला है। शोधकर्ता लंबे समय से इस बात का तरीका खोजने की कोशिश कर रहे हैं कि उपलब्ध विशाल संग्रहों के भीतर सबसे मूल्यवान सूचनाओं की पहचान कैसे की जाए, इस उम्मीद में कि वे उपलब्ध डेटा के केवल एक छोटे, उच्च-गुणवत्ता वाले अंश का उपयोग करके शक्तिशाली मॉडल को प्रशिक्षित कर सकें। प्रचलित विचार यह था कि यदि आप यह माप सकें कि दो डेटा के टुकड़े एक-दूसरे से कितने भिन्न हैं, तो आप एक विविध सेट चुन सकते हैं जो सभी आवश्यक क्षेत्रों को कवर करता है। हालाँकि, यह दृष्टिकोण अक्सर विफल हो जाता था क्योंकि इन अंतरों को मापने के लिए उपयोग किए जाने वाले गणितीय स्थान बहुत अधिक भीड़भाड़ वाले और शोर (noisy) से भरे थे, जहाँ व्यापक विषयों और सूक्ष्म, अप्रासंगिक विवरणों तथा यादृच्छिक त्रुटियों का मिश्रण हो जाता था।
शोधकर्ताओं की एक टीम ने अब इस समस्या को हल करने का एक नया तरीका प्रस्तावित किया है, जिसमें डेटा के चयन को एक सपाट खोज के रूप में नहीं, बल्कि खोज की एक स्तरीय प्रक्रिया के रूप में देखा गया है। उनका तर्क है कि सर्वोत्तम डेटा खोजने के लिए, पहले सूचना के व्यापक परिदृश्य को समझना होगा और फिर उन विशिष्ट, सूक्ष्म विवरणों पर ध्यान केंद्रित करना होगा जो महत्वपूर्ण हैं। एक ऐसी प्रणाली बनाकर जो पहले डेटा को उसके प्रमुख विषयों के आधार पर समूहित करती है और फिर उन विषयों के भीतर सूक्ष्म विविधताओं को कवर करने के लिए नमूनों का सावधानीपूर्वक चयन करती है, उन्होंने एक ऐसा तरीका विकसित किया है जो मौजूदा तकनीकों से लगातार बेहतर प्रदर्शन करता है। जटिल दृश्य (visual) और तर्क संबंधी कार्यों में परीक्षणों के दौरान, इस नए दृष्टिकोण ने मॉडलों को डेटा के केवल एक बहुत छोटे अंश पर प्रशिक्षित करने के बावजूद, उन्हें पूरे डेटासेट पर प्रशिक्षित मॉडलों के समान या उनसे भी बेहतर प्रदर्शन करने की अनुमति दी।
शोधकर्ताओं के नेतृत्व में, पेंग सुन और विभिन्न विश्वविद्यालयों के सहयोगियों ने एक विधि विकसित की जिसे वे MASS कहते हैं, जिसका अर्थ है 'मैनिफोल्ड अवेयर स्पार्स सिलेक्शन' (Manifold Aware Sparse Selection)। यह समझने के लिए कि इसकी आवश्यकता क्यों है, एक विशाल पुस्तकालय को व्यवस्थित करने की कल्पना करें जहाँ प्रत्येक पुस्तक का वर्णन कीवर्ड्स की एक अत्यंत लंबी सूची द्वारा किया जाता है। यदि आप सीधे इन सूचियों की तुलना करके समान पुस्तकें खोजने का प्रयास करते हैं, तो आप बिल्ली के बारे में एक पुस्तक को कार के बारे में एक पुस्तक के साथ केवल इसलिए समूहबद्ध कर सकते हैं क्योंकि दोनों सूचियों में "तेज" शब्द शामिल हो सकता है, भले ही विषय पूरी तरह से अलग हों। मूल सूचियाँ मामूली विवरणों और यादृच्छिक शोर से इतनी भरी हुई हैं कि वे पुस्तकालय की वास्तविक संरचना को दिखाने में विफल रहती हैं। टीम ने महसूस किया कि आधुनिक AI मॉडलों को प्रशिक्षित करने के लिए उपयोग किया जाने वाला डेटा भी इसी तरह का व्यवहार करता है; इन डेटा बिंदुओं का गणितीय प्रतिनिधित्व इतना उच्च-आयामी (high-dimensional) और जटिल है कि सरल तुलनाएं उनके वास्तविक संबंधों को पकड़ने में विफल रहती हैं।
इसे ठीक करने के लिए, टीम ने एक दो-चरणीय प्रक्रिया डिजाइन की जो इस बात की नकल करती है कि एक मानव किसी नए क्षेत्र का पता कैसे लगाता है। सबसे पहले, वे जटिल डेटा को एक सरल, निम्न-आयामी रूप में संकुचित करने के लिए 'डेंस ऑटोएनकोडर' (dense autoencoder) नामक उपकरण का उपयोग करते हैं। इसे एक पहाड़ी श्रृंखला के उच्च-रिज़ॉल्यूशन, तीन-आयामी मानचित्र को एक स्पष्ट, दो-आयामी स्थलाकृतिक (topographic) मानचित्र में बदलने के रूप में सोचें जो हर पत्थर और झाड़ी के शोर के बिना प्रमुख चोटियों और घाटियों को दर्शाता है। यह चरण सिस्टम को डेटा के भीतर प्रमुख विषयों के आधार पर मुख्य सेमेंटिक समूहों की पहचान करने की अनुमति देता है, प्रभावी रूप से पुस्तकालय को "विज्ञान", "इतिहास" और "कथा साहित्य" जैसे विशिष्ट खंडों में वर्गीकृत करता है। यह मोटा वर्गीकरण (coarse grouping) यह सुनिश्चित करता है कि चयनित डेटा ज्ञान के मुख्य क्षेत्रों को कवर करता है।
एक बार जब डेटा को इन व्यापक समूहों में व्यवस्थित कर दिया जाता है, तो दूसरा चरण शुरू होता है। यहाँ, शोधकर्ता एक अलग उपकरण, 'स्पार्स ऑटोएनकोडर' (sparse autoencoder) का उपयोग करते हैं, जो प्रत्येक समूह के भीतर विशिष्ट, सूक्ष्म विवरणों को देखता है। जबकि पहले चरण ने बड़ी तस्वीर को संभाला, यह चरण उस अद्वितीय विशेषता पर ध्यान केंद्रित करता है जो एक ही श्रेणी के भीतर एक उदाहरण को दूसरे से अलग करती है। यह पुस्तकालय के "विज्ञान" अनुभाग में टहलने और यह सुनिश्चित करने जैसा है कि चयनित पुस्तकें न केवल सामान्य भौतिकी को कवर करें, बल्कि क्वांटम यांत्रिकी, खगोल भौतिकी और ऊष्मागतिकी जैसे विशिष्ट उप-विषयों को भी कवर करें, बजाय इसके कि पाँच ऐसी पुस्तकें चुनी जाएं जो सभी एक ही संकीक्षण विषय के बारे में हों। यह उपकरण केवल सबसे महत्वपूर्ण विशेषताओं को चुनने के लिए डिज़ाइन किया गया है, जिससे उस शोर और पुनरावृत्ति (redundancy) को अनदेखा किया जा सके जो अक्सर अन्य विधियों को भ्रमित करती है।
शोधकर्ताओं ने इस दृष्टिकोण का परीक्षण दो चुनौतीपूर्ण डेटासेट्स पर किया: एक जो सामान्य दृश्य निर्देशों (visual instructions) पर केंद्रित था और दूसरा छवियों और पाठ से जुड़े जटिल तर्क कार्यों पर। उन्होंने अपनी विधि की तुलना नौ अन्य लोकप्रिय डेटा चयन तकनीकों के विरुद्ध की, जिसमें रैंडम चयन और समानता या महत्व स्कोर पर आधारित विधियाँ शामिल थीं। परिणाम आश्चर्यजनक थे। कुल पूल के पांच प्रतिशत से पंद्रह प्रतिशत तक के विभिन्न डेटा मात्राओं में, MASS विधि ने लगातार ऐसे मॉडल तैयार किए जो किसी भी अन्य चयन रणनीति के साथ प्रशिक्षित मॉडलों की तुलना में बेहतर प्रदर्शन करते हैं। कई मामलों में, MASS-चयनित उपसमूह पर प्रशिक्षित मॉडल ने पूर्ण डेटासेट पर प्रशिक्षित मॉडलों की तुलना में बेहतर प्रदर्शन किया, जिससे दृश्य समझ और तार्किक तर्क के बेंचमार्क पर उच्च सटीकता प्राप्त हुई।
अध्ययन में यह समझने के लिए कई सावधानीपूर्वक जाँच भी शामिल थी कि यह विधि इतनी अच्छी तरह से क्यों काम करती है। शोधकर्ताओं ने पाया कि पहले चरण को छोड़ देने और मूल, जटिल प्रस्तुतियों से सीधे डेटा को समूहबद्ध करने का प्रयास करने से खराब परिणाम मिले, जिससे पुष्टि हुई कि प्रारंभिक संपीड़न (compression) सही संरचना खोजने के लिए आवश्यक था। इसी तरह, प्रारंभिक समूहीकरण के बिना केवल दूसरे चरण का उपयोग करने से डेटा की पूरी व्यापकता को पकड़ने में विफलता मिली। दोनों चरणों का संयोजन महत्वपूर्ण था, जहाँ पहला एक स्थिर ढांचा प्रदान करता था और दूसरा समृद्ध, विस्तृत कवरेज सुनिश्चित करता था। उन्होंने यह भी पाया कि उनका सिस्टम विश्लेषण के लिए उपयोग किए जाने वाले विशिष्ट उपकरणों में बदलाव के प्रति सुदृढ़ (robust) था, और विभिन्न प्रकार के डेटा प्रस्तुतीकरणों का उपयोग करने पर भी अच्छी तरह से काम करता रहा।
इस कार्य का एक प्रमुख अंतर्दृष्टि यह है कि डेटा की गुणवत्ता उतनी ही महत्वपूर्ण है जितनी कि उसकी विविधता। MASS सिस्टम एक गुणवत्ता स्कोर (quality score) को शामिल करता है, जो इसे अद्वितीय होने के बावजूद भी खराब-गुणवत्ता वाले उदाहरणों को चुनने से बचाता है। यह सुनिश्चित करता है कि अंतिम उपसमूह न केवल विविध है बल्कि विश्वसनीय भी है। शोधकर्ताओं ने उल्लेख किया कि हालांकि उनकी विधि को समूहीकरण और विशेषता निष्कर्षण (feature extraction) को सेट करने के लिए कुछ प्रारंभिक कम्प्यूटेशनल प्रयास की आवश्यकता है, लेकिन यह लागत पूर्ण-स्तरीय प्रशिक्षण के लिए आवश्यक संसाधनों की बचत की तुलना में बहुत कम है। डेटा तैयार करने में बिताया गया समय एक बार का निवेश है जो आमतौर पर पूर्ण-पैमाने के प्रशिक्षण के लिए आवश्यक विशाल संसाधनों को कम करके लाभ देता है।
अंततः, यह कार्य इस बारे में हमारी सोच में एक मौलिक बदलाव का सुझाव देता है कि आर्टिफिशियल इंटेलिजेंस को कैसे सिखाया जाए। यह मानते हुए कि अधिक डेटा हमेशा बेहतर होता है, या केवल विविध उदाहरण चुनना पर्याप्त है, के बजाय, शोधकर्ता दिखाते हैं कि डेटा की संरचना ही कुंजी है। सूचना के प्राकृतिक पदानुक्रम (hierarchy) का सम्मान करते हुए—पहले व्यापक परिदृश्य को समझना और फिर विशिष्ट विवरणों को भरना—AI मॉडल अधिक कुशलता से सीख सकते हैं। ये निष्कर्ष उन डेवलपर्स के लिए एक व्यावहारिक मार्ग प्रदान करते हैं जिन्हें असीमित कंप्यूटिंग शक्ति या डेटा की अंतहीन धाराओं के बिना शक्तिशाली सिस्टम को प्रशिक्षित करने की आवश्यकता है, यह सिद्ध करते हुए कि सही चयन रणनीति के साथ, थोड़ा सा डेटा वास्तव में बहुत दूर तक जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।