🤖 machine learning

Active Learning with Low-Rank Structure for Data Selection

यह शोध पत्र एक नए डेटा चयन ढांचे (framework) को प्रस्तुत करता है जो डेटा बिंदुओं के एक भारित उपसमुच्चय (weighted subset) को कुशलतापूर्वक चुनने के लिए लो-रैंक सन्निकटन (low-rank approximation) और अवशेष-आधारित नमूनाकरण (residual-based sampling) का लाभ उठाता है, जो वैश्विक बीजगणितीय संरचना वाले डेटासेट के लिए पारंपरिक क्लस्टरिंग-आधारित विधियों की तुलना में सैद्धांतिक गारंटी और अनुभवजन्य सुधार प्रदान करता है।

मूल लेखक: Vincent Cohen-Addad, Sasidhar Kunapuli, Vahab Mirrokni, Mahdi Nikdan, David P. Woodruff, Samson Zhou

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vincent Cohen-Addad, Sasidhar Kunapuli, Vahab Mirrokni, Mahdi Nikdan, David P. Woodruff, Samson Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप दुनिया का सबसे बेहतरीन सूप बनाने की कोशिश कर रहे एक शेफ हैं। आपके पास हज़ारों तरह की सब्ज़ियों, मसालों और शोरबों (यह आपका डेटासेट है) से भरा एक विशाल गोदाम है। अपना आदर्श सूप बनाने के लिए, आपको उन सभी को चखना और मिलाना होगा। लेकिन समस्या यह है: आपका किचन बहुत छोटा है, आपका चूल्हा कमज़ोर है, और आपके पास केवल कुछ ही घंटे हैं। पूरे गोदाम के साथ खाना बनाना असंभव है।

आपको सामग्रियों का एक छोटा, सटीक समूह चुनना होगा जो पूरे गोदाम के स्वाद के बिल्कुल समान स्वाद दे सके। यह डेटा सिलेक्शन (Data Selection) की समस्या है।

पुराना तरीका: "दूरी" के आधार पर चुनना

कुछ समय तक, बेहतरीन शेफ एक विधि का उपयोग करते थे जिसे क्लस्टरिंग (Clustering) कहा जाता था। कल्पना कीजिए कि आप गोदाम में जाते हैं और हर अलग कोने से एक सब्ज़ी चुनते हैं। आप उत्तर से एक गाजर, दक्षिण से एक आलू, पूर्व से एक मिर्च और पश्चिम से एक टमाटर लेते हैं।

तर्क यह था: "यदि मैं ऐसी चीज़ें चुनता हूँ जो एक-दूसरे से दूर हैं, तो मुझे यकीन है कि मैं सभी आधारों को कवर कर रहा हूँ।" यह सरल व्यंजनों के लिए ठीक काम करता था। लेकिन आधुनिक दुनिया में, जहाँ डेटा विशाल और जटिल है (जैसे लाखों वस्तुओं वाला गोदाम), इस विधि में एक दोष है। यह इस बात पर ध्यान केंद्रित करता है कि वस्तुएँ कहाँ हैं, न कि इस पर कि वे वास्तव में क्या करती हैं। हो सकता है कि आपके पास अलग-अलग दिखने वाली सब्ज़ियों का एक थैला हो जिनका स्वाद बिल्कुल एक जैसा हो, जबकि आप उस एक गुप्त मसाले को मिस कर दें जो वास्तव में सूप के स्वाद को परिभाषित करता है।

नया तरीका: "संरचना" के आधार पर चुनना

इस पेपर के लेखक कहते हैं: "यह देखना बंद करें कि सब्ज़ियाँ कहाँ खड़ी हैं। स्वाद के आकार (Shape) को देखें।"

वे लो-रैंक स्ट्रक्चर (Low-Rank Structure) पर आधारित एक नई विधि प्रस्तावित करते हैं।
अपनी सूप की सामग्रियों को व्यक्तिगत वस्तुओं के रूप में नहीं, बल्कि एक जटिल 3D मूर्ति के रूप में सोचें। भले ही वह मूर्ति जटिल दिखती हो, लेकिन वह वास्तव में केवल कुछ मुख्य बीमों और सपोर्टों से बनी हो सकती है। बाकी सब केवल सजावट है।

मुख्य बीम (Low-Rank): ये स्वाद की सबसे महत्वपूर्ण दिशाएँ हैं। यदि आप इन्हें सही कर लेते हैं, तो आप सूप को सही बना लेते हैं।
सजावट (Residuals): ये छोटे, महत्वहीन विवरण हैं जो स्वाद को बहुत अधिक नहीं बदलते।

लेखकों की विधि उन मुख्य बीमों को खोजने के लिए एक गणितीय "एक्स-रे" (जिसे लो-रैंक एप्रोक्सिमेशन/Low-Rank Approximation कहा जाता है) का उपयोग करती है। चीज़ों को दूर-दूर से चुनने के बजाय, वे उन विशिष्ट सामग्रियों को चुनते हैं जो स्वाद की संरचना के मुख्य बीमों को थामे रखती हैं।

वे इसे कैसे करते हैं: "संवेदनशीलता" का पैमाना

यह पता लगाने के लिए कि कौन सी सामग्रियाँ "मुख्य बीम" हैं, वे सेंसिटिविटी सैंपलिंग (Sensitivity Sampling) नामक तकनीक का उपयोग करते हैं।

कल्पना कीजिए कि आपके पास एक विशाल तराजू है। आप एक सब्ज़ी को उस पर रखते हैं, और तराजू आपको बताता है: "यदि आप इसे छोड़ देते हैं, तो सूप के स्वाद में कितना बदलाव आएगा?"

यदि स्वाद बहुत बदल जाता है, तो तराजू का स्तर बहुत ऊपर चला जाता है। वह सब्ज़ी अत्यधिक संवेदनशील (Highly Sensitive) है (बहुत महत्वपूर्ण है)।
यदि स्वाद बहुत कम बदलता है, तो तराजू का स्तर कम रहता है। वह कम संवेदनशील (Low Sensitivity) है (अनावश्यक है)।

उनका एल्गोरिदम प्रत्येक वस्तु के लिए यह स्कोर कैलकुलेट करता है, फिर सामग्रियों का एक छोटा समूह चुनता है, लेकिन उनके महत्व के आधार पर भारित (Weighted) तरीके से। आपके द्वारा "उच्च संवेदनशीलता" वाली वस्तुओं को चुने जाने की संभावना बहुत अधिक होती है।

परिणाम: यह क्यों मायने रखता है

पेपर ने इस विचार का दो तरीकों से परीक्षण किया:

क्रेडिट कार्ड टेस्ट: उन्होंने एक मानक वित्तीय डेटासेट का उपयोग करके यह भविष्यवाणी करने की कोशिश की कि कौन क्रेडिट कार्ड का भुगतान चूक जाएगा। उनकी "लो-रैंक" विधि ने ग्राहकों का एक छोटा समूह चुना जिसने पुराने "क्लस्टरिंग" तरीके या केवल रैंडम (यादृच्छिक) चयन की तुलना में परिणाम की बहुत बेहतर भविष्यवाणी की।
विशाल मस्तिष्क टेस्ट (LLMs): उन्होंने एक विशाल AI (Llama3-8B) को गणित करने और सवालों के जवाब देने के लिए प्रशिक्षित करने की कोशिश की। पूरे डेटासेट पर AI को प्रशिक्षित करने में बहुत समय लगता है और भारी लागत आती है। केवल 6% से 25% डेटा का उपयोग करके, उन्होंने AI को रैंडम डेटा या पुराने क्लस्टरिंग मेथड की तुलना में अधिक स्मार्ट बनाने के लिए प्रशिक्षित किया।

मुख्य निष्कर्ष

पेपर का दावा है कि आधुनिक, विशाल डेटासेट्स के लिए, डेटा बिंदुओं के बीच की "दूरी" की तुलना में डेटा का "आकार" (इसका बीजगणितीय संरचना/Algebraic Structure) अधिक महत्वपूर्ण है।

डेटा के केवल कोनों को कवर करने की कोशिश करने के बजाय, उसके मुख्य संरचनात्मक बीमों पर ध्यान केंद्रित करके, आप अपने 90% डेटा को हटा सकते हैं और फिर भी एक ऐसा मशीन लर्निंग मॉडल प्रशिक्षित कर सकते हैं जो उतना ही अच्छा, या उससे भी बेहतर प्रदर्शन करता है जितना कि सब कुछ उपयोग करने पर होता। यह समझने जैसा है कि आपको यह जानने के लिए कि सूप कितना नमकीन है, समुद्र के हर नमक के कण को चखने की ज़रूरत नहीं है; आपको बस उस चम्मच की ज़रूरत है जो समुद्र के वास्तविक चरित्र का प्रतिनिधित्व करता है।

तकनीकी सारांश: डेटा चयन के लिए लो-रैंक संरचना के साथ एक्टिव लर्निंग (Active Learning with Low-Rank Structure for Data Selection)

समस्या की परिभाषा

यह शोध पत्र मशीन लर्निंग में डेटा चयन समस्या (data selection problem) को संबोधित करता है, विशेष रूप से एक छोटे, प्रतिनिधि उपसमूह (कोरेसेट/coreset) की पहचान करने की चुनौती पर, जो मॉडल के प्रदर्शन से महत्वपूर्ण समझौता किए बिना कुशल प्रशिक्षण की अनुमति देता है। जबकि आधुनिक डेटासेट और फाउंडेशन मॉडल्स ने सफलता को प्रेरित किया है, वे प्रशिक्षण और फाइन-ट्यूनिंग के लिए अत्यधिक कम्प्यूटेशनल लागत भी उत्पन्न करते हैं।

मौजूदा दृष्टिकोण, जैसे कि सेनर और सवेरेसे [SS18] और अक्सियोटिस एट अल. [ACH+24] द्वारा, डेटा एम्बेडिंग्स पर लागू क्लस्टरिंग-आधारित ह्यूरिस्टिक्स (जैसे $k$ -सेंटर या $k$ -मीन्स) पर निर्भर करते हैं। ये विधियाँ मानती हैं कि डेटा में एक अंतर्निहित ज्यामितीय संरचना (geometric structure) होती है जहाँ विविधता और बिंदुओं के बीच की दूरी सूचनात्मकता के प्राथमिक चालक होते हैं। हालाँकि, लेखक तर्क देते हैं कि कई आधुनिक डेटासेट, विशेष रूप से उच्च-आयामी स्थानों (high-dimensional spaces) में, एक वैश्विक बीजगणितीय संरचना (global algebraic structure) प्रदर्शित करते हैं जिसे स्थानीय ज्यामितीय क्लस्टरिंग के बजाय लो-रैंक सन्निकटन (low-rank approximations, जैसे प्रिंसिपल कंपोनेंट एनालिसिस) द्वारा बेहतर ढंग से कैप्चर किया जा सकता है। क्लस्टरिंग विधियाँ प्रमुख विचरण दिशाओं (dominant directions of variance) को कैप्चर करने में विफल हो सकती हैं, जिससे मॉडल प्रशिक्षण के लिए महत्वपूर्ण घटक छूट सकते हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र लो-रैंक सन्निकटन (low-rank approximation) और रेसिड्यूअल-आधारित संवेदनशीलता नमूनाकरण (residual-based sensitivity sampling) पर आधारित डेटा चयन के लिए एक नया ढांचा प्रस्तावित करता है। मुख्य विचार केवल ज्यामितीय विविधता को अधिकतम करने के बजाय डेटा के प्रमुख स्पेक्ट्रल दिशाओं (dominant spectral directions) के संरक्षण को प्राथमिकता देना है।

सैद्धांतिक ढांचा (Theoretical Framework)

यह दृष्टिकोण रो सबसेट सिलेक्शन (Row Subset Selection) समस्या और लॉस-प्रिजर्विंग कोरेसेट निर्माण पर आधारित है। लेखक असेम्पशन 2.1 (Assumption 2.1) पेश करते हैं, जो यह प्रतिपादित करता है कि एक $k$ -आयामी उपस्थान (subspace) $V$ (जो शीर्ष सिंगुलर वेक्टर्स या प्रिंसिपल कंपोनेंट्स द्वारा स्पैन किया गया है) के सापेक्ष एक एम्बेडिंग मैट्रिक्स वाले डेटासेट $D$ के लिए, लॉस फंक्शन $\ell$ को इस प्रकार विघटित किया जा सकता है:

ऑर्थोगोनल पेनल्टी (Orthogonal Penalty): उपस्थान $V$ के बाहर के बिंदु $y$ के लिए लॉस विचलन, $V$ के लंबवत इसके रेसिड्यूअल घटक $r(y)$ के नॉर्म से $\lambda$ स्थिरांक द्वारा स्केल होकर द्विघाती (quadratically) रूप से सीमित होता है।
सबस्पेस एप्रोक्सिमेशन (Subspace Approximation): उपस्थान $V$ के भीतर, लॉस को आधार दिशाओं (basis directions) के साथ लॉस के भारित योग द्वारा अच्छी तरह से अनुमानित किया जाता है, जिसे $\gamma$ स्थिरांक द्वारा स्केल किया जाता है।

यह धारणा इस अंतर्ज्ञान को औपचारिक रूप देती है कि प्रमुख लो-रैंक उपस्थान के लंबवत दिशाएँ लॉस में कम योगदान देती हैं या कम सूचनात्मक होती हैं, जो PCA, मैट्रिक्स कम्प्लीशन और लो-रैंक अडैप्टेशन (LoRA) जैसे कार्यों में देखी जाने वाली एक विशेषता है।

एल्गोरिदम: सेंसिटिविटी सैंपलिंग (Sensitivity Sampling)

प्रस्तावित एल्गोरिदम (एल्गोरिदम 2) निम्नलिखित चरणों के माध्यम से एक भारित कोरेसेट $S$ का निर्माण करता है:

लो-रैंक स्केच (Low-Rank Sketch): उपस्थान $V$ और इसके आधार $\{v_1, \dots, v_k\}$ को परिभाषित करने के लिए डेटासेट का रैंक- $k$ सन्निकटन (जैसे SVD के माध्यम से) कंप्यूट करें।
विघटन (Decomposition): प्रत्येक डेटा बिंदु $x$ के लिए, इसे $V$ पर इसके प्रोजेक्शन $v(x)$ और $V$ के लंबवत इसके रेसिड्यूअल $r(x)$ में विभाजित करें।
सेंसिटिविटी स्कोर गणना: प्रत्येक बिंदु के लिए एक सेंसिटिविटी स्कोर $\sigma(x)$ $σ (x)$ की गणना करें जो जोड़ता है:
- आधार दिशाओं के साथ भारित लॉस: $(\gamma + 1)\sum \alpha_i^2 \ell(v_i)$ ।
- रेसिड्यूअल के लिए एक पेनल्टी: $\lambda \|r(x)\|_2^2$ ।
- आधार में अधिकतम लॉस से संबंधित एक स्थिरांक पद।
सैंपलिंग (Sampling): उनके सामान्यीकृत सेंसिटिविटी स्कोर $p(x) = \sigma(x) / \sum \sigma(y)$ के आनुपातिक रूप से रिप्लेसमेंट के साथ डेटासेट से बिंदुओं को सैंपल करें।
वेटिंग (Weighting): यह सुनिश्चित करने के लिए कि एस्टिमेटर अनबायस्ड (unbiased) है, सैंपल किए गए बिंदुओं को $w(x) = 1/(s \cdot p(x))$ भार असाइन करें।

मुख्य योगदान

सैद्धांतिक गारंटी (Theorem 2.2 & 2.3): यह शोध पत्र सिद्ध करता है कि $\tilde{O}(k + 1/\varepsilon^2)$ आकार का एक भारित उपसमूह, अनुकूलतम रैंक- $k$ सन्निकटन लागत $\Phi_k(D)$ के आनुपातिक एक एडिटिव टर्म तक, पूर्ण डेटासेट के औसत लॉस को $(1 \pm \varepsilon)$ सापेक्ष त्रुटि के भीतर अनुमानित कर सकता है।
- Theorem 2.2 एक सामान्य भारित उपसमूह के लिए इसकी गारंटी देता है।
- Theorem 2.3 इसे रो सबसेट सिलेक्शन तक विस्तारित करता है, यह सुनिश्चित करते हुए कि चयनित उपसमूह इनपुट डेटासेट से वास्तविक डेटा बिंदु ही हैं।
- त्रुटि सीमा स्पष्ट रूप से $\Phi_k(D)$ पर निर्भर करती है, जो यह दर्शाती है कि मजबूत लो-रैंक संरचना वाले डेटासेट अधिक सटीक कोरेसेट प्रदान करते हैं।
एल्गोरिद्मिक नवाचार: लेखक एक सेंसिटिविटी सैंपलिंग एल्गोरिदम पेश करते हैं जो लो-रैंक संरचना का लाभ उठाकर महत्व स्कोर (importance scores) की गणना करता है, जो क्लस्टरिंग-आधारित विधियों द्वारा उपयोग किए जाने वाले ज्यामितीय दूरी मेट्रिक्स से भिन्न है।
अनुभवजन्य सत्यापन (Empirical Validation): फ्रेमवर्क को टैबुलर डेटा (क्रेडिट कार्ड डिफॉल्ट डेटासेट) और बड़े पैमाने पर लैंग्वेज मॉडल फाइन-ट्यूनिंग (GSM8k, ViGGO और SQL कार्यों पर Llama3-8B और Qwen2.5-3B) दोनों पर मान्य किया गया है।

प्रयोगात्मक परिणाम

शोध पत्र प्रस्तावित लो-रैंक सेंसिटिविटी सैंपलिंग (Low-rank SS) का कई बेसलाइन्स के विरुद्ध मूल्यांकन करता है: यूनिफॉर्म सैंपलिंग, $k$ -सेंटर, क्लस्टरिंग-आधारित सेंसिटिविटी सैंपलिंग, और ग्राफ कट।

टैबुलर डेटा (क्रेडिट कार्ड डेटासेट):
- Low-rank SS ने सम-वर्ग (sum-of-squares) में सबसे कम एप्रोक्सिमेशन एरर प्राप्त किया, जिसने रैंडम सैंपलिंग की तुलना में त्रुटि को एक क्रम (order of magnitude) कम किया और छोटे सैंपल साइज ( $s=1000$ ) पर क्लस्टरिंग की तुलना में ~50% कम किया।
- डाउनस्ट्रीम लॉजिस्टिक रिग्रेशन में, Low-rank SS ने $s=5000$ पर 74% टेस्ट एक्यूरेसी प्राप्त की, जो क्लस्टरिंग (70%) और रैंडम सैंपलिंग (67%) से बेहतर थी।
LLM फाइन-ट्यूनिंग (Llama3-8B & Qwen2.5-3B):
- GSM8k, ViGGO, और SQL कार्यों पर, Low-rank SS ने लगातार यूनिफॉर्म सैंपलिंग और क्लस्टरिंग-आधारित विधियों को पछाड़ा।
- उदाहरण के लिए, Llama3-8B के साथ ViGGO पर 25% डेटा कम्प्रेशन पर, Low-rank SS ने 77.6% एक्यूरेसी प्राप्त की, जबकि क्लस्टरिंग-आधारित SS ने 74.9% प्राप्त की।
- ट्रांसफरेबिलिटी (Transferability): एक बड़े मॉडल (Llama3-8B) का उपयोग करके चुने गए उपसमूह सफलतापूर्वक एक छोटे मॉडल (Qwen2.5-3B) में स्थानांतरित हुए, और यहाँ तक कि उन्होंने सीधे लक्षित मॉडल द्वारा चुने गए उपसमूहों से भी बेहतर प्रदर्शन किया, जो यह सुझाव देता है कि लो-रैंक मानदंड डेटा के अंतर्निहित गुणों को कैप्चर करता है।
- एब्लेशन (Ablation): विधि बेसिस सिलेक्शन के चुनाव के प्रति मजबूत साबित हुई, जिसमें लीवरेज स्कोर सैंपलिंग ने सबसे अच्छा प्रदर्शन किया, हालांकि यूनिफॉर्म बेसिस सिलेक्शन ने भी प्रतिस्पर्धी परिणाम दिए।
संरचना विश्लेषण (Structure Analysis): GSM8k पर प्रयोगों ने प्रदर्शित किया कि डेटासेट क्लस्टरिंग की तुलना में लो-रैंक धारणाओं के तहत कम एप्रोक्सिमेशन एरर प्रदर्शित करता है, जो एसेम्पशन 2.1 की प्रयोज्यता की पुष्टि करता है।

महत्व और दावे

शोध पत्र दावा करता है कि यह नैव (naive) सब-सैंपलिंग और क्लस्टरिंग-आधारित डेटा चयन के लिए एक मजबूत और कुशल विकल्प प्रदान करता है, विशेष रूप से उच्च-आयामी और बड़े पैमाने के परिवेशों के लिए।

सैद्धांतिक योगदान: यह लो-रैंक लॉस धारणाओं के तहत डेटा चयन के लिए कठोर गारंटी स्थापित करता है, जो कोरेसेट की गुणवत्ता को सीधे डेटासेट के लो-रink संरचना ( $\Phi_k(D)$ ) के साथ जोड़ता है।
व्यावहारिक प्रभाव: लेखक यह प्रदर्शित करते हैं कि प्री-ट्रेंड मॉडल्स (जैसे BERT) से प्राप्त सरल एम्बेडिंग्स, बहुत बड़े लक्षित मॉडल्स (LLMs) के लिए आवश्यक लो-रैंक संरचना को अनुमानित करने के लिए पर्याप्त हैं।
दक्षता (Efficiency): यह दृष्टिकोण पूरे डेटासेट पर अनसर्टेंटी स्कोर (uncertainty scores) की गणना करने की कम्प्यूटेशनल बाधाओं (जो एक्टिव लर्निंग में आम है) और क्लस्टरिंग-आधारित बैच सिलेक्शन की रेडंडेंसी समस्याओं से बचता है।
विनम्रता (Modesty): लेखक स्वीकार करते हैं कि क्लस्टरिंग कुछ मामलों में मूल्यवान बनी रहती है, लेकिन उनका लो-रैंक दृष्टिकोण बड़े पैमाने के मॉडल्स पर डेटा-कुशल प्रशिक्षण के लिए अधिक विश्वसनीय आधार प्रदान करता है जहाँ प्रमुख स्पेक्ट्रल दिशाएँ महत्वपूर्ण होती हैं। वे सार्वभौमिक इष्टतमता (universal optimality) का दावा नहीं करते हैं, बल्कि उन सेटिंग्स में महत्वपूर्ण सुधार का दावा करते हैं जहाँ डेटा एक वैश्विक बीजगणितीय संरचना प्रदर्शित करता है।