🤖 machine learning

Complement Submodular Information Measures for Balanced and Robust Data Selection

यह शोध पत्र कॉम्प्लीमेंट सबमॉड्यूलर इंफॉर्मेशन (CSI) प्रस्तुत करता है, जो उद्देश्यों का एक नया वर्ग है जो संतुलित, सुदृढ़ डेटा चयन प्राप्त करने के लिए एक चयनित उपसमुच्चय (subset) और उसके पूरक (complement) के बीच संरचनात्मक संबंधों को मापता है, जिसमें लगभग इष्टतम ग्रीडी एप्रोक्सिमेशन गारंटी और बेहतर डाउनस्ट्रीम प्रदर्शन मिलता है।

मूल लेखक: Rishabh Iyer

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rishabh Iyer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक संग्रहालय के क्यूरेटर हैं जिन्हें एक नई गैलरी में प्रदर्शित करने के लिए चित्रों का एक छोटा समूह चुनने का काम सौंपा गया है। आपका लक्ष्य 10,000 चित्रों के संग्रह में से "सर्वश्रेष्ठ" 100 चित्र चुनना है।

पुराना तरीका (मानक सबमॉड्यूलर ऑप्टिमाइज़ेशन)
पारंपरिक रूप से, क्यूरेटर (या कंप्यूटर एल्गोरिदम) उन चित्रों को देखते हैं जिन्हें उन्होंने चुना है और पूछते हैं: "क्या ये 100 चित्र सभी अलग-अलग शैलियों को कवर करते हैं? क्या वे विविध हैं? क्या वे पूरे संग्रहालय के 'औसत' की तरह दिखते हैं?"

समस्या यह है कि यह दृष्टिकोण उस संग्रह को अनदेखा कर देता है जो पीछे स्टोर रूम में रह गया है ("कॉम्प्लीमेंट")।

यदि एल्गोरिदम विविध (diverse) होने की कोशिश करता है, तो यह केवल विविधता का एक "बॉक्स" चेक करने के लिए कुछ अजीब, अलग-थलग दिखने वाले चित्र उठा सकता है जो किसी भी चीज़ से मेल नहीं खाते। ये "आउटलेयर्स" (outliers) की तरह हैं—अजीब आउटलेयर्स जो कहीं भी फिट नहीं होते।
यदि एल्गोरिदम प्रतिनिधिक (representative) होने की कोशिश करता है, तो यह केवल सबसे प्रसिद्ध, लोकप्रिय चित्रों (वितरण के "हेड") को ही चुन सकता है और पीछे छिपे हुए शांत, दुर्लभ लेकिन सुंदर मास्टरपीस (द "टेल") को अनदेखा कर सकता है।

नया तरीका (कॉम्प्लीमेंट सबमॉड्यूलर इंफॉर्मेशन - CSI)
यह पेपर एक नई रणनीति पेश करता है जिसे कॉम्प्लीमेंट सबमॉड्यूलर इंफॉर्मेशन (CSI) कहा जाता है। केवल आपके द्वारा चुने गए चित्रों को देखने के बजाय, CSI आपको आपके द्वारा चुने गए चित्रों और आपके द्वारा पीछे छोड़े गए चित्रों, दोनों को एक साथ देखने के लिए मजबूर करता है।

इसे एक संतुलन तराजू (balance scale) की तरह समझें।

मानक तरीके केवल तराजू के बाईं ओर रखी वस्तुओं को तौलते हैं।
CSI बाईं ओर और दाईं ओर की वस्तुओं, दोनों को तौलता है, यह सुनिश्चित करता है कि तराजू संतुलित रहे।

यह सरल भाषा में कैसे काम करता है

लेखकों ने एक गणितीय "नियम पुस्तिका" (फ्रेमवर्क) बनाई है जो हमारे डेटा चुनने के तरीके को बदल देती है। यहाँ मुख्य विचार है:

1. "दो-तरफा" नियम
जब आप एक पेंटिंग चुनते हैं, तो आप केवल यह नहीं पूछते, "क्या यह पेंटिंग अच्छी है?" बल्कि आप पूछते हैं, "यदि मैं इसे चुनता हूँ, तो क्या यह शेष चित्रों को भी एक अच्छी स्थिति में छोड़ता है?"

यदि आप एक अजीब आउटलेयर चुनते हैं, तो शेष चित्र बहुत असंतुलित दिख सकते हैं। CSI कहता है, "नहीं, इसे मत चुनो।"
यदि आप एक ऐसी पेंटिंग चुनते हैं जो एक दुर्लभ शैली का प्रतिनिधित्व करती है, तो यह सुनिश्चित करता है कि शेष चित्रों में अन्य शैलियों का अच्छा मिश्रण बना रहे। CSI कहता है, "हाँ, इसे चुनो।"

2. "आउटलेयर सप्रेसर" (Outlier Suppressor)
कल्पना कीजिए कि कंचों (marbles) का एक थैला है। अधिकांश लाल हैं, कुछ नीले हैं, और एक चमकता हुआ नियॉन हरा है जो किसी भी चीज़ से मेल नहीं खाता।

पुराने एल्गोरिदम उस नियॉन हरे कंचे को उठा सकते हैं क्योंकि वह "अलग" है।
CSI महसूस करता है कि यदि आप उस नियॉन हरे कंचे को ले लेते हैं, तो बाकी का थैला उस विशिष्ट "अजीबपन" की कमी के कारण अजीब तरह से खाली लगेगा। यह निर्णय लेता है कि उस नियॉन हरे कंचे को पीछे छोड़ दिया जाए और इसके बजाय एक नीला कंचा चुना जाए जो लाल कंचों को संतुलित करने में मदद करता है। यह शोर (noise) को दबा देता है।

3. "दुर्लभ रत्न" खोजने वाला (Rare Gem Finder)
कल्पना कीजिए कि एक लाइब्रेरी है जिसमें बिल्लियों के बारे में 1,000 किताबें हैं और केवल दुर्लभ, विलुप्त छिपकलियों के बारे में 5 किताबें हैं।

पुराने एल्गोरिदम बिल्लियों की 100 किताबें चुन सकते हैं क्योंकि वे "मुख्य" सामग्री हैं।
CSI "पीछे छोड़ी गई बिल्ली की किताबों" को देखता है और महसूस करता है, "यदि मैं एक छिपकली की किताब नहीं चुनता हूँ, तो शेष लाइब्रेरी में शून्य छिपकलियाँ होंगी।" इसलिए, यह सुनिश्चित करता है कि छिपकली की किताबें चुनी जाएं, जिससे पूरे संग्रह की दुर्लभ संरचना सुरक्षित रहे।

"सीक्रेट सॉस" (गणितीय भाग, सरल बनाया गया)

पेपर यह सिद्ध करता है कि यह "दो-तरफा" दृष्टिकोण केवल एक अच्छा विचार नहीं है; यह गणितीय रूप से काम करता है।

उन्होंने दिखाया कि भले ही यह नया नियम जटिल है (यह हमेशा "अधिक होना बेहतर है" वाला नहीं है), फिर भी यह इतना सुव्यवस्थित है कि एक सरल, चरण-दर-चरण ग्रीडी अप्रोच (एक-एक करके सर्वश्रेष्ठ आइटम चुनना) अभी भी एक बहुत अच्छा समाधान ढूंढ लेता है।
उन्होंने कृत्रिम डेटा (सिंथेटिक प्रयोगों) और वास्तविक डेटा (जैसे अंकों, कपड़ों और समाचार लेखों की छवियां) पर इसका परीक्षण किया।

परिणाम

जब उन्होंने इस नई पद्धति का परीक्षण किया:

बेहतर संतुलन: चयनित डेटा समूह बहुत अधिक संतुलित थे। उन्होंने केवल लोकप्रिय चीजें या अजीब आउटलेयर्स नहीं पकड़े; उन्हें पूरे कहानी का प्रतिनिधित्व करने वाला एक मिश्रण मिला।
कम गलतियाँ: इन चयनित समूहों पर प्रशिक्षित मॉडल नई चीजों की भविष्यवाणी करने में बेहतर प्रदर्शन करते हैं।
छिपे हुए पैटर्न: भले ही "दुर्लभ" समूह (जैसे छिपकली की किताबें) लेबल या नाम के बिना थे, CSI विधि ने उन्हें स्वाभाविक रूप से खोज लिया क्योंकि वह चुने गए और पीछे छोड़े गए समूहों के बीच के संतुलन को देख रही थी।

सारांश उपमा

डेटासेट को एक जिग्सॉ पहेली (jigsaw puzzle) के रूप में सोचें।

मानक तरीके एक सुंदर तस्वीर बनाने के लिए सबसे रंगीन टुकड़ों को पकड़ने की कोशिश करते हैं, अक्सर किनारे के टुकड़ों या अजीब आकृतियों को अनदेखा कर देते हैं।
CSI उन टुकड़ों को देखता है जिन्हें आप उठाते हैं और उन टुकड़ों को भी जो मेज पर पीछे रह गए हैं। यह सुनिश्चित करता है कि आपके द्वारा उठाए गए टुकड़े एक पूर्ण चित्र बनाते हैं, और पीछे छूटे हुए टुकड़े भी एक पूर्ण चित्र बनाते हैं। यह "अजीब" टुकड़ों को जमा करने या "उबाऊ" लेकिन आवश्यक किनारों को अनदेखा करने से रोकता है।

पेपर निष्कर्ष निकालता है कि दोनों तरफ के विभाजन (जो आप चुनते हैं और जो आप पीछे छोड़ते हैं) की परवाह करने से, आपको मशीन लर्निंग के लिए डेटा का बहुत अधिक मजबूत, संतुलित और सटीक चयन प्राप्त होता है।

तकनीकी सारांश: संतुलित और सुदृढ़ डेटा चयन के लिए पूरक उप-मॉड्यूलर सूचना उपाय (Complement Submodular Information Measures)

समस्या विवरण (Problem Statement)

डेटा चयन, पुनर्प्राप्ति (retrieval), और सारांशीकरण के लिए उप-मॉड्यूलर अनुकूलन (submodular optimization) एक मानक प्रतिमान बन गया है क्योंकि इसमें कवरेज, विविधता और प्रतिनिधित्व करने की क्षमता होती है। शास्त्रीय उप-मॉड्यूलर उद्देश्य (जैसे कि Facility Location, LogDet, Set Cover) चुनी गई उप-समुच्चय (subset) की उपयोगिता को अलग से अनुकूलित करते हैं। हालाँकि, आधुनिक मशीन लर्निंग अनुप्रयोगों में—जैसे कि ट्रेन/वैलिडेशन/टेस्ट स्प्लिटिंग, बेंचमार्क निर्माण, और सुदृढ़ उप-समुच्चय चयन में—एक चयन की गुणवत्ता अक्सर चुनी गई उप-समुच्चय और शेष डेटा (पूरक/complement) के बीच संरचनात्मक संबंध पर महत्वपूर्ण रूप से निर्भर करती है।

मानक उद्देश्य दो प्राथमिक सीमाओं से ग्रस्त हैं:

प्रतिनिधित्व पूर्वाग्रह (Representative Bias): Facility Location जैसे उद्देश्य प्रमुख क्षेत्रों या केंद्रीय पृष्ठभूमि संरचनाओं पर अत्यधिक ध्यान केंद्रित कर सकते हैं, जिससे दुर्लभ या "पूंछ" (tail) वाले सेमेंटिक स्लाइस की उपेक्षा हो सकती है।
विविधता पूर्वाग्रह (Diversity Bias): LogDet जैसे उद्देश्य उन अलग-थलग आउटलेर्स (outliers) को आक्रामक रूप से चुन सकते हैं जो शेष डेटासेट से अत्यधिक भिन्न दिखाई देते हैं, जिससे सुसंगत दुर्लभ सेमेंटिक क्लस्टर्स को संरक्षित करने में विफलता होती है।

मूल समस्या चुनी गई उप-समुच्चय और उसके पूरक के बीच संरचनात्मक जानकारी के स्पष्ट संरक्षण की कमी है, जिससे असंतुलित चयन होता है जो या तो 'टेल' वितरणों की अनदेखी करता है या शोर वाले आउटलेर्स को शामिल कर लेता है।

कार्यप्रणाली (Methodology)

पूरक उप-मॉड्यूलर सूचना (Complement Submodular Information - CSI)

लेखक पूरक उप-मॉड्यूलर सूचना (CSI) पेश करते हैं, जो पूरक-जागरूक उप-मॉड्यूलर उद्देश्यों के लिए एक एकीकृत ढांचा है। एक सामान्यीकृत मोनोटोन उप-मॉड्यूलर फलन $f: 2^V \to \mathbb{R}$ और एक उप-समुच्चय $A \subseteq V$ के लिए, CSI उद्देश्य को इस प्रकार परिभाषित किया गया है:
$I_f(A; V \setminus A) = f(A) + f(V \setminus A) - f(V)$
यह सूत्रीकरण उप-मॉड्यूलर म्यूचुअल इंफॉर्मेशन के एक पूरक-जागरूक एनालॉग के रूप में कार्य करता है। यह साझा संरचनात्मक सूचना को मात्रात्मक रूप से मापता है, जो दोनों पक्षों (चुनी गई उप-समुच्चय $A$ और शेष डेटा $V \setminus A$ ) में संरचना के संरक्षण को प्रोत्साहित करता है।

इंस्टांशिएशन (Instantiations)

यह ढांचा कई शास्त्रीय उप-मॉड्यूलर फलनों के पूरक-जागरूक वेरिएंट्स को प्रेरित करता है:

फैसिलिटी लोकेशन कॉम्प्लीमेंट इंफॉर्मेशन (FLCI): संतुलित प्रतिनिधि विभाजन को प्रोत्साहित करता है। एक बिंदु केवल तभी योगदान देता है जब वह चुनी गई उप-समुच्चय और उसके पूरक दोनों द्वारा अच्छी तरह से प्रतिनिधित्व किया गया हो।
ग्राफ कट कॉम्प्लीमेंट इंफॉर्मेशन (GCCI): विभाजन सीमा के पार कनेक्टिविटी को मापता है, जो मजबूत क्रॉस-पार्टिशन इंटरैक्शन वाले उप-समुच्चयों को प्राथमिकता देता है।
लॉगडेट कॉम्प्लीमेंट इंफॉर्मेशन (LogDetCI): दोनों विभाजनों में विविधता को संयुक्त रूप से संरक्षित करता है। यह दोनों ओर डिटर्मिनेंट वॉल्यूम बनाए रखता है, जिससे सुसंगत दुर्लभ क्लस्टर्स सुरक्षित रहते हैं और उन अलग-थलग आउटलेर्स को दबा दिया जाता है जिनमें पूरक में समर्थन की कमी होती है।
प्रोबेबिलिस्टिक सेट कवर (PSCCI), सैचुरेटेड कवरेज (SCCI), और फीचर-बेस्ड (FBCI): ये वेरिएंट भी दोनों विभाजनों में संतुलित संभाव्य कवरेज, स्थानीय पड़ोस संरक्षण और सेमेंटिक फीचर सक्रियण को लागू करते हैं।

अनुकूलन और सैद्धांतिक गारंटी (Optimization and Theoretical Guarantees)

CSI उद्देश्य सममित (symmetric) हैं और आम तौर पर गैर-मोनोटोन (non-monotone) होते हैं। हालाँकि, लेखक स्थापित करते हैं कि सीमित वक्रता (bounded curvature) की स्थिति में वे अनुमानित मोनोटोनिटी (approximate monotonicity) प्रदर्शित करते हैं।

अनुमानित मोनोटोनिटी: गैर-मोनोटोनिटी की डिग्री मूल फलन के प्रतिबंधित वक्रता $\kappa_k(f)$ द्वारा नियंत्रित होती है।
ग्रीडी एप्रोक्सिमेशन (Greedy Approximation): इन स्थितियों के तहत, मानक ग्रीडी एल्गोरिदम एक निकट- $(1 - 1/e)$ एप्रोक्सिमेशन गारंटी प्राप्त करता है। विशेष रूप से, यदि $A_g$ ग्रीडी समाधान है और $A^*$ इष्टतम समाधान है:
$I_f(A_g; V \setminus A_g) \geq \left(1 - \frac{1}{e}\right) I_f(A^*; V \setminus A^*) - \frac{k\epsilon}{e}$
जहाँ $\epsilon$ वक्रता और मूल फलन के अधिकतम मार्जिनल गेन द्वारा सीमित है।
दक्षता (Efficiency): शोध पत्र नोट करता है कि कुशल कार्यान्वयन (जैसे मेमोइज़ेशन, लेज़ी ग्रीडी, रैंक-वन डिटर्मिनेंट अपडेट्स) CSI अनुकूलन को मानक उप-मॉड्यूलर अनुकूलन के तुलनात्मक रूप से कुशल बनाते हैं।

मुख्य योगदान (Key Contributions)

एकीकृत ढांचा: पूरक-जागरूक उप-मॉड्यूलर उद्देश्यों के लिए एक व्यवस्थित ढांचे के रूप में CSI का परिचय।
सैद्धांतिक विश्लेषण: प्रमुख उप-मॉड्यूलर फलनों के लिए पूरक-जागरूक वेरिएंट का व्युत्पन्न और सीमित वक्रता के तहत ग्रीडी अनुकूलन के लिए निकट- $(1 - 1/e)$ एप्रोक्सिमेशन गारंटी का प्रमाण।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन करना कि CSI उद्देश्य, रैंडम बेसलाइन्स और शास्त्रीय उप-मॉड्यूलर उद्देश्यों की तुलना में, रोबस्ट हिडन-स्लाइस-अवेयर सबसेट चयन में काफी बेहतर प्रदर्शन करते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

सिंथेटिक प्रयोग (Synthetic Experiments)

लेखकों ने विभिन्न आकार के गौसियन क्लस्टर्स (जो हेड, मीडियम और टेल सेमेंटिक क्षेत्रों का अनुकरण करते हैं) और अलग-थलग आउटलेर्स वाले सिंथेटिक डेटासेट पर CSI उद्देश्यों का मूल्यांकन किया।

मेट्रिक्स: माइनॉरिटी कवरेज रेशियो, आउटलेयर सिलेक्शन रेट, और चयनित/पूरक/पूर्ण वितरणों के बीच KL डाइवर्जेंस।
निष्कर्ष:
- संतुलित संरक्षण: शास्त्रीय समकक्षों की तुलना में CSI वेरिएंट (FLCI, LogDetCI, SCCI, FBCI) ने दुर्लभ/टेल सेमेंटिक स्लाइस के कवरेज में लगातार सुधार किया।
- आउटलेयर दमन (Outlier Suppression): जहाँ मानक LogDet आक्रामक रूप से आउटलेर्स को चुनता था, वहीं LogDetCI ने दुर्लभ मोड को संरक्षित करते हुए आउटलेयर चयन दर को लगभग तीन गुना कम कर दिया।
- प्रतिनिधित्व संतुलन: FLCI और SCCI ने प्रतिनिधि कवरेज और मजबूती के बीच बेहतर संतुलन हासिल किया, जिससे चयनित उप-समुच्चय और पूर्ण डेटासेट के बीच KL डाइवर्जेंस न्यूनतम हुआ।
- ग्राफ कट सीमा: पाया गया कि GCCI संतुलित सेमेंटिक कवरेज के बजाय घने, अत्यधिक जुड़े हुए 'हेड' क्षेत्रों को प्राथमिकता देता है, जिससे यह इस संदर्भ में प्रतिनिधि संरक्षण के लिए कम उपयुक्त हो जाता है।

रोबस्ट हिडन-स्लाइस-अवेयर सबसेट सिलेक्शन

ढांचे का परीक्षण छह वास्तविक दुनिया के डेटासेट्स (MNIST, FashionMNIST, CIFAR10, Digits, HAR, 20Newsgles) पर किया गया जिनमें लेटेंट सेमेंटिक स्लाइस और इंजेक्टेड नॉइज़ थी।

सेटअप: बिना स्लाइस लेबल तक पहुँच के उप-समुच्चय चुने गए (मूल्यांकन के लिए अनसुपरवाइज्ड क्लस्टरिंग का उपयोग किया गया)। डाउनस्ट्रीम मॉडल्स को इन उप-समुच्चयों पर प्रशिक्षित किया गया।
परिणाम: CSI उद्देश्यों (विशेष रूप से FLCI, LogDetCI, और SCCI) ने रैंडम सिलेक्शन, स्ट्रैटिफाइड सिलेक्शन और अंतर्निहित मानक उप-मॉड्यूलर उद्देश्यों की तुलना में लगातार उच्च डाउनस्ट्रीम क्लासिफिकेशन सटीकता प्राप्त की।
अंतर्दृष्टि: प्रदर्शन लाभ का श्रेय CSI की उस क्षमता को दिया गया जिससे वह शोर वाले और अलग-थलग आउटलेर्स को दबाते हुए सुसंगत दुर्लभ सेमेंटिक संरचनाओं को संरक्षित कर सका, एक ऐसा संतुलन जिसे मानक उद्देश्य प्राप्त करने में विफल रहे।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि चुनी गई उप-समुच्चय और उसके पूरक के बीच संयुक्त रूप से संरचनात्मक जानकारी को संरक्षित करने से केवल उप-समुच्चय को अनुकूलित करने की तुलना में बहुत अधिक संतुलित और सुदृढ़ डेटा चयन प्राप्त होता है। इस कार्य का महत्व निम्नलिखित में निहित है:

एक संरचनात्मक अंतराल को संबोधित करना: चुनी गई उप-समुच्चय को अलग से अनुकूलित करने से आगे बढ़कर स्पष्ट रूप से पूरक के साथ संबंध को मॉडल करना।
व्यावहारिक सुदृढ़ता (Practical Robustness): एक ऐसा तरीका प्रदान करना जो स्वाभाविक रूप से शास्त्रीय उद्देश्यों की प्रवृत्ति को नियंत्रित करता है (चाहे वे प्रमुख क्षेत्रों पर अत्यधिक ध्यान केंद्रित करें या आउटलेर्स को चुनें), जिससे डाउनस्ट्रीम प्रेडिक्टिव प्रदर्शन में सुधार होता है।
सैद्धांतिक सुदृढ़ता: यह स्थापित करना कि गैर-मोनोटोन होने के बावजूद, ये उद्देश्य मजबूत सैद्धांतिक एप्रोक्सिमेशन गारंटी के साथ सुलभ (tractable) बने रहते हैं।

लेखक निष्कर्ष निकालते हैं कि CSI संतुलित संरक्षण (हेड और टेल सेमेंटिक संरचनाओं के लिए) प्राप्त करने के लिए एक एकीकृत दृष्टिकोण प्रदान करता है, जो इसे उन अनुप्रयोगों के लिए विशेष रूप से प्रभावी बनाता है जिनमें सुदृढ़ उप-समुच्चय चयन और निष्पक्ष डेटा स्प्लिटिंग की आवश्यकता होती है।