🤖 machine learning

LiBaGS: Lightweight Boundary Gap Synthesis for Targeted Synthetic Data Selection

LiBaGS एक हल्का, जनरेटर-अज्ञेय (generator-agnostic) तरीका है जो सीमा निकटता (boundary proximity), अनिश्चितता और घनत्व के आधार पर नमूनों को स्कोर करके सिंथेटिक डेटा चयन को अनुकूलित करता है, जबकि अनावश्यक या अवास्तविक डेटा के बिना डाउनस्ट्रीम कार्य सटीकता में सुधार करने के लिए एक बाउंड्री-गैप एलोकेशन नियम और मार्जिनल-वैल्यू स्टॉपिंग मानदंड का उपयोग करता है।

मूल लेखक: Abhishek Moturu, Anna Goldenberg, Babak Taati

प्रकाशित 2026-05-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abhishek Moturu, Anna Goldenberg, Babak Taati

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को दो प्रकार की वस्तुओं, जैसे कि बिल्लियों और कुत्तों के बीच अंतर करना सिखाने की कोशिश कर रहे हैं। आपके पास असली तस्वीरों का एक ढेर है, लेकिन कुछ पेचीदा क्षेत्र हैं जहाँ रोबोट भ्रमित हो जाता है। शायद उसे यह समझ नहीं आता कि उस बिल्ली का क्या करे जो थोड़ी कुत्ते जैसी दिखती है, या किसी ऐसे कुत्ते का जो बहुत ही असामान्य मुद्रा (pose) में हो। ये "भ्रमित करने वाले स्थान" (confusing spots) ही वे जगहें हैं जिन्हें शोध पत्र की भाषा में डिसीजन बाउंड्रीज़ (decision boundaries) कहा जाता है।

समस्या यह है कि आपके असली फोटो के ढेर में इन भ्रमित करने वाले स्थानों के सटीक उदाहरणों की कमी हो सकती है। आप इन खाली जगहों को भरने के लिए और अधिक नकली तस्वीरें (सिंथेटिक डेटा) बनाने की कोशिश कर सकते हैं, लेकिन यह जोखिम भरा है। यदि आप बस हजारों रैंडम नकली फोटो डाल देते हैं, तो आप रोबोट को उन चीजों के बारे में सिखाने में समय बर्बाद कर सकते हैं जो वह पहले से ही जानता है, या इससे भी बुरा, आप उसे ऐसी नकली तस्वीरों से सिखा सकते हैं जो वास्तविक जीवन से बिल्कुल अलग हों (जैसे छह पैरों वाली बिल्ली)।

LiBaGS नकली फोटो के लिए एक नया, स्मार्ट "फ़िल्टर" या "सेलेक्टर" है। यह कैसे काम करता है, इसके लिए कुछ रोज़मर्रा के उदाहरणों का उपयोग किया गया है:

1. "स्मार्ट स्काउट" बनाम "अंधा जनरेटर"

एक कारखाने की कल्पना करें जो लाखों नकली फोटो प्रिंट कर सकता है (जनरेटर)। कभी-कभी कारखाना बहुत अच्छा होता है; कभी-कभी यह अजीबोगरीब कचरा प्रिंट करता है।

पुराने तरीके अक्सर केवल उन शुरुआती कुछ फोटो को चुन लेते हैं जो "कठिन" या "अनिश्चित" दिखते हैं और उन्हें ट्रेनिंग के ढेर में जोड़ देते हैं।
LiBaGS एक स्मार्ट स्काउट (Smart Scout) की तरह काम करता है। इसे इस बात से फर्क नहीं पड़ता कि फोटो कैसे बनाई गई है (चाहे वह एक शानदार AI द्वारा बनाई गई हो या एक साधारण ड्राइंग टूल द्वारा)। यह बस फोटो को देखता है और उसे क्लासरूम में आने देने से पहले चार सवाल पूछता है:
1. क्या यह भ्रम क्षेत्र (confusion zone) के पास है? (क्या यह डिसीजन बाउंड्री के पास है जहाँ रोबोट अटक जाता है?)
2. क्या रोबोट वास्तव में इससे भ्रमित है? (क्या रोबोट इसे देखते समय कम आत्मविश्वास/confidence महसूस कर रहा है?)
3. क्या यह वास्तविक है? (क्या यह एक असली जानवर जैसा दिखता है, या यह एक ग्लिच वाला आर्टिफैक्ट है?)
4. क्या हमारे पास इसके जैसे पर्याप्त उदाहरण पहले से मौजूद हैं? (यदि हमारे पास पहले से ही "रोएंदार कुत्तों" के 100 फोटो हैं, तो क्या हमें वास्तव में एक और की आवश्यकता है?)

2. "खाली सीट" का उदाहरण

रोबोट के सीखने के स्थान को एक थिएटर के रूप में सोचें।

असली डेटा (Real data) कमरे के बीच में आरामदायक सीटों को भर देता है।
LiBaGS उन खाली सीटों (sparse regions) को खोजता है जो स्टेज की लाइटों (डिसीजन बाउंड्री) के ठीक पास हैं जहाँ मुख्य हलचल होती है।
यदि कोई सीट असली फोटो से पहले से भरी हुई है, तो LiBaGS कहता है, "यहाँ नकली फोटो डालने की कोई ज़रूरत नहीं है।"
यदि कोई सीट खाली है और स्टेज के बिल्कुल पास है, तो LiBaGS कहता, "बेहतरीन! आइए यहाँ रोबोट को सिखाने में मदद करने के लिए एक उच्च-गुणवत्ता वाली नकली फोटो रखें।"

3. "घटते प्रतिफल" (Diminishing Returns) का नियम

LiBaGS के पास यह जानने के लिए एक विशेष नियम है कि कब रुकना है। कल्पना कीजिए कि आप एक बाल्टी में पानी भर रहे हैं।

खाली जगह में पहले कुछ बूंदें (सिंथेटिक सैंपल्स) बहुत बड़ा अंतर पैदा करती हैं।
लेकिन यदि आप उसी स्थान पर पानी डालते रहते हैं, तो बाल्टी ओवरफ्लो हो जाती है, और अतिरिक्त पानी बस बाहर बह जाता है (यह रोबोट को कुछ भी नया सीखने में मदद नहीं करता है)।
LiBaGS "सीमांत मूल्य" (marginal value) की गणना करता है। यह नकली फोटो तभी तक जोड़ता रहता है जब तक कि प्रत्येक नया फोटो महत्वपूर्ण मात्रा में मूल्य (value) जोड़ता रहता है। जैसे ही मूल्य बहुत कम हो जाता है (बाल्टी पर्याप्त भर जाती है), यह स्वचालित रूप से रुक जाता है। आपको यह अनुमान लगाने की ज़रूरत नहीं है कि कितने नकली फोटो बनाने हैं; LiBaGS खुद तय कर लेता है।

4. "सॉफ्ट टीचर" (Soft Teacher)

कभी-कभी, एक नकली फोटो बिल्ली या कुत्ते के बिल्कुल किनारे पर होती है। यदि आप रोबोट को कहते हैं, "यह 100% एक बिल्ली है," तो रोबोट बाद में भ्रमित हो सकता है।

LiBaGS सॉफ्ट लेबल्स (soft labels) का उपयोग करता है। "बिल्ली!" चिल्लाने के बजाय, यह फुसफुसाता है, "यह 70% बिल्ली जैसा दिखता है और 30% कुत्ते जैसा।" यह रोबोट को कठिन किनारों के सूक्ष्म अंतर (nuance) को समझने में मदद करता है बिना उसे कोई कठोर या गलत निर्णय लेने के लिए मजबूर किए।

परिणाम

लेखकों ने तीन अलग-अलग कार्यों पर इस पद्धति का परीक्षण किया:

दो घुमावदार रेखाओं वाला एक सरल गणितीय पहेली (Two Moons)।
हाथ से लिखे गए नंबर 3 और 8 के बीच अंतर करना।
असली फोटो में बिल्लियों और कुत्तों के बीच अंतर करना (CIFAR-10)।

इन तीनों मामलों में, LiBaGS ने अन्य तरीकों की तुलना में रोबोट को बेहतर ढंग से सीखने में मदद की। इसने केवल अधिक डेटा नहीं जोड़ा; इसने सही डेटा जोड़ा। इसने उन विशिष्ट अंतरालों को भरा जहाँ रोबोट कमजोर था, उन अंतरालों को अनदेखा किया जो पहले से भरे हुए थे, और अजीब, अवास्तविक नकली फोटो को हटा दिया।

संक्षेप में: LiBaGS एक हल्का, स्मार्ट मैनेजर है जो यह सुनिश्चित करता है कि आपका रोबोट केवल उन्हीं नकली उदाहरणों से सीखे जो वास्तव में उसे पहेली के सबसे कठिन हिस्सों को हल करने में मदद करते हैं, जिससे समय बचता है और भ्रम कम होता है।

तकनीकी सारांश: LiBaGS (लाइटवेट बाउंड्री गैप सिंथेसिस)

समस्या विवरण (Problem Statement)

सुपरवाइज्ड लर्निंग में कमी, असंतुलन, गोपनीयता संबंधी बाधाओं या स्थानीय अपूर्णता को दूर करने के लिए सिंथेटिक डेटा का व्यापक रूप से उपयोग किया जाता है। हालांकि, एक आवर्ती समस्या यह है कि सभी सिंथेटिक नमूने (samples) फायदेमंद नहीं होते हैं। नमूने दुर्लभ लेकिन अप्रासंगिक हो सकते हैं (डिसीजन बाउंड्री से दूर), अनिश्चित लेकिन अनावश्यक हो सकते हैं (मौजूदा वास्तविक डेटा से घिरे हुए), या बाउंड्री जैसे लेकिन हानिकारक हो सकते हैं (वास्तविक डेटा मैनिफोल्ड से बाहर स्थित)।

मौजूदा विधियाँ, जैसे कि शास्त्रीय ओवरसैंपलिंग (जैसे SMOTE, ADASYN) और आधुनिक लक्षित पीढ़ी (जैसे अनिश्चितता या फीडबैक द्वारा निर्देशित डिफ्यूजन-आधारित सिंथेसिस), अक्सर उपयोगिता को एक स्थानीय स्कोर, जनरेशन प्रॉम्प्ट, या करिकुलम सिग्नल के रूप में मानती हैं। उनमें अक्सर इस बात को निर्धारित करने के लिए एक स्पष्ट तंत्र की कमी होती है कि वास्तविक डेटा कवरेज के सापेक्ष सिंथेटिक नमूनों को कहाँ रखा जाना चाहिए और घटते प्रतिफल (diminishing returns) से बचने के लिए कितने रखे जाने चाहिए।

कार्यप्रणाली: LiBaGS

LiBaGS लक्षित सिंथेटिक प्रशिक्षण डेटा चयन के लिए एक लाइटवेट, जनरेटर-अज्ञेय (generator-agnostic) फ्रेमवर्क है। यह किसी भी जनरेटर (जैसे इंटरपोलेटर्स, डिफ्यूजन मॉडल, सिम्युलेटर्स) द्वारा प्रस्तावित कैंडिडेट सिंथेटिक नमूनों के एक सीमित पूल को स्कोर करने, फ़िल्टर करने और विविधता प्रदान करने के लिए एक पोस्ट-प्रोसेसिंग एलोकेशन नियम के रूप में कार्य करता है।

1. स्कोरिंग और बाउंड्री-गैप महत्व

प्रत्येक कैंडिडेट $z$ के लिए, LiBaGS चार कारकों को जोड़कर एक "बाउंड्री-गैप महत्व" स्कोर $r(z)$ की गणना करता है:

डिसीजन-बाउंड्री निकटता (Decision-Boundary Proximity): इसे टॉप-टू क्लास प्रोबेबिलिटी मार्जिन $\Delta(z)$ पर आधारित एक स्मूथ वेट $a_\tau(z)$ के माध्यम से मापा जाता है। बाउंड्री के पास स्थित कैंडिडेट उच्च वेट प्राप्त करते हैं।
प्रेडिक्टिव अनसर्टेंटी (Predictive Uncertainty): इसे वास्तविक डेटा पर प्रशिक्षित एक स्कोरिंग मॉडल के प्रेडिक्टिव एंट्रॉपी $u(z)$ द्वारा मापा जाता है।
सपोर्ट वैधता (Support Validity): एक स्कोर $b(z) \in [0, 1]$ जो यह सुनिश्चित करता है कि कैंडिडेट वास्तविक डेटा मैनिफोल्ड के करीब है, जिससे अवास्तविक आर्टिफैक्ट्स को फ़िल्टर किया जा सके।
रियल-डेटा डेंसिटी (Real-Data Density): वास्तविक प्रशिक्षण नमूनों के स्थानीय घनत्व का एक अनुमान $\hat{p}(z)$ ।

महत्व स्कोर को इस प्रकार परिभाषित किया गया है:
$r(z) = a_\tau(z) \cdot u(z) \cdot b(z)$

2. बाउंड्री-गैप एलोकेशन नियम

LiBaGS चयन समस्या को एक स्थानीय रिस्क ऑब्जेक्टिव $J_m(q)$ को मिनिमाइज़ करने के रूप में तैयार करता है, जो डिसीजन बाउंड्री के पास क्लासिफिकेशन एरर का अनुमान लगाता है। यह ऑब्जेक्टिव उपलब्ध कुल साक्ष्य ($np(z) + mq(z) $) के विरुद्ध क्षेत्र के महत्व ($ r(z)$) को संतुलित करता है।

यह ऑब्जेक्टिव इष्टतम एलोकेशन डेंसिटी $q^*(z)$ प्रदान करता है:
$q^*(z) = \frac{1}{m} \left[ \sqrt{\frac{r(z)}{\lambda}} - np(z) \right]_+$
जहाँ $\lambda$ एक नॉर्मलाइजेशन कांस्टेंट है। सहज रूप से, यह नियम उन क्षेत्रों में सिंथेटिक नमूने आवंटित करता है जो:

डिसीजन बाउंड्री के लिए महत्वपूर्ण हैं (उच्च $r(z)$ )।
वास्तविक डेटा द्वारा कम कवर किए गए हैं (कम $np(z)$)।
यह उन क्षेत्रों में शून्य सिंथेटिक मास असाइन करता है जो पहले से ही वास्तविक डेटा द्वारा अच्छी तरह से कवर किए गए हैं।

व्यवहार में, एक सीमित कैंडिडेट पूल के लिए, यह प्रत्येक कैंडिडेट $j$ के लिए एक चयन स्कोर $G_j$ देता है:
$G_j = \left[ \sqrt{\frac{r(z_j)}{\lambda}} - n\hat{p}(z_j) \right]_+$

3. एडेप्टिव स्टॉपिंग और विविधता

एडेप्टिव स्टॉपिंग (Adaptive Stopping): एक निश्चित सिंथेटिक बजट के बजाय, LiBaGS एक मार्जिनल-वैल्यू स्टॉपिंग नियम का उपयोग करता है। यह मौजूदा कवरेज वाले क्षेत्र में एक नमूना जोड़ने के मार्जिनल गेन $\Delta_j(t_j)$ की गणना करता है। चयन तब तक ग्रिडली (greedily) जारी रहता है जब तक कि सबसे अच्छा शेष मार्जिनल गेन थ्रेशोल्ड $\eta$ से नीचे न गिर जाए, जो मार्जिनल गेन कर्व के फ्लैटनिंग पॉइंट द्वारा निर्धारित होता है। यह डेटा से इष्टतम सिंथेटिक नमूनों की संख्या $b_m$ को सीखता है।
सॉफ्ट लेबल्स (Soft Labels): अस्पष्ट सीमाओं के पास, जनरेटर्स के हार्ड लेबल ओवरकॉन्फिडेंट हो सकते हैं। LiBaGS एक सॉफ्ट लेबल $\tilde{y}(z)$ का उपयोग करता है जो जनरेटर के वन-हॉट लेबल को बाउंड्री प्रॉक्सिमिटी $a_\tau(z)$ द्वारा भारित स्कोरिंग मॉडल के प्रोबेबिलिटी वेक्टर के साथ मिलाता है।
विविधता ऑब्जेक्टिव (Diversity Objective): लगभग-डुप्लिकेट्स के चयन से बचने के लिए, LiBaGS एक सबमॉड्यूलर ऑब्जेक्टिव $F(S)$ को मैक्सिमाइज करता है जो फीचर-स्पेस समानता के आधार पर रेडंडेंसी को दंडित करते हुए उच्च-मूल्य वाले कैंडिडेट के कवरेज को पुरस्कृत करता है।

मुख्य योगदान (Key Contributions)

फॉर्मूलेशन: लेखक लक्षित सिंथेटिक डेटा चयन को एक बाउंड्री-गैप एलोकेशन समस्या के रूप में फ्रेम करते हैं, जो बाउंड्री महत्व और वास्तविक-डेटा कवरेज के बीच ट्रेड-ऑफ को स्पष्ट रूप से मॉडल करता है।
डेरिवेशन: उन्होंने एक बाउंड्री-गैप एलोकेशन नियम व्युत्पन्न किया है जो बाउंड्री प्रॉक्सिमिटी, अनसर्टेंटी, सपोर्ट वैलिडिटी और रियल-डेटा डेंसिटी को एकीकृत करता है।
एल्गोरिदम: वे एक व्यावहारिक एल्गोरिदम प्रदान करते हैं जिसमें एडेप्टिव स्टॉपिंग (सिंथेटिक काउंट सीखना) और डायवर्सिटी-अवेयर सिलेक्शन शामिल है।
अनुभवजन्य सत्यापन (Empirical Validation):ive वे कई डेटासेट्स पर शास्त्रीय ओवरसैंपलिंग, हार्ड ऑग्मेंटेशन, अनसर्टेंटी-आधारित चयन और लक्षित-जेनरेशन मानदंडों को पछाड़ते हुए LiBaGS की श्रेष्ठता प्रदर्शित करते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन कार्यों पर LiBaGS का मूल्यांकन किया:

Two Moons: एक नॉन-लीनियर क्लासिफिकेशन टास्क जिसमें डिसीजन बाउंड्री में एक स्पष्ट गैप है।
8x8 Digits (3 vs. 8): कठिन सीमाओं वाले हस्तलिखित अंकों का उपयोग करके एक बाइनरी क्लासिफिकेशन टास्क।
CIFAR-10 (Cat vs. Dog): एक फ्रोजन ResNet-50 और एक स्टेबल डिफ्यूजन कैंडिडेट पूल का उपयोग करके एक इमेज क्लासिफिकेशन टास्क।

प्रदर्शन:

Two Moons: LiBaGS ने 0.9454 सटीकता प्राप्त की, जो 0.8859 पर ERM से बेहतर है और सभी बेसलाइन्स (जैसे Deliberate Practice: 0.9437, Uncertainty-only: 0.9431) से बेहतर प्रदर्शन करती है।
8x8 Digits: LiBaGS ने 0.9540 सटीकता प्राप्त की, जो ERM (0.9391) और अन्य बेसलाइन्स जैसे Feedback-guided (0.9516) से आगे निकल गई।
CIFAR-10: Li가 0.8159 सटीकता प्राप्त की, जबकि ERM की सटीकता 0.8040 थी। हालांकि लाभ मामूली हैं, वे विभिन्न सीड्स (seeds) में सुसंगत हैं।

परिणाम संकेत देते हैं कि Li가 तब सबसे प्रभावी होता है जब कैंडिडेट पूल में सूचनात्मक, ऑन-सपोर्ट नमूने स्थित हों जो स्पार्स बाउंड्री क्षेत्रों में हों।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि सिंथेटिक डेटा सबसे अधिक उपयोगी तब होता है जब वह केवल डेटासेट का आकार बढ़ाने के बजाय स्पार्स, ऑन-सपोर्ट बाउंड्री गैप्स को भरता है। Li가 "उपयोगिता" के मुद्दे को निम्नलिखित तरीकों से संबोधित करता है:

टारगेटिंग: उन नमूनों को लक्षित करना जो डिसीजन बाउंड्री के करीब, अनसर्ट, और वास्तविक डेटा में कम प्रतिनिधित्व वाले हैं।
फ़िल्टरिंग: उन कैंडिडेट को खारिज करना जो ऑफ-सपोर्ट या रेडंडेंट हैं।
एडेप्टिविटी: जोड़ने के लिए उपयुक्त मात्रा में सिंथेटिक डेटा सीखना, जिससे फिक्स्ड बजट की भंगुरता (brittleness) से बचा जा सके।

लेखक Liगा को एक लाइटवेट एलोकेशन रूल के रूप में प्रस्तुत करते हैं जिसे जनरेटर्स को फिर से प्रशिक्षित किए बिना मौजूदा सिंथेटिक डेटा पाइपलाइनों में एकीकृत किया जा सकता है। वे सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि विधि कैंडिडेट पूल की गुणवत्ता और सपोर्ट एस्टीमेशन की सटीकता पर निर्भर करती है, और यह गारंटी नहीं देती है कि यदि मूल जनरेटर बायस्ड है तो डेटा की गुणवत्ता बनी रहेगी। इसे स्पार्स क्षेत्रों में ट्रेनिंग सिग्नल को सुधारने के लिए एक सिलेक्शन स्ट्रैटेजी के रूप में प्रस्तुत किया गया है, न कि सभी डेटा स्कैरसिटी समस्याओं के लिए एक स्टैंडअलोन समाधान के रूप में।