तकनीकी सारांश: ACIL – इमेज क्लासिफिकेशन के लिए एक्टिव क्लास इंक्रीमेंटल लर्निंग

1. समस्या विवरण (Problem Statement)

यह शोध पत्र कंप्यूटर विज़न में क्लास इंक्रीमेंटल लर्निंग (CIL) की चुनौती को संबोधित करता है, जो एक ऐसी स्थिति है जहाँ डीप न्यूरल नेटवर्क (DNNs) को पिछले सीखे गए वर्गों के ज्ञान को बनाए रखते हुए एपिसोडिक डेटा से नए वर्गों को क्रमिक रूप से सीखना होता है। CIL में एक प्राथमिक बाधा कैटास्ट्रोफिक फॉरगेटिंग (विस्मृति) है, जहाँ नए वर्गों के लिए नेटवर्क को अनुकूलित करने से पुराने वर्गों का ज्ञान मिट जाता है।

मौजूदा CIL अनुसंधान मुख्य रूप से विस्मृति को कम करने पर ध्यान केंद्रित करते हैं, और अक्सर यह मान लेते हैं कि प्रत्येक एपिसोड में सभी प्रशिक्षण नमूने पूरी तरह से एनोटेटेड (Annotated) हैं। लेखक तर्क देते हैं कि यह धारणा अवास्तविक और अक्षम है, जिसके दो कारण हैं:

1. उच्च एनोटेशन लागत: मैन्युअल एनोटेशन समय, श्रम और विशेषज्ञता के मामले में महंगा है।
2. एनोटेशन की बर्बादी: एपिसोडिक सेटिंग्स में, वर्तमान एपिसोड का अधिकांश डेटा भविष्य के एपिसोड में सुलभ नहीं होता है। इसलिए, एक एपिसोड के सभी नमूनों को एनोटेट करना प्रयास की बर्बादी है, क्योंकि भविष्य के चरणों में विस्मृति को रोकने के लिए इन नमूनों के केवल एक उपसमुच्चय (Exemplars) की ही आवश्यकता होगी।

यह शोध पत्र एक नया परिवेश प्रस्तावित करता है जहाँ, प्रत्येक एपिसोड में, केवल डेटा का एक छोटा हिस्सा एनोटेट किया जाता है, जबकि अधिकांश भाग बिना लेबल वाला (Unlabeled) रहता है। इसका लक्ष्य एक ऐसा फ्रेमवर्क विकसित करना है जो एक्सेम्प्लर नमूनों (Exemplar samples) के एक न्यूनतम सेट का चयन कर सके जिन्हें एनोटेट किया जाए और अगले एपिसोड में भेजा जा सके, जिससे एनोटेशन लागत को कम करते हुए कैटास्ट्रोफिक फॉरगेटिंग को प्रभावी ढंग से रोका जा सके।

2. कार्यप्रणाली: ACIL फ्रेमवर्क (Methodology: The ACIL Framework)

लेखक ACIL (एक्टिव क्लास इंक्रीमेंटल लर्निंग) का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो CIL पाइपलाइन में एक्टिव लर्निंग (AL) रणनीतियों को एकीकृत करता है। इसका मुख्य तंत्र प्रत्येक एपिसोड में एक निश्चित आकार $k$ के एक्सेम्प्लर सेट को चुनना है जिसे मैन्युअल रूप的に एनोटेट किया जाएगा और अगले एपिसोड के डेटा में जोड़ा जाएगा।

2.1 समस्या सेटअप (Problem Setup)

• डेटा प्रवाह (Data Flow): प्रशिक्षण डेटा $N$ क्रमिक एपिसोड में आता है। प्रत्येक एपिसोड $n$ में एक छोटा लेबल वाला सेट ($X^L_n$), एक बड़ा बिना लेबल वाला सेट ($X^U_n$), और पिछले एपिसोड से एक एक्सेम्प्लर सेट ($E_{n-1}$) शामिल है।
• प्रतिबंध (Constraint): मॉडल को $X^L_n$ और $E_{n-1}$ पर प्रशिक्षित किया जाता है। वर्तमान एपिसोड से, सिस्टम को एनोटेट करने के लिए आकार $k$ का एक नया एक्सेम्प्लर सेट $E_n$ चुनना होगा।
• चयन स्रोत (Selection Source): $E_n$ का निर्माण $X^U_n$ (वर्तमान बिना लेबल डेटा), $E_{n-1}$ (पिछले एक्सेम्प्लर), और संभावित रूप से $X^L_n$ (हालांकि लेखक नोट करते हैं कि आकार के कारण $X^U_n$ को प्राथमिकता दी जाती है) से नमूने चुनकर किया जाता है।

2.2 बजट विभाजन रणनीति (Budget Splitting Strategy)

नए वर्गों को सीखने और पुराने ज्ञान को बनाए रखने के बीच संतुलन बनाने के लिए, ACIL एनोटेशन बजट $k$ को वर्तमान बिना लेबल सेट ($X^U_n$) और पिछले एक्सेम्प्लर सेट ($E_{n-1}$) के बीच विभाजित करता है।

• विभाजन प्रत्येक सेट में मौजूद वर्गों की संख्या ($|C_{episode}|$ बनाम $|C_{exemplar}|$) के आनुपातिक है।
• सूत्र (Formula):
  $$k_{unlabeled} = \left( \frac{|C_{episode}|}{|C_{episode}| + |C_{exemplar}|} \right) \cdot k$$
  $$k_{exemplar} = \left( \frac{|C_{exemplar}|}{|C_{episode}| + |C_{exemplar}|} \right) \cdot k$$
• यह सुनिश्चित करता है कि एक्सेम्प्लर सेट $E_n$ अब तक देखे गए सभी वर्गों का प्रतिनिधित्व बनाए रखे, जिससे विस्मृति कम होती है।

2.3 एक्टिव सैंपलिंग रणनीति (Active Sampling Strategy)

आवंटित बजट के भीतर विशिष्ट नमूनों का चयन अनिश्चितता (Uncertainty) और विविधता (Diversity) के संयोजन द्वारा संचालित होता है।

• अनिश्चितता (Uncertainty): मॉडल के भविष्यवाणियों के शैनन एंट्रॉपी (Shannon's entropy) का उपयोग करके मापी जाती है।
• विविधता (Diversity): उम्मीदवार सेट को $B$ क्लस्टरों (जहाँ $B$ बजट है) में विभाजित करके प्राप्त की जाती है ताकि प्रत्येक क्लस्टर के भीतर विचलन (Variance) न्यूनतम हो।
• अनुकूलन (Optimization): लेखक एक भारित सेट विभाजन समस्या (Weighted set partitioning problem) को फॉर्मुलेट करते हैं ताकि पार्टिशन के भीतर भारित विचलन को कम किया जा सके, जहाँ भार अनिश्चितता (Entropy) है।
  $$\text{argmin}_P \sum_{b=1}^{B} \sum_{x \in X_b} I(x) ||F(x) - c_b||^2$$
  जहाँ $I(x)$ अनिश्चितता (Entropy) है और $F(x)$ फीचर एम्बेडिंग है।
• एल्गोरिदम: एक NP-hard समस्या जिसे Weighted K-Means का उपयोग करके अनुमानित किया गया है। प्रत्येक विभाजन में भारित सेंट्रॉइड (Weighted centroid) के सबसे करीब वाले नमूने को एनोटेशन के लिए चुना जाता है।

2.4 लॉस फंक्शन (Loss Function)

DNN को निम्नलिखित के संयोजन का उपयोग करके प्रशिक्षित किया जाता है:

1. वेटेड क्रॉस-एन्ट्रॉपी लॉस ($L_{WCE}$): क्लास असंतुलन को संभालने के लिए लेबल वाले डेटा ($X^L_n \cup E_{n-1}$) पर लागू किया जाता है, जिसमें भार वर्ग आवृत्ति के व्युत्क्रमानुपाती (Inversely proportional) होता है।
2. नॉलेज डिस्टिलेशन लॉस ($L_D$): पिछले मॉडल ($M_{n-1}$) से वर्तमान मॉडल ($M_n$) में ज्ञान स्थानांतरित करने के लिए एक्सेम्प्लर सेट $E_{n-1}$ पर लागू किया जाता है, जो विस्मृति को रोकता है।
   $$L = L_{WCE} + \lambda L_D$$

3. प्रमुख योगदान (Key Contributions)

1. नया लर्निंग पैराडाइम: एक CIL सेटिंग की शुरुआत जहाँ पूर्ण एपिसोडिक डेटा के एनोटेशन की धारणा नहीं है, जो वर्तमान CIL बेंचमार्क की उच्च लागत और अक्षमता को संबोधित करती है।
2. ACIL फ्रेमवर्क: एक विशिष्ट एल्गोरिदम जो अनिश्चितता और विविधता के दोहरे मानदंड के आधार पर एक्सेम्पलर का चयन करता है, और नए एवं पुराने दोनों वर्गों के कवरेज को सुनिश्चित करने के लिए बजट-स्प्लिटिंग रणनीति का उपयोग करता है।
3. दक्षता बनाम प्रदर्शन: यह प्रदर्शन करना कि ACIL, फुल-एनोटेशन वाले SOTA CIL तरीकों के समान प्रदर्शन प्राप्त कर सकता है, जबकि मानव एनोटेशन के लिए आवश्यक नमूनों की संख्या को भारी रूप से कम करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन छह विज़न डेटासेट्स पर किया गया: MNIST, SVHN, CIFAR-10, CIFAR-100, COIL, और Tiny ImageNet।

• सटीकता (Accuracy): ACIL ने एक्टिव लर्निंग बेसलाइन्स (Random, Coreset, BADGE) को काफी पीछे छोड़ दिया, क्योंकि वे केवल वर्तमान बिना लेबल सेट से नमूने लेकर पिछले एपिसोड के ज्ञान को बनाए रखने में विफल रहे। ACIL ने फुल-एनोटेशन CIL बेसलाइन्स (iCaRL, GDumb, Rainbow Memory) के समान, और कुछ मामलों में उनसे थोड़ा बेहतर सटीकता प्राप्त की।
• एनोटेशन प्रयास (Annotation Effort): ACIL ने सभी विधियों में सबसे कम एनोटेशन प्रयास दिखाया। उदाहरण के लिए, CIFAR-10 पर, ACIL ने CIL बेसलाइन्स की तुलना में प्रति एपिसोड लगभग 4.13 गुना कम एनोटेशन की आवश्यकता के साथ समान सटीकता बनाए रखी।
• रिटेंशन (Retention): ACIL ने पहले एपिसोड से ज्ञान के मजबूत रिटेंशन का प्रदर्शन किया, जो रीप्ले-आधारित CML विधियों के समान है, जो विस्मृति को कम करने की इसकी क्षमता को प्रमाणित करता है।
• मजबूती (Robustness): एक्सेम्प्लर सेट के आकार (बजट) को बदलते हुए प्रयोगों ने दिखाया कि ACIL विभिन्न मेमोरी बाधाओं के तहत CIL बेसलाइन्स के अनुरूप प्रदर्शन रुझान बनाए रखता है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि ACIL वास्तविक दुनिया के इंक्रीमेंटल लर्निंग अनुप्रयोगों के लिए एक व्यावहारिक समाधान प्रदान करता है जहाँ:

• मेमोरी सीमित है: एक्सेम्प्लर सेट का आकार निश्चित है, जो सीमित स्टोरेज का अनुकरण करता है।
• एनोटेशन महंगा है: फ्रेमवर्क समय के साथ मॉडल को प्रशिक्षित करने के लिए आवश्यक मानव श्रम को काफी कम कर देता है।
• डेटा क्षणिक (Ephemeral) है: प्रत्येक एपिसोड में सीमित एनोटेट किए गए डेटा से सीखने की क्षमता गोपनीयता और स्टोरेज बाधाओं के अनुरूप है जहाँ पिछले डेटा को पूरी तरह से बनाए नहीं रखा जा सकता है।

लेखक निष्कर्ष निकालते हैं कि सूचनात्मक नमूनों के एक छोटे उपसमुच्चय को प्रसारित करने के लिए बुद्धिमानी से चयन करके, ACIL एनोटेशन लागत और मॉडल प्रदर्शन के बीच के ट्रेड-ऑफ को सफलतापूर्वक संतुलित करता है, जिससे रिसोर्स-कंस्ट्रेंड वातावरण के लिए निरंतर सीखना अधिक व्यवहार्य हो जाता है। भविष्य के कार्य में इस फ्रेमवर्क को रिग्रेशन कार्यों तक विस्तारित करने की संभावना का उल्लेख किया गया है।