🤖 AI

HERMAN: Hierarchical Representation Matching for CLIP-based Class-Incremental Learning

HERMAN एक नवीन Class-Incremental Learning फ्रेमवर्क है जो CLIP के लिए, LLMs का उपयोग करके पदानुक्रमित (hierarchical) टेक्स्ट विवरण उत्पन्न करने और उन्हें बहु-स्तरीय दृश्य निरूपणों (multi-level visual representations) के साथ अनुकूल रूप से मिलाने के लिए किया जाता है, जिससे सूक्ष्म अंतरों को बेहतर ढंग से पकड़ने और कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को कम करने द्वारा अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Zhen-Hao Xie, Yan Wang, Lan Li, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhen-Hao Xie, Yan Wang, Lan Li, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, दुनिया देख चुके लाइब्रेरियन (AI) को नए जानवरों को पहचानना सिखा रहे हैं। आप एक बिल्ली (Cat) और एक कुत्ते (Dog) से शुरुआत करते हैं। लाइब्रेरियन उन्हें आसानी से अलग करना सीख जाता है।

फिर, आप उसे एक भेड़िया (Wolf) से परिचित कराते हैं। यह थोड़ा पेचीदा है क्योंकि एक भेड़िया दिखने में कुत्ते जैसा ही होता है। यदि आप सिर्फ लाइब्रेरियन को यह कहकर मजबूर करते हैं कि, "अरे, याद रखना कि भेड़िये के कान नुकीले होते हैं," और उनके पूरे मानसिक पुस्तकालय को एक साथ अपडेट करने के लिए दबाव डालते हैं, तो वे गलती से "कुत्ते" की अपनी परिभाषा को बिगाड़ सकते हैं। अचानक, वे एक गोल्डन रिट्रीवर को भी भेड़िये के रूप में समझने लग सकते हैं क्योंकि उसके कान नुकीले हैं, और वे बिल्ली से कुत्ते को अलग करने का तरीका भी भूल सकते हैं। इसे कैटास्ट्रोफिक फॉरगेटिंग (Catastrophic Forgetting) कहा जाता है—कुछ नया सीखना आपके पहले से मौजूद ज्ञान को बर्बाद कर देता है।

यह शोध पत्र इस समस्या को हल करने के लिए HERMAN नामक एक नई प्रणाली पेश करता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "एक ही आकार सबके लिए" (One-Size-Fits-All) वाली गलती

वर्तमान AI विधियाँ एक ऐसे लाइब्रेरियन की तरह हैं जिसके पास केवल एक विशाल, अस्त-व्यस्त शेल्फ (अलमारी) है। वे "बिल्ली" और "कुत्ते" के बीच के बड़े अंतर को उसी शेल्फ पर रखने की कोशिश करते हैं जहाँ "कुत्ता" और "भेड़िया" के बीच का सूक्ष्म अंतर है। जब वे "भेड़िया" के विवरण जोड़ने की कोशिश करते हैं, तो वे अनजाने में "बिल्ली बनाम कुत्ता" की किताबों को गिरा देते हैं। सिस्टम भ्रमित हो जाता है क्योंकि वह सब कुछ एक ही स्तर के विवरण पर करने की कोशिश कर रहा है।

2. समाधान: एक बहु-स्तरीय पुस्तकालय (Hierarchical Representation)

HERMAN पुस्तकालय की संरचना को बदल देता है। एक ही अस्त-व्यस्त शेल्फ के बजाय, यह एक बहु-स्तरीय पदानुक्रम (Multi-level Hierarchy) बनाता है:

ऊपरी शेल्फ (Coarse Level - मोटा स्तर): इसमें "जानवर," "वाहन," या "फल" जैसी बड़ी, व्यापक श्रेणियां होती हैं। यह बहुत स्थिर है।
मध्यम शेल्फ (Middle Level): इसमें मध्यम विवरण होते हैं जैसे "फर वाला," "पहिए वाला," या "लाल रंग का।"
निचली शेल्फ (Fine Level - सूक्ष्म स्तर): इसमें बहुत ही बारीक, विशिष्ट विवरण होते हैं जैसे "नुकीले कान," "जंग लगे हबकैप," या "एक छोटा डंठल।"

HERMAN इसे कैसे बनाता है:
सिर्फ लाइब्रेरियन से यह पूछने के बजाय कि "भेड़िया क्या है?", HERMAN एक सुपर-स्मार्ट सहायक (LLM) का उपयोग करता है जो हर जानवर के लिए बहुत सामान्य से लेकर बहुत विशिष्ट तक के विवरणों की एक पूरी सूची लिखता है।

सामान्य: "यह एक कैनिन (Canine) है।"
विशिष्ट: "इसकी थूथन लंबी और फर घना है।"

इसके बाद AI इन लिखित विवरणों को अपने स्वयं के "मस्तिष्क" (विजुअल लेयर्स) के विभिन्न स्तरों से जोड़ता है। मस्तिष्क के ऊपरी स्तर बड़ी तस्वीर देखते हैं, और निचले स्तर सूक्ष्म विवरण देखते हैं। यह सुनिश्चित करता है कि "बिल्ली बनाम कुत्ता" के नियम ऊपरी शेल्फ पर सुरक्षित रहें, जबकि "कुत्ता बनाम भेड़िया" के नियम निचले शेल्फ पर अपना विशिष्ट स्थान पा सकें।

3. स्मार्ट मैनेजर: द एडेप्टिव राउटर (The Adaptive Router)

अब, AI को कैसे पता चलेगा कि उसे किस शेल्फ को देखना है?

यदि आप उसे एक कार बनाम एक साइकिल दिखाते हैं, तो उसे केवल "ऊपरी शेल्फ" (पहिए बनाम बिना पहियों वाले) की आवश्यकता होती है।
यदि आप उसे एक गौरैया (Sparrow) बनाम एक फिंच (Finch) दिखाते हैं, तो उसे "निचली शेल्फ" (बारीक रंग पैटर्न) की आवश्यकता होती है।

HERMAN एक स्मार्ट मैनेजर (Router) का उपयोग करता है। यह मैनेजर चित्र को देखता है और निर्णय लेता है, "ठीक है, इस विशिष्ट चित्र के लिए, मुझे ऊपरी शेल्फ को 80% और निचली शेल्फ को 20% सुनना होगा।" यह प्रत्येक विवरण के स्तर के आधार पर गतिशील रूप से वॉल्यूम (प्रभाव) को समायोजित करता है।

4. सुरक्षा जाल: प्रोजेक्शन-आधारित अपडेट (Projection-Based Updates)

यहाँ सबसे पेचीदा हिस्सा है। जब स्मार्ट मैनेजर किसी नए कार्य के लिए नया नियम सीखता है, तो हम यह कैसे सुनिश्चित करते हैं कि वह पुराने नियमों को न भूल जाए?

कल्प laइए कि मैनेजर का मस्तिष्क फर्नीचर (ज्ञान) से भरा एक कमरा है।

पुराना तरीका: जब आप नया फर्नीचर (नया ज्ञान) लाते हैं, तो आप बस उसे अंदर धकेल देते हैं, जिससे पुराने फर्नीचर टकराकर गिर जाते हैं।
HERMAN का तरीका: नया फर्नीचर लाने से पहले, मैनेजर खाली जगह का एक "स्नैपशॉट" लेता है जहाँ पुराने फर्नीचर रखे हुए हैं। नया ज्ञान जोड़ते समय, उसे यह सुनिश्चित करने के लिए मजबूर किया जाता है कि नए आइटम या तो खाली स्थानों में फिट हों या इस तरह से रखे जाएं कि वे पुराने फर्नीचर को छुएं भी नहीं।

तकनीकी रूप से, इसे प्रोजेक्शन-आधारित रणनीति (Projection-based strategy) कहा जाता है। यह सुनिश्चित करता है कि नया सीखना उस दिशा में हो जो पुराने ज्ञान के "ऑर्थोगोनल" (लंबवत/समकोण) हो, ताकि पुराना ज्ञान पूरी तरह से सुरक्षित रहे।

परिणाम

ज्ञान को परतों (Hierarchy) में व्यवस्थित करके, सही विवरण चुनने के लिए एक स्मार्ट मैनेजर का उपयोग करके, और पुराने अनुभवों को सुरक्षित रखने के लिए एक सुरक्षा जाल का उपयोग करके, HERMAN AI को नए वर्ग (जैसे 100 नए प्रकार की कारें या पक्षी जोड़ना) सीखने की अनुमति देता है बिना पुराने ज्ञान को भूले।

यह पेपर दावा करता है कि यह विधि मानक परीक्षणों पर पिछले सभी तरीकों को मात देती है, और पुराने चित्रों को स्टोर किए बिना, केवल स्मृति को व्यवस्थित करने के लिए इन चतुर गणितीय युक्तियों का उपयोग करके सर्वश्रेष्ठ परिणाम (SOTA) प्राप्त करती है।

तकनीकी सारांश: क्लास-इन्क्रीमेंटल लर्निंग के लिए HERMAN

समस्या विवरण (Problem Statement)

क्लास-इन्क्रीमेंटल लर्निंग (CIL) का लक्ष्य पूर्व में सीखी गई श्रेणियों के ज्ञान को संरक्षित करते हुए निरंतर नई श्रेणियों को प्राप्त करना है। इस परिवेश में एक प्राथमिक चुनौती कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) है, जहाँ नई जानकारी सीखने से पुराने कार्यों पर प्रदर्शन गिर जाता है। जबकि हालिया दृष्टिकोण मजबूत क्रॉस-मोडल अलाइनमेंट और पूर्व ज्ञान प्रदान करने के लिए CLIP जैसे प्री-ट्रेंड मॉडल्स का लाभ उठाते हैं, मौजूदा CLIP-आधारित CIL विधियाँ दो महत्वपूर्ण सीमाओं से ग्रस्त हैं:

भंगुर ज्ञान प्रतिनिधित्व (Brittle Knowledge Representation): अधिकांश विधियाँ अंतिम विज़ुअल लेयर और फिक्स्ड टेक्स्ट टेम्प्लेट्स (जैसे, "a photo of a [CLASS]") के बीच सिंगल-लेवल, कोर्स-ग्रेन्ड अलाइनमेंट पर निर्भर करती हैं। यह फाइन-ग्रेन्ड अपडेट्स (जैसे, "भेड़िया" और "कुत्ता" के बीच अंतर करना) को उसी सिमेंटिक स्पेस में डालने के लिए मजबूर करता है जिसका उपयोग कोर्स सेपरेशन (जैसे, "कैनिन" बनाम "फेलिन") के लिए किया जाता है। फलस्वरूप, नए विवरणों के लिए किए गए अपडेट अनजाने में पुराने क्लासेस के निर्णय सीमाओं (decision boundaries) को बदल सकते हैं, जिससे उनके प्रदर्शन में गिरावट आती है।
पदानुक्रमित अर्थों का कम उपयोग (Underutilization of Hierarchical Semantics): CLIP के विज़न और टेक्स्ट एनकोडर स्वाभाविक रूप से कोर्स कॉन्सेप्ट्स से लेकर फाइन-ग्रेन्ड एट्रिब्यूट्स तक मल्टी-लेवल फीचर्स और डिस्क्रिप्टर्स कैप्चर करते हैं। हालाँकि, मौजूदा विधियाँ आमतौर पर इन इंटरमीडिएट रिप्रेजेंटेशन्स को अनदेखा करती हैं और केवल अंतिम लेयर पर ध्यान केंद्रित करती हैं।

कार्यप्रणाली: HERMAN

लेखक HERMAN (HiErarchical Representation MAtchiNg) का प्रस्ताव करते हैं, जो CLIP-आधारित CIL के भीतर पदानुक्रमित अर्थों (hierarchical semantics) को व्यवस्थित करने, अलाइन करने और अनुकूल रूप से रूट करने के लिए डिज़ाइन किया गया एक फ्रेमवर्क है। यह विधि तीन मुख्य घटकों से मिलकर बनी है:

1. पदानुक्रमित प्रतिनिधित्व मिलान (Hierarchical Representation Matching)

एक सिंगल फिक्स्ड प्रॉम्प्ट का उपयोग करने के बजाय, HERMAN प्रत्येक क्लास के लिए $M$ टेक्स्टुअल डिस्क्रिप्टर्स का एक सेट उत्पन्न करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) का लाभ उठाता है, जो कोर्स-ग्रेन्ड आइडेंटिटी क्यूज़ से लेकर फाइन-ग्रेन्ड विज़ुअल डिटेल्स तक फैले होते हैं।

टेक्स्टुअल जनरेशन: क्लास $i$ के लिए, एक LLM रिकर्सिवली डिस्क्रिप्टर्स $T_i = \{t_{i,1}, \dots, t_{i,M}\}$ जेनरेट करता है। उदाहरण के लिए, "Aston Martin Virage" के लिए, डिस्क्रिप्टर्स "sports car" (कोर्स) से लेकर "sculpted side panels" (फाइन) तक होते हैं।
मल्टी-लेवल अलाइनमेंट: इन डिस्क्रिप्टर्स को CLIP टेक्स्ट एनकोडर के माध्यम से एनकोड किया जाता है ताकि एक पदानुक्रमित टेक्स्टुअल स्पेस बनाया जा सके। मॉडल इन टेक्स्टुअल एम्बेडिंग्स को CLIP विज़न एनकोडर की इंटरमीडिएट विज़ुअल लेयर्स (न कि केवल अंतिम लेयर) के साथ स्पष्ट रूप से अलाइन करता है।
Top-K एग्रीगेशन: शोर (noise) को कम करने के लिए, मॉडल प्रत्येक विज़ुअल लेयर के लिए टॉप- $K$ सबसे अधिक अलाइन किए गए डिस्क्रिप्टर्स का चयन करता है और उन्हें एक कॉम्पैक्ट टेक्स्टुअल एम्बेडिंग $h_i^b$ में एकत्रित करता है।

2. एडेप्टिव हाइरार्की रूटिंग (Adaptive Hierarchy Routing)

यह पहचानते हुए कि विभिन्न इनपुट और टास्क के आधार पर विभिन्न पदानुक्रमित स्तरों का महत्व बदलता रहता है, HERMAN एक इनपुट-कंडीशन्ड एडेप्टिव राउटर पेश करता है।

डायनेमिक वेटिंग: एक लाइटवेट लीनियर लेयर फाइनल विज़ुअल रिप्रेजेंटेशन के आधार पर नॉन-नेगेटिव वेट्स $\beta_i$ जेनरेट करती है। ये वेट्स अलग-अलग लेयर्स से प्राप्त यूनिफाइड हाइरार्कल टेक्स्टुअल एम्बेडिंग्स के योगदान को डायनेमिक रूप से संतुलित करते हुए अंतिम रिप्रेजेंटेशन $\tilde{h}_i$ बनाते हैं।
प्रोजेक्शन-आधारित अपडेट (एंटी-फॉरगेटिंग): राउटर पिछले टास्क के लिए सीखी गई पॉलिसियों को भूलने से रोकने के लिए, राउटर वेट्स को एक प्रोजेक्शन-आधारित रणनीति का उपयोग करके अपडेट किया जाता है।
- वेट मैट्रिक्स $W_r$ को सिंगुलर वैल्यू डीकंपोजिशन (SVD) के माध्यम से डीकंपोज़ किया जाता है।
- एक प्रोजेक्शन मैट्रिक्स $P_{old}$ का निर्माण किया जाता है जो पिछले टास्क के रूटिंग पैटर्न वाले सबस्पेस को सुरक्षित रखता है।
- नए अपडेट्स को इस संरक्षित सबस्पेस के भीतर के कंपोनेंट्स (स्टेबिलिटी) और ऑर्थोगोनल दिशाओं (प्लास्टिसिटी) में डीकंपोज़ किया जाता है। अंतिम अपडेट स्थापित ज्ञान को बाधित किए बिना नए टास्क के अनुकूल होने के लिए इन दोनों को जोड़ता है।

3. क्रॉस-मोडल मैचिंग और ट्रेनिंग

यह फ्रेमवर्क एक लाइटवेट विज़ुअल एडॉप्टर और एक कॉन्ट्रास्टिव ऑब्जेक्टिव का उपयोग करता है।

मिक्सड एम्बेडिंग्स: फाइनल प्रेडिक्शन एग्रीगेटेड हाइरार्कल एम्बेडिंग $\tilde{h}_i$ और स्टैंडर्ड टेम्प्लेट एम्बेडिंग $e_i$ के कन्वेक्स इंटरपोलेशन का उपयोग करता है, जिसे एक फैक्टर $\lambda$ द्वारा नियंत्रित किया जाता है।
जेनरेटिव रिप्ले: बिना रॉ इमेजेस स्टोर किए फॉरगेटिंग को और कम करने के लिए, यह विधि प्रत्येक क्लास के फाइनल विज़ुअल टोकन ( $x_{cls}^B$ ) के डिस्ट्रीब्यूशन को एक गौसियन डिस्ट्रीब्यूशन के रूप में मॉडल करती है, और इंक्रीमेंटल ट्रेनिंग के दौरान स्यूडो-फीचर्स को सैंपल करती है ताकि पिछले ज्ञान को स्थिर रखा जा सके।

मुख्य योगदान (Key Contributions)

हायरार्किकल सिमेंटिक स्ट्रक्चरिंग: पेपर एक ऐसी विधि पेश करता है जो मल्टी-लेवल टेक्स्टुअल डिस्क्रिप्टर्स को मल्टी-लेवल विज़ुअल फीचर्स के साथ जेनरेट और अलाइन करती है, जो सिंगल-लेयर अलाइनमेंट से आगे बढ़कर एक स्ट्रक्चर्ड सिमेंटिक स्पेस बनाती है।
एडेप्टिव रूटिंग मैकेनिज्म: एक अभिनव राउटर प्रति इंस्टेंस हाइरार्कल योगदान को डायनेमिक रूप से संतुलित करता है, जिससे मॉडल को आवश्यकतानुसार कोर्स या फाइन क्यूज़ को प्राथमिकता देने की अनुमति मिलती है।
प्रोजेक्शन-आधारित कॉन्टिनुअल एडेप्टेशन: राउटर के लिए एक प्रोजेक्शन-आधारित अपडेट रणनीति यह सुनिश्चित करती है कि नए टास्क सीखना पुराने टास्क के लिए आवश्यक रूटिंग पॉलिसियों को ओवरराइट न करे, जिससे कैटास्ट्रफिक फॉरगेटिंग प्रभावी रूप से कम हो जाता है।
स्टेट-ऑफ-द-आर्ट परफॉरमेंस: इन घटकों का एकीकरण निरंतर सीखने के परिदृश्यों में बेहतर भेदभाव (discrimination) और मजबूती (robustness) प्रदान करने वाला एक फ्रेमवर्क बनाता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न इंक्रीमेंटल सेटिंग्स (जैसे, Base0 Inc10, Base50 Inc10) के तहत नौ बेंचमार्क डेटासेट्स (जिसमें CIFAR100, ImageNet-R, CUB200, StanfordCars, और SUN397 शामिल हैं) पर HERMAN का मूल्यांकन किया।

परफॉरमेंस: HERMAN लगातार स्टेट-ऑफ-द-आर्ट मेथड्स (L2P, DualPrompt, CODA-Prompt, RAPF, और PROOF सहित) को औसत सटीकता ( $\bar{A}$ ) और फाइनल सटीकता ( $A_B$ ) के मामले में 1% से 5% तक पछाड़ता है।
रोबस्टनेस: विधि क्लास पार्टीशनिंग के लिए विभिन्न रैंडम सीड्स के तहत स्थिरता प्रदर्शित करती है और हाइपरपैरामीटर्स (जैसे, Top-K डिस्क्रिप्टर्स, मिक्सिंग फैक्टर $\lambda$ , और प्रोजेक्शन पैरामीटर्स $\delta, \rho$ ) के बदलावों के प्रति मजबूत रहती है।
एफिशिएंसी: HERMAN प्रतिस्पर्धी विधियों की तुलना में कम ट्रेनिंग समय लेता है और साथ ही बेहतर प्रदर्शन बनाए रखता है, जो इसे बड़े पैमाने के कार्यों के लिए कम्प्यूटेशनल रूप से कुशल बनाता है।
एब्लेशन स्टडीज: प्रयोग पुष्टि करते हैं कि प्रत्येक घटक (LLM डिस्क्रिप्टर्स, एडेप्टिव राउटर, और प्रोजेक्शन अपडेट्स) अंतिम प्रदर्शन में सकारात्मक योगदान देता है। प्रोजेक्शन मैकेनिज्म विशेष रूप से यह दिखाने में सफल रहा है कि यह समय के साथ पुराने क्लासेस के विज़ुअल और टेक्स्टुअल एम्बेडिंग्स के बीच उच्च कोसाइन सिमिलरिटी बनाए रखता है, जबकि बिना प्रोजेक्शन वाले मेथड्स तेजी से गिरावट का शिकार होते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि HERMAN मौजूदा CLIP-आधारित CIL विधियों की मौलिक भंगुरता (brittleness) को सिमेंटिक ग्रेनुलैरिटी के बीच लर्निंग को डीकपल (decouple) करके संबोधित करता है। विशिष्ट स्तरों पर फाइन-ग्रेन्ड अपडेट्स को आइसोलेट करके और कोर्स सेपरेशन को एंकर करके, यह विधि विनाशकारी सीमा बदलावों (destructive boundary shifts) को रोकती है। लेखक दावा करते हैं कि उनका दृष्टिकोण पूर्व-प्रशिक्षित मॉडल्स की अंतर्निहित पदानुक्रमित क्षमता का प्रभावी ढंग से लाभ उठाता है, जिससे वे पूर्व ज्ञान को भूले बिना नई श्रेणियों के अनुकूल होने में सक्षम, अधिक मजबूत निरंतर शिक्षार्थी (continual learners) बन जाते हैं। यह कार्य विज़न-लैंग्वेज मॉडल्स में LLM-जेनरेटेड सिमेंटिक समृद्धि और स्ट्रक्चर्ड, एडेप्टिव अलाइनमेंट को जोड़ने की क्षमता को उजागर करता है।