💻 computer science

WARM-CAT: Warm-Started Test-Time Comprehensive Knowledge Accumulation for Compositional Zero-Shot Learning

यह शोध पत्र WARM-CAT का प्रस्ताव करता है, जो एक कंपोजिशनल ज़ीरो-शॉट लर्निंग दृष्टिकोण है जो अनसुपरवाइज्ड डेटा से व्यापक ज्ञान संचय के माध्यम से एक डायनेमिक प्रायोरिटी क्यू को वॉर्म-स्टार्ट करके और मल्टीमॉडल प्रोटोटाइप्स को एडेप्टिवली अपडेट करके टेस्ट-टाइम परफॉरमेंस को बढ़ाता है, साथ ही स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करने के लिए परिष्कृत बेंचमार्क भी पेश करता है।

मूल लेखक: Xudong Yan, Songhe Feng, Jiaxin Wang, Xin Su, Yi Jin

प्रकाशित 2026-03-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xudong Yan, Songhe Feng, Jiaxin Wang, Xin Su, Yi Jin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ WARM-CAT पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

बड़ी समस्या: "नया मेनू" का सरप्राइज

कल्पना कीजिए कि आप एक शेफ हैं जिसने वर्षों तक अपना मेनू सुधारने में बिताए हैं। आप जानते हैं कि "लाल सेब" (Red Apple) और "हरा सेब" (Green Apple) कैसे बनाना है। आप एक विशेषज्ञ हैं।

एक दिन, एक ग्राहक आता है और "नीला सेब" (Blue Apple) ऑर्डर करता है। आपने पहले कभी नीला सेब नहीं देखा है। AI की दुनिया में, इसे कंपोजिशनल ज़ीरो-शॉट लर्निंग (Compositional Zero-Shot Learning - CZSL) कहा जाता है। AI "नीला" को जानता है और वह "सेब" को भी जानता है, लेकिन उसने उन्हें कभी एक साथ नहीं देखा है।

पुराना तरीका (टूटा हुआ शेफ):
पारंपरिक AI मॉडल उन शेफ की तरह होते हैं जो ट्रेनिंग रुकते ही अपनी रेसिपी बुक को फ्रीज कर देते हैं। जब "नीला सेब" का ऑर्डर आता है, तो शेफ घबरा जाता है। वह शायद "लाल सेब" का अनुमान लगा ले क्योंकि वह वही सबसे अच्छी तरह जानता है, या वह भ्रमित हो जाता है क्योंकि "नीला सेब" उसकी जमी हुई यादों में किसी भी चीज़ से मेल नहीं खाता। AI विफल हो जाता है क्योंकि दुनिया बदल गई (नए आइटम आ गए), लेकिन AI ने अपना ज्ञान अपडेट नहीं किया।

समाधान: WARM-CAT (अनुकूलनशील शेफ)

लेखकों ने WARM-CAT (वॉर्म-स्टार्टेड टेस्ट-टाइम कॉम्प्रिहेंसिव नॉलेज एक्यूमुलेशन) नामक एक नया सिस्टम प्रस्तावित किया है। इसे एक ऐसे शेफ के रूप में सोचें जो केवल रेसिपी रटता नहीं है, बल्कि खाना बनाते समय सीखता है।

WARM-CAT कैसे काम करता है, यहाँ इसके चार सरल चरणों में विवरण दिया गया है:

1. "वॉर्म स्टार्ट" (भीड़ आने से पहले की तैयारी)

आमतौर पर, जब कोई नया ग्राहक आता है, तो शेफ खाली काउंटर के साथ शुरू करता है। यह जोखिम भरा है क्योंकि शेफ तुरंत गलत अनुमान लगा सकता है।

WARM-CAT क्या करता है: पहले ग्राहक के आने से पहले, शेफ एक "वॉर्म स्टार्ट" सेट करता है। वे उन सभी सेबों को लेते हैं जिन्हें वे जानते हैं (लाल, हरा) और उन्हें काउंटर पर रख देते हैं।
जादुई ट्रिक: अज्ञात सेबों (नीले, बैंगनी) के लिए, शेफ एक चतुर ट्रिक का उपयोग करता है। वे "लाल सेब" और "हरे सेब" को देखते हैं और कहते हैं, "यदि लाल + सेब = लाल सेब, और हरा + सेब = हरा सेब, तो तार्किक रूप से, नीला + सेब एक 'नीला सेब' जैसा दिखना चाहिए।" वे जो पैटर्न पहले से जानते हैं, उसके आधार पर वे नीले सेब का एक वर्चुअल प्रोटोटाइप (एक मानसिक छवि) बनाते हैं। यह शेफ को केवल पुराने, परिचित फलों के प्रति पक्षपाती होने से रोकता है।

2. "प्रायोरिटी क्यू" (VIP शेल्फ)

जैसे-जैसे ग्राहक आते हैं, शेफ कई तरह के फल देखता है। वह हर एक चीज़ को पूरी तरह से याद नहीं रख सकता।

WARM-CAT क्या करता है: यह एक विशेष प्रायोरिटी क्यू (VIP शेल्फ) रखता है जिसमें अब तक देखे गए हर फल के शीर्ष 3 सबसे अच्छे उदाहरण रखे जाते हैं।
यह कैसे काम करता है: यदि कोई ग्राहक "नीला सेब" लाता है, तो शेफ उसे देखता है। यदि शेफ बहुत आश्वस्त है कि यह एक नीला सेब है, तो वह उसकी एक फोटो VIP शेल्फ पर रख देता है। यदि कोई नया ग्राहक एक "नीला सेब" लाता है जो थोड़ा अलग दिखता है, तो शेफ शेल्फ की जाँच करता है। यदि नया वाला पहले वाले से बेहतर उदाहरण है, तो वह पुराने फोटो को बदल देता है।
यह कैसे मदद करता है: AI केवल अनुमान नहीं लगाता; यह वर्तमान दिन के ग्राहकों से उच्च-गुणवत्ता वाले उदाहरणों की एक लाइब्रेरी बनाता है ताकि भविष्य के ग्राहकों को बेहतर ढंग से पहचाना जा सके।

3. "एडेप्टिव अपडेट" (यह जानना कि कब अपना विचार बदलना है)

कभी-कभी, एक ग्राहक ऐसा फल लाता है जो अजीब दिखता है। क्या शेफ को अपनी पूरी रेसिपी बुक बदल देनी चाहिए?

पुराना तरीका: शेफ बहुत आसानी से अपना मन बदल सकता है (लाल सेब को भूल जाना) या बिल्कुल नहीं बदल सकता (पुराने तरीकों में फंसा रहना)।
WARM-CAT क्या करता है: यह एक स्मार्ट एडेप्टिव वेट (अनुकूलनशील भार) का उपयोग करता है।
- यदि नया फल उस चीज़ के बहुत समान दिखता है जिसे शेफ पहले से जानता है, तो शेफ एक छोटा, सावधानीपूर्ण समायोजन करता है।
- यदि नया फल बहुत अलग दिखता है (जैसे नीला सेब), तो शेफ इस नई चीज़ को सीखने के लिए एक बड़ा, साहसी समायोजन करता है।
- यह सुनिश्चित करता है कि शेफ पुराने को भूले बिना नई चीजें सीखता है।

4. "डबल चेक" (टेक्स्ट बनाम विज़न)

शेफ के सोचने के दो तरीके हैं:

टेक्स्ट बुक (Text Book): "नीला सेब एक ऐसा फल है जो नीला है।"
विजुअल आई (Visual Eye): "यह वस्तु गोल और नीली है।"

WARM-CAT क्या करता है: यह लगातार जाँचता है कि क्या टेक्स्ट बुक और विजुअल आई सहमत हैं। यदि वे असहमत हैं, तो यह उन्हें संरेखित (align) करने के लिए एक विशेष सीखने की विधि का उपयोग करता है। यह सुनिश्चित करता है कि AI केवल शब्दों के आधार पर या केवल धुंधली तस्वीरों के आधार पर अनुमान नहीं लगा रहा है; यह दोनों को मिलाकर एक सुपर-सटीक उत्तर देता है।

नए उपकरण: C-Fashion और MIT-States*

लेखकों ने महसूस किया कि इस नए शेफ को टेस्ट करने के लिए उन्हें बेहतर टेस्ट किचन की आवश्यकता है।

C-Fashion: उन्होंने कपड़ों पर केंद्रित एक बिल्कुल नया डेटासेट बनाया। जैसे कपड़ों के रंग और स्टाइल होते हैं (जैसे, "धारीदार शर्ट," "लाल ड्रेस"), यह डेटासेट यह परीक्षण करने में मदद करता है कि क्या AI फैशन ट्रेंड्स को संभाल सकता है।
MIT-States:* उन्होंने एक पुराना डेटासेट (MIT-States) पाया जो त्रुटियों से भरा था (जैसे "लाल शर्ट" को "नीला" लेबल करना)। उन्होंने परिणामों को निष्पक्ष बनाने के लिए एक गंदे किचन को साफ करने की तरह इसे साफ किया।

परिणाम

जब उन्होंने अन्य AI मॉडलों के मुकाबले WARM-CAT का परीक्षण किया:

इसने नए संयोजनों (जैसे "नीला सेब") को बहुत बेहतर तरीके से संभाला।
यह दुर्लभ वस्तुओं (जैसे "बैंगनी कार" जब अधिकांश कारें लाल होती हैं) से भ्रमित नहीं हुआ।
यह तब भी अच्छा काम करता है जब दुनिया अनुमानित (Closed-World) हो या आश्चर्यों से भरी (Open-World) हो।

सारांश

WARM-CAT एक ऐसा AI है जो केवल रटता नहीं है; यह काम करते हुए सीखता है। यह नई चीजों के लिए एक स्मार्ट अनुमान के साथ शुरू होता है, देखे गए सबसे अच्छे उदाहरणों की एक VIP शेल्फ रखता है, अपने ज्ञान को सावधानीपूर्वक अपडेट करता है, और शब्दों एवं चित्रों दोनों का उपयोग करके अपने काम की जाँच करता है। यह इसे चीजों के ऐसे बिल्कुल नए संयोजन को पहचानने की अनुमति देता है जिन्हें उसने पहले कभी नहीं देखा है, ठीक वैसे ही जैसे एक इंसान करता है।

यहाँ शोध पत्र "WARM-CAT: Warm-Started Test-Time Comprehensive Knowledge Accumulation for Compositional Zero-Shot Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

कंपोजिशनल जीरो-शॉट लर्निंग (CZSL) का लक्ष्य देखे गए कंपोजिशन्स (जैसे, "fresh rose") से सीखे गए ज्ञान के आधार पर नए एट्रीब्यूट-ऑब्जेक्ट कंपोजिशन्स (जैसे, "wilted sunflower") को पहचानना है।

मुख्य चुनौती: मौजूदा तरीके टेस्ट टाइम पर लेबल स्पेस डिस्ट्रीब्यूशन शिफ्ट के कारण प्रदर्शन में गिरावट (performance degradation) का शिकार होते हैं। मॉडल देखे गए कंपोजिशन्स के एक निश्चित सेट पर प्रशिक्षित होते हैं, लेकिन परीक्षण के दौरान उन्हें अनदेखे (unseen) कंपोजिशन्स की भविष्यवाणी करनी होती है।
वर्तमान दृष्टिकोणों की सीमाएँ:
- अधिकांश अत्याधुनिक (state-of-the-art) तरीके प्रशिक्षण के बाद मॉडल पैरामीटर्स और क्लास प्रोटोटाइप्स को फ्रीज कर देते हैं, जिससे वे परीक्षण के दौरान सामना किए जाने वाले अनदेखे कंपोजिशन्स के नए वितरण (distribution) के अनुकूल नहीं हो पाते।
- वे अक्सर केवल टेक्स्टुअल प्रोटोटाइप्स (जैसे CLIP जैसे विजन-लैंग्वेज मॉडल्स से) पर निर्भर रहते हैं और ऐतिहासिक टेस्ट इमेजेस से प्राप्त विजुअल नॉलेज को संचित करने की क्षमता को अनदेखा करते हैं।
- मौजूदा बेंचमार्क (जैसे MIT-States) में महत्वपूर्ण लेबल नॉइज़ (label noise) है, और कंपोजिशनल रीजनिंग के लिए फैशन-विशिष्ट बेंचमार्क की कमी है।

2. कार्यप्रणाली (Methodology): WARM-CAT

लेखक WARM-CAT प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो व्यापक मल्टीमॉडल ज्ञान को संचित करने और प्रोटोटाइप्स को गतिशील रूप से अनुकूलित करने के लिए अनसुपरवाइज्ड टेस्ट-टाइम डेटा का लाभ उठाता है।

A. प्रशिक्षण चरण (Training Phase)

बेस मॉडल: एक CLIP-आधारित मॉडल को देखे गए ट्रेनिंग डेटा पर प्रॉम्प्ट ट्यूनिंग (टेक्स्ट के लिए लर्नबल सॉफ्ट टोकन्स) और एडैप्टर ट्यूनिंग (विजुअल एनकोडर में डाले गए लाइटवेट मॉड्यूल्स) का उपयोग करके फाइन-ट्यून किया जाता है।
उद्देश्य: परीक्षण से पहले एक मजबूत बेसलाइन स्थापित करने के लिए कंट्रास्टिव लर्निंग का उपयोग करके इमेज और टेक्स्ट रिप्रेजेंटेशन को अलाइन करना।

B. टेस्ट-टाइम अडैप्टेशन (मुख्य नवाचार)

टेस्टिंग चरण के दौरान, मॉडल अनलेबल इमेजेस के एक स्ट्रीम को प्रोसेस करता है और पूरे बैकबोन में बैकप्रोपैगेशन किए बिना अपने आंतरिक रिप्रेजेंटेशन को अपडेट करता है।

मल्टीमॉडल प्रोटोटाइप निर्माण (Multimodal Prototype Construction):
- टेक्स्टुअल प्रोटोटाइप्स: बेस मॉडल के फ्रोजन टेक्स्ट एनकोडर से प्राप्त होते हैं।
- विजुअल प्रोटोटाइप्स: एक डायनेमिक प्रायोरिटी क्यू (Dynamic Priority Queue) से निर्मित होते हैं जो प्रत्येक क्लास के लिए उच्च-विश्वास वाली इमेजेस (कम प्रेडिक्शन एंट्रॉपी) को स्टोर करता है।
प्रायोरिटी क्यू वॉर्म-स्टार्ट (Priority Queue Warm-Start):
- समस्या: यदि क्यू खाली शुरू होती है, तो मॉडल उन कंपोजिशन्स की ओर पक्षपाती (bias) हो जाता है जिन्हें उसने टेस्ट स्ट्रीम में पहले ही देख लिया है।
- समाधान:
  - देखे गए कंपोजिशन्स (Seen Compositions): इन्हें ट्रेनिंग सेट के विजुअल फीचर्स के साथ इनिशियलाइज़ किया जाता है।
  - अनदेखे कंपोजिशन्स (Unseen Compositions): चूंकि कोई ट्रेनिंग इमेजेस मौजूद नहीं हैं, इसलिए वर्चुअल विजुअल प्रोटोटाइप्स जेनरेट किए जाते हैं। लेखक देखे गए और अनदेखे टेक्स्टुअल प्रोटोटाइप्स के बीच एक मैपिंग मैट्रिक्स ( $M$ ) सीखते हैं और देखे गए विजुअल प्रोटोटाइप्स पर यह मैपिंग लागू करके शुरुआती अनदेखे विजुअल प्रोटोटाइप्स को सिंथेसाइज करते हैं।
नॉलेज एक्यूमुलेशन मॉड्यूल (Knowledge Accumulation Module - KAM):
- फ्रोजन बैकबोन को अपडेट करने के बजाय, WARM-CAT लर्नबल KAM पैरामीटर्स ( $\Delta t$ और $\Delta v$ ) पेश करता है जिन्हें शून्य पर इनिशियलाइज़ किया गया है।
- ये मॉड्यूल्स इनकमिंग टेस्ट सैंपल्स के आधार पर टेक्स्टुअल और विजुअल प्रोटोटाइप्स को एडजस्ट करते हैं।
एडैप्टिव अपडेट वेट (Adaptive Update Weight - AUW):
- कैटास्ट्रोफिक फॉरगेटिंग या ओवर-अडैप्टेशन को रोकने के लिए, प्रोटोटाइप अपडेट के परिमाण (magnitude) को एक एडैप्टिव वेट ( $w_c$ ) द्वारा नियंत्रित किया जाता है।
- यह वेट वर्तमान टेस्ट इमेज और मूल प्रोटोटाइप के बीच कोसाइन सिमिलरिटी के आधार पर कैलकुलेट किया जाता है।
- तर्क: यदि इमेज मूल प्रोटोटाइप के समान है (संभवतः एक देखा गया कंपोजिशन), तो अपडेट्स को न्यूनतम रखा जाता है। यदि इमेज असमान है (संभवतः एक अनदेखा कंपोजिशन), तो नए वितरण के अनुकूल होने के लिए अपडेट्स को अधिक मजबूत होने की अनुमति दी जाती है।
ऑप्टिमाइजेशन ऑब्जेक्टिव्स (Optimization Objectives):
- प्रेडिक्शन एंट्रॉपी मिनिमाइजेशन ( $L_{PE}$ ): मॉडल को टेस्ट डिस्ट्रीब्यूशन पर कॉन्फिडेंट प्रेडिक्शन करने के लिए प्रोत्साहित करता है।
- मल्टीमॉडल कोलाबोरेटिव रिप्रेजेंटेशन लर्निंग ( $L_{MCRL}$ ): एक कंट्रास्टिव लॉस जो अपडेटेड टेक्स्टुअल और विजुअल प्रोटोटाइप्स को अलाइन करता है, जिससे दोनों मोडैलिटीज के बीच सिमेंटिक कंसिस्टेंसी सुनिश्चित होती है।
- टोटल लॉस: $L = L_{PE} + \lambda L_{MCRL}$ । KAM पैरामीटर्स को इस लॉस को मिनिमाइज करके अपडेट किया जाता है, जबकि इन्फरेंस स्टेप अपडेटेड प्रोटोटाइप्स का उपयोग करता है।

3. मुख्य योगदान (Key Contributions)

नया फ्रेमवर्क (WARM-CAT): लेबल डिस्ट्रीब्यूशन शिफ्ट को ब्रिज करने के लिए मल्टीमॉडल नॉलेज एक्यूमुलेशन के माध्यम से अनसुपरवाइज्ड टेस्ट-टाइम डेटा का लाभ उठाने वाला पहला दृष्टिकोण।
वॉर्म-स्टार्टेड प्रायोरिटी क्यू: विजुअल प्रोटोटाइप्स को इनिशियलाइज़ करने के लिए एक तंत्र, जो ऐतिहासिक टेस्ट इमेजेस के प्रति पक्षपात को रोकता है और संतुलित अनुकूलन सुनिश्चित करता है।
नए बेंचमार्क और रिफाइनमेंट्स:
- C-Fashion: कंपोजिशनल रीजनिंग के लिए फैशन डोमेन में एक नया बेंचमार्क डेटासेट (FashionIQ पर आधारित), जो मौजूदा साहित्य के गैप को भरता है।
- MIT-States:* नॉइजी MIT-States डेटासेट का एक रिफाइंड, क्लीन वर्जन (लगभग 70% गलत लेबल हटा दिए गए)।
इवैल्यूएशन मेट्रिक्स: CZSL में लॉन्ग-टेल्ड डिस्ट्रीब्यूशन (Head/Body/Tail एक्यूरेसी) के लिए विशेष रूप से तैयार किए गए मेट्रिक्स, ताकि सामान्य और दुर्लभ क्लासेस के बीच मॉडल की मजबूती का बेहतर आकलन किया जा सके।
स्टेट-ऑफ-द-आर्ट परफॉरमेंस: क्लोज्ड-वर्ल्ड और ओपन-वर्ल्ड दोनों सेटिंग्स में चार डेटासेट्स पर श्रेष्ठ परिणाम प्रदर्शित किए।

4. प्रयोगात्मक परिणाम (Experimental Results)

डेटासेट्स: UT-Zappos, C-Fashion, C-GQA, और रिफाइंड MIT-States* पर मूल्यांकन किया गया।
क्लोज्ड-वर्ल्ड परिणाम: WARM-CAT ने SOTA प्रदर्शन हासिल किया।
- UT-Zappos पर, इसने हार्मोनिक मीन (HM) को पिछले SOTA (TOMCAT) के 60.2% से बढ़ाकर 64.3% कर दिया।
- C-Fashion पर, इसने 63.6% का HM प्राप्त किया, जो सभी बेसलाइन्स से बेहतर है।
ओपन-वर्ल्ड परिणाम: बड़े सर्च स्पेस में बेसलाइन्स से लगातार बेहतर प्रदर्शन किया।
लॉन्ग-टेल्ड एनालिसिस: WARM-CAT ने पिछले तरीकों की तुलना में "Head" (सामान्य) और "Tail" (दुर्लभ) क्लासेस के बीच प्रदर्शन के अंतर को काफी कम कर दिया, जो दुर्लभ कंपोजिशन्स के लिए बेहतर जनरलाइजेशन को दर्शाता है।
एब्लेशन स्टडीज (Ablation Studies):
- पुष्टि की कि क्यू को वॉर्म-स्टार्ट करना पक्षपात को रोकने के लिए महत्वपूर्ण है।
- दिखाया कि एडैप्टिव अपडेट वेट्स स्थिरता और प्लास्टिसिटी को संतुलित करने के लिए आवश्यक हैं।
- प्रमाणित किया कि मल्टीमॉडल एलाइनमेंट (Text + Visual) सिंगल-मोडैलिटी दृष्टिकोणों की तुलना में बेहतर है।

5. महत्व (Significance)

पैराडाइम शिफ्ट: CZSL को एक स्टेटिक "ट्रेन-एंड-फॉरगेट" (प्रशिक्षित करें और भूल जाएँ) पैराडाइम से बदलकर एक डायनेमिक "कंटीन्यूअस लर्निंग" (निरंतर सीखना) पैराडाइम में ले जाता है, जो बिना रिट्रेनिंग के नए संदर्भों के अनुकूल होने की मानवीय क्षमता की नकल करता है।
व्यावहारिक प्रयोज्यता: विधि को वास्तविक दुनिया के परिदृश्यों के लिए डिज़ाइन किया गया है जहाँ सिस्टम तैनाती के बाद डिस्ट्रीब्यूशन शिफ्ट और अनलेबल यूजर डेटा का सामना करते हैं।
संसाधन दक्षता: फुल फाइन-ट्यूनिंग के बजाय लाइटवेट एडैप्टर्स और प्रॉम्प्ट ट्यूनिंग का उपयोग करके, यह विधि टेस्ट चरण के दौरान कम्प्यूटेशनल रूप से कुशल रहती है।
कम्युनिटी इम्पैक्ट: C-Fashion डेटासेट और क्लीन किए गए MIT-States* का रिलीज कंपोजिशनल रीजनिंग के भविष्य के अनुसंधान के लिए समुदाय को अधिक विश्वसनीय और चुनौतीपूर्ण बेंचमार्क प्रदान करता है।