💻 computer science

Active Prompt Learning with Vision-Language Model Priors

यह शोध पत्र विज़न-लैंग्वेज मॉडल्स के लिए एक बजट-कुशल एक्टिव प्रॉम्प्ट लर्निंग फ्रेमवर्क प्रस्तावित करता है जो मौजूदा बेसलाइन्स की तुलना में कम लेबल किए गए नमूनों के साथ उच्च सटीकता प्राप्त करने के लिए क्लास-गाइडेड क्लस्टरिंग और एडेप्टिव क्लास-वाइज थ्रेशोल्डिंग का उपयोग करता है।

मूल लेखक: Hoyoung Kim, Seokhee Jin, Changhwan Sung, Jaechang Kim, Jungseul Ok

प्रकाशित 2026-03-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hoyoung Kim, Seokhee Jin, Changhwan Sung, Jaechang Kim, Jungseul Ok

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट, सर्वज्ञानी लाइब्रेरियन है जिसका नाम CLIP है। इस लाइब्रेरियन ने दुनिया की हर किताब पढ़ी है और अब तक खींची गई हर तस्वीर देखी है। इस कारण, यदि आप उससे पूछते हैं, "मुझे एक बिल्ली की तस्वीर दिखाओ," तो वह बिना यह सीखे कि विशेष रूप से बिल्ली कैसी दिखती है, तुरंत एक ढूंढ सकता है। इसे "जीरो-शॉट" (zero-shot) लर्निंग कहा जाता है।

हालाँकि, एक पेंच है। बेहतरीन परिणाम पाने के लिए, आपको लाइब्रेरियन से बहुत विशिष्ट प्रश्न (जिन्हें प्रॉम्प्ट्स कहा जाता है) पूछने होंगे। यदि आप पूछते हैं, "एक बिल्ली की फोटो," तो यह ठीक-ठाक काम कर सकता है। लेकिन यदि आप पूछते, "खिड़की की दहलीज पर बैठी एक रोएंदार टैबी बिल्ली," तो यह कहीं अधिक बेहतर काम करता है।

समस्या यह है कि हर नए कार्य के लिए सही प्रश्न खोजना कठिन, समय लेने वाला और महंगा है। आप लाइब्रेरियन को लाइब्रेरी की हर किताब पढ़ने के लिए नहीं कह सकते; आपको उसे जल्दी सिखाने के लिए सही कुछ किताबें चुननी होंगी।

यह पेपर इस लाइब्रेरियन को सिखाने का एक नया, बजट-अनुकूल तरीका पेश करता है जिसे एक्टिव प्रॉम्प्ट लर्निंग (Active Prompt Learning) कहते हैं। यह कैसे काम करता है, इसे सरल उपमाओं (analogies) में यहाँ समझाया गया है:

1. समस्या: "कोल्ड स्टार्ट" और "बजट की बर्बादी"

कल्पना कीजिए कि आप एक नए छात्र (AI) को पक्षियों के 100 अलग-अलग प्रकारों के बारे में सिखाने की कोशिश कर रहे हैं। आपके पास छात्र को सही उत्तरों के लिए इनाम देने के लिए 100 स्टिकर (लेबल किया गया डेटा) का सीमित बजट है।

पुराना तरीका: अधिकांश शिक्षक बस ढेर सारे पक्षियों में से यादृच्छिक (random) रूप से 100 पक्षी चुन लेते हैं। वे शायद गौरैया के 50 चित्र चुन लें और ईगल (बाज) का 0 चित्र। छात्र भ्रमित हो जाता है क्योंकि उसने पर्याप्त विविधता नहीं देखी है। या, वे शायद 50 ऐसे पक्षियों के चित्र चुन लें जिन्हें छात्र पहले से ही पूरी तरह जानता है, जिससे स्टिकर बर्बाद हो जाते हैं।
लक्ष्य: हम चाहते हैं कि हम छात्र को सिखाने के लिए सबसे उपयोगी पक्षियों को चुनें, कम से कम स्टिकर का उपयोग करते हुए, जबकि यह भी सुनिश्चित करें कि हम सभी प्रकार के पक्षियों को समान रूप से कवर करें।

2. समाधान: एक दो-चरणीय जादू का खेल

लेखकों ने इस समस्या को हल करने के लिए एक फ्रेमवर्क के साथ दो मुख्य तरीके प्रस्तावित किए हैं:

ट्रिक A: "क्लास-गाइडेड मैप" (बेहतर छंटनी)

आमतौर पर, जब हम मिश्रित तस्वीरों के ढेर को छाँटने की कोशिश करते हैं, तो हम केवल रंगों और आकृतियों (Image Features) को देखते हैं। लेकिन लाइब्रेरियन (CLIP) चीजों के नाम (Text Features) भी जानता है।

उपमा: कल्पना कीजिए कि आपके पास मिश्रित फलों का ढेर है।
- पुराना तरीका: आप उन्हें रंग के आधार पर छाँटते हैं। आप एक लाल सेब और एक लाल टमाटर को एक ही ढेर में रख सकते हैं।
- नया तरीका (Class-Guided Clustering): आप लाइब्रेरियन से पूछते हैं, "क्या यह एक सेब है या टमाटर?" और इस ज्ञान का उपयोग ढेर को छाँटने में मदद करने के लिए करते हैं।
- यह कैसे काम करता है: AI पक्षी की तस्वीर को उस टेक्स्ट विवरण के साथ जोड़ देता है कि वह क्या हो सकता है। इससे एक "क्लास-गाइडेड फीचर" बनता है। अब, जब AI पक्षियों को समूहों (clusters) में बांटता है, तो वह केवल "गौरैया जैसा दिखने" के आधार पर समूह नहीं बनाता; बल्कि वह "वास्तव में गौरैया है" के आधार पर समूह बनाता है।
- परिणाम: पहले ही दिन (राउंड 1) से, AI हर समूह से पक्षियों का एक सटीक और संतुलित मिश्रण चुन सकता है, जिससे "कोल्ड स्टार्ट" की समस्या से बचा जा सकता है जहाँ उसे पता ही नहीं होता कि क्या चुनना है।

ट्रिक B: "कॉन्फिडेंस चेक" (पैसे बचाना)

एक बार जब AI शिक्षक को दिखाने के लिए पक्षियों का एक समूह चुन लेता है, तो उसे हमेशा शिक्षक द्वारा उन्हें लेबल करने की आवश्यकता नहीं होती है।

उपमा: लाइब्रेरियन 99% आश्वस्त है कि एक तस्वीर "ब्लू जे" (Blue Jay) की है। तो इंसान से इसकी पुष्टि करने के लिए पैसे क्यों देना?
पुराना तरीका: शिक्षक हर उस तस्वीर के लिए लेबल के लिए भुगतान करता है जिसे AI चुनता है, भले ही AI पहले से ही 100% आश्वस्त हो। इससे बजट तेजी से खत्म हो जाता है।
नया तरीका (Selective Querying): AI अपने स्वयं के आत्मविश्वास (confidence) की जांच करता है।
- यदि AI अनिश्चित है (जैसे, "क्या यह ब्लू जे है या जे?"), तो वह उत्तर के लिए मानव शिक्षक से पूछता है।
- यदि AI बहुत आश्वस्त है (जैसे, "यह निश्चित रूप से एक ब्लू जे है!"), तो वह खुद को एक "स्यूडो-लेबल" (एक नकली लेबल जिस पर वह भरोसा करता है) दे देता है और स्टिकर बचा लेता है।
- ट्विस्ट: अलग-अलग पक्षियों को पहचानना कठिन होता है। AI सीखता है कि "ब्लू जे" को पहचानना आसान है, लेकिन "वारब्लर" (Warblers) को पहचानना कठिन है। इसलिए, वह प्रत्येक पक्षी के प्रकार के लिए अलग-अलग कॉन्फिडेंस नियम निर्धारित करता है। वह आसान पक्षियों पर अधिक स्टिकर बचाता है और कठिन पक्षियों पर अधिक खर्च करता है।

3. परिणाम: स्मार्ट लर्निंग, कम लागत

इन दो ट्रिक्स का उपयोग करके, AI पिछले तरीकों की तुलना में तेजी से और अधिक सटीकता से सीखता है।

दक्षता (Efficiency): यह अन्य तरीकों की तुलना में समान उच्च सटीकता प्राप्त करता है लेकिन 17.6% कम लेबल किए गए उदाहरणों (स्टिकर) का उपयोग करता है।
निष्पक्षता (Fairness): यह सुनिश्चित करता है कि प्रत्येक प्रकार के पक्षी को समान ध्यान मिले, जिससे यह रोकने में मदद मिलती है कि AI केवल "लोकप्रिय" पक्षियों के बारे में ही न सीख जाए।
स्केलेबिलिटी (Scalability): यह विशाल डेटासेट (जैसे लाखों छवियों के साथ ImageNet) पर भी काम करता है क्योंकि छंटनी करने का तरीका हल्का और तेज़ है।

सारांश

इस पेपर को AI को प्रशिक्षित करने के लिए एक स्मार्ट शॉपिंग असिस्टेंट के रूप में समझें।

शेल्फ से यादृच्छिक वस्तुएं उठाने के बजाय, यह एक स्मार्ट मैप (चित्रों और टेक्स्ट को जोड़कर) का उपयोग करता है ताकि आपकी ज़रूरत के बिल्कुल सही मिश्रण को उठाया जा सके।
हर एक चीज़ के लिए कैशियर से कीमत पूछने के बजाय, यह उन वस्तुओं के लिए कीमत का टैग खुद चेक करता है जिनके बारे में वह आश्वस्त है, और केवल कठिन चीजों के लिए ही पूछता है।

इससे समय, पैसा और प्रयास बचता है, जिससे AI बहुत तेज़ी से विशेषज्ञ बन जाता है।

यहाँ शोध पत्र "Active Prompt Learning with Vision-Language Model Priors" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज मॉडल्स (VLMs), जैसे कि CLIP, विभिन्न कार्यों में प्रभावशाली ज़ीरो-शॉट क्षमताओं का प्रदर्शन कर चुके हैं। हालाँकि, उन्हें विशिष्ट डाउनस्ट्रीम कार्यों के लिए अनुकूलित करना आमतौर पर प्रॉम्प्ट लर्निंग (prompt learning) पर निर्भर करता है, जहाँ एनकोडर को फ्रीज़ रखते हुए सीखने योग्य टेक्स्ट प्रॉम्प्ट्स को ऑप्टिमाइज़ किया जाता है।

बाधा (The Bottleneck): पारंपरिक प्रॉम्प्ट लर्निंग विधियाँ मॉडल-केंद्रित (model-centric) होती हैं, जो एक निश्चित, छोटे लेबल वाले डेटा सेट के आधार पर प्रॉम्प्ट आर्किटेक्चर या लॉस फंक्शन को ऑप्टिमाइज़ करने पर ध्यान केंद्रित करती हैं। वे अक्सर डेटा चयन (data selection) की क्षमता को अनदेखा कर देती हैं।
चुनौती (The Challenge): एक्टिव लर्निंग (AL) परिदृश्यों में, बजट दक्षता के लिए सबसे सूचनात्मक नमूनों (samples) का चयन करना महत्वपूर्ण है। VLMs के लिए मौजूदा AL विधियाँ अक्सर इन समस्याओं से ग्रस्त होती हैं:
1. कोल्ड-स्टार्ट समस्या (Cold-start problems): बिना लेबल वाले डेटा के प्रारंभिक दौर में विश्वसनीय डेटा मूल्यांकन की कमी।
2. अकुशल बजट उपयोग (Inefficient budget usage): इस तथ्य को ध्यान में रखने में विफल रहना कि VLMs कुछ वर्गों (classes) में पहले से ही अत्यधिक आश्वस्त हो सकते हैं, जिससे अनावश्यक मैनुअल लेबलिंग होती है।
3. असंतुलित प्रायोर (Imbalanced priors): VLMs में विभिन्न वर्गों के बीच अंतर्निहित ज्ञान असंतुलन होता है, जिसे मानक अधिग्रहण कार्य (acquisition functions) प्रभावी ढंग से संबोधित नहीं कर पाते हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक बजट-कुशल एक्टिव प्रॉम्प्ट लर्निंग फ्रेमवर्क प्रस्तावित करते हैं जो दो मुख्य घटकों के माध्यम से VLM प्रायर्स (priors) का लाभ उठाता है: क्लास-गाइडेड क्लस्टरिंग (Class-Guided Clustering) और सिलेक्टिव क्वेरीइंग (Selective Querying)।

A. क्लास-गाइडेड क्लस्टरिंग (वार्म-स्टार्ट तंत्र)

कोल्ड-स्टार्ट समस्या को हल करने और पहले दौर से ही विविध डेटा चयन सुनिश्चित करने के लिए, लेखक एक फीचर प्रतिनिधित्व पेश करते हैं जो विज़ुअल और टेक्स्टुअल जानकारी को जोड़ता है।

फीचर निर्माण (Feature Construction): एक इमेज $x$ $x$ के लिए, वे एक क्लास-गाइडेड फीचर ( $F_C$ $F_{C}$ ) का निर्माण करते हैं जो निम्नलिखित को संयोजित (concatenate) करता है:
1. इमेज फीचर्स ( $I$ ): प्री-ट्रेंड इमेज एनकोडर से निकाले गए।
2. वेटेड टेक्स्ट फीचर्स ( $\tilde{T}_C$ ): सभी वर्गों के टेक्स्ट एम्बेडिंग्स का एक वेटेड सम, जहाँ वेट्स उस इमेज के लिए VLM के ज़ीरो-शॉट कॉन्फिडेंस स्कोर (समानता) द्वारा निर्धारित होते हैं।
  $F_C(x) = [I(x), \sum_{c \in \mathcal{C}} p(y=c|x) \cdot \theta_{txt}(t_c)]$
क्लस्टरिंग (Clustering): इन $F_C$ फीचर्स पर $K$ -means क्लस्टरिंग की जाती है।
अधिग्रहण (Acquisition): प्रत्येक दौर में, एल्गोरिदम प्रत्येक क्लस्टर के सेंट्रॉइड (centroid) के निकटतम इमेज का चयन करता है।
डायनेमिक $K$ (Dynamic $K$ ): यह सुनिश्चित करने के लिए कि जैसे-जैसे लेबल किया गया सेट बढ़ता है, विविधता बनी रहे, क्लस्टर की संख्या राउंड नंबर के साथ रैखिक रूप से बढ़ती है ( $K = B \times r$ ), जिससे यह सुनिश्चित होता है कि फीचर स्पेस के नए, अनलेबल क्षेत्रों का पता लगाया जा सके।
लाभ (Advantage): पारंपरिक इमेज-ओनली क्लस्टरिंग के विपरीत, $F_C$ फीचर स्पेस को लक्षित वर्गीकरण कार्य के साथ संरेखित करता है, जिससे बिना शुरुआती लेबल के प्रभावी "वार्म-स्टार्ट" चयन संभव होता है।

B. सिलेक्टिव क्वेरीइंग (बजट-बचाव तंत्र)

लेबलिंग बजट को कम करने के लिए, लेखक उन नमूनों के लिए मैनुअल एनोटेशन को छोड़ने की रणनीति प्रस्तावित करते हैं जहाँ VLM पहले से ही आश्वस्त है।

एडेप्टिव क्लास-वाइज थ्रेशोल्ड्स (Adaptive Class-Wise Thresholds): एक ग्लोबल थ्रेशोल्ड के बजाय, यह विधि उस वर्ग के पिछले लेबल किए गए नमूनों के औसत कॉन्फिडेंस के आधार पर प्रत्येक वर्ग $c$ के लिए एक कॉन्फिडेंस थ्रेशोल्ड ( $\epsilon_{r,c}$ ) की गणना करती है।
क्वेरी लॉजिक (Query Logic):
- यदि किसी कैंडिडेट सैंपल का अपने प्रेडिक्टेड क्लास के लिए कॉन्फिडेंस, क्लास-विशिष्ट थ्रेशोल्ड $\epsilon_{r,c}$ से अधिक है, तो एक स्यूडो-लेबल (pseudo-label) असाइन किया जाता है (मानवीय एनोटेशन की आवश्यकता नहीं)।
- यदि कॉन्फिडेंस थ्रेशोल्ड से कम है, तो नमूने को ग्राउंड-ट्रुथ लेबलिंग के लिए मानव एनोटेटर्स के पास भेजा जाता है।
यूनिफाइड प्रॉम्प्ट्स (Unified Prompts): ओवरफिटिंग को रोकने और थ्रेशोल्डिंग के लिए विश्वसनीय कॉन्फिडेंस स्कोर सुनिश्चित करने के लिए, लेखक कॉन्फिडेंस एस्टीमेशन चरण के दौरान शुद्ध रूप से क्लास-विशिष्ट प्रॉम्प्ट्स के बजाय एक यूनिफाइड प्रॉम्प्ट (सभी वर्गों के लिए साझा) का उपयोग करते हैं।

C. ट्रेनिंग लूप (Training Loop)

फ्रेमवर्क राउंड में काम करता है:

अनलेबल पूल के लिए क्लास-गाइडेड फीचर्स निकालें।
क्लस्टरिंग करें और प्रतिनिधि उम्मीदवारों का चयन करें।
स्यूडो-लेबल असाइन करने या एनोटेशन अनुरोध करने के लिए सिलेक्टिव क्वेरीइंग लागू करें।
संचित डेटासेट पर प्रॉम्प्ट वेक्टर्स को प्रशिक्षित करें (बायस से बचने के लिए प्रत्येक दौर में प्रॉम्प्ट्स को री-इनिशियलाइज़ करें)।

3. मुख्य योगदान (Key Contributions)

बजट-कुशल फ्रेमवर्क: एक अभिनव एक्टिव लर्निंग फ्रेमवर्क जो विशेष रूप से VLMs के लिए डिज़ाइन किया गया है, जो डेटा चयन (क्लस्टरिंग) और लेबल अधिग्रहण (स्यूडो-लेबलिंग) दोनों के लिए प्री-ट्रेंड प्रायर्स का पूर्ण उपयोग करता है।
क्लास-गाइडेड फीचर्स: एक हाइब्रिड फीचर स्पेस (इमेज + वेटेड टेक्स्ट) का परिचय जो पहले दौर से ही प्रभावी क्लस्टरिंग को सक्षम बनाता है, जिससे कोल्ड-स्टार्ट समस्या हल होती है और क्लस्टर सेपरेशन में सुधार होता है (T-SNE और एडजस्टेड रैंड इंडेक्स द्वारा सत्यापित)।
एडेप्टिव सिलेक्टिव क्वेरीइंग: क्लास-वाइज कॉन्फिडेंस थ्रेशोल्ड का लाभ उठाकर लेबलिंग बजट को गतिशील रूप से बचाने के लिए एक तंत्र, जो सटीकता से समझौता किए बिना मानवीय एनोटेशन की आवश्यकता को कम करता है।
मॉडल-सेंट्रिक विधियों के साथ सिनर्जी: प्रस्तावित डेटा चयन रणनीति एक प्लग-इन के रूप में कार्य करती है जो क्यूरेटेड डेटासेट पर लागू होने पर मौजूदा मॉडल-सेंट्रिक प्रॉम्प्ट लर्निंग विधियों (जैसे MaPle, PromptSRC) को बेहतर बनाती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन सात विविध डेटासेट्स (OxfordPets, FGVCAircraft, Caltech101, Flowers102, DTD, StanfordCars, EuroSAT) और बड़े पैमाने के ImageNet डेटासेट पर किया गया।

प्रदर्शन (Performance): प्रस्तावित विधि (CB+SQ) ने स्टेट-ऑफ-द-आर्ट बेसलाइन्स को लगातार पछाड़ दिया, जिनमें शामिल हैं:
- रैंडम सैंपलिंग।
- अनसर्टेन्टी-आधारित विधियाँ (Entropy)।
- डाइवर्सिटी-आधारित विधियाँ (CoreSet, BADGE)।
- पिछले VLM-विशिष्ट एक्टिव लर्निंग (PCB)।
दक्षता (Efficiency):
- कम लेबल किए गए नमूनों के साथ उच्च सटीकता प्राप्त की। उदाहरण के लिए, पहले दौर में, इसने बेसलाइन्स की तुलना में 19.5% प्रदर्शन लाभ दिखाया।
- तुलनीय या बेहतर सटीकता बनाए रखते हुए कुल लेबलिंग बजट को लगभग 17.6% कम कर दिया।
स्केलेबिलिटी (Scalability): ImageNet (1.28M इमेज) तक सफलतापूर्वक स्केल किया, उन कम्प्यूटेशनल बाधाओं को पार किया जो CoreSet और BADGE जैसी पिछली विधियों को सीमित करती थीं।
सामान्यीकरण (Generalization): अनदेखे नवीन वर्गों (unseen novel classes) पर रैंडम सिलेक्शन से बेहतर प्रदर्शन करते हुए "बेस-टू-नोवेल" सामान्यीकरण परिदृश्यों में मजबूत प्रदर्शन प्रदर्शित किया।
एब्लेशन स्टडीज (Ablation Studies): पुष्टि की कि:
- क्लास-गाइडेड फीचर्स, इमेज-ओनली फीचर्स की तुलना में काफी बेहतर प्रदर्शन करते हैं।
- सिलेक्टिव क्वेरीइंग, अनसर्टेन्टी-आधारित विधियों के बजाय डाइवर्सिटी-आधारित अधिग्रहण (जैसे उनकी क्लस्टरिंग) के साथ जुड़ने पर सबसे प्रभावी है।
- थ्रेशोल्डिंग के लिए क्लास-वाइज प्रॉम्प्ट्स की तुलना में यूनिफाइड प्रॉम्प्ट्स अधिक विश्वसनीय कॉन्फिडेंस डिस्ट्रीब्यूशन प्रदान करते हैं।

5. महत्व (Significance)

यह शोध पत्र VLM अनुकूलन के प्रतिमान को विशुद्ध रूप से मॉडल-केंद्रित दृष्टिकोण (प्रॉम्प्ट आर्किटेक्चर को ऑप्टिमाइज़ करना) से डेटा-केंद्रित दृष्टिकोण (किस डेटा का उपयोग प्रॉम्प्ट को प्रशिक्षित करने के लिए किया जाए) की ओर स्थानांतरित करता है।

व्यावहारिक प्रभाव: यह उन संसाधन-बाधित वातावरणों में VLMs को तैनात करने के लिए एक अत्यधिक कुशल समाधान प्रदान करता है जहाँ मानवीय एनोटेशन महंगा या दुर्लभ है।
सैद्धांतिक अंतर्दृष्टि: यह प्रदर्शित करता है कि फाउंडेशन मॉडल्स में निहित "प्रायोर नॉलेज" का उपयोग न केवल इन्फरेंस के लिए, बल्कि डेटा अधिग्रहण प्रक्रिया को निर्देशित करने के लिए भी किया जा सकता है, जो प्रभावी रूप से मॉडल को उसके स्वयं के प्रशिक्षण डेटा के लिए एक स्मार्ट क्यूरेटर में बदल देता है।
भविष्य की दिशा: यह कार्य अन्य विज़न कार्यों (डिटेक्शन, सेगमेंटेशन) और CLIP से परे अन्य फाउंडेशन मॉडल्स के लिए डेटा-केंद्रित एक्टिव लर्निंग रणनीतियों को विस्तारित करने के मार्ग खोलता है।