💻 computer science

Beyond Heuristic Prompting: A Concept-Guided Bayesian Framework for Zero-Shot Image Recognition

यह शोध पत्र ज़ीरो-शॉट इमेज रिकग्निशन के लिए एक कॉन्सेप्ट-गाइडेड बेयसियन फ्रेमवर्क प्रस्तावित करता है जो क्लास-विशिष्ट अवधारणाओं को लेटेंट वेरिएबल्स के रूप में मानकर विज़न-लैंग्वेज मॉडल्स को बेहतर बनाता है, और विविधता प्रवर्तन (डाइवर्सिटी एनफोर्समेंट) वाले एक एलएलएम-संचालित संश्लेषण पाइपलाइन के साथ-साथ बेहतर प्रदर्शन प्राप्त करने के लिए एक ट्रेनिंग-फ्री एडेप्टिव सॉफ्ट-ट्रिम लाइकलीहुड का उपयोग करता है जो ह्यूरिस्टिक प्रॉम्प्टिंग विधियों की तुलना में श्रेष्ठ है।

मूल लेखक: Hui Liu, Kecheng Chen, Jialiang Wang, Xianming Liu, Wenya Wang, Haoliang Li

प्रकाशित 2026-03-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hui Liu, Kecheng Chen, Jialiang Wang, Xianming Liu, Wenya Wang, Haoliang Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े कठोर स्वभाव वाले रोबोट को विभिन्न जानवरों को पहचानना सिखाने की कोशिश कर रहे हैं। आप रोबोट को एक हैमरहेड शार्क (Hammerhead Shark) की तस्वीर देते हैं और पूछते हैं, "यह क्या है?"

रोबोट ने लाखों किताबें पढ़ी हैं और लाखों तस्वीरें देखी हैं (यह एक विज़न-लैंग्वेज मॉडल, या VLM है, जैसे CLIP)। लेकिन, वह अपने पुराने तरीकों में फंसा हुआ है। यदि आप बस कहते हैं, "यह एक हैमरहेड शार्क की फोटो है," तो रोबोट भ्रमित हो सकता है क्योंकि यह एक टाइगर शार्क (Tiger Shark) या ग्रेट व्हाइट (Great White) जैसा दिखता है। इसे अलग पहचानने के लिए इसे अधिक विशिष्ट सुरागों की आवश्यकता होगी।

यह पेपर रोबोट को वे सुराग देने का एक नया तरीका पेश करता है, जो "अनुमान लगाने के खेल" से हटकर एक अधिक वैज्ञानिक, गणितीय दृष्टिकोण की ओर ले जाता है। यह कैसे काम करता है, यहाँ इसके सरल भागों में विवरण दिया गया है:

1. समस्या: "अनुमान लगाने का खेल" वाला दृष्टिकोण

इस पेपर से पहले, शोधकर्ता रोबोट की मदद करने के लिए एक सुपर-स्मार्ट AI (जैसे ChatGPT) से विवरण लिखने के लिए कहते थे।

पुराना तरीका: वे पूछते थे, "एक हैमरहे "हेड शार्क कैसी दिखती है?" और AI कहता, "इसका सिर चौड़ा होता है।" फिर वे पूछते, "एक टाइगर शार्क कैसी दिखती है?" और AI कहता, "इसमें धारियां होती हैं।"
दोष: यह किसी दोस्त से सलाह मांगने जैसा है, लेकिन कभी-कभी आपका दोस्त गलत सलाह देता है, या सलाह बहुत अस्पष्ट होती है। साथ भी, यदि आप 100 दोस्तों से पूछते हैं, तो उनमें से कुछ अजीब या गलत जवाब (outliers) दे सकते हैं जो रोबोट को भ्रमित कर देते हैं। पुराने तरीके इन सभी जवाबों का औसत निकाल लेते थे, जो तब काम नहीं करता था जब "गलत सलाह" बहुत शोर मचा रही हो या भ्रमित करने वाली हो।

2. समाधान: "जासूस का टूलकिट" (कॉन्सेप्ट-गाइडेड बेयसियन फ्रेमवर्क)

लेखक एक नया सिस्टम प्रस्तावित करते हैं जिसे CGBC कहा जाता है। इसे एक अनुमानों की सूची के बजाय रोबोट को एक जासूस का टूलकिट (Detective's Toolkit) देने के रूप में समझें।

चरण A: "स्मार्ट इंटरव्यूअर" (LLM-ड्रिवन सिंथेसिस)

केवल "यह कैसा दिखता है?" पूछने के बजाय, सिस्टम एक गवाह का इंटरव्यू लेने वाले जासूस की तरह काम करता है।

ट्रिक: यह AI से पूछता है, "एक हैमरहेड शार्क, टाइगर शार्क से कैसे अलग है?"
परिणाम: AI बहुत विशिष्ट, "विभेदक" (discriminative) सुराग उत्पन्न करता है। केवल "सिर है" कहने के बजाय, यह कहता है, "T-आकार का, चपटा सिर है।" यह एक कॉन्सेप्ट (Concept) है।
मिश्रण: यह इन सुरागों (जैसे, "T-आकार का सिर OR चिकनी ग्रे त्वचा") को मिलाता है ताकि यह सुनिश्चित हो सके कि रोबोट के पास शार्क को पहचानने के कई तरीके हों।
फ़िल्टर: यह एक गणितीय ट्रिक (जिसे Determinant Point Process कहा जाता है) का उपयोग करता है ताकि यह सुनिश्चित हो सके कि रोबोट 50 ऐसे सुराग न चुन ले जो एक ही बात कहते हों। यह सबसे विविध (diverse) सुरागों का चयन करता है, जैसे कि जासूसों की एक ऐसी टीम चुनना जहाँ हर किसी के पास अलग कौशल हो।

चरण B: "संदेही का फ़िल्टर" (एडेप्टिव सॉफ्ट-ट्रिम)

अब, रोबोट के पास 50 सुरागों की एक सूची है। कुछ बेहतरीन हैं ("T-आकार का सिर"), लेकिन कुछ अजीब या गलत हो सकते हैं ("बैंगनी पूंछ वाला" - जो कि एक आउटलायर है)।

पुराना तरीका: रोबोट बस सभी 50 सुरागों का औसत निकाल लेता। यदि एक सुराग बहुत ज्यादा गलत होता, तो वह औसत को नीचे खींच लेता।
नया तरीका (Soft-Trim): रोबोट एक संदेही जज की तरह व्यवहार करता है। वह सभी सुरागों को देखता है और पूछता है, "कौन से अजीब आउटलेयर्स हैं?"
- यह सुरागों का "मीडियन" (मध्य बिंदु) निकालता है।
- यदि कोई सुराग चार्ट से बहुत दूर है (जैसे बैंगनी पूंछ), तो रोबोट उसे शांत (silence) कर देता है। यह उसे हटाता नहीं है, बल्कि उसकी आवाज़ कम कर देता है ताकि वह निर्णय को खराब न करे।
- यह एक ही चरण में, बहुत तेज़ी से होता है, बिना रोबोट को फिर से प्रशिक्षित किए।

चरण C: "गणितीय सुरक्षा जाल" (बेयसियन परिप्रेक्ष्य)

यह पूरा सिस्टम बेयसियन प्रोबेबिलिटी (Bayesian Probability) नामक एक गणितीय ढांचे पर आधारित है।

कल्पना कीजिए कि रोबोट के पास एक "पूर्वाभास" (prior) है कि एक शार्क कैसी दिखती है।
जब वह तस्वीर देखता है, तो वह सुरागों (likelihood) के आधार पर उस पूर्वाभास को अपडेट करता है।
यह पेपर गणितीय रूप से सिद्ध करता है कि भले ही कुछ सुराग खराब (outliers) हों, यह "संदेही का फ़िल्टर" सुनिश्चित करता है कि रोबोट का अंतिम अनुमान अभी भी बहुत सटीक और सुरक्षित है।

3. परिणाम: यह क्यों मायने रखता है

लेखकों ने फूलों को पहचानने से लेकर कारों और उपग्रह चित्रों की पहचान करने तक, 11 अलग-अलग चुनौतियों पर इनका परीक्षण किया।

परिणाम: उनकी विधि ने लगातार मौजूदा सर्वोत्तम विधियों को पछाड़ दिया।
उपमा: यदि पुराने तरीके लोगों की भीड़ से दिशा पूछने और उनका औसत लेने जैसे थे, तो यह नया तरीका एक विशेषज्ञ जासूस टीम को काम पर रखने, झूठ बोलने वालों को फ़िल्टर करने और सत्य खोजने के लिए एक सख्त गणितीय प्रक्रिया का उपयोग करने जैसा है।

एक वाक्य में सारांश

यह पेपर AI को केवल अनुमान लगाने के बजाय, किसी वस्तु को अद्वितीय बनाने वाले विशिष्ट और विविध "सुराग" उत्पन्न करके और फिर खराब सुरागों को अनदेखा करने के लिए एक स्मार्ट गणितीय फ़िल्टर का उपयोग करके छवियों को पहचानना सिखाता है, जिससे AI बहुत अधिक सटीक और विश्वसनीय बन जाता है।

यहाँ शोध पत्र "Beyond Heuristic Prompting: A Concept-Guided Bayesian Framework for Zero-Shot Image Recognition" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

CLIP जैसे विज़न-लैंग्वेज मॉडल्स (VLMs) ने इमेज और टेक्स्ट एम्बेडिंग्स को संरेखित करके ज़ीरो-शॉट इमेज रिकग्निशन में क्रांति ला दी है। हालाँकि, उनका प्रदर्शन अक्सर निम्नलिखित कारणों से सीमित होता है:

इष्टतम प्रॉम्प्ट इंजीनियरिंग का अभाव (Suboptimal Prompt Engineering): मानक प्रॉम्प्ट (जैसे, "A photo of a {class}") बहुत सामान्य होते हैं और सूक्ष्म दृश्य अंतरों (fine-grained visual distinctions) को पकड़ने में विफल रहते हैं।
ह्यूरिस्टिक सीमाएँ (Heuristic Limitations): LLMs का उपयोग करके प्रॉम्प्ट को बेहतर बनाने वाले मौजूदा तरीके (जैसे, CuPL) बिना किसी सैद्धांतिक आधार के ह्यूरिस्टिक डिज़ाइनों (जैसे, कई LLM-जनरेटेड विवरणों का औसत निकालना) पर निर्भर करते हैं।
आउटलियर के प्रति संवेदनशीलता (Outlier Sensitivity): LLM-जनरेटेड कॉन्सेप्ट्स अक्सर विषम या लॉन्ग-टेल वितरण (skewed or long-tail distributions) का पालन करते हैं, जिससे "आउटलियर प्रॉम्प्ट्स" उत्पन्न होते हैं जो वर्गीकरण सटीकता को कम कर देते हैं।
अनुकूलन क्षमता की कमी (Lack of Adaptability): वर्तमान तरीके उन सूक्ष्म वर्गीकरण (fine-grained classification) कार्यों में संघर्ष करते हैं जहाँ सार्थक उप-वर्गों (subclasses) को परिभाषित करना कठिन होता है।

2. कार्यप्रणाली: कॉन्सेप्ट-गाइडेड बेयसियन क्लासिफिकेशन (CGBC)

लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो ज़ीरो-शॉट वर्गीकरण को एक बेयसियन परिप्रेक्ष्य (Bayesian perspective) से पुनर्कल्पित करता है, जिसमें प्रत्येक क्लास $Y_i$ के लिए क्लास-विशिष्ट कॉन्सेप्ट्स को लेटेंट वेरिएबल्स (latent variables) के रूप में माना जाता है।

A. सैद्धांतिक सूत्रीकरण (Theoretical Formulation)

सीधे $p(Y_i|X)$ की गणना करने के बजाय, मॉडल प्रत्येक क्लास $Y_i$ के लिए एक लेटेंट कॉन्सेप्ट स्पेस $\mathcal{C}_i$ पर मार्जलाइजेशन (marginalization) करता है:
$p(Y_i|X) = \sum_{C_i} p(Y_i|X, C_i) p(C_i|X)$
बेयस प्रमेय का उपयोग करते हुए, $p(C_i|X) \propto p(X|C_i)p(C_i)$ , जहाँ:

$p(C_i)$ (Prior): कॉन्सेप्ट के बारे में समृद्ध विश्व ज्ञान (world knowledge) को एनकोड करता है।
$p(X|C_i)$ (Likelihood): टेस्ट इमेज और कॉन्सेप्ट के बीच अनुकूलता (compatibility) को मापता है, जो विशिष्ट इनपुट के आधार पर प्रायर (prior) को परिष्कृत करता है।

अंतिम निर्णय को कॉन्सेप्ट्स के एक परिमित सेट $\{C_{i,j}\}$ के नमूनाकरण (sampling) द्वारा अनुमानित किया जाता है:
$p(Y_i|X) \approx \sum_{j} p(Y_i|X, C_{i,j}) \cdot p(X|C_{i,j}) \cdot p(C_{i,j})$

B. मुख्य घटक (Key Components)

1. LLM-संचालित मल्टी-स्टेज कॉन्सेप्ट सिंथेसिस पाइपलाइन
एक प्रभावी प्रस्ताव वितरण (proposal distribution) $q(C_i)$ का निर्माण करने के लिए जो वास्तविक कॉन्सेप्ट प्रायर $p(C_i)$ का अनुमान लगा सके, लेखक तीन गुणों को लागू करते हैं: डिस्क्रिमिनेबिलिटी (Discriminability), कंपोजिशनैलिटी (Compositionality), और डाइवर्सिटी (Diversity)।

चरण 1 (हार्ड-नेगेटिव नेबरहुड्स): प्रत्येक क्लास $Y_i$ के लिए, सिस्टम CLIP एम्बेडिंग्स का उपयोग करके सबसे अधिक अर्थपूर्ण रूप से समान क्लासेस (हार्ड नेगेटिव्स) की पहचान करता है।
चरण 2 (कॉन्ट्रास्टिव प्रॉम्प्टिंग): एक LLM को $Y_i$ को उसके हार्ड-नेगेटिव नेबरहुड से विशेष रूप से अलग करने वाले एटमिक कॉन्सेप्ट्स (atomic concepts) उत्पन्न करने के लिए प्रॉम्प्ट किया जाता है (जैसे, अन्य शार्क की तुलना में Hammerhead Shark के लिए "T-shaped head")।
चरण 3 (कंपोजिशनैलिटी): एटमिक कॉन्सेप्ट्स को उच्च-क्रम के कंपोजिट कॉन्सेप्ट्स (composite concepts) बनाने के लिए लॉजिकल ऑपरेटर्स (जैसे, "or") का उपयोग करके जोड़ा जाता है, जिससे अभिव्यक्ति क्षमता बढ़ती है।
चरण 4 (DPP के माध्यम से डाइवर्सिटी): अर्थपूर्ण अतिरेक (semantic redundancy) को कम करने और कॉन्सेप्ट स्पेस के व्यापक कवरेज को सुनिश्चित करने के लिए कंपोजिट कॉन्सेप्ट्स पर एक डिटरमिनेंटल पॉइंट प्रोसेस (DPP) लागू किया जाता है।

2. एडेप्टिव सॉफ्ट-ट्रिम लाइकलीहुड (Adaptive Soft-Trim Likelihood)
आउटलियर कॉन्सेप्ट्स (जो विषम समानता वितरण का कारण बनते हैं) की समस्या को हल करने के लिए, लेखक एक ट्रेनिंग-फ्री, एडेप्टिव लाइकलीहुड फंक्शन पेश करते हैं:

रोबस्ट एस्टीमेशन: यह इमेज और कॉन्सेप्ट प्रॉम्प्ट्स के बीच समानता स्कोर के मीडियन ( $m_i$ ) और मीडियन एब्सोल्यूट डेविएशन (MAD) की गणना करता है।
आउटलियर डाउन-वेटिंग: यह एक कंटैमिनेशन रेट ( $\hat{\rho}_i$ ) का अनुमान लगाता है और मीडियन से विचलन के आधार पर प्रत्येक कॉन्सेप्ट को एक वेट $w_{i,j}$ असाइन करता है। मीडियन से दूर स्थित कॉन्सेप्ट्स को एक सिग्मॉइड फंक्शन का उपयोग करके डाउन-वेट किया जाता है।
मार्जलाइजेशन: अंतिम क्लास प्रोबेबिलिटी को कॉन्सेप्ट-कंडीशन्ड प्रोबेबिलिटीज़ के भारित औसत (weighted average) के रूप में कंप्यूट किया जाता है, जो प्रभावी रूप से सिंगल फॉरवर्ड पास में आउटलियर्स के प्रभाव को कम करता है।

3. मुख्य योगदान (Key Contributions)

बेयसियन पुनर्व्याख्या: यह पेपर ज़ीरो-शॉट रिकग्निशन के लिए एक व्यवस्थित बेयसियन फ्रेमवर्क प्रदान करता है, जो इसे सरल प्रॉम्प्ट एवरेजिंग के बजाय कॉन्सेप्ट स्पेस पर मार्जलाइजेशन के रूप में फ्रेम करता है।
स्ट्रक्चर्ड कॉन्सेप्ट सिंथेसिस: यह एक नया पाइपलाइन पेश करता है जो ऐसे कॉन्सेप्ट्स उत्पन्न करता है जो डिस्क्रिमिनेबिलिटी (कॉन्ट्रास्टिव प्रॉम्प्टिंग के माध्यम से), कंपोजिशनैलिटी (लॉजिकल कॉम्बिनेशन के माध्यम से), और डाइवर्सिटी (DPP के माध्यम से) को संतुष्ट करते हैं।
रोबस्ट लाइकलीहुड डिज़ाइन: एडेप्टिव सॉफ्ट-ट्रिम लाइकलीहुड आउटलियर प्रभावों को कम करने के लिए एक ट्रेनिंग-फ्री तंत्र प्रदान करता है, जो सैद्धांतिक मजबूती (theoretical robustness) और मल्टी-क्लास एक्स्ट्रा रिस्क बाउंड्स प्रदान करता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: यह विधि बिना किसी टेस्ट-टाइम ऑप्टिमाइज़ेशन या फाइन-ट्यूनिंग के 11 विविध इमेज रिकग्निशन डेटासेट्स पर मौजूदा बेसलाइन्स की तुलना में निरंतर सुधार करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

डेटासेट्स: ImageNet, Cars, Aircraft, Flowers, Food, और Scenes सहित 11 डेटासेट्स पर मूल्यांकन किया गया।
प्रदर्शन:
- CGBC मौजूदा स्टेट-ऑफ-द-आर्ट तरीकों (जैसे, CLIP, TPT, MTA, CuPL) से लगातार बेहतर प्रदर्शन करता है।
- औसतन, CGBC मानक CLIP की तुलना में ~5% और सबसे अच्छे प्रॉम्प्ट-आधारित बेसलाइन (CuPL) पर ImageNet पर ~1.6% टॉप-1 सटीकता में सुधार करता है।
- यह उन सूक्ष्म कार्यों (जैसे, Cars, Aircraft) में महत्वपूर्ण लाभ दिखाता है जहाँ डिस्क्रिमिनेटिव कॉन्सेप्ट्स महत्वपूर्ण होते हैं।
एब्लेशन स्टडीज (Ablation Studies):
- डिस्क्रिमिनेबिलिटी: कॉन्ट्रास्टिव प्रॉम्प्टिंग, जेनेरिक डिस्क्रिप्टिव प्रॉम्प्टिंग की तुलना में काफी बेहतर प्रदर्शन करती है।
- कंपोजिशनैलिटी: "or" के साथ कॉन्सेप्ट्स को जोड़ने से एम्बेडिंग्स के साधारण औसत की तुलना में बेहतर परिणाम मिलते हैं।
- डाइवर्सिटी: DPP चयन प्रदर्शन में सुधार करता है, विशेष रूप से तब जब प्रॉम्प्ट्स की संख्या सीमित हो।
- रोबस्टनेस: सॉफ्ट-ट्रिम लाइकलीहुड साधारण एवरेजिंग की तुलना में प्रदर्शन को काफी बढ़ाता है, जो आउटलियर मिटिगेशन की आवश्यकता की पुष्टि करता है।
दक्षता (Efficiency): व्यू-बेस्ड तरीकों (जैसे, TPT, MTA) के विपरीत जिन्हें कई फॉरवर्ड पास और ऑप्टिमाइज़ेशन की आवश्यकता होती है, CGBC अत्यधिक कुशल है, जिसमें ऑफलाइन कॉन्सेप्ट जनरेशन के बाद केवल एक फॉरवर्ड पास की आवश्यकता होती है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह कार्य ज़ीरो-शॉट लर्निंग में ह्यूरिस्टिक प्रॉम्प्ट इंजीनियरिंग और कठोर संभावabilistic मॉडलिंग के बीच के अंतर को पाटता है। कॉन्सेप्ट्स को लेटेंट वेरिएबल्स के रूप में मानकर और प्रपोजल डिस्ट्रीब्यूशन की गुणवत्ता और आउटलियर रोबस्टनेस के मुद्दों को व्यवस्थित रूप से संबोधित करके, CGBC एक स्केलेबल, ट्रेनिंग-फ्री फ्रेमवर्क प्रदान करता है जो विज़न-लैंग्वेज मॉडल्स की सामान्यीकरण क्षमताओं को महत्वपूर्ण रूप से बढ़ाता है। रोबस्टनेस और रिस्क बाउंड्स पर इसके सैद्धांतिक आश्वासन भविष्य के कॉन्सेप्ट-ड्रिवन विज़न-लैंग्वेज मॉडल्स के अनुसंधान के लिए एक ठोस आधार स्थापित करते हैं। इसका कोड ओपन-सोर्स है, जो पुनरुत्पादकता (reproducibility) और आगे के विकास को सुगम बनाता है।