🤖 machine learning

Neutral-Reference Prompting for Vision-Language Models

यह शोध पत्र NeRP का प्रस्ताव करता है, जो एक प्लग-एंड-प्ले प्रॉम्प्टिंग सुधार रणनीति है जो न्यूट्रल टेक्स्ट प्रॉम्प्ट्स और रेफरेंस इमेजेस का लाभ उठाकर विजन-लैंग्वेज मॉडल्स में बेस-न्यू ट्रेड-ऑफ को कम करती है, ताकि बिना मॉडल पैरामीटर्स को संशोधित किए अनदेखी क्लासेज पर पूर्व-प्रधान (prior-dominated) गलत भविष्यवाणियों को सुधारा जा सके।

मूल लेखक: Senmao Tian, Xiang Wei, Shunli Zhang

प्रकाशित 2026-05-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Senmao Tian, Xiang Wei, Shunli Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Neutral-Reference Prompting for Vision–Language Models" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके किया गया स्पष्टीकरण दिया गया है।

मुख्य समस्या: AI मॉडल्स की "जलन" (Jealousy)

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र (एक AI मॉडल) है जिसने हजारों चित्रों और शब्दों का अध्ययन किया है। आप चाहते हैं कि यह छात्र उन विषयों पर एक नया टेस्ट दे जो उसने पहले कभी नहीं देखे हैं।

आमतौर पर, जब हम इस छात्र को इस नए टेस्ट के लिए अध्ययन करने में मदद करने की कोशिश करते हैं, तो हमें Base–New Trade-off नामक एक समस्या का सामना करना पड़ता है। यह कुछ ऐसा है: यदि आप छात्र को नए उत्तरों को पूरी तरह से याद करने के लिए मजबूर करते हैं, तो वह अचानक उन पुराने उत्तरों को भूल जाता है जिन्हें वह पहले से जानता था। यदि आप उसे पुराने उत्तर याद रखने के लिए मजबूर करते हैं, तो वह नए वाले करने में विफल रहता है। यह एक 'जीरो-सम गेम' (zero-sum game) है।

अधिकांश शोधकर्ताओं का मानना था कि यह इसलिए होता है क्योंकि छात्र "ओवरफिटिंग" (overfitting) कर रहा था—मूल रूप से, बहुत अधिक रट लेना और अपनी सामान्य सोचने की क्षमता खो देना। लेकिन यह पेपर तर्क देता है कि यह कहानी का केवल आधा हिस्सा है।

खोज: विषम भ्रम (Asymmetric Confusion)

लेखकों ने ध्यान दिया कि AI गलतियाँ कैसे करता है, इसमें एक अजीब सा व्यवहार होता है। आइए इसे Asymmetric Confusion कहें।

कल्पना कीजिए कि AI सेब (Apples) और आडू (Peaches) की तस्वीरें देख रहा है।

Symmetric Confusion (सममित भ्रम): AI समान रूप से भ्रमित है। वह 50% बार सेब को आडू समझ लेता है, और 50% बार आडू को सेब। यह केवल ईमानदार भ्रम है क्योंकि वे दिखने में समान हैं।
Asymmetric Confusion (विषम भ्रम): AI पक्षपाती (biased) है। वह 90% बार सेब को आडू समझ लेता है, लेकिन वह लगभग कभी भी आडू को सेब नहीं समझता।

क्यों? क्योंकि अपने मूल प्रशिक्षण के दौरान, AI ने एक "वरीयता" या "पूर्वाग्रह" विकसित कर लिया था। हो सकता कि उसने कुछ संदर्भों में आडू की अधिक तस्वीरें देखी हों, या उसके टेक्स्ट विवरण एक दूसरे के पक्ष में झुके हुए हों। इसलिए, जब वह एक धुंधली तस्वीर देखता है, तो उसका दिमाग स्वचालित रूप से "आडू" की ओर झुक जाता है, भले ही तस्वीर स्पष्ट रूप से एक सेब हो।

उन क्लासों के लिए जिन्हें AI पहले से देख चुका है (Base classes), हम इस पूर्वाग्रह को सही ढंग से सिखाकर ठीक कर सकते हैं। लेकिन नई, अनदेखी क्लासों के लिए, AI अपने पुराने, पक्षपाती सहज ज्ञान (instincts) पर निर्भर रहता है, और यह पूर्वाग्रह उसके प्रदर्शन को नुकसान पहुँचाता है।

समाधान: NeRP (द "न्यूट्रल रेफरेंस" चेक)

लेखक NeRP नामक एक विधि प्रस्तावित करते हैं। NeRP को AI को सिखाने का नया तरीका मानने के बजाय, इसे एक दूसरी राय या रियलिटी चेक के रूप में सोचें जो AI द्वारा उत्तर देने से ठीक एक सेकंड पहले होता है।

यह कैसे काम करता है, यहाँ एक पक्षपाती जज की उपमा दी गई है:

न्यूट्रल रेफरेंस (तटस्थ संदर्भ): कल्पना कीजिए कि आप जज को एक "न्यूट्रल" छवि देखने के लिए कहते हैं—एक धुंधली, सामान्य फोटो जिसमें कोई विशिष्ट वस्तु नहीं है—और एक न्यूट्रल वाक्य जैसे "एक वस्तु की फोटो।"
पूर्वाग्रह को मापना: यह देखकर कि जज न्यूट्रल इनपुट पर कैसी प्रतिक्रिया देता है, हम उनके अंतर्निहित पूर्वाग्रह को माप सकते हैं। उदाहरण के लिए, यदि जज न्यूट्रल फोटो को देखता है और कहता है, "यह सेब की तुलना में आडू जैसा दिखता है," तो हम जानते हैं कि जज का स्वाभाविक झुकाव आडू की ओर है।
सुधार (The Correction): अब, जब जज एक वास्तविक, विशिष्ट तस्वीर (साक्ष्य) को देखता है, तो NeRP दो चीजें जाँचता है:
- साक्ष्य (The Evidence): तस्वीर कितनी स्पष्ट रूप से एक सेब की तरह दिख रही है?
- पूर्वाग्रह (The Bias): जज की पूर्व-निर्धारित वरीयता (आडू के प्रति) कितनी मजबूत है?

यदि तस्वीर स्पष्ट रूप से एक सेब है (मजबूत साक्ष्य), लेकिन जज अपने पूर्वाग्रह के कारण "आडू" कहने वाला है, तो NeRP हस्तक्षेप करता है। यह कहता है, "रुको, साक्ष्य मजबूत है, लेकिन तुम्हारा पूर्वाग्रह तुम्हें गलत दिशा में खींच रहा है। अपना निर्णय बदलो।"

हालाँकि, यदि तस्वीर वास्तव में धुंधली और अस्पष्ट है (कमजोर साक्ष्य), तो NeRP निर्णय को अकेला छोड़ देता है। यह केवल तभी सुधार करता है जब AI अपने पूर्वाग्रह के कारण गलत तरीके से आत्मविश्वासी (wrongly confident) होता है, न कि तब जब वह वास्तव में अनिश्चित होता है।

यह क्यों काम करता है

यह प्लग-एंड-प्ले है: आपको AI को फिर से प्रशिक्षित करने या उसके मस्तिष्क को बदलने की आवश्यकता नहीं है। NeRP मौजूदा तरीकों के ऊपर बैठता है और अंतिम उत्तर को थोड़ा बदल देता है।
यह पुराने ज्ञान को बचाता है: क्योंकि NeRP केवल नई क्लासों पर विशिष्ट पक्षपाती त्रुटियों को ठीक करता है, यह पुरानी क्लासों को पहचानने की AI की क्षमता को खराब नहीं करता है।
यह कुशल है: यह वास्तविक साक्ष्य के विरुद्ध "न्यूट्रल" पूर्वाग्रह की तुलना करने के लिए सरल गणित का उपयोग करता है।

परिणाम

लेखकों ने विभिन्न प्रकार की छवियों (जानवर, कारें, फूल, सैटेलाइट आदि) पर इसका परीक्षण किया। उन्होंने पाया कि:

AI उन नई चीजों को पहचानने में बहुत बेहतर हो गया जिन्हें उसने पहले नहीं देखा था।
AI उन पुरानी चीजों को पहचानने में खराब नहीं हुआ जिन्हें वह पहले से जानता था।
यह विभिन्न अलग-अलग AI मॉडल्स के साथ काम करता है, जो एक सार्वभौमिक "बायस करेक्टर" (bias corrector) के रूप में कार्य करता है।

संक्षेप में

यह पेपर पहचान करता है कि AI मॉडल्स में छिपे हुए "पूर्वाग्रह" होते हैं जो उन्हें व्यवस्थित रूप से एक चीज़ को दूसरी चीज़ समझने के लिए मजबूर करते हैं (Asymmetric Confusion)। AI को इस पूर्वाग्रह को भूलने के लिए फिर से प्रशिक्षित करने के बजाय, लेखकों ने NeRP बनाया, जो एक हल्का टूल है जो "न्यूट्रल" उदाहरणों का उपयोग करके इस पूर्वाग्रह को मापता है। इसके बाद यह एक रेफरी की तरह काम करता है, AI के उत्तर को केवल तभी सुधारता है जब AI अपने पूर्वाग्रह को वास्तविक दृश्य साक्ष्य (visual evidence) पर हावी होने देता है। यह AI को पुराने को भूले बिना नई चीजें सीखने की अनुमति देता है।

तकनीकी सारांश: विज़न-लैंग्वेज मॉडल्स के लिए न्यूट्रल-रेफरेंस प्रॉम्प्टिंग (NeRP)

समस्या विवरण
यह शोध पत्र विज़न-लैंग्वेज मॉडल्स (VLMs) के कुशल ट्रांसफर लर्निंग में 'बेस-न्यू ट्रेड-ऑफ' (BNT) को संबोधित करता है। BNT उस घटना को संदर्भित करता है जहाँ फाइन-ट्यूनिंग के दौरान अनदेखे (नए) वर्गों पर प्रदर्शन में सुधार करने से अक्सर ज्ञात (बेस) वर्गों की सटीकता कम हो जाती है। जबकि मौजूदा साहित्य आमतौर पर BNT को बेस वर्गों पर ओवरफिटिंग का परिणाम मानता है, लेखक एक अधिक सूक्ष्म समस्या की पहचान करते हैं: असममित भ्रम (Asymmetric Confusion)। वे देखते हैं कि VLMs अक्सर व्यवस्थित पूर्वाग्रह प्रदर्शित करते हैं जहाँ वर्ग $A$ के नमूनों को वर्ग $B$ के रूप में गलत तरीके से वर्गीकृत किया जाता है, जो कि इसके विपरीत ( $B \to A$ ) की तुलना में काफी अधिक होता है, भले ही वे वर्ग स्वाभाविक रूप से अस्पष्ट न हों। यह पूर्वाग्रह, प्री-ट्रेनिंग डेटा असंतुलन से विरासत में मिला होता है और अनदेखे वर्गों के लिए भी बना रहता है क्योंकि मानक क्रॉस-एन्ट्रॉपी लॉस ट्यूनिंग केवल देखे गए वर्गों के पूर्वाग्रहों को ही ठीक करती है। फलस्वरूप, प्री-ट्रेनिंग-प्रेरित असममित पूर्वाग्रह नए वर्गों के सामान्यीकरण (generalization) को नुकसान पहुँचाते हैं।

कार्यप्रणाली: NeRP (न्यूट्रल-रेफरेंस प्रॉम्प्टिंग)
इसे बिना मॉडल पैरामीटर्स को संशोधित किए कम करने के लिए, लेखक NeRP का प्रस्ताव करते हैं, जो एक प्लग-एंड-प्ले प्रॉम्प्टिंग करेक्शन रणनीति है। मुख्य विचार क्लास-वाइज प्रायर प्रेफरेंस (class-wise prior preferences) को मापने के लिए न्यूट्रल संदर्भों (neutral references) का उपयोग करके "प्रायर-डोमिनेटेड" (prior-dominated) गलत भविष्यवाणियों का पता लगाना और उन्हें ठीक करना है।

न्यूट्रल-रेफरेंस निर्माण:
- टेक्स्ट पक्ष: एक न्यूट्रल टेक्स्ट प्रॉम्प्ट (जैसे, "एक वस्तु की फोटो") का उपयोग एक क्लास-एग्नोस्टिक टेक्स्ट एम्बेडिंग $u^0_{txt}(D)$ उत्पन्न करने के लिए किया जाता है।
- इमेज पक्ष: एक न्यूट्रल-रेफरेंस इमेज को प्रीप्रोसेस्ड ट्रेनिंग इमेजेस के पिक्सेल-वाइज औसत के रूप में निर्मित किया जाता है, जिससे एक एम्बेडिंग $u_{img}(D)$ प्राप्त होती है।
- ये एंकर्स मॉडल को प्रत्येक वर्ग के लिए "न्यूट्रल प्रायर" को प्रोब करने की अनुमति देते हैं, जिसे क्लास प्रोटोटाइप और न्यूट्रल एंकर के बीच कोसाइन सिमिलरिटी (cosine similarity) के रूप में परिभाषित किया गया है।
सैद्धांतिक आधार:
- लेखक फाइन-ट्यूनिंग को प्री-ट्रेंड ज्योमेट्री के एक लो-रैंक डिफॉर्मेशन (low-rank deformation) के रूप में मॉडल करते हैं। वे सिद्ध करते हैं कि जबकि फाइन-ट्यूनिंग बेस क्लास प्रोटोटाइप द्वारा स्पैन किए गए सबस्पेस को नया आकार देती है, अनदेखे वर्गों के बीच ज़ीरो-शॉट ज्योमेट्री काफी हद तक स्थिर रहती है।
- वे प्रदर्शित करते हैं कि दो वर्गों के बीच न्यूट्रल प्रायर्स का अंतर ( $\Delta \pi$ ), उच्च संभावना के साथ नवीन वर्गों के अपेक्षित लॉगिट मार्जिन ( $\mu$ ) के साथ संरेखित होता है (प्रपोजिशन 3.5)। यह संरेखण न्यूट्रल प्रायर को मॉडल के अंतर्निहित पूर्वाग्रह दिशा के प्रॉक्सी के रूप में कार्य करने की अनुमति देता है।
बेयस-शैली का सरोगेट स्कोर और डिसीजन फ्लिप:
- एक दिए गए इमेज $x$ और कन्फ्यूजेबल (confusable) क्लास $(i, j)$ के जोड़े के लिए, NeRP एक कंपोजिट न्यूट्रल प्रायर गैप $\Sigma_{i,j}(D)$ की गणना करता है जो टेक्स्ट और इमेज प्रायर्स को जोड़ता है।
- यह एक सरोगेट स्कोर $s_{ij}(x) \approx m_{ij}(x) + \Sigma_{i,j}(D) + \hat{\beta}(D)$ का निर्माण करता है, जहाँ $m_{ij}(x)$ देखा गया लॉगिट मार्जिन (एविडेंस) है और $\hat{\beta}(D)$ एक ग्लोबल इंटरसेप्ट है जिसे बेस क्लासेस पर कैलिब्रेट किया गया है ताकि कांस्टेंट बायस को अवशोषित किया जा सके।
- करेक्शन नियम: यदि प्रायर दृढ़ता से वर्तमान भविष्यवाणी का पक्ष लेता है ( $\Sigma_{i,j}(D)$ बड़ा है) लेकिन देखा गया साक्ष्य (evidence) कमजोर है ( $m_{ij}(x)$ छोटा है), तो भविष्यवाणी को "प्रायर-डोमिनेटेड" माना जाता है। इस स्थिति में, NeRP एक स्थानीय डिसीजन फ्लिप (local decision flip) करता है ताकि उस कन्फ्यूजेबल पड़ोसी $j$ की ओर स्विच किया जा सके जो संभावना (likelihood) को अधिकतम करता है, जिससे बायस-प्रेरित त्रुटि को सुधारा जा सके। यदि साक्ष्य मजबूत है या प्रायर्स कमजोर हैं, तो मूल भविष्यवाणी को बरकरार रखा जाता है।

प्रमुख योगदान

असममित भ्रम की पहचान: यह शोध पत्र हाइलाइट करता है कि असममित भ्रम, ओवरफिटिंग से अलग, BNT का एक विशिष्ट कारण है, जो प्री-ट्रेनिंग पूर्वाग्रहों से उत्पन्न होता है जो ज़ीरो-शॉट सेटिंग्स में नवीन वर्गों के लिए बने रहते हैं।
NeRP रणनीति: एक पैरामीटर-मुक्त, इन्फरेंस-टाइम करेक्शन मेथड जो न्यूट्रल टेक्स्ट और इमेज प्रॉम्प्ट्स का उपयोग करके प्रायर-डोमिनेटेड गलत भविष्यवाणियों को मात्रात्मक रूप से मापता है और ठीक करता है।
सैद्धांतिक विश्लेषण: लो-रैंक डिफॉर्मेशन मॉडल्स और वॉन मिसेस-फिशर (von Mises–Fisher) धारणाओं के माध्यम से औपचारिक गारंटी प्रदान करता है कि न्यूट्रल प्रायर्स नवीन वर्गों के लिए सूचनात्मक हैं और प्रायर गैप का साइन अपेक्षित लॉगिट मार्जिन के सुसंगत है।
प्लग-एंड-प्ले इंटीग्रेशन: NeRP को विभिन्न मौजूदा प्रॉम्प्ट ट्यूनिंग और लाइटवेट अडैप्टेशन मेथड्स (जैसे, CoCoOp, PromptSRC, MMA, MMRL) के साथ संगत होने के लिए डिज़ाइन किया गया है, जिसमें पुन: प्रशिक्षण (retraining) की आवश्यकता नहीं होती है।

परिणाम
11 फ्यू-शॉट और क्रॉस-डोमेन बेंचमार्क (जिसमें ImageNet, Caltech101, OxfordPets, आदि शामिल हैं) और 4 डोमेन जनरलाइजेशन डेटासेट्स (ImageNet-V2, -S, -A, -R) पर व्यापक प्रयोग किए गए।

बेस-टू-नोवेल जनरलाइजेशन: NeRF ने चार अलग-अलग बेसलाइन मेथड्स (CoCoOp, PromptSRC, MMA, MMRL) पर नवीन वर्गों पर सटीकता में लगातार सुधार किया और बेस क्लास प्रदर्शन को बनाए रखा या थोड़ा बेहतर बनाया। उदाहरण के लिए, EuroSAT पर, कुछ मेथड्स के लिए लाभ 5% से अधिक था।
क्रॉस-डेटासेट और डोमेन जनरलाइजेशन: NeRP ने 10 क्रॉस-डेटासेट बेंचमार्क पर औसतन ~1% का सुधार और डोमेन जनरलाइजेशन कार्यों पर निरंतर लाभ दिया।
दक्षता: यह विधि नगण्य कम्प्यूटेशनल ओवरहेड जोड़ती है, जिसमें केवल साइडो-वैलिडेशन सेट्स पर कैलिब्रेशन के लिए एक सिंगल फॉरवर्ड पास की आवश्यकता होती है।
एब्लेशन (Ablation): न्यूट्रल प्रायर्स की प्रभावशीलता को यह दिखाकर मान्य किया गया कि त्रुटिपूर्ण रूप से अनुमानित जोड़ों के लिए प्रायर दिशा और मॉडल की असममित भ्रम दिशा के बीच उच्च निरंतरता (79.7%) है।

महत्व
यह शोध पत्र दावा करता है कि NeRP कुशल ट्रांसफर लर्निंग के लिए एक "फ्री लंच" के रूप में कार्य करता है, जो VLMs में भेदभाव (discrimination) और सामान्यीकरण (generalization) के बीच संतुलन बनाने का एक सरल और प्रभावी तरीका प्रदान करता है। न्यूट्रल-रेफरेंस प्रोबिंग के माध्यम से असममित भ्रम के मूल कारण को संबोधित करके, NeRP जटिल आर्किटेक्चरल परिवर्तनों या अतिरिक्त प्रशिक्षण की आवश्यकता के बिना BNT समस्या को कम करता है, जिससे यह अनदेखे वर्गों पर VLM प्रदर्शन को बढ़ाने के लिए एक मजबूत, प्लग-एंड-प्ले समाधान बन जाता है।