💻 computer science

Towards Calibrating Prompt Tuning of Vision-Language Models

यह शोध पत्र प्रॉम्प्ट-ट्यून्ड विजन-लैंग्वेज मॉडल्स के लिए एक कैलिब्रेशन फ्रेमवर्क प्रस्तावित करता है जो लॉजिट मार्जिन को स्थिर करने और प्रीट्रेंड एम्बेडिंग स्पेस की ज्यामिति को संरक्षित करने के लिए मीन-वेरिएंस मार्जिन और टेक्स्ट मोमेंट-मैचिंग रेगुलराइजर्स को पेश करके भविष्य कहने वाली विश्वसनीयता को बढ़ाता है, जिससे विविध डेटासेट्स में अपेक्षित कैलिब्रेशन एरर (Expected Calibration Error) में महत्वपूर्ण रूप से कमी आती है।

मूल लेखक: Ashshak Sharifdeen, Fahad Shamshad, Muhammad Akhtar Munir, Abhishek Basu, Mohamed Insaf Ismithdeen, Jeyapriyan Jeyamohan, Chathurika Sewwandi Silva, Karthik Nandakumar, Muhammad Haris Khan

प्रकाशित 2026-02-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ashshak Sharifdeen, Fahad Shamshad, Muhammad Akhtar Munir, Abhishek Basu, Mohamed Insaf Ismithdeen, Jeyapriyan Jeyamohan, Chathurika Sewwandi Silva, Karthik Nandakumar, Muhammad Haris Khan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Towards Calibrating Prompt Tuning of Vision-Language Models" पेपर का सरल अवधारणाओं और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी तस्वीर: अति-आत्मविश्वासी विशेषज्ञ (The Overconfident Expert)

कल्पना कीजिए कि आपने एक प्रतिभाशाली कला समीक्षक (AI मॉडल, विशेष रूप से CLIP) को काम पर रखा है जिसने लाखों पेंटिंग्स का अध्ययन किया है और वह उनका सटीक वर्णन कर सकता है। हालाँकि, आप इस समीक्षक को एक नई विशिष्ट शैली, जैसे कि "साइबरपंक" (Cyberpunk) को पहचानने के लिए सिखाना चाहते हैं, बिना उनके पूरे मस्तिष्क को फिर से प्रशिक्षित किए (जो महंगा और धीमा है)।

इसलिए, आप उन्हें एक नया चश्मा देते हैं (यह प्रॉम्प्ट ट्यूनिंग है)। इन चश्मों के लेंसों पर छोटे नोट्स हैं जो उन्हें "साइबरपंक" की विशेषताओं को पहचानने में मदद करते हैं।

समस्या:
जबकि ये नए चश्मे समीक्षक को "साइबरपंक" कला को बहुत अच्छी तरह से पहचानने में मदद करते हैं, वे समीक्षक के कॉन्फिडेंस मीटर (आत्मविश्वास मापने वाले यंत्र) को बिगाड़ देते हैं।

परिदृश्य A (आधार वर्ग/Base Classes): परिचित कला (जैसे "पुनर्जागरण/Renaissance") को देखते समय, समीक्षक बहुत शर्मीला हो जाता है। वह एक उत्कृष्ट कृति देखता है लेकिन कहता है, "मुझे केवल 40% यकीन है कि यह एक उत्कृष्ट कृति है," भले ही वह 100% सही हो। वह अल्प-आत्मविश्वासी (Underconfident) हो जाता है।
परिदृश्य B (नवीन वर्ग/Novel Classes): पूरी तरह से नई, अजीब कला (जैसे "एब्स्ट्रैक्ट ग्लिच/Abstract Glitch") को देखते समय, समीक्षक एक घमंडी ज्ञानी बन जाता है। वह एक रैंडम लकीर देखता है और कहता है, "मुझे 99% यकीन है कि यह एक उत्कृष्ट कृति है!" भले ही वह गलत हो। वह अति-आत्मविश्वासी (Overconfident) हो जाता है।

वास्तविक दुनिया में (जैसे सेल्फ-ड्राइविंग कारों या मेडिकल डायग्नोसिस में), गलत होना लेकिन बहुत अधिक आश्वस्त होना खतरनाक है। यह पेपर इसी कॉन्फिडेंस मीटर को ठीक करने के बारे में है।

समाधान: "कैलिब्रेशन फ्रेमवर्क" (The Calibration Framework)

लेखक एक प्रशिक्षण पद्धति प्रस्तावित करते हैं जो AI के आत्मविश्वास के लिए एक ट्यूनिंग फोर्क (tuning fork) की तरह काम करती है। वे AI की नई चीजें सीखने की क्षमता को खराब किए बिना उसके कॉन्फिडेंस मीटर को ठीक करने के लिए प्रशिक्षण प्रक्रिया में दो विशेष "नियम" (रेगुलराइज़र) जोड़ते हैं।

नियम 1: "गोल्डिलॉक्स मार्जिन" (Mean-Variance Margin)

उपमा: एक रस्सी पर चलने वाले (tightrope walker) की कल्पना करें।
- यदि रस्सी बहुत ढीली है (छोटा मार्जिन), तो चलने वाला डगमगाएगा और अनिश्चित महसूस करेगा (अल्प-आत्मविश्वास)।
- यदि रस्सी बहुत कसी हुई और कठोर है, तो चलने वाला सुरक्षित मानकर एक खतरनाक छलांग लगा सकता है (अति-आत्मविश्वास)।
यह क्या करता है: यह नियम AI को बताता है: "सुनिश्चित करें कि आपका 'सही' उत्तर 'गलत' उत्तरों से स्पष्ट रूप से बेहतर हो, लेकिन उनके बीच के अंतर को बहुत ज्यादा अजीब या असंगत न होने दें।"
परिणाम: यह AI को परिचित चीजों के बारे में बहुत शर्मीला होने से रोकता है और नई चीजों के बारे में बहुत घमंडी होने से भी रोकता है। यह सही और गलत उत्तरों के बीच के "गैप" को बिल्कुल सही रखता है।

नियम 2: "मेमोरी एंकर" (Text Moment-Matching)

उपमा: कल्पना कीजिए कि AI का मस्तिष्क एक विशाल पुस्तकालय है जहाँ किताबों (अवधारणाओं) को अलमारियों पर व्यवस्थित किया गया है: "बिल्लियों" को "कुत्तों" के बगल में रखा गया था, और "कारों" को "हवाई जहाजों" से दूर रखा गया था।
- जब आप उसे "साइबरपंक" सीखने के लिए नए चश्मे पहनाते हैं, तो AI किताबों को इधर-उधर खिसकाना शुरू कर देता है। अचानक, "बिल्ली" हवाई जहाज के बगल में पहुँच जाती है। पुस्तकालय अस्त-व्यस्त हो जाता है!
- इस अव्यवस्था के कारण AI नई चीजों के बारे में भ्रमित और अति-आत्मविश्वासी हो जाता है क्योंकि अवधारणाओं के बीच के संबंध टूट जाते हैं।
यह क्या करता है: यह नियम एक लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह कार्य करता है। यह लगातार नई व्यवस्था की तुलना मूल, पूर्ण व्यवस्था से करता रहता है। यह कहता है, "ठीक है, आप 'साइबरपंक' की किताब को नई जगह रख सकते हैं, लेकिन 'बिल्ली' की किताब को 'हवाई जहाज' के बगल में मत रखो। पुस्तकालय के सामान्य आकार को वैसा ही बनाए रखें।"
परिणाम: AI नया कार्य (साइबरपंक) सीखता है लेकिन यह याद रखता है कि दुनिया सामान्य रूप से कैसे काम करती है (बिल्लियाँ हवाई जहाज नहीं होतीं)। यह AI को नए डेटा पर जंगली, अति-आत्मविश्वासी अनुमान लगाने से रोकता है।

यह क्यों महत्वपूर्ण है (इसका महत्व क्या है?)

पेपर ने इसका परीक्षण 11 अलग-अलग डेटासेट्स (जैसे फूलों, कारों, बनावट और भोजन को पहचानना) और AI को ट्यून करने के 7 अलग-अलग तरीकों पर किया।

परिणाम: AI बहुत अधिक विश्वसनीय हो गया।
- इसने "मैं 90% सुनिश्चित हूँ" कहना बंद कर दिया जब वह वास्तव में केवल अनुमान लगा रहा था।
- इसने "मैं 40% सुनिश्चित हूँ" कहना बंद कर दिया जब वास्तव में उसे उत्तर पता था।
सबसे अच्छी बात: इसने यह सब बिना AI को धीमा या कम सटीक बनाए किया। यह एक "प्लग-एंड-प्ले" मॉड्यूल की तरह है। आप इसे लगभग किसी भी मौजूदा AI सिस्टम में बिना पूरे सिस्टम को दोबारा बनाए बिना जोड़ सकते हैं।

एक वाक्य में सारांश

लेखकों ने स्मार्ट AI सिस्टम में टूटे हुए कॉन्फिडेंस मीटर को ठीक करने के लिए उन्हें सही और गलत उत्तरों के बीच एक "सुरक्षित दूरी" बनाए रखने और यह याद दिलाने की शिक्षा दी कि दुनिया कैसे व्यवस्थित है, जिससे वे वास्तविक दुनिया के उपयोग के लिए अधिक सुरक्षित और भरोसेमंद बन गए।

यहाँ शोध पत्र "Towards Calibrating Prompt Tuning of Vision-Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

CLIP जैसे बड़े पैमाने के विजन-लैंग्वेज मॉडल्स (VLMs) ओपन-वोकैबुलरी रिकग्निशन के लिए अत्यंत शक्तिशाली हैं। प्रॉम्प्ट ट्यूनिंग (Prompt tuning) एक पैरामीटर-कुशल अनुकूलन तकनीक के रूप में उभरा है, जो बैकबोन एनकोडर को फ्रीज रखते हुए केवल टेक्स्ट टोकन के एक छोटे सेट को संशोधित करता है। हालाँकि, जबकि प्रॉम्प्ट ट्यूनिंग देखे गए (बेस) क्लासेस पर सटीकता में सुधार करती है, यह एक गंभीर कैलिब्रेशन समस्या (calibration problem) पेश करती है:

दोहरी गलत कैलिब्रेशन (Dual Miscalibration): प्रॉम्प्ट ट्यूनिंग CLIP एम्बेडिंग स्पेस की पूर्व-प्रशिक्षित ज्यामिति (pre-trained geometry) को बाधित करती है, जिससे दो विपरीत मुद्दे उत्पन्न होते हैं:
1. बेस क्लासेस पर कम आत्मविश्वास (Underconfidence on Base Classes): मॉडल उन क्लासेस पर उम्मीद से कम आत्मविश्वासी हो जाता है जिन पर वह प्रशिक्षित किया गया था (कम लॉजिट मार्जिन)।
2. नोवेल क्लासेस पर अत्यधिक आत्मविश्वास (Overconfidence on Novel Classes): मॉडल अनदेखे (नोवेल) क्लासेस पर अत्यधिक आत्मविश्वासी हो जाता है, जो अक्सर विकृत निर्णय सीमाओं या "एम्बेडिंग कोलैप्स" के कारण होता है, जिससे अविश्वसनीय अनिश्चितता अनुमान (uncertainty estimates) प्राप्त होते हैं।
मौजूदा समाधानों की सीमाएँ: वर्तमान कैलिब्रेशन विधियाँ (जैसे, टेम्परेचर स्केलिंग, DAC, ZS-Norm) अक्सर पोस्ट-हॉक होती हैं या पूर्व-प्रशिक्षित स्पेस की सिमेंटिक संरचना को बनाए रखने में विफल रहती हैं। वे या तो सटीकता को कम करती हैं, या आउट-ऑफ-डिस्ट्रीब्यूशन डेटा पर सामान्य होने में विफल रहती हैं, या बेस और नोवेल क्लासेस के विशिष्ट मिसकैलिब्रेशन पैटर्न को एक साथ संबोधित नहीं कर पाती हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक ट्रेन-टाइम कैलिब्रेशन फ्रेमवर्क का प्रस्ताव करते हैं जो मानक क्रॉस-एन्ट्रॉपी लॉस में दो पूरक रेगुलराइज़र (regularizers) को एकीकृत करता है। इस दृष्टिकोण का उद्देश्य पूर्व-प्रशिक्षित एम्बेडिंग स्पेस की ज्यामितीय संरचना को संरक्षित करते हुए प्रेडिक्टिव मार्जिन को स्थिर करना है।

A. मीन-वेरिएंस मार्जिन रेगुलराइजेशन ( $L_{Margin}$ )

यह घटक बेस क्लासेस पर कम आत्मविश्वास को संबोधित करता है और लॉजिट वितरण को आकार देकर नोवेल क्लासेस पर अनियमित कॉन्फिडेंस स्पाइक्स को रोकता है।

तंत्र (Mechanism): यह लॉजिट मार्जिन $m_i$ को ग्राउंड-ट्रुथ क्लास लॉजिट और उच्चतम गलत क्लास लॉजिट के बीच के अंतर के रूप में परिभाषित करता है।
लॉस फंक्शन:
$L_{Margin} = -\alpha \cdot \frac{1}{B}\sum m_i + \beta \cdot \text{Var}(m_1, \dots, m_B)$
- मीन टर्म ( $-\alpha \cdot \text{Mean}$ ): औसत मार्जिन को अधिकतम करता है ताकि सही और गलत भविष्यवाणियों के बीच पर्याप्त अलगाव सुनिश्चित हो सके (अंडरकॉन्फिडेंस को ठीक करना)।
- वेरिएंस टर्म ( $\beta \cdot \text{Var}$ ): बैच के मार्जिन्स के बीच वेरिएंस को कम करता है। यह मॉडल को "स्प्यूरियस कॉन्फिडेंस स्पाइक्स" विकसित करने से रोकता है जहाँ कुछ नमूनों में बहुत बड़ा मार्जिन होता है जबकि अन्य में बहुत छोटा होता है, जो नोवेल क्लासेस पर ओवरकॉन्फिडेंस का एक सामान्य कारण है।

B. टेक्स्ट मोमेंट-मैचिंग लॉस ( $L_{mom}$ )

यह घटक पूर्व-प्रशिक्षित CLIP स्पेस की वैश्विक सिमेंटिक ज्यामिति को संरक्षित करके नोवेल क्लासेस पर अत्यधिक आत्मविश्वास को संबोधित करता है।

तंत्र (Mechanism): यह ट्यून्ड (tuned) टेक्स्ट एम्बेडिंग्स ( $\tilde{c}_y$ ) के सांख्यिकीय मोमेंट्स को फ्रीज्ड (frozen/zero-shot) CLIP टेक्स्ट एम्बेडिंग्स ( $c'_y$ ) के साथ संरेखित करता है।
लॉस फंक्शन:
$L_{mom} = \|\mu_{\tilde{c}} - \mu_{c'}\|_2^2 + \|\Sigma_{\tilde{c}} - \Sigma_{c'}\|_F^2$
- प्रथम मोमेंट ( $\mu$ ): एम्बेडिंग्स के वितरण केंद्र (मीन) को संरेखित करता है।
- द्वितीय मोमेंट ( $\Sigma$ ): एम्बेडिंग्स के कोवेरिएंस (फैलाव/स्प्रेड) को संरेखित करता है।
लक्ष्य: मीन और कोवेरिएंस को नियंत्रित करके, यह विधि सुनिश्चित करती है कि क्लासेस के बीच सापेक्ष कोणीय संबंध और सिमेंटिक फैलाव पूर्व-प्रशिक्षित मॉडल के अनुरूप बना रहे, जिससे वह 'ड्रिफ्ट' रुकता है जो अनदेखी श्रेणियों पर ओवरकॉन्फिडेंस का कारण बनता है।

C. कुल उद्देश्य (Total Objective)

अंतिम प्रशिक्षण उद्देश्य क्रॉस-एन्ट्रॉपी ( $L_{CE}$ ) को दो रेगुलराइज़र के साथ जोड़ता है:
$L_{total} = L_{CE} + \lambda_{Margin} L_{Margin} + \lambda_{mom} L_{mom}$

3. मुख्य योगदान (Key Contributions)

दोहरी गलत कैलिब्रेशन की पहचान: शोध पत्र व्यवस्थित रूप से विश्लेषण और प्रदर्शन करता है कि प्रॉम्प्ट ट्यूनिंग एक विशिष्ट दोहरी विफलता मोड का कारण बनती है: मार्जिन अस्थिरता और एम्बेडिंग स्पेस विरूपण द्वारा संचालित बेस क्लासेस पर कम आत्मविश्वास और नोवेल क्लासेस पर अत्यधिक आत्मविश्वास।
नया रेगुलराइजेशन फ्रेमवर्क: एक मीन-वेरिएंस मार्जिन लॉस (निर्णय सीमाओं को स्थिर करने के लिए) को टेक्स्ट मोमेंट-मैचिंग लॉस (एम्बेडिंग ज्यामिति को संरक्षित करने के लिए) के साथ जोड़ने का प्रस्ताव। यह दोनों कैलिब्रेशन मुद्दों को एक साथ हल करने वाला पहला तरीका है, जिसमें पूरे मॉडल को फाइन-ट्यून करने की आवश्यकता नहीं है।
प्लग-एंड-प्ले डिज़ाइन: यह विधि अंतर्निहित प्रॉम्प्ट ट्यूनिंग आर्किटेक्चर (जैसे, CoOp, MaPLe, KgCoOp) के प्रति उदासीन (agnostic) है और इसमें कोई अतिरिक्त इन्फरेंस-टाइम कंप्यूटेशन की आवश्यकता नहीं होती है।
व्यापक मूल्यांकन: 11 विविध डेटासेट्स (कोर्स-ग्रेन्ड ImageNet से लेकर फाइन-ग्रेन्ड Aircraft और Cars तक) और 7 प्रॉम्प्ट-ट्यूनिंग विधियों पर व्यापक मूल्यांकन।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने टेम्परेचर स्केलिंग, DAC, ZS-Norm और मार्जिन-आधारित लेबल स्मूथिंग (MBLS) सहित मजबूत बेसलाइन्स के विरुद्ध अपने मेथड का मूल्यांकन किया।

कैलिब्रेशन प्रदर्शन (ECE):
- बेस क्लासेस: यह विधि अपेक्षित कैलिब्रेशन एरर (ECE) को काफी कम करती है। उदाहरण के लिए, CoOp मेथड पर, औसत ECE 6.35% से घटकर 2.93% हो गया, जो टेम्परेचर स्केलिंग (2.96%) और MBLS से बेहतर है। Aircraft डेटासेट पर, ECE नाटकीय रूप से 25.70% से सुधरकर 4.96% हो गया।
- नोवेल क्लासेस: यह विधि ओवरकॉन्फिडेंस को प्रभावी ढंग से कम करती है। MaPLe के लिए, नोवेल क्लासेस पर औसत ECE 5.76% से घटकर 4.23% हो गया, जो DAC और ZS-Norm जैसे पोस्ट-हॉक तरीकों से बेहतर है।
सटीकता संरक्षण (Accuracy Preservation): कुछ कैलिब्रेशन विधियों के विपरीत जो सटीकता के बदले कैलिब्रेशन का व्यापार करती हैं, यह दृष्टिकोण टॉप-1 सटीकता को बनाए रखता है या थोड़ा सुधार करता है (उदाहरण के लिए, MaPLE की बेस क्लासेस पर सटीकता 82.41% से बढ़कर 82.75% हो गई)।
मजबूती (Robustness):
- फ्यू-शॉट मजबूती: विधि विभिन्न शॉट काउंट (4, 8, 16, 32) में लगातार अच्छा प्रदर्शन करती है।
- इनिशियलाइजेशन मजबूती: यह विभिन्न प्रॉम्प्ट इनिशियलाइजेशन रणनीतियों के प्रति मजबूत है।
- डिस्ट्रीब्यूशन शिफ्ट: विधि आउट-ऑफ-डिस्ट्रीब्यूशन डेटासेट्स (ImageNet-A, ImageNet-R, ImageNet-V2, ImageNet-S) पर बेहतर कैलिब्रेशन दिखाती है।
मेडिकल इमेजिंग: इस दृष्टिकोण को हिस्टोपैथोलॉजी डेटासेट्स पर मेडिकल VLMs (PLIP, QuiltNet) पर भी मान्य किया गया, जिसने सबसे कम ECE (7.09%) प्राप्त किया।

5. महत्व और प्रभाव (Significance and Impact)

विश्वसनीय तैनाती (Trustworthy Deployment): यह सुनिश्चित करके कि कॉन्फिडेंस स्कोर वास्तविक सटीकता के अनुरूप हैं, यह विधि प्रॉम्प्ट-ट्यून्ड VLMs को स्वायत्त ड्राइविंग और चिकित्सा निदान जैसे महत्वपूर्ण अनुप्रयोगों के लिए सुरक्षित बनाती है, जहाँ उच्च-विश्वास वाली त्रुटियाँ विनाशकारी हो सकती हैं।
पूर्व-प्रशिक्षित ज्ञान का संरक्षण: मोमेंट-मैचिंग लॉस एक सैद्धांतिक और व्यावहारिक तंत्र प्रदान करता है जो मॉडल को पूर्व-प्रशिक्षण के दौरान सीखे गए मजबूत सिमेंटिक स्ट्रक्चर को "भूलने" के बिना नए कार्यों के अनुकूल बनाता है।
सामान्यीकरण (Generalizability): यह फ्रेमवर्क किसी विशिष्ट प्रॉम्प्ट लर्निंग एल्गोरिदम से बंधा नहीं है, जो इसे VLM शोधकर्ताओं के व्यापक समुदाय के लिए एक बहुमुखी उपकरण बनाता है।
दक्षता (Efficiency): यह प्रशिक्षण के दौरान नगण्य कम्प्यूटेशनल ओवरहेड जोड़ता है और इन्फरेंस के दौरान शून्य ओवरहेड, जो इसे वास्तविक दुनिया की तैनाती के लिए अत्यधिक व्यावहारिक बनाता है।

निष्कर्षतः, "Towards Calibrating Prompt Tuning of Vision-Language Models" कुशल VLM अनुकूलन में विश्वसनीयता अंतराल (reliability gap) के लिए एक मजबूत समाधान प्रस्तुत करता है, जो कार्य-विशिष्ट विशेषज्ञता और पूर्व-प्रशिक्षित सिमेंटिक ज्यामिति के संरक्षण के बीच सफलतापूर्वक संतुलन बनाता है।