💻 computer science

SoC: Semantic Orthogonal Calibration for Test-Time Prompt Tuning

यह शोध पत्र सिमेंटिक ऑर्थोगोनल कैलिब्रेशन (SoC) का प्रस्ताव करता है, जो एक हबर-आधारित रेगुलराइज़र है जो पूर्ण ऑर्थोगोनैलिटी बाधाओं के कारण होने वाले ओवरकॉन्फिडेंस से बचने के लिए स्मूथ प्रोटोटाइप सेपरेशन को लागू करके विजन-लैंग्वेज मॉडल्स के टेस्ट-टाइम प्रॉम्प्ट ट्यूनिंग में सुधार करता है, जिससे डिस्क्रिमिनेटिव परफॉर्मेंस बनाए रखते हुए अनसर्टेन्टी कैलिब्रेशन को बढ़ाया जा सके।

मूल लेखक: Leo Fillioux, Omprakash Chakraborty, Ismail Ben Ayed, Paul-Henry Cournède, Stergios Christodoulidis, Maria Vakalopoulou, Jose Dolz

प्रकाशित 2026-05-28

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Leo Fillioux, Omprakash Chakraborty, Ismail Ben Ayed, Paul-Henry Cournède, Stergios Christodoulidis, Maria Vakalopoulou, Jose Dolz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (AI मॉडल) है जिसने लाखों किताबें पढ़ी हैं और लाखों तस्वीरें देखी हैं। यह लाइब्रेरियन किसी तस्वीर को देखकर ही यह पहचानने में माहिर है कि वह क्या है, भले ही उसने उस तरह की विशिष्ट तस्वीर पहले कभी न देखी हो। इसे "विज़न-लैंग्वेज मॉडल" (Vision-Language Model) कहा जाता है।

हालाँकि, एक समस्या है: जब लाइब्रेरियन अनिश्चित होता है, तो वह अक्सर अति-आत्मविश्वासी (overconfident) हो जाता है। वह कह सकता है, "मुझे 99% यकीन है कि यह एक कुत्ता है," जबकि वास्तव में वह एक बिल्ली होती है। उच्च-जोखिम वाली स्थितियों में (जैसे चिकित्सा निदान या सेल्फ-ड्राइविंग कारों में), आत्मविश्वास के साथ गलत होना खतरनाक है।

समस्या: "बहुत कठोर" समाधान (The "Too Rigid" Fix)

शोधकर्ताओं ने इस अति-आत्मविश्वास को ठीक करने के लिए लाइब्रेरियन को श्रेणियों के बीच के अंतर के बारे में अधिक "खुले विचारों वाला" बनाने की कोशिश की। उन्होंने इसके लिए O-TPT (ऑर्थोगोनल टेस्ट-टाइम प्रॉम्प्ट ट्यूनिंग) नामक एक विधि का उपयोग किया।

O-TPT को एक सख्त शिक्षक की तरह समझें जो लाइब्रेरियन से कहता है: "तुम्हें हर एक श्रेणी को दूसरी हर श्रेणी से जितना संभव हो सके उतना दूर रखना होगा। सुनिश्चित करो कि 'कुत्ता' और 'बिल्ली' कमरे के एक छोर पर हों, और 'कुत्ता' और 'पिल्ला' भी विपरीत छोरों पर हों।"

दोष: हालांकि यह लाइब्रेरियन को चीजों के बीच अंतर करने में बहुत अच्छा बनाता है, लेकिन यह दुनिया के प्राकृतिक तर्क को तोड़ देता है। वास्तव में, एक "कुत्ता" और एक "पिल्ला" बहुत समान होते हैं। उन्हें पूरी तरह से विपरीत बनाने के लिए मजबूर करने से लाइब्रेरियन भ्रमित हो जाता है। इस जबरन अलगाव की भरपाई करने के लिए, लाइब्रेरियन चिल्लाने लगता है, "मुझे 100% यकीन है कि यह एक कुत्ता है!" भले ही वह गलत हो। वे अति-आत्मविश्वासी हो जाते हैं क्योंकि नियमों ने उन्हें समान चीजों को बहुत अधिक आक्रामक तरीके से दूर धकेलने के लिए मजबूर किया।

समाधान: SoC (सिमेंटिक ऑर्थोगोनल कैलिब्रेशन)

लेखकों ने SoC नामक एक नया तरीका प्रस्तावित किया है। एक सख्त शिक्षक के बजाय, SoC एक बुद्धिमान मार्गदर्शक (wise mentor) की तरह कार्य करता है।

मार्गदर्शक कहता है: "श्रेणियों को अलग रखें, लेकिन यदि वे स्वाभाविक रूप से समान हैं, तो उन्हें दूर करने के लिए मजबूर न करें। यदि 'कुत्ता' और 'पिल्ला' करीब हैं, तो उन्हें करीब रहने दें। यदि 'कुत्ता' और 'कार' अलग हैं, तो उन्हें दूर धकेलें।"

वे इसे Huber loss नामक एक गणितीय उपकरण का उपयोग करके प्राप्त करते हैं।

उपमा (Analogy): दो चुंबकों को एक-दूसरे से दूर धकेलने की कल्पना करें।
- पुरानी विधि (O-TPT): आप एक विशाल, कठोर लीवर का उपयोग करते हैं। चुंबक कितने भी करीब क्यों न हों, आप अधिकतम बल के साथ उन्हें धकेलते हैं। इससे समान चीजों के बीच का संबंध टूट जाता है।
- नई विधि (SoC): आप एक शॉक एब्जॉर्बर (जैसे कार में होता है) का उपयोग करते हैं। यदि चुंबक बहुत करीब हैं (समान अवधारणाएं), तो शॉक एब्जॉर्बर धक्के को नरम कर देता है, जिससे उन्हें पास रहने दिया जाता है। यदि वे दूर हैं, तो आप जोर से धकेलते हैं।

जब उन्होंने इसका परीक्षण किया तो क्या हुआ?

शोधकर्ताओं ने फूलों की पहचान करने से लेकर कारों और जमीन के उपग्रह चित्रों (satellite images) तक, 11 अलग-अलग प्रकार की इमेज चुनौतियों पर इस नए "मार्गदर्शक" दृष्टिकोण का परीक्षण किया।

बेहतर अंशांकन (Better Calibration): नई विधि (SoC) ने लाइब्रेरियन को उनके आत्मविश्वास के बारे में बहुत अधिक ईमानदार बना दिया। जब लाइब्रेरियन कहता था "मुझे 80% यकीन है," तो वे वास्तव में 80% बार सही होते थे। पुरानी विधि (O-TPT) अक्सर 90% सुनिश्चित होती थी लेकिन केवल 60% बार सही होती थी।
अभी भी बुद्धिमान (Still Smart): नई विधि ने लाइब्रेरियन को छवियों की पहचान करने में कमजोर नहीं बनाया। वे सही उत्तर का अनुमान लगाने में पुराने तरीकों जितने ही अच्छे बने रहे।
लचीलापन (Resilient): यहाँ तक कि जब लाइब्रेरियन का परीक्षण छवियों के ट्रिकी, अजीब या कलात्मक संस्करणों (जैसे रेखाचित्र या पेंटिंग) पर किया गया, तब भी SoC ने उन्हें शांत और सटीक बनाए रखा, जबकि पुराना तरीका भ्रमित और अति-आत्मविश्वासी हो गया।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र तर्क देता है कि AI को भरोसेमंद बनाने के लिए, हमें केवल हर विचार को दूसरे विचार से पूरी तरह अलग होने के लिए मजबूर नहीं करना चाहिए। इसके बजाय, हमें चीजों के बीच के प्राकृतिक संबंधों का सम्मान करना चाहिए। इन संबंधों का सम्मान करने वाले एक "स्मूथ" दृष्टिकोण (SoC) का उपयोग करके, हमें एक ऐसा AI मिलता है जो न केवल बुद्धिमान है बल्कि यह भी जानता है कि वह कब अनिश्चित है, जिससे यह वास्तविक दुनिया के उपयोग के लिए सुरक्षित और अधिक विश्वसनीय बन जाता है।

तकनीकी सारांश: टेस्ट-टाइम प्रॉम्प्ट ट्यूनिंग के लिए सिमेंटिक ऑर्थोगोनल कैलिब्रेशन (SoC)

समस्या विवरण
विज़न-लैंग्वेज मॉडल्स (VLMs), जैसे कि CLIP, ने मजबूत ज़ीरो-शॉट क्षमताओं का प्रदर्शन किया है, लेकिन आउट-ऑफ-डिस्ट्रीब्यूशन डेटा या नवीन श्रेणियों वाले वास्तविक दुनिया के परिदृश्यों में तैनाती के दौरान उन्हें महत्वपूर्ण चुनौतियों का सामना करना पड़ता है। जबकि टेस्ट-टाइम प्रॉम्प्ट ट्यूनिंग (TPT), एंट्रॉपी मिनिमाइजेशन के माध्यम से टेक्स्ट प्रॉम्प्ट्स को अनुकूलित करके बिना लेबल वाले डेटा के VLMs को नए कार्यों के लिए अनुकूलित करने की एक विधि के रूप में उभरा है, यह दृष्टिकोण अक्सर अत्यधिक आत्मविश्वासपूर्ण (overconfident) भविष्यवाणियों को प्रेरित करता है, जिससे खराब अनिश्चितता कैलिब्रेशन (uncertainty calibration) होता है।

हालिया अत्याधुनिक विधियाँ, विशेष रूप से O-TPT (ऑर्थोगोनल टेस्ट-टाइम प्रॉम्प्ट ट्यूनिंग), टेक्स्ट प्रॉम्प्ट एम्बेडिंग्स के जोड़ों के बीच पूर्ण ऑर्थोगोनैलिटी (orthogonality) लागू करके इस अति-आत्मविश्वास को कम करने का प्रयास करती हैं। अंतर्निहित तर्क यह है कि ऑर्थोगोनल प्रोटोटाइप्स क्लास सेपेरेबिलिटी (class separability) को बढ़ाते हैं। हालांकि, यह शोध प्रबंध तर्क देता है कि सिमेंटिक रूप से संबंधित वर्गों के लिए पूर्ण ऑर्थोगोनैलिटी लागू करना सैद्धांतिक और अनुभवजन्य रूप से त्रुटिपूर्ण है। सभी क्लास प्रोटोटाइप्स को आक्रामक रूप से एक-दूसरे से दूर धकेलकर, O-TPT एम्बेडिंग स्पेस की अंतर्निहित सिमेंटिक संरचना को बाधित करता है (उदाहरण के लिए, "वार्षिक फसल" और "स्थायी फसल" को ऑर्थोगोनल होने के लिए मजबूर करना, बावजूद इसके कि उनमें वैचारिक समानता है)। यह कृत्रिम अलगाव भविष्यवाणी के आत्मविश्वास में व्यवस्थित रूप से वृद्धि करता है, भले ही मॉडल की भविष्यवाणी गलत हो, जिससे कैलिब्रेशन में सुधार के बजाय गिरावट आती है।

कार्यप्रणाली (Methodology)
लेखक सिमेंटिक ऑर्थोगोनल कैलिब्रेशन (SoC) का प्रस्ताव करते हैं, जो एक नया रेगुलराइज़र है जिसे प्रोटोटाइप सेपरेशन को लागू करने के साथ-साथ सिमेंटिक निकटता (semantic proximity) को बनाए रखने के लिए डिज़ाइन किया गया है।

हूबर-आधारित रेगुलराइजेशन (Huber-Based Regularization): O-TPT में उपयोग किए जाने वाले क्वाड्रेटिक पेनल्टी (जो समानता के वर्ग के अनुपात में एक मजबूत प्रतिकर्षण बल लगाता है) के बजाय, SoC एक हूबर लॉस फंक्शन का उपयोग करता है। यह लॉस कम समानता वाले जोड़ों के लिए क्वाड्रेटिक है, लेकिन उच्च समानता वाले जोड़ों के लिए लीनियर पेनल्टी में बदल जाता है।
सिमेंटिक संरक्षण (Semantic Preservation): हूबर फॉर्मूलेशन अत्यधिक समान क्लास जोड़ों के लिए प्रतिकर्षण बल (repulsion force) को सीमित करता है। यह सुनिश्चित करता है कि सिमेंटिक रूप से सह-संबंधित वर्ग (जिनमें एम्बेडिंग स्पेस में स्वाभाविक रूप से उच्च कोसाइन समानता होती है) को O-TPT की तरह आक्रामक रूप से दूर न धकेला जाए। रेगुलराइज़र को इस प्रकार परिभाषित किया गया है:
$L_{SoC} = L_{TPT} + \lambda \cdot \frac{2}{K(K-1)} \sum_{i<j} L_{Huber}(s_{ij}, \delta)$
जहाँ $s_{ij}$ क्लास प्रोटोटाइप $i$ और $j$ के बीच कोसाइन समानता है, और $\delta$ एक मार्जिन थ्रेशोल्ड है।
सैद्धांतिक विश्लेषण: यह शोध पत्र सॉफ़्टमैक्स कॉन्फिडेंस के लोअर बाउंड (lower bound) को सबसे खराब स्थिति वाली क्लास समानता ( $\mu$ ) के आधार पर व्युत्पन्न करता है। विश्लेषण दर्शाता है कि पूर्ण ऑर्थोगोनैलिटी (O-TPT) एक एकल ग्रेडिएंट स्टेप में $\mu$ को आक्रामक रूप से कम कर देती है, जिससे कॉन्फिडेंस फ्लोर (confidence floor) काफी बढ़ जाता है। इसके विपरीत, प्रस्तावित हूबर-आधारित रेगुलराइज़र उच्च-समानता वाले जोड़ों पर सौम्य प्रतिकर्षण लागू करता है, जिससे अत्यधिक कॉन्फिडेंस वृद्धि को रोका जा सके और बेहतर कैलिब्रेशन बना रहे।

प्रमुख योगदान

SoC रेगुलराइज़र: TPT के लिए एक हूबर-आधारित रेगुलराइज़र का परिचय जो पूर्ण ऑर्थोगोनैलिटी बाधाओं की तुलना में स्मूथ ग्रेडिएंट्स प्रदान करता है। यह पूर्ण ऑर्थोगोनैलिटी के अति-अलगाव प्रभावों को कम करते हुए संबंधित वर्गों के बीच सिमेंटिक संरचना को प्रभावी ढंग से संरक्षित करता है।
सैद्धांतिक अंतर्दृष्टि: सबसे खराब स्थिति वाली क्लास समानता को भविष्यवाणी अनिश्चितता से जोड़ने वाले एक कॉन्फिडेंस लोअर बाउंड का व्युत्पन्न। यह विश्लेषण प्रकट करता है कि पूर्ण ऑर्थोगोनैलिटी सिमिलरिटी को आक्रामक रूप से कम करके व्यवस्थित रूप से कॉन्फिडेंस को बढ़ाती है, जबकि प्रस्तावित विधि प्रतिकर्षण को सीमित करके ऐसा करने से बचती है।
अनुभवजन्य सत्यापन (Empirical Validation): 11 विविध डेटासेट्स (फाइन-ग्रेन्ड क्लासिफिकेशन, नेचुरल डोमेन शिफ्ट और सैटेलाइट इमेजरी सहित) पर व्यापक प्रयोगों से पता चलता है कि SoC, प्रतिस्पर्धी डिस्क्रिमिनेटिव प्रदर्शन बनाए रखते हुए, अत्याधुनिक बेसलाइन्स (TPT, C-TPT, O-TPT) की तुलना में लगातार बेहतर कैलिब्रेशन मेट्रिक्स (Expected Calibration Error - ECE) प्राप्त करता है।

परिणाम

कैलिब्रेशन प्रदर्शन: 11 डेटासेट्स में, SoC ने O-TPT की तुलना में सभी को छोड़कर सभी में सर्वश्रेष्ठ ECE स्कोर प्राप्त किए। O-TPT पर औसत ECE सुधार 2.3 था, जिसमें फाइन-ग्रेन्ड कार्यों में महत्वपूर्ण लाभ देखे गए (जैसे EuroSAT पर ECE में 14.5 अंक की कमी)।
विश्वसनीयता (Reliability): रिलायबिलिटी डायग्राम दिखाते हैं कि जहाँ O-TPT स्पष्ट ओवरकॉन्फिडेंस प्रदर्शित करता है (अनुमानित प्रोबेबिलिटी लगातार देखी गई सटीकता से अधिक होती है), वहीं SoC विकर्ण (diagonal) के करीब फ्लैट कर्व बनाता है, जो कॉन्फिडेंस और सटीकता के बीच बेहतर संरेखण को दर्शाता है।
मजबूती (Robustness):
- मल्टी-स्टेप अपडेट्स: दो ग्रेडिएंट अपडेट लागू करने पर (एक ऐसी स्थिति जहाँ O-TPT का कैलिब्रेशन 39% गिर जाता है), SoC ने काफी कम गिरावट (23%) दिखाई, जो इस सैद्धांतिक निष्कर्ष के अनुरूप है कि O-TPT का तीव्र समानता न्यूनीकरण अस्थिर है।
- बैकबोन वेरिएशंस: SoC ने विभिन्न ViT बैकबोन (ViT-B/16 और ViT-L/14) में सटीकता और ECE दोनों में O-TPT को पछाड़ दिया।
- प्रॉम्प्ट संवेदनशीलता: SoC ने 18 अलग-अलग प्रारंभिक टेक्स्ट प्रॉम्प्ट्स पर O-TPT की तुलना में कम ECE प्रदर्शित किया, जो प्रॉम्प्ट इनिशियलाइजेशन के प्रति कम संवेदनशीलता को दर्शाता है।
कंप्यूटेशनल दक्षता: SoC की कंप्यूटेशनल जटिलता $O(n^2)$ है, जबकि O-TPT में $O(n^3)$ जटिलता के साथ हाउसहोल्डर ट्रांसफॉर्म शामिल हैं, जिससे बड़ी संख्या में क्लासेज वाले डेटासेट्स के लिए SoC अधिक कुशल बनता है।

महत्व और दावे
यह शोध प्रबंध दावा करता है कि वर्तमान ऑर्थोगोनैलिटी-आधारित कैलिब्रेशन विधियों की प्राथमिक सीमा ज्यामितीय अलगाव (geometric separation) और सिमेंटिक निकटता (semantic proximity) के बीच अंतर करने में उनकी विफलता है। एक कठोर प्रतिकर्षण (rigid repulsion) को स्मूथ, सिमेंटिक-अवेयर मैकेनिज्म से बदलकर, SoC को VLMs को उनके अनिश्चितता अनुमानों की विश्वसनीयता से समझौता किए बिना नए कार्यों के अनुकूल बनाने में सक्षम बनाता है। लेखक इस कार्य को VLMs के लिए अधिक सिमेंटिक रूप से जागरूक कैलिब्रेशन विधियों की दिशा में एक कदम के रूप में देखते हैं, जो विशेष रूप से स्वास्थ्य सेवा और स्वायत्त ड्राइविंग जैसे सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए अत्यंत महत्वपूर्ण है जहाँ अत्यधिक आत्मविश्वासी गलत भविष्यवाणियां अस्वीकार्य हैं। अध्ययन यह सुझाव देता है कि केवल ज्यामितीय अलगाव को अधिकतम करने के बजाय, सिमेंटिक रूप से समान वर्गों के मैनिफोल्ड स्ट्रक्चर को संरक्षित करना वास्तविक कैलिब्रेशन प्राप्त करने के लिए आवश्यक है।

समस्या: "बहुत कठोर" समाधान (The "Too Rigid" Fix)

समाधान: SoC (सिमेंटिक ऑर्थोगोनल कैलिब्रेशन)

जब उन्होंने इसका परीक्षण किया तो क्या हुआ?

मुख्य निष्कर्ष (The Bottom Line)

इसी तरह के और पेपर