🤖 AI

Text as Partial Constraint: Core-Residual Alignment for Robust Vision-Language Learning

यह शोध पत्र टेक्स्ट ऐज़ पार्शियल कंस्ट्रेंट (TPC) का प्रस्ताव करता है, जो एक कोर-रेसिड्यूअल अलाइनमेंट फ्रेमवर्क है जो मल्टी-व्यू कैप्शन को अधूरे पर्यवेक्षण के रूप में मानता है ताकि एक सर्वसम्मत अर्थपूर्ण कोर को आसवित (distill) किया जा सके और अनकहे रेसिड्यूल्स पर निर्भरता को स्पष्ट रूप से हतोत्साहित किया जा सके, जिससे अपर्याप्त भाषाई पर्यवेक्षण के तहत सुदृढ़ और विश्वसनीय विजन-लैंग्वेज रिप्रजेंटेशन प्राप्त किया जा सके।

मूल लेखक: Chengzhen Yu, Canran Xiao, Siyuan Ma, Yang Liu

प्रकाशित 2026-07-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chengzhen Yu, Canran Xiao, Siyuan Ma, Yang Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ पेपर "Text as Partial Constraint" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: "अति-आत्मविश्वासी" (Over-Confident) अनुवादक

कल्पना कीजिए कि आप एक रोबोट को पार्क में कुत्ते को पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे एक तस्वीर दिखाते हैं और एक विवरण देते हैं: "एक सुनहरी धूप वाले दिन में पार्क में गेंद के साथ दौड़ता हुआ एक गोल्डन रिट्रीवर।"

रोबोट उस विशिष्ट वाक्य से मेल खाने के लिए सीखता है। लेकिन यहाँ एक पेंच है: मानवीय विवरण अव्यवस्थित और अधूरे होते हैं।

यदि आप रोबोट को वही तस्वीर दिखाते हैं लेकिन थोड़ा अलग विवरण देते हैं—"पार्क में दौड़ता हुआ एक कुत्ता"—तो एक मानक AI भ्रमित हो सकता है। वह सोच सकता है, "रुको, पहले वाले में 'गोल्डन रिट्रीवर' और 'धूप वाला दिन' कहा गया था, लेकिन इस वाले में नहीं। क्या यह एक अलग कुत्ता है? क्या अब बारिश हो रही है?"

क्योंकि रोबोट को हर एक वाक्य को पूर्ण सत्य मानने के लिए प्रशिक्षित किया गया था, वह उन विवरणों के बारे में "अति-आत्मविश्वासी" हो जाता है जो वास्तव में चित्र में नहीं थे (जैसे कि विशिष्ट नस्ल या मौसम) सिर्फ इसलिए क्योंकि वाक्य में उनका उल्लेख किया गया था। यह रोबोट को नाजुक (brittle) बनाता; यदि आप शब्दों को थोड़ा बदलते हैं (paraphrase) या कोई विवरण छोड़ देते हैं, तो रोबोट का आत्मविश्वास गिर जाता है, या वह गलत अनुमान (hallucinations) लगाने लगता है।

समाधान: TPC (Text as Partial Constraint - टेक्स्ट एक आंशिक बाधा के रूप में)

लेखक इन रोबोटों को प्रशिक्षित करने का एक नया तरीका प्रस्तावित करते हैं जिसे TPC कहा जाता है। हर वाक्य को पूर्ण सत्य मानने के बजाय, वे हर वाक्य को एक आंशिक संकेत (partial clue) के रूप में देखते हैं।

इसे एक जासूसों के समूह की तरह समझें जो एक ही अपराध स्थल की फोटो देख रहे हैं, लेकिन प्रत्येक जासूस एक अलग रिपोर्ट लिखता है:

जासूस A: "घास पर दौड़ता हुआ एक कुत्ता।"
जासूस B: "एक पेड़ के पास तेजी से चलता हुआ भूरा जानवर।"
जासूस C: "पार्क में दौड़ता हुआ एक पालतू जानवर।"

पुराना तरीका: रोबोट हर रिपोर्ट के हर एक विवरण को याद करने की कोशिश करता है। जब रिपोर्ट आपस में असहमत होती हैं (जैसे, "क्या वह भूरा है या सुनहरा?"), तो वह भ्रमित हो जाता है।

TPC का तरीका: रोबोट सहमति के मूल (Consensus Core) की तलाश करता है। वह पूछता है: "इन सभी रिपोर्टों में वे कौन सी बातें हैं जिन पर वे सहमत हैं?"

सहमति का मूल (Agreed Core): "पार्क में दौड़ता हुआ एक कुत्ता।" (यह सत्य है)।
"अनकहा" अवशेष (The "Unsaid" Residual): "सुनहरा," "धूप वाला दिन," "भूरा," "पेड़।" (ये वे विवरण हैं जिनका उल्लेख केवल कुछ ही रिपोर्टों में किया गया था, या वे विवरण जो गायब हो सकते हैं)।

TPC रोबोट को सिखाता है:

मूल पर ध्यान केंद्रित करना (Lock onto the Core): केवल उन्हीं हिस्सों पर ध्यान दें जिन पर सभी विवरण सहमत हैं।
"अनकहे" को अनदेखा करना (Ignore the "Unsaid"): उन हिस्सों को सक्रिय रूप से भूल जाना जो केवल एक विशिष्ट विवरण के लिए विशिष्ट हैं।
अनिश्चितता को स्वीकार करना (Admit Uncertainty): यदि विवरण बहुत अधिक असहमत हैं (जैसे, एक कहता है "कुत्ता", दूसरा "बिल्ली"), तो रोबोट को गलत अनुमान लगाने के बजाय अपना आत्मविश्वास कम कर देना चाहिए।

यह कैसे काम करता है (The "Core-Residual" Filter)

यह करने के लिए पेपर एक चतुर तंत्र पेश करता है:

कोर फ़िल्टर (The Core Filter): एक छलनी की कल्पना करें। जब एक नया वाक्य आता है (भले ही वह केवल एक वाक्य हो, जैसे "दौड़ता हुआ एक कुत्ता"), तो छलनी "फालतू" चीज़ों (अद्वितीय, दृश्य-विशिष्ट विवरण) को छान देती है और केवल "पौष्टिक मूल" (साझा अर्थ) को रखती है।
अवशेष दंड (The Residual Penalty): यदि रोबोट तस्वीर को "फालतू" विवरणों से मिलाने की कोशिश करता है, तो उसे दंडित किया जाता है। यदि चित्र स्पष्ट रूप से "धूप वाला दिन" नहीं दिखाता है, लेकिन वाक्य में ऐसा कहा गया है, तो रोबोट सीखता है कि उस हिस्से के लिए उत्साहित नहीं होना है। वह सीखता है कि कहना, "मैं कुत्ते को देख रहा हूँ, लेकिन मुझे मौसम के बारे में यकीन नहीं है, इसलिए मैं अपने पूरे उत्तर पर दांव नहीं लगाऊँगा।"
कैलिब्रेटेड कॉन्फिडेंस (Calibrated Confidence): यदि रोबोट एक ऐसा वाक्य देखता है जो बहुत अस्पष्ट है या अन्य संभावित विवरणों से असहमत है, तो वह स्वचालित रूप से अधिक "सतर्क" हो जाता है। वह यह नहीं कहता कि "मुझे 100% यकीन है!" बल्कि वह कहता है, "मुझे काफी यकीन है, लेकिन चलो सावधान रहें।"

यह क्यों महत्वपूर्ण है (परिणाम)

पेपर ने इन विचारों का परीक्षण मानक AI बेंचमार्क (जैसे ImageNet और विभिन्न रिट्रीवल कार्यों) पर किया। उन्हें क्या पता चला:

मजबूत मजबूती (Stronger Robustness): जब विवरणों को थोड़ा बदला गया (paraphrased) या विवरण हटा दिए गए, तो TPC रोबोट क्रैश नहीं हुआ। वह स्थिर रहा क्योंकि वह फालतू बातों के बजाय मूल सत्य पर ध्यान केंद्रित कर रहा था।
कम मतिभ्रम (Less Hallucination): बड़े AI सिस्टम (Large Vision-Language Models) के भीतर उपयोग किए जाने पर, रोबोट ने उन गलतियों को कम किया जहाँ वह उन चीजों को "देखता" था जो वहाँ नहीं थीं। उसने उन विवरणों का आत्मविश्वास से अनुमान लगाने से परहेज किया जो टेक्स्ट द्वारा समर्थित नहीं थे।
बेहतर सटीकता (Better Accuracy): हालांकि वह कुछ विवरणों को अनदेखा कर रहा था, फिर भी उसने वास्तव में अधिक प्रश्न सही हल किए क्योंकि वह अविश्वसनीय जानकारी से विचलित होना बंद हो गया था।

निष्कर्ष

पेपर तर्क देता है कि भाषा स्वाभाविक रूप से अधूरी है। हम हमेशा वह सब कुछ नहीं कहते जो हम देखते हैं।

पिछले AI मॉडल हर शब्द को याद करने की कोशिश करते थे, जिससे वे नाजुक बन जाते थे। TPC AI को यह समझने में मदद करता है कि एक वाक्य केवल एक आंशिक बाधा (partial constraint) है—एक संकेत, न कि एक पूर्ण ब्लूप्रिंट। विभिन्न तरीकों से एक ही चीज़ का वर्णन करने के बीच जो लगातार सत्य है, उस पर ध्यान केंद्रित करके और विशिष्ट विवरणों के "शोर" को अनदेखा करके, AI अधिक विश्वसनीय, कम अति-आत्मविश्वासी और धोखा देने में अधिक कठिन बन जाता है।

संक्षेप में: TPC AI को यह सिखाता है कि केवल इसलिए मौसम का अनुमान न लगाए क्योंकि किसी व्यक्ति ने इसका उल्लेख किया था, बल्कि पार्क में एक कुत्ता होने के तथ्य पर ध्यान केंद्रित करे।

तकनीकी सारांश: टेक्स्ट ऐज़ पार्शियल कंस्ट्रेंट (TPC)

समस्या विवरण (Problem Statement)
विज़न-लैंग्वेज अलाइनमेंट (vision-language alignment), ओपन-वोकेबुलरी रिकग्निशन, रिट्रीवल और लार्ज विज़न-लैंग्वेज मॉडल्स (LVLMs) का आधार है। हालाँकि, प्राकृतिक भाषा का पर्यवेक्षण (supervision) स्वाभाविक रूप से अपूर्ण होता है: कैप्शन अक्सर विवरणों को छोड़ देते हैं, साझा संदर्भ (shared context) पर निर्भर करते हैं, या वाक्यांशों में काफी भिन्न हो सकते हैं। मौजूदा विधियाँ आमतौर पर प्रत्येक कैप्शन को एक पूर्ण लक्ष्य (complete target) के रूप में मानती हैं, जिससे मॉडल को उन दृश्य-विशिष्ट विवरणों (view-specific details) के साथ संरेखित होने के लिए मजबूर किया जाता है जो अन्य वैध विवरणों में अनुपस्थित हो सकते हैं। इससे "भंगुर" (brittle) मिलान होता है (जहाँ पैराफ्रेस के तहत प्रदर्शन गिर जाता है), "अति-आत्मविश्वासी" (over-confident) भविष्यवाणियाँ होती हैं (जहाँ मॉडल अत्यधिक निश्चित होता है भले ही टेक्स्ट बाधा/constraint कमजोर हो), और LVLMs में डाउनस्ट्रीम मतिभ्रम (hallucinations) उत्पन्न होते हैं। यह शोध पत्र पहचानता है कि वर्तमान मॉडल "अनसेड" (unsaid) अवशेषों—दृश्य-विशिष्ट विचलन जो एक ही छवि के कई कैप्शन दृश्यों में सुसंगत रूप से समर्थित नहीं हैं—के प्रति अत्यधिक प्रतिबद्ध (over-commit) हो जाते हैं।

कार्यप्रणाली: टेक्स्ट ऐज़ पार्शियल कंस्ट्रेंट (TPC)
लेखक TPC का प्रस्ताव करते हैं, जो एक कोर-रेसिड्यूअल अलाइनमेंट फ्रेमवर्क है जो प्राकृतिक कैप्शन को पूर्ण लक्ष्य के बजाय आंशिक बाधाओं (partial constraints) के रूप में पुनर्गठित करता है। यह विधि इस धारणा पर कार्य करती है कि एक छवि के कई कैप्शन दृश्य एक स्थिर "कंसेंसस कोर" (consensus core) साझा करते हैं जबकि एक "अनसेड" रेसिड्यूअल स्पेस में भिन्न होते हैं।

यह फ्रेमवर्क चार प्रमुख घटकों से बना है:

मल्टी-व्यू कंसेंसस कोर (Multi-View Consensus Core): एक छवि के लिए $K$ कैप्शन दृश्यों के साथ, एक कंसेंसस कोर $c_i$ को टेक्स्ट एम्बेडिंग्स के सामान्यीकृत माध्य दिशा (normalized mean direction) के रूप में परिभाषित किया गया है। यह कोर साझा, दृश्य-अपरिवर्तनीय (view-invariant) अर्थ विज्ञान (semantics) का प्रतिनिधित्व करता है।
सिंगल-व्यू कोर फ़िल्टर (Single-View Core Filter): एकल क्वेरी टेक्स्ट के साथ परिनियोजन (deployment) को सक्षम करने के लिए, एक हल्का लीनियर फ़िल्टर $\psi_\theta$ एक एकल दृश्य एम्बेडिंग $t_{i,k}$ से कंसेंसस कोर $c_i$ की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। यह सुनिश्चित करता है कि मॉडल इन्फरेंस के दौरान कई कैप्शन की आवश्यकता के बिना मजबूत अर्थ संबंधी लक्ष्य को पुनः प्राप्त कर सके।
अनसेड रेसिड्यूअल सप्रेशन (Unsaid Residual Suppression): टेक्स्ट एम्बेडिंग को अनुमानित कोर और एक ऑर्थोगोनल "अनसेड" रेसिड्यूअल $r_{i,k}$ में विभाजित किया जाता है। एक नॉन-कमिटमेंट रेगुलराइज़र स्पष्ट रूप से इमेज एम्बेडिंग और इन रेसिड्यूल्स के बीच अलाइनमेंट को दंडित करता है, जिससे मॉडल को दृश्य-विशिष्ट विवरणों पर ओवर-फिट होने से रोका जा सके।
अनसर्टेन्टी-अवेयर कॉन्ट्रास्टिव अलाइनमेंट (Uncertainty-Aware Contrastive Alignment): कंसेंसस के सापेक्ष $K$ कैप्शन दृश्यों के बीच असहमति (विचरण/variance) के आधार पर एक अनसर्टेन्टी मेट्रिक $u_i$ की गणना की जाती है। यह अनसर्टेन्टी, InfoNCE लॉस में तापमान $\tau_i$ को नियंत्रित करती है। जब कैप्शन असहमत होते हैं (उच्च अनसर्टेन्टी), तो ओवरकॉन्फिडेंट अपडेट को कम करने के लिए अलाइनमेंट को "सॉफ्ट" (soften) किया जाता है; जब वे सहमत होते हैं, तो अलाइनमेंट को शार्प (sharpen) किया जाता है।

कुल प्रशिक्षण उद्देश्य कोर अलाइनमेंट लॉस, एक एग्रीमेंट लॉस (यह सुनिश्चित करने के लिए कि सिंगल-व्यू फ़िल्टर कंसेंसस से मेल खाता है), और रेसिड्यूल्स को दबाने के लिए नॉन-कमिटमेंट लॉस को जोड़ता है।

प्रमुख योगदान (Key Contributions)

लैंग्वेज अंडरस्पेसिफिकेशन का औपचारिकीकरण: यह पेपर कैप्शन-व्यू वेरिएशन को भाषा के अंडरस्पेसिफिकेशन के एक रूप के रूप में औपचारिक रूप देता है और "अनसेड" रेसिड्यूल्स के प्रति ओवर-कमिटमेंट को भंगुरता और मतिभ्रम के पीछे के प्राथमिक तंत्र के रूप में पहचानता है।
कोर-रेसिड्यूअल फ्रेमवर्क: यह एक प्रशिक्षण सिद्धांत पेश करता है जो दृश्य-अपरिवर्तनीय अर्थ विज्ञान को प्राथमिकता देता है और ऐसे कॉन्फिडेंस स्कोर उत्पन्न करता है जो टेक्स्ट बाधाओं की शक्ति को ट्रैक करते हैं, जबकि एकल क्वेरी के साथ तैनात करने योग्य रहता है।
सैद्धांतिक औचित्य: लेखक सैद्धांतिक सीमाएँ प्रदान करते हैं जो दिखाते हैं कि कोर अलाइनमेंट बढ़ाकर और रेसिड्यूअल संवेदनशीलता को घटाकर मजबूती (robustness) में सुधार होता है। वे यह भी प्रदर्शित करते हैं कि मल्टी-व्यू कंसेंसस, अपूर्ण टेक्स्ट पर्यवेक्षण के लिए एक डीनोइजिंग तंत्र के रूप में कार्य करता है, जिसमें सामान्यीकरण (generalization) पर सांख्यिकीय गारंटी है।

प्रायोगिक परिणाम (Experimental Results)
TPC का मूल्यांकन जीरो-शॉट रिकग्निशन, एडवरसेरियल रोबस्टनेस और LVLM ट्रांसफर के माध्यम से किया गया:

जीरो-शॉट रिकग्निशन: ImageNet पर, TPC ने 81.42% क्लीन और 64.05% रोबस्ट Top-1 सटीकता प्राप्त की, जो सबसे मजबूत रोबस्ट बेसलाइन (Adv-W2S) से +5.58/+5.75 अधिक है। Avg-14 ट्रांसफर सूट पर, इसने 76.19% क्लीन और 52.03% रोबस्ट सटीकता प्राप्त की।
LVLM ट्रांसफर: LLaVA-1.5-7B के लिए विज़न एनकोडर के रूप में उपयोग किए जाने पर, TPC ने ऑब्जेक्ट हेलुसिनेशन मेट्रिक्स में सुधार किया, 85.16 POPE F1 स्कोर (Adv-W2S से +1.36 अधिक) और 59.57 OKVQA सटीकता प्राप्त की।
रोबस्टनेस विश्लेषण: TPC ने कैप्शन चयन के प्रति कम संवेदनशीलता (कम रैंक वोलैटिलिटी) और कमजोर टेक्स्ट बाधाओं के तहत बेहतर कैलिब्रेशन प्रदर्शित किया। नियंत्रित कैप्शन डिलीशन वाले स्ट्रेस टेस्ट में, TPC ने मानक CLIP फाइन-ट्यूनिंग की तुलना में उच्च सटीकता और कम एक्सपेक्टेड कैलिब्रेशन एरर (ECE) बनाए रखा।

महत्व और दावे (Significance and Claims)
यह पेपर दावा करता है कि टेक्स्ट को एक पार्शियल कंस्ट्रेंट (आंशिक बाधा) के रूप में मॉडल करना अधिक विश्वसनीय विज़न-लैंग्वेज रिप्रजेंटेशन के लिए एक व्यावहारिक और सिद्धांतवादी मार्ग है। स्थिर अर्थ संबंधी कोर को अस्थिर, दृश्य-विशिष्ट रेसिड्यूल्स से स्पष्ट रूप से अलग करके, TPC अंडरस्पेसिफाइड लैंग्वेज सुपरविजन में भंगुरता के मूल कारण को संबोधित करता है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण डाउनस्ट्रीम LVLMs के आर्किटेक्चर को बदलने की आवश्यकता नहीं डालता है, बल्कि एक अधिक मजबूत "परसेप्चुअल बैकबोन" प्रदान करता है जो कमजोर संकेतों के प्रति ओवर-कमिटमेंट को कम करता है। इस विधि को विज़न एनकोडर्स के लिए एक 'ड्रॉप-इन रिप्लेसमेंट' के रूप में प्रस्तुत किया गया है जो मतिभ्रम (hallucination) के लिए मौजूदा डिकोडिंग- और कनेक्टर-लेवल फिक्सेस का पूरक है।