💬 NLP

More Than Meets the Eye: Measuring the Semiotic Gap in Vision-Language Models via Semantic Anchorage

यह शोध पत्र DIVA बेंचमार्क और सिमेंटिक एलाइनमेंट गैप (Semantic Alignment Gap) मीट्रिक को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि विजन-लैंग्वेज मॉडल एक सुसंगत शाब्दिक श्रेष्ठता पूर्वाग्रह (literal superiority bias) प्रदर्शित करते हैं, जहाँ बढ़ी हुई दृश्य निष्ठा (visual fidelity) और मॉडल का पैमाना अमूर्त मुहावरेदार अर्थों के साथ संघर्ष को हल करने में विफल रहता है, जो यह सुझाव देता है कि बेहतर संरचनात्मक समझ के लिए प्रतिमाशास्त्रीय अमूर्तन (iconographic abstraction) आवश्यक है।

मूल लेखक: Wei He

प्रकाशित 2026-04-21

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Wei He

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "More Than Meets the Eye" पेपर का स्पष्टीकरण दिया गया है, जिसे रोज़मर्रा के उदाहरणों के साथ सरल अवधारणाओं में विभाजित किया गया है।

बड़ी समस्या: AI बहुत शाब्दिक (Literal) है

कल्पना कीजिए कि आप एक इंसान को "रेड कार्पेट" (Red Carpet) की तस्वीर दिखाते हैं। वे तुरंत समझ जाते हैं कि यह प्रसिप्ति, विलासिता या किसी विशेष आयोजन का प्रतीक है। वे इसे केवल फर्श पर बिछे लाल कपड़े के रूप में नहीं देखते।

अब, वही तस्वीर एक वर्तमान AI (एक विजन-लैंग्वेज मॉडल) को दिखाएं। AI विवरणों में उलझ जाता है। वह कालीन की बनावट, रोशनी और लाल रंग को देखता है। उसे "मजाक समझने" या रूपक (metaphor) को समझने में संघर्ष करना पड़ता है। यह उस छात्र की तरह है जो शब्दों की डिक्शनरी परिभाषाएं रटने में तो बहुत अच्छा है, लेकिन वह एक कविता का अर्थ नहीं समझ पाता।

शोधकर्ता इसे "लिटरल सुपीरियरिटी बायस" (Literal Superiority Bias) कहते हैं। AI उबाऊ, भौतिक सत्य को रचनात्मक, अमूर्त अर्थ पर प्राथमिकता देता है।

समाधान: "DIVA" बेंचमार्क

यह परीक्षण करने के लिए कि क्या यह सच है, शोधकर्ताओं ने DIVA (डिस्टिल्ड इडियोमैटिक विजुअल एब्स्ट्रैक्शन) नामक एक नया परीक्षण बनाया।

इसे इस तरह सोचें:

पुराना तरीका (High Fidelity): AI को "रेड कार्पेट" की एक अति-यथार्थवादी (hyper-realistic), 4K फोटो दिखाना। यह इतना विस्तृत (परछाईं, सिलवटें, धूल) है कि AI विचलित हो जाता है और मूल अर्थ को भूल जाता है।
नया तरीका (DIVA): AI को रेड कार्पेट का एक स्टिक-फिगर ड्राइंग (stick-figure drawing) या एक साधारण आइकन दिखाना। यह एक "स्कीमैटिक" छवि है—साफ, सरल और सभी भटकाने वाले विवरणों से मुक्त।

उपमा (Analogy):
कल्पना कीजिए कि आप अपने दोस्त को एक जटिल विचार समझाने की कोशिश कर रहे हैं।

High Fidelity उन्हें फुटनोट्स, चित्रों और एक विस्तृत मानचित्र के साथ 100 पन्नों का उपन्यास देने जैसा है। वे विवरणों में खो जाते हैं।
DIVA (आइकोग्राफी) एक नैपकिन पर एक साधारण स्टिक फिगर बनाने जैसा है। यह कच्चा है, लेकिन यह शोर को हटा देता है और सीधे मुख्य विचार तक पहुँचता है।

प्रयोग: क्या हुआ?

शोधकर्ताओं ने 8 अलग-अलग AI मॉडल्स का परीक्षण किया (कुछ ओपन-सोर्स, कुछ OpenAI और Anthropic जैसी बड़ी कंपनियों के) दोनों यथार्थवादी तस्वीरों और सरल रेखाचित्रों का उपयोग करके।

उन्होंने "सेमेंटिक एलाइनमेंट गैप" (Semantic Alignment Gap) को मापा।

उच्च गैप (High Gap): AI भ्रमित है। वह सोचता है कि शाब्दिक अर्थ और मुहावरेदार अर्थ पूरी तरह से अलग हैं।
कम गैप (Low Gap): AI समझ जाता है कि वह चित्र एक विचार का प्रतिनिधित्व करता है, न कि केवल एक वस्तु का।

परिणाम:

आकार मायने नहीं रखता: AI को बड़ा बनाना (उसे अधिक "दिमाग की शक्ति" देना) इस समस्या को ठीक नहीं कर सका। यहाँ तक कि विशाल, सुपर-स्मार्ट मॉडल भी यथार्थवादी फोटो देखते समय शाब्दिक अर्थ पर ही अटके रहे।
सादगी की जीत: जब शोधकर्ताओं ने फोटो को सरल रेखाचित्रों में बदल दिया (DIVA), तो AI का प्रदर्शन आसमान छू गया। "गैप" गायब हो गया। मॉडल अचानक रूपकों को समझने लगे।

उपमा:
यह एक रॉक कॉन्सर्ट में फुसफुसाहट सुनने की कोशिश करने जैसा है।

यथार्थवादी फोटो वह रॉक कॉन्सर्ट है। AI अर्थ (फुसफुसाहट) सुनने की कोशिश कर रहा है, लेकिन दृश्य विवरण (तेज़ संगीत) उसे दबा रहे हैं।
सरल रेखाचित्र संगीत को बंद करने जैसा है। अचानक, फुसफुसाहट स्पष्ट हो जाती है। AI स्मार्ट नहीं हुआ; बस वातावरण ने उसे भ्रमित करना बंद कर दिया।

"क्यों": कॉग्निटिव इंटरफेरेंस (Cognitive Interference)

पेपर सुझाव देता है कि वर्तमान AI मॉडल "फोटोरियलिस्टिक" होने के लिए प्रशिक्षित हैं। वे बनावट, रोशनी और छाया के प्रति जुनूनी हैं। जब वे "वेब साइट" (Web Site) देखते हैं, तो वे मकड़ी का जाल देखते हैं। जब वे "आई कैंडी" (Eye Candy) देखते हैं, तो वे वास्तविक आँखें और कैंडी देखते हैं।

शोधकर्ताओं का तर्क है कि अति-यथार्थवाद (Hyper-realism) वास्तव में एक जाल है। यह AI को भौतिकी (physics) के बारे में सोचने के लिए मजबूर करता है बजाय भाषा के। "वास्तविकता" को हटाकर और प्रतीकों (जैसे कार्टून) का उपयोग करके, हम AI को सतह को देखने के बजाय अर्थ को देखने के लिए मजबूर करते हैं।

निष्कर्ष (Takeaway)

यह पेपर हमें बताता है कि AI को वास्तव में मानव भाषा और रूपकों को समझाने के लिए, हमें उसे आदर्श, यथार्थवादी तस्वीरें खिलाना बंद करना पड़ सकता है। इसके बजाय, हमें उसे प्रतीकों और आरेख (diagrams) पढ़ना सिखाना चाहिए, ठीक वैसे ही जैसे हम मानचित्र या कॉमिक बुक पढ़ते समय करते हैं।

संक्षेप में: यदि आप चाहते हैं कि AI एक चुटकुले को समझे, तो उसे हाई-डेफिनिशन फोटो न दिखाएं। उसे एक स्केच दिखाएं। कभी-कभी, कम विवरण का अर्थ अधिक समझ होता है।

यहाँ वेई हे (Wei He) के शोध पत्र "More Than Meets the Eye: Measuring the Semiotic Gap in Vision-Language Models via Semantic Anchorage" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज मॉडल्स (VLMs) यथार्थवादी छवियों को उत्पन्न करने और उनकी व्याख्या करने में उल्लेखनीय दक्षता हासिल कर चुके हैं। हालाँकि, वे एक मौलिक संज्ञानात्मक सीमा प्रदर्शित करते हैं जिसे "लिटरल सुपीरियरिटी बायस" (Literal Superiority Bias - शाब्दिक श्रेष्ठता पूर्वाग्रह) कहा जाता है। अमूर्त अवधारणाओं (abstract concepts), विशेष रूप से नाउन कंपाउंड्स (NCs - संज्ञा यौगिकों) को संसाधित करते समय, जिनके अर्थ मुहावरेदार होते हैं (जैसे, "Eye Candy" जिसका अर्थ आकर्षक लोग है, न कि वास्तविक कैंडी), मॉडल उच्च-तथ्यवादी दृश्य विवरणों (आइकोनिसिटी/प्रतिमात्मकता) से आगे बढ़कर अमूर्त प्रतीकात्मक अर्थों को समझने में संघर्ष करते हैं।

मुख्य मुद्दा एक सेमिओटिक गैप (Semiotic Gap - संकेत विज्ञान अंतराल) है:

आइकोनिसिटी (Iconicity): छवियों की व्याख्या आमतौर पर भौतिक वास्तविकता के चित्रण के रूप में की जाती है (बनावट, प्रकाश और अव्यवस्था पर निर्भर)।
प्रतीकात्मकता (Symbolism): भाषा पारंपरिक कोडों पर निर्भर करती है जहाँ अर्थ अमूर्त होता है।
द्वंद्व (The Conflict): वर्तमान VLMs अर्थ संबंधी संरेखण (semantic alignment) के बजाय उच्च-तथ्यता वाले दृश्य संकेतों को प्राथमिकता देते हैं। किसी मुहावरे के सामने आने पर, मॉडल अक्सर इच्छित रूपक अर्थ (metaphorical meaning) के बजाय उसके घटक शब्दों (जैसे, एक आँख और कैंडी देखना) के आधार पर शाब्दिक व्याख्या की ओर झुक जाता है, भले ही टेक्स्ट एंकर अस्पष्ट क्यों न हो।

2. कार्यप्रणाली (Methodology)

लेखक इनपुट को "सिमुलेशन" से "प्रतीकात्मकता" की ओर स्थानांतरित करके और परिणामी संरेखण को मापने के लिए एक एकीकृत मीट्रिक पेश करके इस अंतराल को पाटने का प्रस्ताव करते हैं।

अ. DIVA बेंचमार्क (Distilled Idiomatic Visual Abstraction)

उच्च-तथ्यता वाले विजुअल रियलिज्म को नियंत्रित करने के लिए, लेखकों ने DIVA बनाया है, जो उच्च-तथ्यता वाली फोटोरियलिस्टिक छवियों के स्थान पर स्कीमैटिक (रेखाचित्र), कम-विवरण वाले आइकनोग्राफिक रेंडरिंग का उपयोग करता है।

प्रक्रिया: ऑटोमेटेड जनरेशन (gemini-3-pro-image-preview के माध्यम से) के बाद मानव सत्यापन का उपयोग करने वाला एक दो-चरणीय पाइपलाइन।
रूपांतरण: उच्च-तथ्यता वाली छवियों को "आइकनोग्राफिक सिंबोलिज्म" में बदल दिया जाता है, जिसमें बनावट (textures), छाया और बैकग्राउंड की अव्यवस्था को हटा दिया जाता है, जबकि उनके अर्थ के मूल को सुरक्षित रखा जाता है।
डेटा संरचना: इस बेंचमार्क में 200 अंग्रेजी नाउन कंपाउंड्स शामिल हैं। प्रत्येक के लिए, युग्मित विज़ुअलाइज़ेशन प्रदान किए गए हैं:
- लिटरल रेंडरिंग ( $v_{lit}$ ): घटक संज्ञाओं का एक स्कीमैटिक चित्रण।
- इडियोमैटिक रेंडरिंग ( $v_{id}$ ): पारंपरिक रूपक अर्थ का एक स्कीमैटिक चित्रण।
लक्ष्य: यह परीक्षण करना कि क्या दृश्य "शोर" (semiotic superfluity) को कम करने से मॉडल को भौतिक सिमुलेशन के बजाय प्रतीकात्मक तर्क पर निर्भर होने के लिए मजबूर किया जा सकता है।

ब. सिमेंटिक एलाइनमेंट गैप ( $\Delta$ ) और साइन्ड बायस ( $b(t)$ )

लेखक लिटरल और इडियोमैटिक ग्राउंडिंग के बीच विचलन को मापने के लिए एक आर्किटेक्चर-अज्ञेय (architecture-agnostic) मीट्रिक पेश करते हैं।

साइन्ड लिटरल बायस ( $b(t)$ ): यह प्राथमिकता की दिशा को मापता है।
$b(t) = S(v_{lit}, t) - S(v_{id}, t)$
जहाँ $S$ एक स्कोरिंग फंक्शन है। एक धनात्मक (positive) मान लिटरल अर्थ के प्रति प्राथमिकता को दर्शाता है; एक ऋणात्मक (negative) मान इडियोमैटिक प्राथमिकता को दर्शाता है।
सिमेंटिक एलाइनमेंट गैप ( $\Delta$ ): यह विचलन के परिमाण (strength of the bias) को मापता है।
$\Delta(t) = |b(t)|$
एक कम $\Delta$ इंगित करता है कि मॉडल दोनों व्याख्याओं को समान रूप से मानता है (या संदर्भ दिए जाने पर इच्छित अर्थ को सही ढंग से पहचानता है), जो कम 'लिटरल ड्रिफ्ट' का सुझाव देता है।

स. त्रि-स्तरीय स्कोरिंग कार्यान्वयन (Tri-Fold Scoring Implementation)

विभिन्न प्रकार के मॉडलों के बीच तुलनात्मकता सुनिश्चित करने के लिए, स्कोरिंग फंक्शन $S$ को तीन तरीकों से स्थापित किया गया है:

डिस्क्रिमिनेटिव मॉडल्स (ओपन-वेट्स): इंट्रिन्सिक एलाइनमेंट (Intrinsic Alignment) का उपयोग करता है (लेटेंट स्पेस में टेक्स्ट और इमेज एम्बेडिंग्स के बीच कोसाइन समानता, जैसे CLIP, SigLIP)।
ओपन-सोर्स जेनरेटिव मॉडल्स: व्हाइट-बॉक्स कॉन्फिडेंस (White-Box Confidence) का उपयोग करता है - Likelihood of Idiomatic Distinction (LID)। यह टोकन लॉजिट्स का उपयोग करके यह गणना करता है कि क्या कोई छवि इडियोमैटिक अर्थ से मेल खाती है, इसके लिए "हाँ/नहीं" प्रतिक्रिया की संभावना क्या है।
प्रोपराइटरी/क्लोज्ड-सोर्स मॉडल्स: एक्सट्रिन्सिक कॉन्फिडेंस (Extrinsic Confidence) का उपयोग करता है (स्व-रिपोर्ट की गई कॉन्फिडेंस स्कोर और फोर्स्ड-चॉइस प्रॉम्प्टिंग के माध्यम से व्यवहारिक विकल्प आवृत्ति)।

3. मुख्य योगदान (Key Contributions)

DIVA डेटासेट: 1,000 आइकनोग्राफिक छवियों का एक नियंत्रित बेंचमार्क जो विजुअल फिडेलिटी (दृश्य सत्यता) के प्रभाव को अलग करता है।
एकीकृत मीट्रिक ( $\Delta$ ): "लिटरल बायस" को डिस्क्रिमिनेटिव, ओपन-जेनरेटिव और क्लोज-जेनेटिव मॉडल्स में मापने के लिए एक आर्किटेक्चर-अज्ञेय ढांचा।
सैद्धांतिक ढांचा (Theoretical Framework): आइकनोग्राफिक एब्स्ट्रैक्शन वाया सिमेंटिक एंकरिंग की अवधारणा, जो यह मानती है कि दृश्य फिडेलिटी को कम करने (सेमिओटिक शोर को हटाने) से प्रतीकात्मक स्पष्टता बढ़ती है और संज्ञानात्मक हस्तक्षेप कम होता है।

4. परिणाम और विश्लेषण (Results and Analysis)

लेखकों ने दो स्थितियों के तहत 8 अत्याधुनिक VLMs (जिनमें SigLIP, EVA-CLIP, InternVL3, Qwen2.5-VL, GPT-5, और Claude 4.5 शामिल हैं) का मूल्यांकन किया: हाई-फिडेलिटी (फोटो) और आइकनोग्राफिक (DIVA)।

निरंतर लिटरल बायस (Consistent Literal Bias): सभी मॉडलों ने हाई-फिडेलिटी स्थितियों में एक धनात्मक $b(t)$ (लिटरल प्राथमिकता) दिखाया। मॉडल स्केल (जैसे, 7B से 78B पैरामीटर्स तक जाना) अकेले इस बायस को हल नहीं कर सका।
गैप में कमी: फोटोरियलिस्टिक से आइकनोग्राफिक इनपुट में बदलाव ने सभी आर्किटेक्चरल परिवारों में $\Delta$ $Δ$ को लगातार कम किया।
- उदाहरण: GPT-5 का एलाइनमेंट गैप $\Delta \approx 0.065$ (फोटो) से घटकर $\approx 0.021$ (आइकॉन) हो गया।
- उदाहरण: डिस्क्रिमिनेटिव मॉडल्स (SigLIP) में $\Delta \approx 0.245$ से $\approx 0.178$ की कमी देखी गई।
बेहतर सटीकता: एक सेंस-स्पेसिफाइड 5-वे सिलेक्शन टास्क (जहाँ इच्छित अर्थ को स्पष्ट रूप से वर्णित किया गया था) में, आइकनोग्राफिक इनपुट के साथ सटीकता काफी बढ़ गई:
- डिस्क्रिमिनेटिव: 42.3% $\to$ 58.7%
- ओपन-जेनरेटिव: 61.8% $\to$ 74.2%
- प्रोपराइटरी: 78.5% $\to$ 91.3%
संज्ञानात्मक हस्तक्षेप (Cognitive Interference): परिणाम बताते हैं कि उच्च-तथ्यता वाली बनावट (textures) एक कन्फाउंडिंग वेरिएबल के रूप में कार्य करती है। प्राकृतिक छवियों पर प्रशिक्षित मॉडल भौतिक पुनर्निर्माण के लिए अत्यधिक अनुकूलित (over-optimize) होते हैं, जो अमूर्त रूपकों को संसाधित करने की उनकी क्षमता को दबा देता है।

5. महत्व और निहितार्थ (Significance and Implications)

विजुअल इनपुट पर पुनर्विचार: यह पेपर इस धारणा को चुनौती देता है कि उच्च दृश्य फिडेलिटी हमेशा बेहतर समझ की ओर ले जाती है। यह सुझाव देता है कि अमूर्त तर्क के लिए, विजुअल मिनिमलिज्म (दृश्य न्यूनतमवाद) फोटोरियलिज्म से बेहतर हो सकता है।
पहुंच और संचार: ये निष्कर्ष ऑगमेंटेटिव एंड अल्टरनेटिव कम्युनिकेशन (AAC) की आवश्यकताओं के अनुरूप हैं, जहाँ जटिल छवियों की तुलना में सरल प्रतीक अर्थ व्यक्त करने के लिए अधिक प्रभावी होते हैं।
भविष्य की दिशाएं: लेखक प्रस्तावित करते हैं कि भविष्य के VLMs को उच्च-तथ्यता वाली वास्तविकताओं को "रेंडर" करने का प्रयास करने से पहले स्कीमेटिक ग्लिफ्स (glyphs) को "पढ़ना" सीखना चाहिए। वे कॉन्ट्रास्टिव इडियोम ट्यूनिंग (CIT) फ्रेमवर्क का सुझाव देते हैं ताकि मॉडल्स को स्पष्ट रूप से लिटरल और सिंबोलिक इमेजरी के बीच अंतर करना सिखाया जा सके।
सीमाएं: अध्ययन वर्तमान में अंग्रेजी नाउन कंपाउंड्स और विशिष्ट कलात्मक शैलियों (फ्लैट डिज़ाइन) तक सीमित है। लेखक स्वीकार करते हैं कि अन्य भाषाओं में टोकनाइजेशन रणनीतियां और सांस्कृतिक रूपक अलग परिणाम दे सकते हैं।

निष्कर्षतः, यह पेपर प्रदर्शित करता है कि VLMs में "लिटरल सुपीरियरिटी बायस" केवल तर्क क्षमता की कमी नहीं है, बल्कि हाइपर-रियलिस्टिक इमेजरी से होने वाला संज्ञानात्मक हस्तक्षेप है। स्कीमैटिक एब्स्ट्रैक्शन में व्याख्या को केंद्रित करके, मॉडल अमूर्त, मुहावरेदार अर्थ के साथ बेहतर संरेखण प्राप्त कर सकते हैं।