Beyond the Vision Encoder: Identifying and Mitigating Spatial Bias in Large Vision-Language Models

तकनीकी सारांश: विज़न एनकोडर से परे: लार्ज विज़न-लैंग्वेज मॉडल्स में स्थानिक पूर्वाग्रह (Spatial Bias) की पहचान और शमन

1. समस्या विवरण (Problem Statement)

लार्ज विज़न-लैंग्वेज मॉडल्स (LVLMs) ने मल्टीमॉडल कार्यों में महत्वपूर्ण सफलता प्राप्त की है, लेकिन वे स्थानिक विविधताओं (spatial variations) के संबंध में अपर्याप्त मजबूती प्रदर्शित करते हैं। विशेष रूप से, वर्तमान LVLMs अक्सर तब असंगत या विरोधाभासी आउटपुट देते हैं जब एक ही प्रमुख दृश्य जानकारी को किसी छवि के भीतर विभिन्न स्थानों पर रखा जाता है। यह घटना, जिसे स्थानिक पूर्वाग्रह (spatial bias) कहा जाता है, यह सुझाव देती है कि मॉडल्स की सिमेंटिक समझ स्थिति-अपरिवर्तनीय (position-invariant) नहीं है, बल्कि विशिष्ट स्थानिक प्राथमिकताओं के प्रति पक्षपाती है।

जबकि पिछले शोध ने स्थानिक पूर्वाग्रह को ऑब्जेक्ट हैलुसिनेशन (object hallucination) या रोटरी पोजीशन एम्बेडिंग (RoPE) के दीर्घकालिक क्षय प्रभावों से जोड़ा है, यह कार्य तर्क देता है कि ये स्पष्टीकरण मौलिक सिमेंटिक समझ में सामान्यीकरण करने में विफल रहते हैं या मूल कारण को संबोधित करने में असमर्थ हैं। पेपर का मानना है कि यह पूर्वाग्रह विज़न एनकोडर की धारणा या एन्कोडिंग क्षमताओं से नहीं, बल्कि विज़न एनकोडर और लार्ज लैंग्वेज मॉडल (LLM) बैकबोन के बीच अटेंशन मैकेनिज्म के बेमेल (mismatch) से उत्पन्न होता है।

2. कार्यप्रणाली और विश्लेषण (Methodology and Analysis)

A. स्थानिक मजबूती की व्यवस्थित जांच (Systematic Probing of Spatial Robustness)
स्थानिक पूर्वाग्रह को मापने के लिए, लेखकों ने इमेज-टेक्स्ट मैचिंग पर आधारित एक नियंत्रित प्रोबिंग डेटासेट बनाया।

• डेटासेट निर्माण: LAION से 10,000 इमेज-कैप्शन जोड़े लिए गए। प्रत्येक मुख्य छवि के लिए, 8 डिस्ट्रैक्टर (distractor) छवियां प्राप्त की गईं। मुख्य छवि और डिस्ट्रैक्टर्स को एक $3 \times 3$ ग्रिड में व्यवस्थित किया गया ताकि एक कंपोजिट छवि बनाई जा सके।
• प्रायोगिक सेटअप: कैप्शन और डिस्ट्रैक्टर्स को स्थिर रखते हुए, मुख्य छवि को व्यवस्थित रूप से प्रत्येक के 9 ग्रिड स्थानों ($n=0$ से $8$) में स्थानांतरित किया गया। मॉडल से एक बाइनरी प्रश्न पूछा गया ताकि यह निर्धारित किया जा सके कि क्या कंपोजिट में लक्षित छवि मौजूद है।
• निष्कर्ष: छह प्रतिनिधि LVLMs (Qwen2.5-VL, LLaVA-v1.6, और InternVL3 सहित) पर प्रयोगों ने विभिन्न ग्रिड स्थितियों में महत्वपूर्ण सटीकता उतार-चढ़ाव प्रकट किया। विशेष रूप से, प्रदर्शन का टोकन दूरी के साथ कोई मजबूत सहसंबंध नहीं था, जिससे पता चलता है कि पूर्वाग्रह मुख्य रूप से RoPE के लॉन्ग-टर्म डिके (long-term decay) के कारण नहीं है।

B. मूल कारण विश्लेषण (Root Cause Analysis)
लेखकों ने पूर्वाग्रह के स्रोत को अलग करने के लिए विजुअल प्रोसेसिंग पाइपलाइन को दो चरणों में विभाजित किया:

1. धारणा चरण (Perception Stage - Eraser Search): मास्किंग प्रयोगों का उपयोग करके, अध्ययन ने पुष्टि की कि LVLMs उनकी स्थानिक स्थिति के बावजूद महत्वपूर्ण क्षेत्रों की लगातार पहचान करते हैं। धारणा (Perception) स्थानिक रूप से मजबूत है।
2. सिमेंटिक समझ चरण (Semantic Understanding Stage - Vision Encoder): विभिन्न स्थितियों में विजुअल फीचर्स और टेक्स्ट एम्बेडिंग्स के बीच कोसाइन समानता (cosine similarity) को मापकर, अध्ययन में पाया गया कि विज़न एनकोडर स्थान से स्वतंत्र होकर स्थिर, सिमेंटिक रूप से संरेखित प्रतिनिधित्व उत्पन्न करता है।
3. LLM बॉटलनेक (The LLM Bottleneck): चूंकि धारणा और विज़न एन्कोडिंग दोनों मजबूत हैं, इसलिए पूर्वाग्रह LLM के क्रॉस-मोडल रीजनिंग में उत्पन्न होता है। लेखक परिकल्पना करते हैं कि LLMs में कॉज़ल सेल्फ-अटेंशन (causal self-attention) तंत्र (जो टोकन को केवल पिछले टोकन पर ध्यान केंद्रित करने के लिए प्रतिबंधित करता है) विज़न ट्रांसफॉर्मर (ViT) एनकोडर द्वारा स्थापित द्विदिश वैश्विक सूचना प्रवाह (bidirectional global information flow) को बाधित करता है। यह व्यवधान छवि टोकन को LLM परतों के माध्यम से प्रसारित होने के दौरान समग्र वैश्विक संदर्भ (holistic global context) तक पहुंच खोने का कारण बनता है, जिससे उनका योगदान उनकी स्थिति पर अत्यधिक निर्भर हो जाता है।

C. प्रस्तावित समाधान: एडेप्टिव ग्लोबल कॉन्टेक्स्ट इंजेक्शन (Adaptive Global Context Injection - AGCI)
इसे बिना आर्किटेक्चरल संशोधनों के कम करने के लिए, लेखक AGCI का प्रस्ताव करते हैं, जो एक हल्का तंत्र है जो गतिशील रूप से प्रत्येक इमेज टोकन में साझा वैश्विक दृश्य संदर्भ (global visual context) इंजेक्ट करता है।

• तंत्र:
  1. सभी इमेज टोकन के माध्य प्रतिनिधित्व (mean representation) के रूप में वैश्विक छवि संदर्भ $\tilde{g}$ की गणना करें।
  2. प्रत्येक इमेज टोकन $\tilde{v}_i$ और वैश्विक संदर्भ के बीच सिमेंटिक समानता $w_i$ की गणना करें।
  3. प्रत्येक टोकन में $(1 - w_i)$ के आनुपातिक अनुकूल शक्ति के साथ वैश्विक संदर्भ को इंजेक्ट करें:
     $$\tilde{v}'_i = \tilde{v}_i + \lambda(1 - w_i)\tilde{g}$$
  4. यहाँ, $\lambda$ एक हाइपरपैरामीटर है जो सूक्ष्म विवरणों (fine-grained details) को संरक्षित करने के लिए एक 'सेफ्टी वाल्व' के रूप में कार्य करता है। कम वैश्विक सिमेंटिक प्रासंगिकता वाले टोकन अधिक पूरकता प्राप्त करते हैं।

3. मुख्य परिणाम (Key Results)

A. स्थानिक मजबूती (प्रोबिंग टास्क)

• AGCI ने सभी परीक्षण किए गए मॉडलों के लिए विभिन्न ग्रिड स्थितियों में सटीकता भिन्नता ($\Delta$) को काफी कम कर दिया।
• उच्च प्रारंभिक पूर्वाग्रह वाले मॉडलों (जैसे LLaVA-v1.6) के लिए, AGCI ने भिन्नता को 14.93 से घटाकर 8.05 कर दिया और औसत सटीकता को 70.82 से बढ़ाकर 80.75 कर दिया।
• बड़े मॉडलों (जैसे Qwen2.5-VL-72B) के लिए, AGCI ने औसत सटीकता को 70.12 से बढ़ाकर 86.11 कर दिया और साथ ही कम भिन्नता बनाए रखी।

B. डाउनस्ट्रीम टास्क पर प्रदर्शन (Downstream Task Performance)
AGCI का मूल्यांकन हल्के वजन वाले LoRA फाइन-ट्यूनिंग के साथ छह डाउनस्ट्रीम बेंचमार्क पर किया गया:

• जटिल तर्क (MMMU-Pro, ScienceQA): AGCI ने प्रदर्शन में सुधार किया, विशेष रूप से 10-विकल्प सेटिंग्स में, जो दृश्य संकेतों और वैश्विक समझ के बेहतर एकीकरण को दर्शाता है।
• हैलुसिनेशन बेंचमार्क (CRPE, HallusionBench, POPE): AGGI ने आम तौर पर हैलुसिनेशन की प्रवृत्तियों को कम किया और भविष्यवाणी की विश्वसनीयता में सुधार किया। उदाहरण के लिए, POPE पर, Qwen3-VL की औसत सटीकता 84.51 से बढ़कर 86.96 हो गई।
• OCR कार्य (TextVQA): AGCI ने मजबूत लाभ दिखाया (जैसे LLaVA-v1.6 के लिए +4.93), जो सुझाव देता है कि वैश्विक संदर्भ बिखरे हुए टेक्स्ट क्षेत्रों को एकत्रित करने में मदद करता है।

C. सूचना प्रवाह का विज़ुअलाइज़ेशन (Information Flow Visualization)
अटेंशन मैप्स के विज़ुअलाइज़ेशन ने प्रदर्शित किया कि बेसलाइन मॉडल अक्सर पोजीशनल बायस के कारण अप्रासंगिक स्थानिक क्षेत्रों (जैसे शीर्ष-बाएँ कोने) पर ध्यान केंद्रित करते हैं। AGCI लागू करने के बाद, अटेंशन अधिक कार्य-प्रासंगिक क्षेत्रों (जैसे विशिष्ट OCR टेक्स्ट) पर केंद्रित हो गया, जो पुष्टि करता है कि AGCI संतुलित प्रासंगिक प्रतिनिधित्व को बहाल करता है।

4. महत्व और दावे (Significance and Claims)

पेपर तीन प्राथमिक योगदानों का दावा करता है:

1. व्यवस्थित जांच: यह अनुभवजन्य प्रमाण प्रदान करता है कि LVLM भविष्यवाणियाँ समान दृश्य सामग्री के स्थानिक स्थान के साथ महत्वपूर्ण रूप से बदलती हैं, जो वर्तमान स्थानिक समझ में एक महत्वपूर्ण कमजोरी को उजागर करती है।
2. मूल कारण की पहचान: यह स्थानिक पूर्वाग्रह के स्रोत को LLMs में कॉज़ल अटेंशन मैकेनिज्म के कारण वैश्विक छवि संदर्भ के नुकसान के रूप में चिन्हित करता है, और स्पष्ट रूप से विज़न एनकोडर और RoPE डिके को प्राथमिक अपराधी के रूप में खारिज करता है।
3. प्रभावी शमन: यह AGCI पेश करता है, जो एक सरल, आर्किटेक्चर-एग्नोस्टिक (architecture-agnostic) विधि है जो अंतर्निहित क्षमताओं से समझौता किए बिना स्थानिक मजबूती और डाउनस्ट्रीम प्रदर्शन को बढ़ाती है।

लेखक इस बात पर जोर देते हैं कि AGCI क्रॉस-मोडल रीजनिंग के दौरान वैश्विक संदर्भ तक स्थिर पहुंच को बहाल करके काम करता है, जिससे द्विदिश विज़न एन्कोडिंग और कॉज़ल लैंग्वेज मॉडलिंग के बीच बेमेल के कारण होने वाली विसंगति को कम किया जा सके। यह कार्य सुझाव देता है कि मजबूत, स्थिति-अपरिवर्तनीय मल्टीमॉडल समझ प्राप्त करने के लिए वैश्विक दृश्य सिमेंटिक्स को स्पष्ट रूप से सुदृढ़ करना महत्वपूर्ण है।