तकनीकी सारांश: SpurLens: मल्टीमॉडल LLMs में स्प्यूरियस क्यूज़ (Spurious Cues) का स्वचालित पता लगाना

समस्या विवरण (Problem Statement)

जबकि यूनिमोडल विज़न मॉडल्स के स्प्यूरियस कोरिलेशन (गैर-आवश्यक इनपुट एट्रिब्यूट्स) पर निर्भर होने के बारे में अच्छी तरह से प्रलेखित है, यह स्पष्ट नहीं है कि लैंग्वेज सुपरविजन के बावजूद मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) में समान पूर्वाग्रह (biases) किस हद तक मौजूद हैं। लेखक यह परिकल्पना करते हैं कि MLLMs में कई महत्वपूर्ण विफलताएं, विशेष रूप से ऑब्जेक्ट हैलुसिनेशन (तथ्यात्मक रूप से गलत सामग्री उत्पन्न करना) और ऑब्जेक्ट रिकग्निशन फेल्योर (वस्तु पहचान में विफलता), वास्तविक ऑब्जेक्ट रिकग्निशन के बजाय स्प्यूरियस क्यूज़ (spurious cues) पर निर्भरता के कारण होती हैं।

इन पूर्वाग्रहों का पता लगाने वाली मौजूदा विधियों के लिए अक्सर मानव पर्यवेक्षण (human supervision) की आवश्यकता होती है, वे पूर्व-निर्धारित फीचर्स तक सीमित हैं, या कम्प्यूटेशनल रूप से महंगी कैप्शन को-अकरेंस (caption co-occurrence) विश्लेषण पर निर्भर करती हैं। इसके अलावा, यह स्पष्ट नहीं है कि ये पूर्वाग्रह विजन एनकोडर, लैंग्वेज मॉडल, या उनके फ्यूजन (fusion) के मूल में हैं, और क्या सरल प्रॉम्प्टिंग रणनीतियां उन्हें कम कर सकती हैं।

कार्यप्रणाली (Methodology): SpurLens पाइपलाइन

यह शोध पत्र SpurLens पेश करता है, जो एक स्वचालित, अनसुपरवाइज्ड पाइपलाइन है जिसे स्प्यूरियस विजुअल क्यूज़ की पहचान करने और MLLM प्रदर्शन पर उनके प्रभाव को मापने के लिए डिज़ाइन किया गया है। यह पाइपलाइन तीन मुख्य चरणों में कार्य करती है:

1. स्प्यूरियस फीचर्स का प्रस्ताव देना (Proposing Spurious Features):

   • एक दिए गए टारगेट ऑब्जेक्ट $t$ के लिए, सिस्टम GPT-4 का उपयोग करके संभावित स्प्यूरियस क्यूज़ (ऑब्जेक्ट्स या बैकग्राउंड एलिमेंट्स) की एक सूची तैयार करता है जो $t$ के साथ सामान्य रूप से सह-अस्तित्व (co-occur) में रहते हैं।
   • यह उत्पन्न सूची GPT-4 के माध्यम से कठोर फ़िल्टरिंग से गुजरती है ताकि यह सुनिश्चित किया जा सके कि फीचर्स:
     • भौतिक और दृश्य रूप से पहचानने योग्य हों।
     • टारगेट ऑब्जेक्ट का हिस्सा न हों (जैसे, "लैपटॉप" के लिए "स्क्रीन" एक क्यू नहीं है)।
     • टारगेट ऑब्जेक्ट से अविभाज्य न हों।
     • ओपन-सेट ऑब्जेक्ट डिटेक्टर्स द्वारा पता लगाने योग्य हों।

2. इमेज की पहचान और रैंकिंग (Identifying and Ranking Images):

   • एक ओपन-सेट ऑब्जेक्ट डिटेक्टर (OWLv2) का उपयोग प्रस्तावित स्प्यूरियस फीचर्स की उपस्थिति को स्कैन करने के लिए एक बड़े इमेज डेटासेट पर किया जाता है।
   • इमेज को डिटेक्टेड स्प्यूरियस क्यूज़ के कॉन्फिडेंस स्कोर के आधार पर रैंक किया जाता है। यह प्रत्येक फीचर के लिए एक "स्पुरियोसिटी" (spuriosity) रैंकिंग बनाता है, जिससे सिस्टम उच्चतम उपस्थिति (Top-K) और न्यूनतम उपस्थिति (Bottom-K) वाले इमेज चुन सकता है।

3. स्प्यूरियस गैप की गणना (Computing Spurious Gaps):

   • रैंक किए गए इमेजेस को बाइनरी प्रॉम्प्ट्स (जैसे, "क्या इस इमेज में [target object] है?") के साथ लक्षित MLLM में फीड किया जाता है।
   • दो मुख्य मेट्रिक्स की गणना की जाती है:
     • परसेप्शन एक्यूरेसी (PA) गैप: स्प्यूरियस क्यू वाले इमेजेस और बिना क्यू वाले इमेजेस के बीच रिकग्निशन एक्यूरेसी का अंतर। एक बड़ा सकारात्मक गैप पहचान के लिए क्यू पर अत्यधिक निर्भरता को दर्शाता है।
     • हैलुसिनेशन रेट (HR) गैप: क्यू वाले इमेजेस और बेसलाइन इमेजेस के बीच हैलुसिनेशन रेट (फॉल्स पॉजिटिव्स) का अंतर। एक बड़ा सकारात्मक गैप इंगित करता है कि क्यू हैलुसिनेशन को ट्रिगर करता है।
   • वह फीचर जो सबसे बड़ा गैप देता है, उसे उस क्लास के लिए सबसे प्रभावशाली स्प्यूरियस क्यू के रूप में पहचाना जाता है।

मुख्य योगदान (Key Contributions)

• स्वचालित खोज (Automated Discovery): मानव एनोटेशन या फिक्स्ड फीचर सेट्स की आवश्यकता वाली पूर्ववर्ती विधियों के विपरीत, SpurLens बिना किसी मानव पर्यवेक्षण के वस्तुओं और डेटासेट्स की एक विस्तृत श्रृंखला में व्याख्या योग्य (interpretable) स्प्यूरियस क्यूज़ की स्वचालित खोज करता है।
• दोहरी विफलता मोड विश्लेषण (Dual Failure Mode Analysis): अध्ययन व्यवस्थित रूप से स्प्यूरियस बायस के कारण होने वाले दो अलग-अलग विफलता मोड को मापता है:
  1. ओवर-रिलायंस (Over-reliance): स्प्यूरियस क्यूज़ को हटाने पर प्रदर्शन में महत्वपूर्ण गिरावट आती है।
  2. हैलुसिनेशन एम्प्लीफिकेशन (Hallucination Amplification): स्प्यूरियस क्यूज़ बेसलाइन की तुलना में हैलुसिनेशन की दर को काफी बढ़ा देते हैं।
• डायग्नोस्टिक डेप्थ (Diagnostic Depth): फ्रेमवर्क एब्लेशन स्टडीज (ablation studies) के माध्यम से बायस के स्रोत को अलग करता है, यह जांचता है कि क्या बायस विजन एनकोडर, लैंग्वेज मॉडल, या फ्यूजन प्रक्रिया से उत्पन्न होता है, और विभिन्न शमन (mitigation) रणनीतियों की प्रभावकारका का परीक्षण करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन डेटासेट्स (HardImageNet, ImageNet Subset, और COCO) पर पांच MLLMs (Qwen2-VL, Qwen-3.5, Llama-3.2, LLaVA-v1.6, और GPT-4o-mini) का मूल्यांकन किया।

1. ऑब्जेक्ट रिकग्निशन फेल्योर (Object Recognition Failures)

• स्प्यूरियस क्यूज़ को हटाने से सभी मॉडल्स में एक्यूरेसी में महत्वपूर्ण गिरावट आती है।
• उदाहरण: COCO पर GPT-4o-mini की एक्यूरेसी क्यूज़ के साथ 88.0% से घटकर क्यूज़ के बिना 67.6% हो गई, जो कि 20.4% की कमी है।
• गिरावट का परिमाण मॉडल और डेटासेट के अनुसार भिन्न होता है, जिसमें LLaVA-v1.6 ने COCO पर 16.0% का गैप दिखाया।

2. ऑब्जेक्ट हैलुसिनेशन (Object Hallucination)

• स्प्यूरियस क्यूज़ हैलुसिनेशन रेट को नाटकीय रूप से बढ़ा देते हैं।
• उदाहरण: COCO में, GPT-4o-mini के लिए हैलुसिनेशन रेट बिना क्यू के 1.4% से बढ़कर क्यू के साथ 11.2% हो गया, जो कि 9.8x की वृद्धि है।
• ImageNet सबसेट में, यह वृद्धि और भी अधिक स्पष्ट थी, जहाँ कुछ मॉडल्स ने स्प्यूरियस क्यूज़ की उपस्थिति में हैलुसिनेशन रेट में 18 गुना तक की वृद्धि दिखाई।

3. एब्लेशन स्टडीज और शमन (Ablation Studies & Mitigation)

• टोकन ड्रॉपिंग (Token Dropping): भले ही टारगेट ऑब्जेक्ट से संबंधित विजुअल टोकन को कृत्रिम रूप से हटा दिया गया था, मॉडल अभी भी उच्च दरों पर ऑब्जेक्ट की उपस्थिति का हैलुसिनेशन करते रहे (जैसे, कुछ मॉडल्स के लिए HR > 30%), जो सुझाव देता है कि बायस केवल विजुअल साक्ष्य पर निर्भर नहीं है।
• विजन एनकोडर आइसोलेशन (Vision Encoder Isolation): केवल विजन एनकोडर एम्बेडिंग्स पर बाइनरी क्लासिफायर ट्रेन करने से महत्वपूर्ण स्प्यूरियस गैप का पता चला, जो इंगित करता है कि बायस लैंग्वेज मॉडल से स्वतंत्र, विजुअल रिप्रेजेंटेशन के भीतर ही मौजूद है।
• प्रॉम्प्टिंग रणनीतियाँ (Prompting Strategies): लेखकों ने प्रॉम्प्ट एनसेम्बलिंग (prompt ensembling), चेन-ऑफ-थॉट (CoT) रीजनिंग, और मॉडल को संभावित स्प्यूरियस क्यूज़ के बारे में स्पष्ट रूप से सूचित करने सहित कई शमन तकनीकों का परीक्षण किया।
  • परिणाम: जबकि कुछ रणनीतियों ने मामूली स्थितिजन्य सुधार प्रदान किए, किसी ने भी स्प्यूरियस गैप को महत्वपूर्ण रूप से कम नहीं किया। यहाँ तक कि SpurLens द्वारा पहचाने गए सटीक सबसे मजबूत स्प्यूरियस क्यू के साथ मॉडल को "चीटिंग" (धोखा देने) से भी बायस को खत्म करने में विफलता मिली।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि स्प्यूरियस बायस वर्तमान MLLMs में एक गहराई से जुड़ी, मौलिक समस्या है जो विभिन्न आर्किटेक्चर और डेटासेट्स में बनी रहती है। लेखक तर्क देते हैं कि:

1. वर्तमान MLLMs स्प्यूरियस कोरिलेशन के प्रति अत्यधिक संवेदनशील हैं, जिससे रिकग्निशन और जनरेशन दोनों में व्यवस्थित विफलताएं होती हैं।
2. सरल शमन रणनीतियां अपर्याप्त हैं। लैंग्वेज-आधारित हस्तक्षेप (प्रॉम्प्टिंग) स्प्यूरियस क्यूज़ पर निर्भरता को पूरी तरह से हल नहीं कर सकते, क्योंकि बायस विजन एनकोडर के फीचर स्पेस में समाहित प्रतीत होता है।
3. कठोर मूल्यांकन की आवश्यकता है। इन पूर्वाग्रहों की निरंतरता वर्तमान प्रॉम्प्टिंग तकनीकों से परे अधिक मजबूत मूल्यांकन विधियों और शमन रणनीतियों की मांग करती है ताकि वास्तविक दुनिया के अनुप्रयोगों में MLLMs की विश्वसनीयता सुनिश्चित की जा सके।

अध्ययन निष्कर्ष निकालता है कि SpurLens इन विफलताओं के निदान के लिए एक स्केलेबल, व्याख्या योग्य टूल प्रदान करता है, लेकिन मूल कारणों के लिए मॉडल प्रॉम्प्टिंग के सतही समायोजन से कहीं अधिक की आवश्यकता है।