← नवीनतम पेपर
💬 NLP

A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models

यह शोधपत्र आंशिक सूचना अपघटन (पार्शियल इंफॉर्मेशन डिकंपोजिशन) का उपयोग करने वाले एक नवीन ढांचे को प्रस्तुत करता है जो 26 बड़े विजन-लैंग्वेज मॉडलों की आंतरिक निर्णय लेने की प्रक्रियाओं का मात्रात्मक विश्लेषण करता है, जो विशिष्ट कार्य व्यवस्थाओं (टास्क रेजीम्स), विपरीत परिवार-स्तरीय रणनीतियों और वास्तविक मल्टीमॉडल फ्यूजन प्राप्त करने में विजुअल इंस्ट्रक्शन ट्यूनिंग की महत्वपूर्ण भूमिका को प्रकट करता है।

मूल लेखक: Lixin Xiu, Xufang Luo, Hideki Nakayama

प्रकाशित 2026-04-01
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Lixin Xiu, Xufang Luo, Hideki Nakayama

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक रहस्य सुलझाने के लिए दो विशेषज्ञों की एक टीम है: द विजुअल डिटेक्टिव (The Visual Detective) (जो चित्र देखता है) और द वर्ड विजार्ड (The Word Wizard) (जो भाषा जानता है)। साथ मिलकर, वे एक लार्ज विजन-लैंग्वेज मॉडल (LVLM) बनाते हैं, जो एक सुपर-स्मार्ट AI है जो किसी चित्र को देख सकता है और उसके बारे में उत्तर दे सकता है।

लंबे समय तक, हमें केवल यह पता चलता था कि ये AI "अच्छे" हैं या "बुरे" उनके अंतिम स्कोर (सटीकता) के आधार पर। लेकिन हमें यह नहीं पता था कि वे समस्याओं को कैसे हल करते हैं। क्या उन्होंने वास्तव में चित्र और शब्दों को मिलाकर एक नई समझ बनाई? या उन्होंने केवल चित्र को अनदेखा कर दिया और अपनी पढ़ी हुई किताबों से जो पहले से जानते थे, उसके आधार पर अनुमान लगा लिया?

यह शोध पत्र एक नया "एक्स-रे मशीन" पेश करता है जिसे PID (पार्शियल इंफॉर्मेशन डीकंपोजिशन) कहा जाता है, ताकि AI के मस्तिष्क के अंदर झाँका जा सके और यह देखा जा सके कि वह वास्तव में जानकारी का उपयोग कैसे करता है।

यहाँ सरल उपमाओं का उपयोग करके उनके निष्कर्षों का विवरण दिया गया है:

1. "मस्तिष्क की शक्ति" के चार प्रकार

शोधकर्ताओं ने AI के निर्णय लेने की प्रक्रिया को चार अवयवों में विभाजित किया:

  • रिडंडेंसी (The Echo - गूँज): चित्र और पाठ दोनों एक ही बात कहते हैं। (उदाहरण के लिए, चित्र एक बिल्ली दिखाता है, और पाठ कहता है "एक बिल्ली।" वे बस एक-दूसरे को दोहरा रहे हैं।)
  • विजुअल यूनिकनेस (The Eye - आँख): केवल चित्र उत्तर देता है। (उदाहरण के लिए, "शर्ट का रंग क्या है?" पाठ में यह नहीं बताया गया है, इसलिए AI को चित्र को देखना ही होगा।)
  • लैंग्वेज यूनिकनेस (The Memory - स्मृति): केवल पाठ (या AI का प्रशिक्षण) उत्तर देता है। (उदाहरण के लिए, "राष्ट्रपति कौन हैं?" चित्र अप्रासंगिक है; AI इसे अपनी स्मृति से निकाल लेता है।)
  • सिनर्जी (The Magic Spark - जादुई चमक): यह सबसे महत्वपूर्ण हिस्सा है। यह तब होता है जब चित्र और पाठ मिलकर एक ऐसा उत्तर बनाते हैं जो अकेले उनमें से कोई भी नहीं दे सकता था। यह आटे और पानी को मिलाकर आटा बनाने जैसा है; आप केवल आटे या केवल पानी से आटा प्राप्त नहीं कर सकते।

2. कार्यों के दो प्रकार (The "Menu" - मेनू)

शोधकर्ताओं ने पाया कि अलग-अलग प्रश्न AI को अलग-अलग रणनीतियाँ उपयोग करने के लिए मजबूर करते हैं:

  • "मैजिक स्पार्क" कार्य (Synergy-Driven - सिनर्जी द्वारा संचालित): ये वे पहेलियाँ हैं जहाँ आपको इसे हल करने के लिए चित्र और पाठ दोनों की आवश्यकता होती है।
    • उदाहरण: "क्या कुत्ता लाल कुर्सी पर बैठा है?"
    • परिणाम: यहाँ सबसे अच्छे AI मॉडल वे हैं जो एक मजबूत "सिनर्जी" चमक पैदा करते हैं। वे वास्तव में दोनों इनपुट को आपस में मिलाते हैं।
  • "मेमोरी बुक" कार्य (Knowledge-Driven - ज्ञान द्वारा संचालित): ये वे प्रश्न हैं जहाँ उत्तर ज्यादातर AI के दिमाग में है, और चित्र केवल सजावट है।
    • उदाहरण: "टूटी हुई हड्डी के लिए चिकित्सा शब्द क्या है?" (भले ही चित्र में एक टूटी हुई हड्डी दिखाई दे रही हो, AI को अपने आंतरिक मेडिकल डिक्शनरी की आवश्यकता होगी)।
    • परिणाम: यहाँ, "लैंग्वेज यूनिकनेस" (स्मृति) मुख्य भूमिका निभाती है। चित्र बहुत कम मूल्य जोड़ता है।

3. AI परिवारों के दो प्रकार (The "Personalities" - व्यक्तित्व)

इंसानों की तरह, विभिन्न AI परिवारों के अलग-अलग व्यक्तित्व होते हैं:

  • "फ्यूजन" परिवार (जैसे Qwen, InternVL): ये मॉडल सच्चे जासूसों की तरह हैं। उन्हें सुरागों को मिलाना पसंद है। भले ही उत्तर पाठ से स्पष्ट हो, फिर भी वे दोबारा जांच करने के लिए चित्र को देखने की कोशिश करते हैं। वे उस "मैजिक स्पार्क" (सिनर्जी) पर बहुत अधिक भरोसा करते हैं।
  • "लैंग्वेज-सेंट्रिक" परिवार (जैसे Gemma, Cambrian): ये मॉडल किताबी कीड़ों की तरह हैं। वे चित्र की तुलना में अपने आंतरिक ज्ञान आधार पर अधिक भरोसा करते हैं। यदि वे अपने प्रशिक्षण से उत्तर जानते हैं, तो वे पूरी तरह से चित्र को अनदेखा कर सकते हैं। वे "लैंग्वेज यूनिकनेस" पर निर्भर रहते हैं।

4. AI कैसे सीखता है (The "School Years" - स्कूली वर्ष)

शोधकर्ताओं ने एक AI को शुरुआत से सीखते हुए देखा, जैसे किसी छात्र को बड़ा होते हुए देखना:

  • चरण 1 (अलाइनमेंट): AI चित्रों को शब्दों के साथ मिलाना सीखता है, लेकिन यह अभी वास्तव में "सोच" नहीं रहा है। यह बस यह याद कर रहा है कि कुत्ते के चित्र के साथ अक्सर "कुत्ता" शब्द आता है।
  • चरण 2 (इंस्ट्रक्शन ट्यूनिंग): यह "आहा!" वाला क्षण है। जब AI को निर्देश मिलने लगते हैं (जैसे "इस चित्र के आधार पर इस प्रश्न का उत्तर दें"), तो सिनर्जी (मैजिक स्पार्क) अचानक विस्फोट के साथ बढ़ जाती है। यह वह विशिष्ट चरण है जहाँ AI वास्तव में दोनों इनपुट को एक साथ मिलाना सीखता है।

5. परत-दर-परत यात्रा (The "Assembly Line" - असेंबली लाइन)

AI के भीतर, प्रसंस्करण की कई परतें (एक फैक्ट्री लाइन के स्टेशनों की तरह) होती हैं। शोधकर्ताओं ने एक सुसंगत पैटर्न पाया:

  1. प्रारंभिक परतें: AI कच्चा डेटा एकत्र करता है।
  2. मध्य परतें: AI अपने भाषाई ज्ञान का उपयोग करके अपना उत्तर बनाना शुरू करता है (प्रश्न को पढ़ना)।
  3. अंतिम परत: यह चरमोत्कर्ष है! बिल्कुल अंतिम चरण में, AI अंतिम निर्णय लेने के लिए भाषा को चित्र के साथ अचानक जोड़ देता है। यह एक शेफ द्वारा सूप चखने और परोसने से ठीक पहले उसमें नमक का अंतिम चुटकी डाल देने जैसा है।

यह क्यों मायने रखता है?

इस शोध पत्र से पहले, हम केवल यह जानते थे कि एक AI उत्तर सही देता है या नहीं। अब, हम जानते हैं कि उसने उत्तर कैसे प्राप्त किया।

  • यदि कोई AI चित्र को अनदेखा करके और स्मृति से अनुमान लगाकर "मैजिक स्पार्क" कार्य को सही करता है, तो वह वास्तव में "चीटिंग" (धोखाधड़ी) कर रहा है (वह वास्तव में मल्टीमॉडल नहीं है)।
  • यदि कोई AI "मेमोरी" कार्य को चित्र देखकर सही करता है, तो वह भ्रमित हो सकता है।

यह नया "एक्स-रे" वैज्ञानिकों को भविष्य में बेहतर AI बनाने में मदद करता है। अब वे AI को एक बेहतर "फ्यूजन" जासूस या एक बेहतर "मेमोरी" विद्वान बनाने के लिए उसे ट्यून कर सकते हैं, जो भी काम उन्हें चाहिए। यह हमें केवल यह पूछने से कि "क्या यह स्मार्ट है?" से आगे ले जाता है कि "क्या यह सही तरीके से स्मार्ट है?"

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →