🤖 AI

XModBench: Benchmarking Cross-Modal Capabilities and Consistency in Omni-Language Models

यह शोधपत्र XModBench प्रस्तुत करता है, जो ओम्नी-लैंग्वेज मॉडल्स (Omni-Language Models) में क्रॉस-मोडलिटी निरंतरता का मूल्यांकन करने के लिए डिज़ाइन किया गया एक बड़े पैमाने का ट्राइ-मोडल बेंचमार्क है, जो यह प्रकट करता है कि जेमिनी 2.5 प्रो (Gemini 2.5 Pro) जैसे अत्याधुनिक मॉडल्स भी मोडैलिटी-इनवेरिएंट रीजनिंग (modality-invariant reasoning) में संघर्ष करते हैं, विभिन्न मोडैलिटीज के बीच महत्वपूर्ण प्रदर्शन अंतराल प्रदर्शित करते हैं, और व्यवस्थित दिशात्मक असंतुलन दिखाते हैं।

मूल लेखक: Xingrui Wang, Jiang Liu, Chao Huang, Xiaodong Yu, Ze Wang, Ximeng Sun, Jialian Wu, Alan Yuille, Emad Barsoum, Zicheng Liu

प्रकाशित 2026-04-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xingrui Wang, Jiang Liu, Chao Huang, Xiaodong Yu, Ze Wang, Ximeng Sun, Jialian Wu, Alan Yuille, Emad Barsoum, Zicheng Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखा रहे हैं। आप उसे एक कुत्ते की तस्वीर दिखाते हैं, कुत्ते के भौंकने की रिकॉर्डिंग सुनाते हैं, और "कुत्ता भौंक रहा है" शब्द लिखते हैं। एक वास्तव में बुद्धिमान रोबोट को यह समझ जाना चाहिए कि ये तीनों चीजें बिल्कुल एक ही अर्थ रखती हैं, चाहे उन्हें किसी भी रूप में प्रस्तुत किया जाए।

यह XModBench के पीछे का मूल विचार है, जो ओमनी-लैंग्वेज मॉडल्स (Omni-Language Models) नामक अगली पीढ़ी के AI मॉडल्स के लिए एक नया "रिपोर्ट कार्ड" है। ये सुपर-स्मार्ट AI हैं जो एक साथ देख, सुन और पढ़ सकते हैं।

यहाँ इस पेपर का एक सरल विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है:

1. समस्या: "फैशन-फॉरवर्ड" रोबोट

वर्तमान AI मॉडल एक ऐसे छात्र की तरह हैं जो पाठ्यपुस्तक पढ़ने में तो बहुत अच्छा है लेकिन लेक्चर सुनने या डायग्राम देखने में बहुत खराब है। यदि आप उनसे टेक्स्ट (पाठ) का उपयोग करके कोई प्रश्न पूछते हैं, तो वे सही उत्तर दे सकते हैं, लेकिन यदि आप उनसे वही सटीक प्रश्न ऑडियो या तस्वीर के माध्यम से पूछते हैं, तो वे गलत हो सकते हैं।

वे वास्तव में "कुत्ते" की अवधारणा को नहीं समझ रहे हैं; वे बस यह याद रख रहे हैं कि शब्द "कुत्ता" आमतौर पर उत्तर के पास आता है। वे इस बात के प्रति पक्षपाती हैं कि जानकारी किस तरह से दी जा रही है।

2. समाधान: "स्वैपिंग गेम" (XModBench)

शोधकर्ताओं ने एक विशाल परीक्षण बनाया जिसे XModBench कहा जाता है, ताकि यह देखा जा सके कि ये रोबोट वास्तव में स्मार्ट हैं या केवल फॉर्मेट के आधार पर अनुमान लगाने में अच्छे हैं।

XModBench को एक जादुई दर्पण खेल की तरह समझें।

सेटअप: वे एक ही प्रश्न लेते हैं (जैसे, "यह आवाज़ किस जानवर की है?")।
ट्विस्ट: वे इस खेल को छह अलग-अलग तरीकों से खेलते हैं:
1. एक तस्वीर दिखाएं, टेक्स्ट उत्तर मांगें।
2. एक ध्वनि सुनाएं, टेक्स्ट उत्तर मांगें।
3. एक तस्वीर दिखाएं, साउंड उत्तर मांगें।
4. एक ध्वनि सुनाएं, पिक्चर उत्तर मांगें।
5. और इसी तरह...

यदि AI वास्तव में स्मार्ट है, तो उसे हर बार सही उत्तर देना चाहिए, चाहे वह देख रहा हो, सुन रहा हो या पढ़ रहा हो। यदि वह पढ़ते समय सही उत्तर देता है लेकिन सुनते समय गलत हो जाता है, तो यह परीक्षण उसके मस्तिष्क में एक "ग्लिच" (खराबी) को उजागर कर देता है।

3. टेस्ट सब्जेक्ट्स: 61,000 प्रश्न

शोधकर्ताओं ने केवल कुछ ही प्रश्न नहीं पूछे। उन्होंने जीवन के पांच विभिन्न क्षेत्रों को कवर करने वाला 61,320 प्रश्नों का एक विशाल पुस्तकालय बनाया है:

परसेप्शन (अनुभूति): सरल चीजों को पहचानना (क्या वह बिल्ली है या कुत्ता?)।
स्पेशियल रीजनिंग (स्थानिक तर्क): चीजें कहाँ हैं यह समझना (क्या कार बाईं ओर जा रही है या दाईं ओर?)।
टेम्पोरल रीजनिंग (सामयिक तर्क): समय और क्रम को समझना (क्या कुत्ता कार के हॉर्न बजने से पहले भौंका या बाद में?)।
लैंग्वेज (भाषा): अनुवाद करना या भाषण में भावनाओं को समझना।
एक्सटर्नल नॉलेज (बाहरी ज्ञान): दुनिया के तथ्यों के बारे में जानना (यह गायक कौन है? यह पोस्टर किस फिल्म का है?)।

4. परिणाम: "ईमानदार रिपोर्ट कार्ड"

जब उन्होंने शीर्ष AI मॉडल्स (जैसे गूगल का जेमिनी) को इस परीक्षण से गुजारा, तो परिणाम आंखें खोल देने वाले थे:

अच्छी खबर: AI मॉडल्स तस्वीरें या टेक्स्ट दिखाने पर चीजों को पहचानने में बहुत अच्छे होते जा रहे हैं। वे बेहतरीन पाठक की तरह हैं।
बुरी खबर: वे सुनने में बहुत खराब हैं। जब प्रश्न ऑडियो के रूप में आया, तो उनके प्रदर्शन में काफी गिरावट आई। यह एक ऐसे छात्र की तरह है जो लिखित परीक्षा में तो टॉप करता है लेकिन जब शिक्षक उनसे बोलकर कोई समस्या हल करने को कहता है, तो फेल हो जाता है।
"डायरेक्शनल" दोष: AI के पास सूचना को प्रोसेस करने का एक अजीब पूर्वाग्रह भी है। वे एक तस्वीर देखकर टेक्स्ट का अनुमान लगाने में बहुत अच्छे हैं, लेकिन टेक्स्ट पढ़कर तस्वीर का अनुमान लगाने में बहुत खराब हैं। यह ऐसा है जैसे उनका दिमाग "दाएं हाथ" के अनुकूल है और जब उन्हें अपने "बाएं हाथ" का उपयोग करना पड़ता है, तो वे संघर्ष करते हैं।

5. यह क्यों महत्वपूर्ण है?

यह पेपर इसलिए महत्वपूर्ण है क्योंकि यह हमें केवल AI के "औसत स्कोर" को देखने से रोकता है। पहले, यदि कोई AI 80% सही था, तो हम सोचते थे कि वह स्मार्ट है। अब, XModBench हमें दिखाता है कि शायद वह तस्वीरों पर 95% सही था लेकिन ध्वनियों पर केवल 40% सही था।

बड़ी सीख:
हम "ओमनी" मॉडल्स (जो सब कुछ कर सकते हैं) बना रहे हैं, लेकिन अभी वे "यूनि" मॉडल्स (जो केवल एक या दो चीजों में अच्छे हैं) की तरह अधिक हैं। XModBench वह उपकरण है जिसकी हमें इसे ठीक करने के लिए आवश्यकता है, जो डेवलपर्स को अपने AI को वास्तव में सुसंगत बनाने के लिए मजबूर करता है, ताकि वे पिक्सेल, तरंगों और शब्दों के पीछे की दुनिया को समझ सकें।

संक्षेप में: XModBench AI के लिए अंतिम "झूठ पकड़ने वाला यंत्र" है, जो यह सुनिश्चित करता है कि वे केवल पैटर्न को याद नहीं कर रहे हैं, बल्कि पिक्सेल, लहरों और शब्दों के पीछे की दुनिया को वास्तव में समझ रहे हैं।

यहाँ शोध पत्र XMODBENCH: Benchmarking Cross-Modal Capabilities and Consistency in Omni-Language Models का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ओम्नी-मोडल लार्ज लैंग्वेज मॉडल्स (OLLMs) का लक्ष्य एक ही ढांचे के भीतर टेक्स्ट, विजन और ऑडियो की समझ को एकीकृत करना है। जबकि मौजूदा बेंचमार्क सामान्य क्रॉस-मोडल प्रश्न-उत्तर (QA) प्रदर्शन का मूल्यांकन करते हैं, वे एक महत्वपूर्ण कमी को संबोधित करने में विफल रहते हैं: क्रॉस-मोडल निरंतरता (cross-modal consistency)।

वर्तमान शोध पर्याप्त रूप से यह निर्धारित नहीं करता है कि क्या OLLMs के पास मोडालिटी-इनवेरिएंट रीजनिंग (modality-invariant reasoning) है। विशेष रूप से, यह स्पष्ट नहीं है कि क्या मॉडल एक ही अर्थपूर्ण सामग्री (semantic content) को विभिन्न रूपों (जैसे, बोले गए ऑडियो बनाम लिखित टेक्स्ट बनाम दृश्य छवि) में प्रस्तुत किए जाने पर एक ही सही उत्तर पर अभिसरण (converge) करते हैं। मौजूदा बेंचमार्क अक्सर संदर्भ या उम्मीदवारों को एक ही मोडालिटी तक सीमित रखते हैं, या वे केवल विशिष्ट जोड़ों (जैसे, विजन-टेक्स्ट) का मूल्यांकन करते हैं, जिससे मॉडल्स के व्यवस्थित पूर्वाग्रहों (systematic biases) और दिशात्मक असंतुलन (directional imbalances) को मापा नहीं जा पाता।

2. कार्यप्रणाली: XModBench डिज़ाइन (Methodology: XModBench Design)

लेखक XModBench पेश करते हैं, जो एक बड़े पैमाने का, ट्राई-मोडल (tri-modal) बेंचमार्क है जिसे विशेष रूप से एक संतुलित, नियंत्रित प्रयोगात्मक डिज़ाइन के माध्यम से क्रॉस-मोडल निरंतरता को मापने के लिए डिज़ाइन किया गया है।

A. डेटा निर्माण (Data Construction)

पैमाना (Scale): 10,220 अद्वितीय अर्थपूर्ण उदाहरणों (semantic instances) से प्राप्त 61,320 बहुविकल्पीय प्रश्न-उत्तर जोड़े।
ट्राई-मोडल संरेखण (Tri-Modal Alignment): प्रत्येक उदाहरण को संरेखित Text-Image-Audio ट्रिपलेट्स से बनाया गया है।
मोडालिटी परम्यूटेशन (Modality Permutation): निरंतरता का परीक्षण करने के लिए, प्रत्येक अर्थपूर्ण उदाहरण को इनपुट संदर्भ और कैंडिडेट मोडालिटीज को बदलकर छह अलग-अलग मोडालिटी कॉन्फ़िगरेशन में स्थापित किया गया है:
1. Audio $\to$ Text
2. Audio $\to$ Vision
3. Text $\to$ Audio
4. Text $\to$ Vision
5. Vision $\to$ Audio
6. Vision $\to$ Text
डेटा स्रोत (Data Sources): पुन: एनोटेट किए गए सार्वजनिक डेटासेट्स (जैसे, VGG-Sound, STARSS23), सिंथेटिक जनरेशन (TTS और रेंडरिंग टूल्स का उपयोग करके), और वेब-संग्रहित डेटा (YouTube, IMDb) का संयोजन।
गुणवत्ता नियंत्रण (Quality Control): LLM-आधारित फ़िल्टरिंग और मानव-इन-द-लूप सत्यापन वाली एक पाइपलाइन उच्च-गुणवत्ता वाले, स्पष्ट रूप से भ्रामक विकल्पों (unambiguous distractors) को सुनिश्चित करती है।

B. टास्क टैक्सोनॉमी (Task Taxonomy)

यह बेंचमार्क पाँच टास्क फैमिली और 17 सबटास्क में फैला हुआ है:

परसेप्शन (Perception): वस्तुओं/गतिविधियों की पहचान (सामान्य, सूक्ष्म-स्तर, प्राकृतिक वातावरण, उपकरण, उपकरण संरचना)।
स्पेशियल रीजनिंग (Spatial Reasoning): 2D व्यवस्था, 3D स्थानीयकरण, 3D गति।
टेम्पोरल रीजनिंग (Temporal Reasoning): घटना क्रम, टेम्पोरल काउंटिंग, टेम्पोरल कैलकुलेशन।
भाषाई समझ (Linguistic Understanding): पहचान (OCR/ASR), अनुवाद (अंग्रेजी-चीनी), भावना वर्गीकरण।
बाहरी ज्ञान (External Knowledge): मूवी पहचान, संगीत शैली वर्गीकरण, गायक की पहचान।

C. डायग्नोस्टिक मेट्रिक्स (Diagnostic Metrics)

XModBench सरल सटीकता से परे मॉडल व्यवहार का निदान करने के लिए तीन विशिष्ट मेट्रिक्स पेश करता है:

टास्क कॉम्पिटेंस (Task Competence): एक विशिष्ट कार्य के लिए सभी छह मोडालिटी दिशाओं में औसत सटीकता।
मोडालिटी डिस्पैरिटी ( $\Delta$ ) (Modality Disparity): जब एक ही प्रश्न अलग-अलग इनपुट मोडालिटीज के साथ पूछा जाता है (जैसे, ऑडियो संदर्भ बनाम विजन संदर्भ), तो प्रदर्शन के अंतर को मापता है। उच्च डिस्पैरिटी साझा अर्थों के बजाय मोडालिटी-विशिष्ट संकेतों पर निर्भरता को दर्शाती है।
डायरेक्शनल इम्बैलेंस ( $\Delta_{X \leftrightarrow Y}$ ) (Directional Imbalance): विपरीत सेटिंग्स के बीच विषमता को मापता है (जैसे, Vision $\to$ Text बनाम Text $\to$ Vision)। बड़े अंतर यह सुझाव देते हैं कि मॉडल एक विशिष्ट दिशा की ओर पक्षपाती है (जैसे, टेक्स्ट को प्राथमिक आउटपुट मोडालिटी के रूप में मानना)।

3. मुख्य योगदान (Key Contributions)

प्रथम ट्राई-मोडल निरंतरता बेंचमार्क: XModBench पहला बेंचमार्क है जो ऑडियो, विजन और टेक्स्ट के बीच सभी छह क्रॉस-मोडल दिशाओं को व्यवस्थित रूप से कवर करता है।
व्यापक कवरेज: यह 61k+ नमूनों के साथ पाँच विविध डोमेन में फैला हुआ है, जो विशिष्ट कमजोरियों (जैसे, स्पेशियल रीजनिंग बनाम परसेप्शन) के सूक्ष्म निदान को सक्षम बनाता है।
नया डायग्नोस्टिक फ्रेमवर्क: यह Modality Disparity और Directional Imbalance को परिभाषित और परिमाणित करता है, जो मॉडल की मजबूती और संरेखण के बारे में कार्रवाई योग्य अंतर्दृष्टि प्रदान करता है।
ओपन रिसोर्सेज: भविष्य के अनुसंधान को सुगम बनाने के लिए डेटासेट, कोड और मूल्यांकन उपकरण जारी किए गए हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने अत्याधुनिक क्लोज्ड-सोर्स मॉडल्स (Gemini 1.5 Pro, 2.0 Flash, 2.5 Pro) और ओपन-सोर्स मॉडल्स (Qwen2.5-Omni, EchoInk-R1, Baichuan Omni 1.5, आदि) का मूल्यांकन किया।

A. समग्र प्रदर्शन (Overall Performance)

शीर्ष प्रदर्शन करने वाले: Gemini 2.5 Pro ने उच्चतम औसत सटीकता (70.6%) और स्थिरता (Std. 11.7) का सर्वश्रेष्ठ संतुलन हासिल किया।
ओपन-सोर्स गैप: जबकि Qwen2.5-Omni और EchoInk-R1 जैसे मॉडल परसेप्शन और भाषाई कार्यों पर अच्छा प्रदर्शन करते हैं, वे एक्सटर्नल नॉलेज और स्पेशियल/टेम्पोरल रीजनिंग में क्लोज्ड-सोर्स मॉडल्स से काफी पीछे हैं।

B. निरंतरता पर मुख्य निष्कर्ष (Key Findings on Consistency)

स्पेशियल और टेम्पोरल रीजनिंग कमजोर हैं: सबसे अच्छा मॉडल (Gemini 2.5 Pro) भी इन कार्यों में संघर्ष करता है, जो परसेप्शन और भाषाई कार्यों (~76%) की तुलना में <60% सटीकता (स्पेशियल के लिए 50.1%, टेम्पोरल के लिए 60.8%) प्राप्त करता है।
ऑडियो सबसे कमजोर कड़ी है: मॉडल्स में महत्वपूर्ण Modality Disparity दिखाई देती है। टेक्स्ट या विजन की तुलना में ऑडियो शामिल होने पर प्रदर्शन काफी गिर जाता है। Gemini 2.5 Pro के लिए, ऑडियो और टेक्स्ट के बीच का अंतर ( $\Delta_{T \text{ vs } A}$ ) -49 अंक था, जो दर्शाता है कि मॉडल ऑडियो इनपुट से तर्क करने में बहुत कम सक्षम हैं।
डायरेक्शनल इम्बैलेंस: मॉडल्स व्यवस्थित विषमता दिखाते हैं। उदाहरण के लिए, सटीकता लगातार तब अधिक होती है जब टेक्स्ट कैंडिडेट (आउटपुट) के रूप में होता है, बजाय इसके कि वह संदर्भ के रूप में हो। Vision $\to$ Text अक्सर Text $\to$ Vision की तुलना में काफी बेहतर प्रदर्शन करता है (जैसे, Gemini 2.5 Pro के लिए 8.8 अंक)।
इंटरलीव्ड डेटा असंतुलन को कम करता है: विशाल इंटरलीव्ड मल्टीमॉडल कॉर्पोरा (जैसे, Gemini 2.5 और Qwen2.5-Omni) पर प्रशिक्षित मॉडल गैर-इंटरलीव्ड डेटा वाले मॉडल्स की तुलना में कम डायरेक्शनल इम्बैलेंस दिखाते हैं, जो सुझाव देता है कि मिश्रित-मोडल प्रशिक्षण सममित क्रॉस-मोडल ब्रिज बनाने में मदद करता है।
पोस्ट-ट्रेनिंग जोखिम: विशिष्ट डेटासेट्स (जैसे, स्पोकन इंस्ट्रक्शन्स) पर फाइन-ट्यूनिंग करने से क्रॉस-मोडल संरेखण बिगड़ सकता है, जैसा कि EchoInk-R1 में देखा गया, जिसने अपने बेस मॉडल की तुलना में अधिक डिस्पैरिटी दिखाई, बावजूद इसके कि इसमें रीइन्फोर्समेंट लर्निंग का उपयोग किया गया था।

C. मल्टी-मोडल इनपुट (A+V)

जब डुअल-कॉन्टेक्स्ट सेटिंग (Audio + Vision $\to$ Text) का परीक्षण किया गया, तो मॉडल्स ने सर्वश्रेष्ठ सिंगल-मोडालिटी बेसलाइन की तुलना में केवल मामूली लाभ दिखाया। यह सुझाव देता है कि वर्तमान OLLMs अभी तक पूरक संकेतों (complementary signals) का पूरी तरह से लाभ नहीं उठा पा रहे हैं या तर्क में सुधार के लिए विषम मोडालिटीज को प्रभावी ढंग से फ्यूज नहीं कर पा रहे हैं।

5. महत्व और निष्कर्ष (Significance and Conclusion)

XModBench OLLMs के मूल्यांकन को "क्या यह उत्तर दे सकता है?" से बदलकर "क्या यह इनपुट के रूप की परवाह किए बिना लगातार तर्क करता है?" पर ले जाता है।

डायग्नोस्टिक वैल्यू: यह बेंचमार्क प्रकट करता है कि वर्तमान OLLMs वास्तव में मोडालिटी-इनवेरिएंट नहीं हैं। वे विशेष रूप से कुछ मोडालिटीज (विशेष रूप से टेक्स्ट) के सतही पैटर्न पर बहुत अधिक निर्भर करते हैं और ऑडियो तथा जटिल रीजनिंग कार्यों में संघर्ष करते हैं।
विकास के लिए मार्गदर्शन: इसके निष्कर्ष निम्नलिखित की आवश्यकता पर बल देते हैं:
- डायरेक्शनल बायस को कम करने के लिए बेहतर इंटरलीव्ड ट्रेनिंग डेटा।
- बेहतर ऑडियो रिप्रेजेंटेशन लर्निंग, क्योंकि ऑडियो अभी भी एक बाधा (bottleneck) बना हुआ है।
- उन्नत स्पेशियल और टेम्पोरल रीजनिंग क्षमताएं।
- सावधानीपूर्वक पोस्ट-ट्रेनिंग रणनीतियां जो प्री-ट्रेंड क्रॉस-मोडल संरेखण को नष्ट न करें।

लेखक निष्कर्ष निकालते हैं कि हालांकि OLLMs ने परसेप्शन और भाषा में प्रभावशाली प्रगति की है, लेकिन वास्तव में मोडालिटी-एग्नोस्टिक इंटेलिजेंस प्राप्त करने के लिए इन व्यवस्थित विसंगतियों को दूर करना आवश्यक है, जिसके लिए XModBench एक महत्वपूर्ण डायग्नोस्टिक टूल के रूप में कार्य करता है।