🤖 AI

Measuring What Matters Beyond Text: Evaluating Multimodal Summaries by Quality, Alignment, and Diversity

यह शोध पत्र MM-Eval प्रस्तुत करता है, जो एक एकीकृत ढांचा है जो विखंडित एकल-मोडल मूल्यांकन विधियों की सीमाओं को संबोधित करते हुए, तथ्यात्मक पाठ गुणवत्ता, छवि-पाठ संरेखण और दृश्य विविधता को मानव प्राथमिकताओं के अनुरूप एक एकल व्याख्या योग्य मीट्रिक में एकीकृत करके मल्टीमॉडल सारांशों का समग्र रूप से आकलन करता है।

मूल लेखक: Abid Ali, Diego Molla-Aliod, Usman Naseem

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abid Ali, Diego Molla-Aliod, Usman Naseem

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नए रेस्टोरेंट की समीक्षा कर रहे एक फूड क्रिटिक हैं। अतीत में, आलोचक शायद केवल सूप (टेक्स्ट) का स्वाद लेते या केवल गार्निश (इमेज) को देखते। वे सूप को एक स्कोर देते और गार्निश को एक स्कोर देते, लेकिन वे आपको यह नहीं बताते थे कि क्या गार्निश वास्तव में सूप से मेल खाता है या क्या सूप अपने अवयवों के बारे में झूठ बोल रहा है।

यह शोध पत्र, "Measuring What Matters Beyond Text," तर्क देता है कि निर्णय लेने का यह पुराना तरीका टूटा हुआ है। मैक्क्वेरी यूनिवर्सिटी के लेखकों ने "मल्टीमॉडल सारांशों" (Multimodal Summaries)—यानी वे समाचार कहानियाँ या लेख जो टेक्स्ट और चित्रों दोनों के साथ आते हैं—का मूल्यांकन करने के लिए MM-Eval नामक एक नई प्रणाली पेश की है।

यहाँ उनका नया सिस्टम कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए दिया गया है:

समस्या: "साइलो प्रभाव" (The "Silo Effect")

वर्तमान में, कंप्यूटर इन सारांशों का मूल्यांकन "साइलो" (अलग-अलग कमरों) में करते हैं:

टेक्स्ट रूम (Text Room): वे जाँचते हैं कि क्या शब्द एक संदर्भ कहानी से मेल खाते हैं। लेकिन यह इस बात की जाँच करने जैसा है कि क्या दो वाक्य समान शब्दों का उपयोग करते हैं, भले ही एक कहता हो "विरोध प्रदर्शन 3 मई को हुआ था" और दूसरा कहता हो "विरोध प्रदर्शन 5 मई को हुआ था।" कंप्यूटर देखता है कि वे 90% समान हैं और एक उच्च स्कोर देता है, भले ही तारीख गलत हो।
इमेज रूम (Image Room): वे जाँचते हैं कि क्या कंप्यूटर ने ठीक वही फोटो चुनी है जो एक इंसान ने चुनी थी। यदि एक इंसान ने बाईं ओर से भीड़ की फोटो चुनी, और कंप्यूटर ने उसी भीड़ की दाईं ओर से फोटो चुनी, तो कंप्यूटर शून्य स्कोर देगा, भले ही अर्थ एकदम सही हो।
लुप्त कड़ी (The Missing Link): पुराने सिस्टम यह जाँच नहीं करते कि क्या चित्र वास्तव में कहानी से मेल खाता है। आपके पास बाढ़ के बारे में एक बेहतरीन कहानी और एक धूप वाले समुद्र तट की बेहतरीन तस्वीर हो सकती है, और पुराना सिस्टम दोनों को अलग-अलग उच्च स्कोर देगा, यह चूकते हुए कि वे आपस में मेल नहीं खाते।

समाधान: MM-Eval (द "थ्री-लेग्ड स्टूल")

लेखकों ने MM-Eval को पूरे सारांश को एक इकाई के रूप में देखने के लिए बनाया है, जिसमें तीन विशिष्ट "पैर" या स्तंभ हैं। यदि एक पैर कमजोर है, तो स्टूल डगमगा जाएगा।

1. टेक्स्ट का पैर (गुणवत्ता और सत्यता)

यह पैर जाँचता है कि क्या कहानी अच्छी है और, अधिक महत्वपूर्ण रूप से, सत्य है।

"फैक्ट-चेकर" रोबोट: केवल मिलते-जुलते शब्दों को गिनने के बजाय, सिस्टम सारांश को छोटे, परमाणु तथ्यों (जैसे "घटना मंगलवार को थी") में तोड़ देता है। फिर यह प्रत्येक सूक्ष्म तथ्य की मूल दस्तावेज़ के विरुद्ध जाँच करता है। यदि स्रोत कहता है मंगलवार और सारांश कहता है बुधवार, तो सिस्टम झूठ को पकड़ लेगा।
"फ्लो" रोबोट: यह यह भी जाँचता है कि क्या कहानी सुचारू रूप से चलती है और समझ में आती है, ठीक वैसे ही जैसे एक मानव संपादक करता है।

2. एलाइनमेंट का पैर (क्या चित्र कहानी के अनुकूल हैं?)

यह पैर पूछता है: "क्या यह चित्र वास्तव में टेक्स्ट को समझाने में मदद करता है?"

"जज" रोबोट: सिस्टम एक स्मार्ट AI (एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल) का उपयोग करता है जो टेक्स्ट और चित्र को एक साथ देखता है। यह एक अदालत में न्यायाधीश की तरह कार्य करता है, तर्क देता है: "टेक्स्ट कहता है 'बाढ़', और चित्र में पानी दिख रहा है। अच्छा मेल है।" या, "टेक्स्ट कहता है 'बाढ़', लेकिन चित्र एक परेड का है। बुरा मेल है।"

3. विविधता का पैर (क्या चित्र अद्वितीय हैं?)

यह जाँचता है कि क्या चित्र एक-दूसरे की नकल मात्र हैं।

"वैरायटी" मीटर: कल्पना कीजिए कि एक विरोध प्रदर्शन की समाचार कहानी है। यदि कंप्यूटर तीन तस्वीरें चुनता है जो बिल्कुल एक ही कोण से, एक सेकंड के अंतराल पर ली गई हैं, तो यह उबाऊ है और कोई नई जानकारी नहीं जोड़ता है। MM-Eval उनके "अर्थ" में एक-दूसरे से कितनी अलग हैं, इसे मापने के लिए एक गणितीय ट्रिक (जिसे "एन्ट्रॉपी" कहा जाता है) का उपयोग करता है। यदि वे बहुत समान हैं, तो स्कोर कम हो जाता है।

बड़ी खोज: "गेटकीपर" प्रभाव (The "Gatekeeper" Effect)

हजारों समाचार सारांशों पर अपने सिस्टम का परीक्षण करने के बाद, लेखकों ने कुछ आश्चर्यजनक पाया कि मनुष्य गुणवत्ता का निर्णय कैसे लेते हैं। वे इसे "टेक्स्ट-डोमिनेंट पदानुक्रम" (Text-Dominant Hierarchy) कहते हैं।

सोचिए कि तथ्यात्मक निरंतरता (सत्यता) एक गेटकीपर (द्वारपाल) के रूप में है।

यदि टेक्स्ट में कोई झूठ (भ्रम/hallucination) है, तो गेटकीपर दरवाजा बंद कर देता है। चाहे चित्र कितने भी सुंदर क्यों न हों, या वे कितने भी विविध क्यों न हों, सारांश एक बहुत खराब स्कोर प्राप्त करता है।
केवल तभी जब टेक्स्ट सत्य होता है, गेटकीपर दरवाजा खोलता है, जिससे चित्रों को मूल्य जोड़ने की अनुमति मिलती है।

समाचार सारांशों की इस विशिष्ट दुनिया में, सत्य सबसे महत्वपूर्ण है। एक बार जब सत्य स्थापित हो जाता है, तो चित्र मायने रखते हैं, लेकिन वे माध्यमिक होते हैं। सिस्टम ने सीखा कि मनुष्य पहले तथ्यों पर, फिर कहानी के प्रवाह पर, और अंत में, चित्र कहानी में कितनी अच्छी तरह फिट बैठते हैं, इस पर ध्यान देते हैं।

यह सब कैसे मिलकर काम करता है

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने मानव रेटिंग पर एक "लर्निंग मॉडल" को प्रशिक्षित किया। उन्होंने कंप्यूटर को सिखाया कि वह मानव रेटिंग की नकल कैसे करे।

उन्होंने पाया कि टेक्स्ट क्वालिटी अंतिम स्कोर का लगभग 79% हिस्सा बनाती है।
इमेज रेलेवेंस (चित्र फिट बैठते हैं?) लगभग 15% योगदान देता है।
विजुअल डायवर्सिटी (चित्र कितने अलग हैं?) लगभग 6% योगदान देता है।

यह क्यों मायने रखता है

यह नया टूल, MM-Eval, एक स्मार्ट, निष्पक्ष न्यायाधीश की तरह है जो सतही चालों से नहीं छलता है। इसे काम करने के लिए किसी "उत्तर कुंजी" (संदर्भ सारांश) की आवश्यकता नहीं है; यह मूल स्रोत और आउटपुट दोनों के आधार पर सारांश का मूल्यांकन कर सकता है।

लेखक निष्कर्ष निकालते हैं कि यदि आप समाचार सारांश लिखने के लिए AI बना रहे हैं, तो आपको सबसे पहले यह सुनिश्चित करने पर 100% ध्यान केंद्रित करना चाहिए कि तथ्य सही हैं। एक बार जब तथ्य ठोस हो जाते हैं, तब आप सबसे अच्छी तस्वीरें चुनने की चिंता कर सकते हैं। यदि आप तस्वीरों को परफेक्ट बनाने की कोशिश करते हैं जबकि टेक्स्ट झूठ बोल रहा है, तो पूरा सारांश विफल हो जाता है।

संक्षेप में: MM-Eval सारांशों को ग्रेड करने का एक नया तरीका है जो कहता है, "केवल शब्दों या पिक्सेल को मत गिनो। जाँचो कि क्या कहानी सच है, क्या चित्र कहानी से मेल खाते हैं, और क्या चित्र एक जैसे तो नहीं हैं।"

तकनीकी सारांश: MM-Eval – मल्टीमॉडल समराइजेशन मूल्यांकन के लिए एक एकीकृत ढांचा

1. समस्या विवरण

मल्टीमॉडल आउटपुट के साथ मल्टीमॉडल समराइजेशन (MSMO) का लक्ष्य मल्टीमॉडल स्रोतों से प्रमुख दृश्यों (visuals) के साथ संक्षिप्त पाठ्य सारांश उत्पन्न करना है। जबकि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) ने ऐसे आउटपुट उत्पन्न करने की क्षमता को उन्नत किया है, MSMO का मूल्यांकन खंडित बना हुआ है। वर्तमान प्रोटोकॉल "साइलो इफेक्ट" (Silo Effect) से ग्रस्त हैं, जहाँ टेक्स्ट गुणवत्ता, इमेज-टेक्स्ट संरेखण (alignment), और विजुअल विविधता का आकलन अलग-अलग यूनिमोडल मेट्रिक्स का उपयोग करके किया जाता है।

मौजूदा दृष्टिकोणों की मुख्य सीमाएँ निम्नलिखित हैं:

टेक्स्ट मेट्रिक्स: पारंपरिक मेट्रिक्स जैसे ROUGE लेक्सिकल ओवरलैप (lexical overlap) पर निर्भर करते हैं, जो सिमेंटिक समानता या तथ्यात्मक निरंतरता को पकड़ने में विफल रहते हैं। हैलुसिनेटेड तथ्यों वाले सारांश उच्च स्कोर प्राप्त कर सकते हैं यदि वे सतही तौर पर संदर्भ ग्रंथों से मेल खाते हों।
इमेज मेट्रिक्स: इमेज प्रिसिजन (IP) उन सिमेंटिक रूप से वैध वैकल्पिक छवियों को दंडित करता है जो मानव-एनोटेटेड संदर्भों से सटीक रूप से मेल नहीं खाती हैं, और यह उत्पन्न टेक्स्ट के साथ संरेखण को भी ध्यान में रखने में विफल रहता है।
क्रॉस-मोडल गैप: कोई भी मौजूदा मेट्रिक दोनों मोडैलिटीज के बीच की अंतःक्रिया का प्रभावी ढंग से आकलन नहीं करता है। एक सिस्टम टेक्स्ट और इमेज चयन पर स्वतंत्र रूप से अच्छा स्कोर कर सकता है, फिर भी असंबद्ध, गलत संरेखित मल्टीमॉडल आउटपुट दे सकता है। इसके अलावा, वर्तमान मेट्रिक्स विजुअल रिडंडेंसी (जैसे, लगभग समान छवियों का चयन करना) को दंडित नहीं करते हैं।

2. कार्यप्रणाली: MM-Eval ढांचा

इन कमियों को दूर करने के लिए, लेखक MM-Eval पेश करते हैं, जो एक एकीकृत, मॉड्यूलर मूल्यांकन ढांचा है जो तीन मुख्य आयामों को एकीकृत करता है: टेक्स्ट गुणवत्ता, क्रॉस-मोडल संरेखण, और विजुअल विविधता। यह ढांचा "रेफरेंस-वीक" (संदर्भ पर न्यूनतम निर्भर) और डोमेन-पोर्टेबल होने के लिए डिज़ाइन किया गया है।

2.1 स्तंभ 1: टेक्स्ट गुणवत्ता ( $S_{text}$ )

यह स्तंभ स्रोत दस्तावेज़ ( $T_{source}$ ) के विरुद्ध उत्पन्न टेक्स्ट ( $T_{gen}$ ) का मूल्यांकन करने के लिए "डिकंपोज़-देन-वेरिफाई" दृष्टिकोण का उपयोग करता है:

तथ्यात्मक निरंतरता ( $S_{fact}$ ): OpenFActCore का उपयोग करते हुए, सिस्टम सारांश को परमाणु तथ्यों (atomic facts) में विभाजित करता है और LLM का उपयोग करके प्रत्येक को स्रोत के विरुद्ध सत्यापित करता है। यह स्कोर पैराफ्रेसिंग के प्रति मजबूत है।
गुणात्मक गुण: G-Eval का उपयोग करते हुए, सिस्टम वेरिएंस को कम करने के लिए एक संरचित चेन-ऑफ-थॉट (CoT) प्रॉम्प्टिंग प्रोटोकॉल के माध्यम से सामंजस्य (coherence), प्रवाह (fluency), और प्रासंगिकता का आकलन करता है।
एकत्रीकरण: $S_{text}$ इन चार घटकों ( $S_{fact}$ , प्रासंगिकता, सामंजस्य, प्रवाह) का एक भारित योग (weighted sum) है।

2.2 स्तंभ 2: क्रॉस-मोडल संरेखण ( $S_{relevance}$ )

यह स्तंभ मापता है कि चुनी गई छवियां ( $V_{sel}$ ) उत्पन्न टेक्स्ट ( $T_{gen}$ ) का सिमेंटिक रूप से समर्थन करती हैं या नहीं।

MLLM-as-a-Judge: एक MLLM को टेक्स्ट के सापेक्ष छवियों के सेट की व्यावहारिक प्रासंगिकता और पूरकता का मूल्यांकन करने के लिए CoT रीजनिंग करने का निर्देश दिया जाता है। यह दृष्टिकोण सरल कोसाइन समानता की तुलना में एकीकृत गुणवत्ता को बेहतर ढंग से कैप्चर करता है।

2.3 स्तंभ 3: विजुअल विविधता ( $S_{diversity}$ )

यह स्तंभ यह सुनिश्चित करने के लिए विजुअल रिडंडेंसी को दंडित करता है कि इमेज सेट विशिष्ट सूचनात्मक मूल्य प्रदान करे।

ट्रंकेटेड CLIP एंट्रॉपी (TCE): सिस्टम चुनी गई छवियों के लिए CLIP एम्बेडिंग्स उत्पन्न करता है, उनके एम्पिरिकल कोवेरिएंस मैट्रिक्स की गणना करता है, और नॉर्मलाइज्ड आइजनवैल्यूज़ के वॉन न्यूमैन एंट्रॉपी (Von Neumann entropy) की गणना करता है। यह लेटेंट स्पेस में छवियों द्वारा कवर किए गए "सिमेंटिक वॉल्यूम" को मापता है, जिससे उन सेट्स को दंडित किया जाता है जहाँ छवियां अत्यधिक ओवरलैपिंग सिमेंटिक कंटेंट प्रदान करती हैं।

2.4 सीखा गया एकत्रीकरण (Learned Aggregation)

अंतिम स्कोर केवल एक साधारण औसत नहीं है, बल्कि तीन स्तंभों का एक सीखा गया लीनियर कॉम्बिनेशन है:
$\text{MM-Eval} = \beta_0 + \beta_1 S_{text} + \beta_2 S_{relevance} + \beta_3 S_{diversity}$
भार ( $\beta$ ) को mLLM-EVAL न्यूज़ बेंचमार्क पर रिज (Ridge) रिग्रेशन (L2 रेगुलराइजेशन) के माध्यम से सीखा गया है, जिसमें "ओवरऑल क्वालिटी" के $\sim$ 1,500 विशेषज्ञ एनोटेशन शामिल हैं। यह फ्रेमवर्क को डोमेन-विशिष्ट मानव प्राथमिकताओं के साथ घटक योगदानों को संरेखित करने की अनुमति देता है।

3. मुख्य परिणाम और विश्लेषण

लेखकों ने mLLM-EVAL डेटासेट और MM-Eval के प्रदर्शन का विश्लेषण किया है ताकि कई अंतर्दृष्टि प्राप्त की जा सकें:

3.1 टेक्स्ट-डोमिनेंट पदानुक्रम (Text-Dominant Hierarchy)

सीखे गए भारों का विश्लेषण एक टेक्स्ट-डोमिनेंट प्राथमिकता संरचना को प्रकट करता है:

टेक्स्ट गुणवत्ता ( $S_{text}$ ) कुल कुल मिलाकर भार का लगभग 79% हिस्सा है।
टेक्स्ट गुणवत्ता के भीतर, तथ्यात्मक निरंतरता (Factual Consistency) प्राथमिक चालक है, जो कुल स्कोर में लगभग 43.5% का योगदान देती है।
इमेज-टू-टेक्स्ट प्रासंगिकता और विजुअल विविधता छोटे, पूरक हिस्से (लगभग 15% और 6%) का योगदान देते हैं।

3.2 तथ्यात्मक निरंतरता का "गेटकीपर" प्रभाव

मानव एनोटेशन के सांख्यिकीय विश्लेषण से एक बाइमोडल वितरण का पता चलता है। डेटा बताता है कि तथ्यात्मक निरंतरता एक "गेटकीपर" के रूप में कार्य करती है:

यदि किसी सारांश में महत्वपूर्ण हैल्यूसिनेशन (कम निरंतरता) होते हैं, तो समग्र गुणवत्ता स्कोर तेजी से गिर जाता है, चाहे प्रवाह या इमेज की गुणवत्ता कैसी भी हो।
इसके विपरीत, उच्च तथ्यात्मक अखंडता उच्च रेटिंग के लिए एक पूर्व शर्त है।
सीखे गए भार इस गैर-रैखिक मानव प्रतिक्रिया को दर्शाते हैं, जो यूनिफॉर्म एवरेजिंग के माध्यम से उन्हें स्मूथ करने के बजाय तथ्यात्मक विफलताओं को कड़ाई से दंडित करते हैं।

3.3 विजुअल्स का सशर्त मूल्य (Conditional Value of Visuals)

जबकि विजुअल घटक अकेले मानव रैंकिंग के साथ कमजोर या नकारात्मक मार्जिनल सहसंबंध दिखाते हैं, एब्लेशन स्टडीज (ablation studies) दर्शाती हैं कि उन्हें हटाने से मानव रैंकिंग के साथ मॉडल की सहमति काफी कम हो जाती है (उदाहरण के लिए, $S_{relevance}$ को हटाने से केंडल का $\tau$ 54% गिर जाता है)।

यह इंगित करता है कि विजुअल प्रासंगिकता और विविधता सशर्त संकेत (conditional signals) प्रदान करते हैं: वे गुणवत्ता के अंतर को परिष्कृत करते हैं जब टेक्स्ट की सत्यता पर्याप्त होती है, लेकिन अकेले विचार किए जाने पर वे निम्न-गुणवत्ता वाले आउटपुट के साथ सह-परिवर्तित (co-vary) हो सकते हैं।

3.4 मानव सत्यापन

200 नमूनों पर एक पूरक मानव मूल्यांकन ने पुष्टि की कि एनोटेटर इमेज प्रासंगिकता और विविधता को उच्च महत्व देते हैं (औसत स्कोर टेक्स्ट के समान)। यह पुष्टि करता कि MM-Eval में टेक्स्ट-डोमिनेंट वेटिंग समाचारों में प्रत्येक घटक के सीमांत योगदान (marginal contribution) को दर्शाती है (जहाँ टेक्स्ट मुख्य सूचनात्मक भार वहन करता है), न कि विजुअल गुणवत्ता के प्रति मानवीय उदासीनता को।

4. महत्व और योगदान

पत्र MSMO के क्षेत्र के लिए निम्नलिखित महत्व का दावा करता है:

एकीकृत मूल्यांकन: MM-Eval पहला ऐसा ढांचा है जो टेक्स्ट गुणवत्ता, क्रॉस-मोडल संरेखण और विजुअल विविधता को एक एकल, व्याख्या योग्य मेट्रिक में संयुक्त रूप से परखता है, जो यूनिमोडल मूल्यांकन के "साइलो इफेक्ट" से आगे बढ़ता है।
रेफरेंस-वीक और मॉड्यूलर: संदर्भ सारांशों (जैसे, ROUGE, IP) की आवश्यकता वाले मेट्रिक्स के विपरीत, MM-Eval के घटक केवल स्रोत दस्तावेज़ और सिस्टम आउटपुट पर कार्य करते हैं। इसका मॉड्यूलर डिज़ाइन व्यक्तिगत स्कोरर्स (जैसे, MLLM जज या TCE) को बिना फ्रेमवर्क बदले अपग्रेड करने या बदलने की अनुमति देता है।
डेटा-संचालित वेटिंग: मानव प्राथमिकताओं से एकत्रीकरण भार सीखकर, MM-Eval उन निहित ट्रेड-ऑफ्स को कैप्चर करता है जिन्हें मनुष्य अपनाते हैं (जैसे, प्रवाह के ऊपर तथ्यों को प्राथमिकता देना), बजाय इसके कि सभी आयामों में समान महत्व मान लिया जाए।
सिस्टम डिज़ाइन के लिए व्यावहारिक मार्गदर्शन: निष्कर्ष MSMO सिस्टम के लिए एक स्पष्ट अनुकूलन पदानुक्रम का सुझाव देते हैं: पहले तथ्यात्मक ग्राउंडिंग को प्राथमिकता दें, उसके बाद टेक्स्ट संरचना, और अंत में विजुअल संरेखण और विविधता को परिष्कृत करें। यह समाचार जैसे टेक्स्ट-डोमिनेंट डोमेन के लिए विशेष रूप से प्रासंगिक है।
व्याख्यात्मकता (Interpretability): ढांचा स्कोर का एक व्याख्यात्मक ब्रेकडाउन प्रदान करता है, जिससे डेवलपर्स को अस्पष्ट "ब्लैक बॉक्स" मॉडल निर्णयों पर निर्भर रहने के बजाय विशिष्ट विफलताओं (जैसे, खराब विविधता बनाम हैल्यूसिनेशन) को पहचानने में मदद मिलती है।

5. सीमाएँ और दायरा

लेखक ढांचे के दायरे के संबंध में एक मध्यम रुख बनाए रखते हैं:

डोमेन विशिष्टता: सीखा गया वेट पदानुक्रम समाचार डोमेन द्वारा आकारित है। इमेज-डोमिनेंट डोमेन (जैसे, उत्पाद समीक्षा) में, मोडैलिटीज की प्राथमिकता भिन्न हो सकती है, जिसके लिए एकत्रीकरण भारों के पुन: अंशांकन (recalibration) की आवश्यकता होगी।
प्रॉक्सि नॉइज़ (Proxy Noise): विजुअल प्रासंगिकता और विविधता के लिए स्वचालित प्रॉक्सी (MLLM जज, TCE) मानव धारणा को पूरी तरह से कैप्चर नहीं कर सकते हैं, जैसा कि मानव सहमति की तुलना में कमजोर स्वचालित सहसंबंधों से सिद्ध होता है।
तुलनात्मक उपयोगिता: मानव निर्णयों के विरुद्ध एक मध्यम रैंक सहसंबंध ( $\tau \approx 0.37$ ) के साथ, MM-Eval कोर्स-टू-मीडियम सिस्टम तुलनाओं के लिए सबसे उपयुक्त है। अत्यंत करीबी सिस्टम तुलनाओं के लिए, लक्षित मानव मूल्यांकन आवश्यक बना हुआ है।
कंप्यूटेशनल लागत: कई LLMs और MLLMs पर निर्भरता लेक्सिकल मेट्रिक्स की तुलना में कंप्यूटेशनल लागत को बढ़ाती है, हालांकि इसे ऑफलाइन मूल्यांकन के लिए स्वीकार्य माना गया है।