MMTABREAL: Real-World Benchmark for Multimodal Table Understanding
यह शोधपत्र MMTABREAL को प्रस्तुत करता है, जो 500 वास्तविक-विश्व मल्टीमॉडल तालिकाओं का एक मानव-क्यूरेटेड बेंचमार्क है जिसमें 4,000 से अधिक प्रश्न-उत्तर जोड़े हैं, जिसे वर्तमान मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में महत्वपूर्ण तर्क (reasoning) और ग्राउंडिंग सीमाओं का कठोरता से मूल्यांकन करने और उन्हें उजागर करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन केवल सुरागों की सूची पढ़ने के बजाय, आपको एक बिखरे हुए बुलेटिन बोर्ड को देखना पड़ता है। इस बोर्ड पर नंबरों वाले स्टिकी नोट्स, संदिग्धों की तस्वीरें, रंगीन मानचित्र और मार्कर से बने छोटे चार्ट हैं। केस को सुलझाने के लिए, आप केवल टेक्स्ट नहीं पढ़ सकते; आपको यह समझना होगा कि चार्ट पर दिए गए नंबर का बगल में मौजूद संदिग्ध की फोटो से क्या संबंध है, और मानचित्र पर लाल रंग का नाम वाले स्टिकी नोट से क्या संबंध है।
यह बिल्कुल वही समस्या है जिसे MMTABREAL नामक शोध पत्र संबोधित करता है।
उनके कार्य का विवरण यहाँ सरल रूप में दिया गया है:
1. समस्या: AI "बिखरे हुए" टेबल्स (Tables) को समझने में खराब है
हम ऐसे AI के आदी हैं जो एक किताब पढ़ सकता है या एक अकेली फोटो देख सकता है। लेकिन वास्तविक दुनिया में, जानकारी अक्सर मल्टीमॉडल टेबल्स (multimodal tables) के रूप में आती है। ये केवल स्प्रेडशीट की तरह साफ-सुथरे ग्रिड नहीं होते। ये जटिल दस्तावेज़ होते हैं जिनमें शामिल होते हैं:
- टेक्स्ट और नंबर: मानक डेटा।
- छवियाँ (Images): स्पोर्ट्स टीमों के लोगो, देशों के झंडे, या लोगों की तस्वीरें।
- चार्ट: रुझानों (trends) को दर्शाने वाले छोटे ग्राफ।
- रंग और मानचित्र: दृश्य संकेत (visual cues) जो डेटा के अर्थ को बदल देते हैं।
वर्तमान AI मॉडल (जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स या MLLMs कहा जाता है) उन जासूसों की तरह हैं जो स्टिकी नोट्स पढ़ने में तो माहिर हैं लेकिन तस्वीरों को देखने या मानचित्रों को समझने में बहुत खराब हैं। वे अक्सर विजुअल (दृश्य) और टेक्स्ट के बीच के संबंध को मिस कर देते हैं।
2. समाधान: एक नया "फाइनल एग्जाम" (MMTABREAL)
शोधकर्ताओं ने MMTABREAL नामक एक नया बेंचमार्क बनाया है। इसे एक बहुत ही कठिन, मानव-निर्मित फाइनल एग्जाम की तरह समझें जिसे विशेष रूप से यह परीक्षण करने के लिए डिज़ाइन किया गया है कि क्या AI इन बिखरे हुए, वास्तविक दुनिया के टेबल्स को संभाल सकता है।
- यह असली है, नकली नहीं: कई पिछले परीक्षणों में कंप्यूटर द्वारा जनरेट किए गए टेबल्स का उपयोग किया गया था जो बहुत अधिक 'परफेक्ट' दिखते थे। यह वाला 500 वास्तविक टेबल्स का उपयोग करता है जो इंटरनेट पर पाए गए हैं (जैसे स्पोर्ट्स स्टैंडिंग या वित्तीय रिपोर्ट) जिनमें वास्तव में लोगो, झंडे और चार्ट मिश्रित हैं।
- यह मानव-क्यूरेटेड (Human-Curated) है: इंसानों ने इन टेबल्स के बारे में 4,000 प्रश्न लिखे हैं। यह सुनिश्चित करता है कि प्रश्न पेचीदा हों और वास्तविक सोच की मांग करें, न कि केवल पैटर्न पहचानने की।
- प्रश्न कठिन हैं:
- आसान: "लाल लोगो वाली टीम का नाम क्या है?"
- कठिन: "किस टीम का गोल अंतर सबसे कम है, लेकिन केवल तभी जब उनका जीत प्रतिशत 50% से अधिक हो?" (इसके लिए एक बार चार्ट को देखने, एक नंबर को पढ़ने और गणित करने की आवश्यकता होती है)।
3. परीक्षण: AI ने कैसा प्रदर्शन किया?
शोधकर्ताओं ने उपलब्ध सबसे स्मार्ट AI मॉडल्स (जैसे GPT-4o, Gemini और अन्य) को यह परीक्षा दी। उन्होंने उन्हें अलग-अलग तरीकों से टेस्ट किया, जैसे:
- "ब्लाइंडफोल्ड" (आंखों पर पट्टी) टेस्ट: उन्होंने सभी छवियों को हटा दिया। AI को केवल टेक्स्ट के आधार पर उत्तर का अनुमान लगाना था। (परिणाम: AI बुरी तरह विफल रहा, जिससे साबित हुआ कि उसे वास्तव में तस्वीरों की आवश्यकता है)।
- "डिस्क्रिप्शन" (विवरण) टेस्ट: उन्होंने छवियों को टेक्स्ट विवरणों से बदल दिया। (परिणाम: AI बेहतर प्रदर्शन कर पाया, लेकिन फिर भी संघर्ष करता रहा क्योंकि विवरण में कुछ विवरण खो गए थे)।
- "रियल" (वास्तविक) टेस्ट: AI ने टेबल को ठीक वैसे ही देखा जैसा वह था, जिसमें इमेज और टेक्स्ट आपस में मिले हुए थे।
परिणाम:
AI मॉडल्स ने इंसानों की तुलना में काफी खराब प्रदर्शन किया।
- अंतर: जहाँ इंसानों ने लगभग 78-84% उत्तर सही दिए, वहीं सबसे अच्छे AI मॉडल्स केवल 30-40% ही सही दे पाए।
- जहाँ वे विफल हुए: AI भ्रमित हो गया जब उसे निम्नलिखित कार्य करने थे:
- एलाइनमेंट (Aligning): एक विशिष्ट लोगो को टेबल की सही पंक्ति (row) के साथ मिलाना।
- मल्टी-स्टेप मैथ (Multi-step math): "लाल झंडे वाली टीम को खोजें, फिर उनका स्कोर खोजें, फिर उसमें से 5 घटाएं।"
- स्पेस (स्थान) को समझना: यह समझना कि एक चार्ट किसी विशिष्ट नाम के "ऊपर" है।
4. यह क्यों महत्वपूर्ण है?
यह शोध पत्र तर्क देता है कि वर्तमान AI उस छात्र की तरह है जिसने पाठ्यपुस्तक को रट लिया है लेकिन वास्तविक दुनिया के परिदृश्य में वर्ड प्रॉब्लम (शब्द समस्या) हल नहीं कर सकता।
- "विज़न" (दृष्टि) कमजोर है: AI इमेज को देख तो सकता है, लेकिन वह वास्तव में यह नहीं समझ पाता कि वह इमेज टेबल के लॉजिक में कैसे फिट बैठती है।
- "रीजनिंग" (तर्क) सतही है: यह अक्सर सतही संकेतों के आधार पर अनुमान लगाता है (जैसे, "मुझे लाल झंडा दिख रहा है, इसलिए मैं अनुमान लगाऊंगा कि उत्तर लाल से संबंधित है") बजाय इसके कि आवश्यक गहरे तार्किक कार्य को किया जाए।
मुख्य निष्कर्ष (The Bottom Line)
पेपर निष्कर्ष निकालता है कि AI को जटिल कार्यों (जैसे चार्ट वाले वित्तीय रिपोर्ट या आरेख वाले मेडिकल डेटा का विश्लेषण करना) के लिए वास्तव में उपयोगी बनाने के लिए, हमें बेहतर "दिमाग" बनाने की आवश्यकता है जो यह देख सकें कि वे क्या देख रहे हैं और उसे अपने साथ कैसे पढ़ रहे हैं, दोनों को मजबूती से जोड़ सकें। अभी, वे पहेली के टुकड़ों को जोड़ने का तरीका सीख रहे हैं।
नोट: पेपर स्पष्ट रूप से कहता है कि यह बेंचमार्क AI के परीक्षण (testing) के लिए है, न कि उसे प्रशिक्षित (training) करने के लिए। यह यह मापने का एक उपकरण है कि हमें कितनी दूर जाना है, न कि AI को तुरंत ठीक करने का कोई समाधान।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।