MDPBench: A Benchmark for Multilingual Document Parsing in Real-World Scenarios
यह शोध पत्र MDPBench को प्रस्तुत करता है, जो 17 भाषाओं और विविध वास्तविक दुनिया की स्थितियों में बहुभाषी दस्तावेज़ पार्सिंग (document parsing) के लिए पहला बेंचमार्क है, जो यह प्रकट करता है कि जहाँ क्लोज्ड-सोर्स मॉडल सुदृढ़ बने हुए हैं, वहीं ओपन-सोर्स विकल्प फोटोग्राफ किए गए दस्तावेज़ों और गैर-लैटिन लिपियों पर प्रदर्शन में महत्वपूर्ण गिरावट का सामना करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल पुस्तकालय है जिसमें 17 अलग-अलग भाषाओं में किताबें, रसीदें और नोट्स रखे हैं। इनमें से कुछ एकदम साफ, डिजिटल फाइलें हैं जिन्हें आप कॉपी और पेस्ट कर सकते हैं। लेकिन कुछ बहुत ही अस्त-व्य्यस्त हैं: जैसे मुड़े हुए कागजों की फोटो जो कम रोशनी में ली गई हो, भारी किताब के नीचे दबे हुए मुड़े हुए पन्ने, या बस की झटकों वाली यात्रा के दौरान खींची गई रसीदों की फोटो।
लंबे समय तक, इन दस्तावेजों को पढ़ने की कोशिश करने वाले "लाइब्रेरियन" (AI मॉडल) उन छात्रों की तरह थे जिन्होंने केवल एक शांत और आदर्श क्लासरूम में पढ़ाई की हो। वे साफ, डिजिटल अंग्रेजी या चीनी टेक्स्ट पढ़ने में माहिर हैं। लेकिन अगर आप उन्हें अरबी की एक मुड़ी हुई रसीद या बारिश में भीगे हुए थाई मेनू की फोटो थमा दें, तो वे अक्सर घबरा जाते हैं, गलत अनुमान लगाते हैं, या हार मान लेते हैं।
एंट्री MDPBench: AI के लिए एक "रियल-वर्ल्ड स्ट्रेस टेस्ट"।
यह पेपर MDPBench (मल्टीलिंग्वल डॉक्यूमेंट पार्सिंग बेंचमार्क) नामक एक नया टूल पेश करता है। इसे एक AI मॉडल के लिए एक बड़े, कठोर ड्राइविंग टेस्ट की तरह समझें, लेकिन यहाँ वे कार नहीं चला रहे, बल्कि दस्तावेजों को "पढ़ने" की कोशिश कर रहे हैं।
यहाँ बताया गया है कि उन्होंने क्या किया और उन्हें क्या मिला, कुछ सरल उपमाओं का उपयोग करते हुए:
1. टेस्ट ट्रैक (डेटासेट)
शोधकर्ताओं ने 3,400 दस्तावेज़ छवियों वाला एक टेस्ट ट्रैक बनाया।
- भाषाएँ: वे केवल सामान्य भाषाओं (अंग्रेजी, चीनी, स्पेनिश) तक ही सीमित नहीं रहे। उन्होंने 17 भाषाएँ शामिल कीं, जिनमें अरबी, हिंदी, थाई और रूसी जैसी कठिन भाषाएँ भी शामिल हैं।
- स्थितियाँ: उन्होंने एकदम डिजिटल दस्तावेजों को लिया और वास्तविक जीवन का अनुभव देने के लिए उन्हें जानबूझकर "खराब" कर दिया। उन्होंने उन्हें प्रिंट किया, उन्हें मरोड़ा, उन्हें मोड़ा, अंधेरे में उनकी फोटो ली, धूप में फोटो ली और अजीब कैमरा एंगल से फोटो ली।
- लक्ष्य: यह देखना कि क्या AI एक दस्तावेज़ को पढ़ सकता है जब वह परफेक्ट न हो।
2. जज (एनोटेशन)
आप उत्तर कुंजी (answer key) के बिना टेस्ट को ग्रेड नहीं कर सकते। शोधकर्ताओं ने केवल एक AI को उत्तर लिखने के लिए नहीं कहा (क्योंकि AI गलतियाँ करते हैं)। इसके बजाय, उन्होंने एक "थ्री-लेयर सेफ्टी नेट" का उपयोग किया:
- विशेषज्ञ (Experts): तीन अलग-अलग टॉप-टियर AI मॉडल्स ने दस्तावेज़ को पढ़ने की कोशिश की।
- आम सहमति (Consensus): यदि तीन में से दो मॉडल एक शब्द पर सहमत थे, तो उसे सही माना गया। यदि तीनों असहमत थे, तो उन्होंने बारीकियों की जांच के लिए एक सुपर-स्मार्ट AI (Gemini-3-Pro) का उपयोग किया।
- इंसान (Humans): वास्तविक मानव विशेषज्ञों ने काम की समीक्षा की, और बची हुई त्रुटियों को ठीक किया। यह सुनिश्चित करता है कि "उत्तर कुंजी" एकदम सटीक हो।
3. परिणाम: टेस्ट में कौन पास हुआ?
शोधकर्ताओं ने विभिन्न AI मॉडल्स को इस स्ट्रेस टेस्ट से गुजारा, जिसमें मुफ्त, ओपन-सोर्स मॉडल्स से लेकर महंगे, क्लोज्ड-सोर्स मॉडल्स तक शामिल थे।
- स्टार परफॉर्मर: Gemini-3-Pro (एक क्लोज्ड-सोर्स, पेड मॉडल) अकेला था जिसने इस उथल-पुथल को वास्तव में संभाला। यह एक अनुभवी ड्राइवर की तरह था जो बिना नियंत्रण खोए गड्ढों वाली सड़क पर भी रास्ता निकाल लेता है। इसने लगभग 86% उत्तर सही दिए।
- संघर्ष करते छात्र: ओपन-सोर्स मॉडल्स (जो सबके लिए मुफ्त उपलब्ध हैं) बहुत खराब प्रदर्शन कर रहे थे। वे उन छात्रों की तरह थे जिन्होंने केवल चिकनी और सूखी सड़कों पर अभ्यास किया था। जब उनके सामने मुड़ा हुआ फोटो या गैर-लैटिन लिपि (जैसे अरबी या हिंदी) आई, तो उनका प्रदर्शन क्रैश हो गया।
- फोटोग्राफ किए गए दस्तावेजों पर, उनके स्कोर में लगभग 18% की गिरावट आई।
- गैर-लैटिन लिपियों पर, वे 14% गिर गए।
4. विशिष्ट खामियां (जहाँ वे विफल हुए)
पेपर इस बात पर प्रकाश डालता है कि वास्तविक दुनिया में ये AI किस तरह से अजीब लेकिन निराशाजनक तरीके से विफल होते हैं:
- "राइट-टू-लेफ्ट" का भ्रम: अरबी दाईं से बाईं ओर पढ़ी जाती है। कई मॉडल्स ने इसे अंग्रेजी की तरह (बाएं से दाएं) पढ़ने की कोशिश की, जिससे अर्थहीन शब्द बने। यह बिना शीशे के दर्पण छवि को पढ़ने जैसा है।
- "स्पेस" का भ्रम (Hallucination): थाई भाषा में शब्दों को स्पेस से अलग नहीं किया जाता है। AI ने बार-बार वहां स्पेस बना दिए जहाँ उनकी जरूरत नहीं थी, जिससे शब्द बेमतलब के टुकड़ों में टूट गए (जैसे "biggest" को "big ge st" की तरह पढ़ना)।
- "कॉपी-पेस्ट" लूप: कुछ मॉडल्स एक लूप में फंस गए, बार-बार एक ही वाक्य दोहराते रहे, या ऐसे टेक्स्ट का निर्माण (hallucinate) करने लगे जो वहां था ही नहीं।
- "लैंग्वेज ड्रिफ्ट": कभी-कभी, AI एक वियतनामी दस्तावेज़ को देखता और आत्मविश्वास से कहता, "यह चीनी है!" क्योंकि वह अपने ट्रेनिंग डेटा में देखे गए पैटर्न के आधार पर अनुमान लगा रहा था।
यह क्यों मायने रखता है?
वर्तमान में, अधिकांश AI "साफ डिजिटल दुनिया" के लिए बनाए गए हैं। लेकिन वास्तविक दुनिया अव्यवस्थित है। दुनिया का अधिकांश ज्ञान परफेक्ट PDF में नहीं है; यह पुरानी किताबों, हस्तलिखित नोट्स और रसीदों की फोटो में है।
MDPBench एक वेक-अप कॉल है। यह हमें दिखाता है कि जबकि हमारे AI स्मार्ट हो रहे हैं, वे अभी भी नाजुक हैं। वे लैब में बहुत अच्छा काम करते हैं लेकिन फील्ड में संघर्ष करते हैं। यह बेंचमार्क शोधकर्ताओं को एक स्पष्ट मानचित्र देता है कि AI कहाँ विफल हो रहा है ताकि वे ऐसे सिस्टम बना सकें जो वास्तव में इस बिखरी हुई, बहुभाषी और वास्तविक दुनिया के लिए तैयार हों।
संक्षेप में: हमने यह देखने के लिए एक टेस्ट बनाया कि क्या AI 17 अलग-अलग भाषाओं में एक मुड़े हुए, बिखरे हुए रसीद को पढ़ सकता है। महंगे AI ने शानदार प्रदर्शन किया; मुफ्त AI ज्यादातर विफल रहा। अब हमें पता है कि हमें ठीक रूप से क्या सुधारना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।