METATR: A Multilingual, Evolving Benchmark for Automatic Text Recognition

कल्पना कीजिए कि आप दुनिया के हर कोने की किताबों से भरी एक विशाल, धूल भरी लाइब्रेरी को पढ़ने के लिए अनुवादकों की एक टीम रख रहे हैं। कुछ किताबें एकदम साफ, आधुनिक समाचार पत्र हैं जो सटीक अंग्रेजी में छपी हैं। कुछ मध्यकालीन पांडुलिपियाँ हैं जो फीकी पड़ती स्याही और अजीब लिखावट, विचित्र लेआउट और ऐसी भाषाओं में लिखी गई हैं जिन्हें अब कोई नहीं बोलता।

लंबे समय तक, इन अनुवादकों के लिए "टेस्ट" (जिसे यह पेपर ऑटोमैटिक टेक्स्ट रिकग्निशन या ATR कहता है) एक खाली, धूप वाले हाईवे पर ड्राइविंग टेस्ट जैसा था। कारें (AI मॉडल) 99% पूरी तरह से चल सकती थीं क्योंकि सड़क आसान थी। लोगों ने कहना शुरू कर दिया, "ड्राइविंग हल हो गई है! हमें अब टेस्ट करने की जरूरत नहीं है।"

लेकिन वास्तविक दुनिया में, सड़कें गड्ढों, कोहरे और भ्रमित करने वाले मोड़ों से भरी होती हैं। इस पेपर के लेखकों ने, METATR ने महसूस किया कि पुराने टेस्ट हमें धोखा दे रहे थे। उन्होंने यह देखने के लिए एक नया, बहुत कठिन टेस्ट ट्रैक बनाया कि कौन से AI मॉडल वास्तव में उस अस्त-व्यस्त, वास्तविक दुनिया की लाइब्रेरी को संभाल सकते हैं।

उन्होंने क्या पाया, इसे सरल भाषा में यहाँ समझाया गया है:

1. नया टेस्ट ट्रैक (METATR)

केवल साफ, आधुनिक अंग्रेजी टेक्स्ट पर परीक्षण करने के बजाय, लेखकों ने एक "स्ट्रेस टेस्ट" बनाया जिसे METATR कहा गया।

• विविधता: उन्होंने 17 अलग-अलग स्रोतों से दस्तावेजों के 453 पृष्ठ एकत्र किए। यह कठिन दस्तावेजों के एक "ग्रेटेस्ट हिट्स" एल्बम की तरह है।
• मिश्रण: इसमें 29 अलग-अलग भाषाएं (अरबी से वियतनामी तक), विभिन्न लिपियाँ (जैसे प्राचीन ग्रीक या जापानी) और विभिन्न स्थितियाँ (हाथ से लिखे पत्र, पुराने समाचार पत्र, मल्टी-कॉलम लेआउट) शामिल हैं।
• लक्ष्य: वे केवल यह नहीं देखना चाहते थे कि कौन सबसे तेज है; वे यह देखना चाहते थे कि कौन सा मॉडल उस भाषा को बिना शब्द बनाए (hallucinations) या गलत क्रम में पढ़े बिना, एक बिखरे हुए, हस्तलिखित पृष्ठ को पढ़ सकता है जिसके लिए उसे विशेष रूप से प्रशिक्षित नहीं किया गया है।

2. रेसर्स (मॉडल)

उन्होंने इस ट्रैक पर तीन प्रकार के "ड्राइवर" उतारे:

• विशेष मैकेनिक (पारंपरिक OCR): ये पुराने जमाने के उपकरण हैं जिन्हें विशेष रूप से टेक्स्ट पढ़ने के लिए बनाया गया है। ये एक विशेष फोर्कलिफ्ट की तरह हैं: बक्से (साफ, मुद्रित टेक्स्ट) हिलाने में बेहतरीन हैं लेकिन एक भीड़भाड़ वाले, अस्त-व्यस्त लिविंग रूम में रास्ता खोजने में बहुत खराब हैं।
• ओपन-सोर्स टिंकरर्स: ये समुदाय द्वारा बनाए गए मॉडल हैं। कुछ छोटे और तेज़ हैं, कुछ बड़े और शक्तिशाली। ये मैकेनिकों की एक गैरेज टीम की तरह हैं। कुछ आश्चर्यजनक रूप से अच्छे हैं, लेकिन वे असंगत होते हैं—कभी वे चैंपियन की तरह गाड़ी चलाते हैं, तो कभी दीवार से टकरा जाते हैं।
• बिग टेक जायंट्स (प्रोपराइटरी मॉडल): ये Google (Gemini), Anthropic (Claude), और OpenAI जैसी कंपनियों के विशाल, महंगे मॉडल हैं। ये सबसे बड़े इंजन और सबसे अच्छे ईंधन वाली फॉर्मूला 1 कारों की तरह हैं।

3. रेस के परिणाम

जब उन्होंने इस कठिन ट्रैक पर दौड़ आयोजित की, तो परिणाम स्पष्ट थे:

• बिग टेक जायंट्स जीते (ज्यादातर): "फॉर्मूला 1 कारें" (विशेष रूप से Gemini 3 Pro और Claude Opus 4.5) सबसे सुसंगत थीं। उन्होंने बिखरी हुई लिखावट, अजीब लेआउट और दुर्लभ भाषाओं को अन्य सभी से बेहतर तरीके से संभाला। उन्होंने सबसे कम गलतियाँ कीं।
• विशेष मैकेनिक संघर्ष करते रहे: पुराने उपकरण साफ, आधुनिक समाचार पत्रों को पढ़ने में बहुत अच्छे थे लेकिन ऐतिहासिक लिखावट या जटिल लेआउट के सामने वे बिखर गए। वे अनुकूलन नहीं कर सके।
• ओपन-सोर्स टिंकरर्स मिश्रित रहे: बड़े ओपन-सोर्स मॉडल (जैसे Qwen या olmOCR) कुछ ट्रैक पर दिग्गजों के साथ प्रतिस्पर्धा कर सकते थे, लेकिन वे बहुत अप्रत्याशित थे। कभी वे बहुत अच्छा करते थे; कभी अन्य बार, वे बड़ी गलतियाँ करते थे, विशेष रूप से खमेर या जापानी जैसी कठिन लिपियों के साथ।
• "हैंडराइटिंग" की बाधा: मुद्रित टेक्स्ट पढ़ना सबके लिए आसान था। लेकिन हाथ से लिखे (handwritten) टेक्स्ट को पढ़ना असली चुनौती थी। यहाँ तक कि सबसे अच्छे मॉडल भी संघर्ष करते हैं, हालांकि बिग टेक दिग्गज अभी भी सबसे कम विफल होने वाले मॉडल थे।

4. गति की कीमत

पेपर ने "ईंधन बिल" (कंप्यूटेशनल लागत और गति) को भी देखा।

• दिग्गज धीमे और महंगे हैं: सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल (Gemini, Claude) एक पेज को पढ़ने में लंबा समय लेते हैं और उपयोग करने के लिए पैसे खर्च करते हैं। वे एक लग्जरी टैक्सी की तरह हैं: सेवा बेहतरीन है, लेकिन आप इसके लिए भुगतान करते हैं।
• मैकेनिक तेज़ और सस्ते हैं: विशेष उपकरण (जैसे PeroOCR) अविश्वसनीय रूप से तेज़ हैं और छोटे कंप्यूटरों पर चलते हैं। वे एक साइकिल की तरह हैं: सस्ती और तेज़, लेकिन वे खड़ी पहाड़ियों (जटिल दस्तावेजों) को नहीं संभाल सकते।
• मध्यम मार्ग: ओपन-सोर्स मॉडल बीच में आते हैं। उन्हें चलाने के लिए शक्तिशाली कंप्यूटरों (महंगे ग्राफिक्स कार्ड) की आवश्यकता होती है, और वे मैकेनिकों की तुलना में धीमे लेकिन दिग्गजों की तुलना में तेज़ हैं।

मुख्य निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि यह विचार कि "टेक्स्ट रिकग्निशन हल हो गया है" गलत है।

यदि आप केवल साफ, आधुनिक अंग्रेजी का परीक्षण करते हैं, तो आपको सुरक्षा का एक झूठा अहसास मिलता है। लेकिन यदि आप इन सिस्टमों के सामने एक बिखरा हुआ, ऐतिहासिक, बहुभाषी दस्तावेज़ रखते हैं, तो प्रदर्शन काफी गिर जाता है।

इन टूल्स का उपयोग करने वाले किसी भी व्यक्ति के लिए सबक:
किसी भी चीज़ के लिए एक ही "सर्वश्रेष्ठ" मॉडल नहीं है।

• यदि आपको बिखरे हुए, ऐतिहासिक दस्तावेजों पर उच्चतम सटीकता की आवश्यकता है और आप इसके लिए भुगतान करने या प्रतीक्षा करने में सहज हैं, तो बिग टेक मॉडल वर्तमान में सबसे अच्छा विकल्प हैं।
• यदि आप हजारों साफ, आधुनिक पृष्ठों को पढ़ रहे हैं और आपको गति और कम लागत की आवश्यकता है, तो विशेष उपकरण (Specialized tools) अभी भी सही तरीका हैं।
• ओपन-सोर्स मॉडल एक आशाजनक मध्यम मार्ग हैं, लेकिन आपको सावधान रहना होगा क्योंकि वे अप्रत्याशित हो सकते हैं।

लेखकों ने यह बेंचमार्क इसलिए बनाया है ताकि भविष्य में, हम प्रगति को केवल इस आधार पर न माप सकें कि "क्या यह अंग्रेजी पढ़ सकता है?" बल्कि इस आधार पर कि "क्या यह कुछ भी, कहीं भी, बिना गलत जानकारी बनाए पढ़ सकता है?"