METATR: A Multilingual, Evolving Benchmark for Automatic Text Recognition

تخيل أنك توظف فريقاً من المترجمين لقراءة مكتبة ضخمة ومغبرة مليئة بالكتب من جميع أنحاء العالم. بعض الكتب هي صحف حديثة ناصعة مطبوعة بلغة إنجليزية مثالية. والبعض الآخر عبارة عن مخطوطات قروسطية متهالكة مكتوبة بحبر باهت، وخط يد غريب، وتنسيقات غريبة، ولغات لم يعد أحد يتحدث بها.

لفترة طويلة، كان "الاختبار" لهؤلاء المترجمين (الذي تسميه الورقة البحثية التعرف التلقائي على النصوص أو ATR) يشبه اختبار القيادة على طريق سريع مشمس وخالٍ من العوائق. كانت السيارات (نماذج الذكاء الاصطنا-ي) تقود بنسبة 99% بشكل مثالي لأن الطريق كان سهلاً. بدأ الناس يقولون: "القيادة أصبحت حلاً مسيطراً عليه! لا داعي للاختبار بعد الآن".

لكن في العالم الحقيقي، الطرق مليئة بالحفر، والضباب، والمنعطفات المربكة. أدرك مؤلفو هذه الورقة، METATR، أن الاختبارات القديمة كانت تخدعنا. لقد بنوا مسار اختبار جديداً وأكثر صعوبة ليروا أي نماذج الذكاء الاصطنا-ي يمكنها حقاً التعامل مع المكتبة الفوضوية في العالم الحقيقي.

إليكم ما وجدوه، مشروحاً ببساء:

1. مسار الاختبار الجديد (METATR)

بدلاً من مجرد الاختبار على نصوص إنجليزية حديثة ونظيفة، أنشأ المؤلفون "اختبار جهد" يسمى METATR.

• التنوع: جمعوا 435 صفحة من الوثائق من 17 مصدراً مختلفاً. إنه يشبه "أفضل الأغاني" في ألبوم واحد من الوثائق الصعبة.
• المزيج: يتضمن 29 لغة مختلفة (من العربية إلى الفيتنامية)، وخطوطاً مختلفة (مثل اليونانية القديمة أو اليابانية)، وظروفاً مختلفة (رسائل مكتوبة بخط اليد، صحف قديمة، وتنسيقات متعددة الأعمدة).
• الهدف: لم يريدوا فقط معرفة من هو الأسرع؛ بل أرادوا رؤية من يمكنه قراءة صفحة فوضوية مكتوبة بخط اليد في لغة لم يتم تدريبه عليها خصيصاً دون اختلاق كلمات (الهلوسة) أو قراءة النص بترتيب خاطئ.

2. المتسابقون (النماذج)

وضعوا ثلاثة أنواع من "السائقين" على هذا المسار:

• الميكانيكيون المتخصصون (التعرف الضوئي التقليدي على النصوص - OCR): هذه أدوات قديمة الطراز صُممت خصيصاً لقراءة النصوص المطبوعة. إنها تشبه الرافعة الشوكية المتخصصة: رائعة في نقل الصناديق (النصوص المطبوعة النظيفة) ولكنها سيئة جداً في التنقل داخل غرفة معيشة مزدحمة وفوضوية (الخط اليدوي والتنسيقات المعقدة).
• المبتكرون مفتوحوا المصدر: هذه نماذج بناها المجتمع. بعضها صغير وسريع، والبعض الآخر كبير وقوي. إنهم مثل فريق ميكانيكيين في مرآب. بعضهم جيد بشكل مفاجئ، لكنهم غير متسقين—أحياناً يقودون كالأبطال، وأحياناً أخرى يصطدمون بالجدار.
• عمالقة التكنولوجيا الكبرى (النماذج المملوكة للشركات): هذه هي النماذج الضخمة والمكلفة من شركات مثل جوجل (Gemini)، وAnthropic (Claude)، وOpenAI. إنها مثل سيارات الفورمولا 1 ذات المحركات الأكبر وأفضل أنواع الوقود.

3. نتائج السباق

عندما أجروا السباق على هذا المسار الصعب، كانت النتائج واضحة:

• عمالقة التكنولوجيا الكبرى فازوا (غالباً): كانت "سيارات الفورمولا 1" (وتحديداً Gemini 1.5 Pro و Claude 3.5 Sonnet) هي الأكثر اتساقاً. لقد تعاملت مع الخط اليدوي الفوضوي، والتنسيقات الغريبة، واللغات النادرة بشكل أفضل من أي شخص آخر. لقد ارتكبت أقل عدد من الأخطاء.
• الميكانيكيون المتخصصون عانوا: كانت الأدوات القديمة رائعة في قراءة الصحف الحديثة والنظيفة، لكنها انهارت تماماً أمام الخط اليدوي التاريخي أو التنسيقات المعقدة. لم تستطع التكيف.
• المبتكرون مفتوحوا المصدر كانوا مختلطين: استطاعت النماذج مفتوحة المصدر الأكبر (مثل Qwen أو olmOCR) منافسة العمالقة في بعض المسارات، لكنها كانت أقل قابلية للتنبؤ بكثير. أحياناً يبدعون، وفي أحيان أخرى يرتكبون أخطاءً فادحة، خاصة مع الخطوط الصعبة مثل الخميرية أو اليابانية.
• عقبة "الخط اليدوي": كانت قراءة النصوص المطبوعة سهلة للجميع. لكن قراءة الخط اليدوي كانت هي القاتل الحقيقي. حتى أفضل النماذج عانت هنا، رغم أن عمالقة التكنولوجيا كانوا الأقل عرضة للفشل.

4. تكلفة السرعة

نظرت الورقة أيضاً في "فاتورة الوقود" (التكلفة الحسابية والسرعة).

• العمالقة بطيئون ومكلفون: النماذج الأفضل أداءً (Gemini, Claude) تستغرق وقتاً طويلاً لقراءة الصفحة وتكلف مالاً. إنهم مثل سيارات الأجرة الفاخرة: خدمة ممتازة، لكنك تدفع مقابلها.
• الميكانيكيون سريعون ورخيصون: الأدوات المتخصصة (مثل PeroOCR) سريعة للغاية وتعمل على أجهزة كمبيوتر صغيرة. إنهم مثل الدراجة الهوائية: رخيصة وسريعة، لكن لا يمكنهم التعامل مع التلال المرتفعة (الوثائق المعقدة).
• المنطقة الوسطى: تقع النماذج مفتوحة المصدر في المنتصف. هم يحتاجون إلى أجهزة كمبيوتر قوية (بطاقات رسوميات قوية) لتشغيلهم، وهم أبطأ من الميكانيكيين ولكنهم أسرع من العمالقة.

الخلا الخلاصة

تخلص الورقة إلى أن فكرة أن "التعرف على النصوص قد حُلَّ" هي فكرة خاطئة.

إذا اختبرت هذه الأنظمة على نصوص إنجليزية حديثة ونظيفة فقط، فستحصل على شعور زائف بالأمان. ولكن إذا رميت في وجهها وثيقة تاريخية فوضوية ومتعددة اللغات، فإن الأداء ينخفض بشكل كبير.

الدرس المستفاد لأي شخص يحاول استخدام هذه الأدوات:
لا يوجد نموذج واحد "أفضل" لكل شيء.

• إذا كنت تحتاج إلى أعلى دقة في الوثائق التاريخية الفوضوية ولا تمانع في الدفع أو الانتظار، فإن نماذج شركات التكنولوجيا الكبرى هي الخيار الأفضل حالياً.
• إذا كنت تقرأ آلاف الصفحات النظيفة والحديثة وتحتاج إلى السرعة والتكلفة المنخفضة، فإن الأدوات المتخصصة لا تزال هي الخيار الأمثل.
• النماذج مفتوحة المصدر هي منطقة وسطى واعدة، ولكن عليك أن تكون حذراً لأنها قد تكون غير متوقعة.

لقد بنى المؤلفون هذا المعيار لكي نتمكن في المستقبل من تتبع التقدم ليس فقط بناءً على "هل يمكنه قراءة الإنجليزية؟" بل على "هل يمكنه قراءة أي شيء، في أي مكان، دون اختلاق معلومات؟"