MDPBench: A Benchmark for Multilingual Document Parsing in Real-World Scenarios
تقدم هذه الورقة MDPBench، وهو أول معيار لتقييم تحليل المستندات متعدد اللغات عبر 17 لغة وظروف واقعية متنوعة، كاشفاً أنه في حين تظل النماذج مغلقة المصدر قوية، إلا أن البدائل مفتوحة المصدر تعاني من انخفاض كبير في الأداء عند التعامل مع المستندات المصورة والنصوص غير اللاتينية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة ضخمة تحتوي على كتب، وإيصالات، وملاحظات مكتوبة بـ 17 لغة مختلفة. بعض هذه الملفات رقمية مثالية وواضحة يمكنك نسخها ولصقها، بينما البعض الآخر فوضوي: مثل صور لأوراق مجعدة التُقطت في ضوء خافت، أو صفحات منحنية بسبب كتاب ثقيل، أو إيصالات تم تصويرها أثناء رحلة حافلة مهتزة.
لفترة طويلة، كان "المكتبون" (نماذج الذكاء الاصطناعي) الذين يحاولون قراءة هذه المستندات يشبهون الطلاب الذين درسوا فقط في فصل دراسي هادئ ومثالي. إنهم بارعون في قراءة النصوص الرقمية الواضحة باللغتين الإنجليزية والصينية، ولكن إذا سلمتهم صورة لإيصال عربي مجعد أو قائمة طعام تايلاندية التُقطت تحت المطر، فغالباً ما يصابون بالذعر، أو يخمنون بشكل خاطئ، أو يستسلمون تماماً.
إليك MDPBench: "اختبار الضغط من العالم الحقيقي" للذكاء الاصطناعي.
تقدم هذه الورقة أداة جديدة تسمى MDPBench (معيار تحليل المستندات متعدد اللغات). فكر في الأمر كأنه اختبار قيادة صارم وضخم للذكاء الاصطناعي، ولكن بدلاً من قيادة سيارة، يحاولون "قراءة" المستندات.
إليك تفصيل لما فعلوه وما وجدوه، باستخدام بعض التشبيهات البسيطة:
1. حلبة الاختبار (مجموعة البيانات)
بنى الباحثون حلبة اختبار تحتوي على 3,400 صورة مستند.
- اللغات: لم يكتفوا باللغات المعتادة (الإنجليزية، الصينية، الإسبانية)، بل شملوا 17 لغة، بما في ذلك لغات صعبة مثل العربية، والهندية، والتايلاندية، والروسية.
- الظروف: أخذوا مستندات رقمية مثالية ثم "أفسدوها" عمداً لمحاكاة الحياة الواقعية. قاموا بطباعتها، وتجعيدها، وثنيها، وتصويرها في الظلام، وتحت أشعة الشمس، وبزوايا كاميرا غريبة.
- الهدف: معرفة ما إذا كان بإمكان الذكاء الاصطناعي قراءة مستند عندما لا يكون مثالياً.
2. الحكام (التوسيم/التعليق)
لا يمكنك تقييم اختبار ما لم يكن لديك مفتاح الإجابة. لم يطلب الباحثون من ذكاء اصطناعي واحد كتابة الإجابات (لأن نماذج الذكاء الاصطناعي ترتكب الأخطاء)، بل استخدموا "شبكة أمان ثلاثية الطبقات":
- الخبراء: حاولت ثلاثة نماذج ذكاء اصطناعي مختلفة من الفئة الأولى قراءة المستند.
- الإجماع: إذا اتفق اثنان من الثلاثة على كلمة ما، فمن المرجح أنها صحيحة. وإذا اختلفوا جميعاً، استخدموا نموذجاً فائق الذكاء (Gemini-1.5-Pro) للتدقيق.
- البشر: قام خبراء بشريون حقيقيون بعد ذلك بمراجعة العمل، وتصحيح أي أخطاء متبقية. هذا يضمن أن "مفتاح الإجابة" مثالي.
3. النتائج: من اجتاز الاختبار؟
وضع الباحثون نماذج ذكاء اصطناعي متنوعة تحت اختبار الضغط هذا، من النماذج مفتوحة المصدر والمجانية إلى النماذج المدفوعة والمغلقة.
- النجم المتألق: كان نموذج Gemini-1.5-Pro (نموذج مغلق المصدر ومدفوع) هو الوحيد الذي تعامل مع الفوضى حقاً. كان مثل سائق متمرس يمكنه التنقل في طريق مليء بالحفر دون فقدان السيطرة، حيث حصل على حوالي 86% من الإجابات الصحيحة.
- الطلاب المتعثرون: أدت النماذج مفتوحة المصدر (المجانية المتاحة للجميع) أداءً أسوأ بكثير. كانت تشبه الطلاب الذين تدربوا فقط على طرق ممهدة وجافة؛ فعند مواجهة صورة مجعدة أو نص غير لاتيني (مثل العربية أو الهندية)، انهار أداؤها.
- في المستندات المصورة، انخفضت درجاتها بنسبة تقارب 18%.
- في النصوص غير اللاتينية، انخفضت بنسبة 14%.
4. الأعطال المحددة (أين فشلوا)
تسلط الورقة الضوء على بعض الطرق المضحكة والمحبطة في آن واحد التي يفشل بها الذكاء الاصطناعي في العالم الحقيقي:
- ارتباك "من اليمين إلى اليسار": تُقرأ العربية من اليمين إلى اليسار، لكن العديد من النماذج حاولت قراءتها مثل الإنجليزية (من اليسار إلى اليمين)، مما نتج عنه نصوص غير مفهومة. الأمر يشبه محاولة قراءة صورة مرآة بدون مرآة.
- هلوسة "المسافة": في اللغة التايلاندية، لا تُفصل الكلمات بمسافات. استمر الذكاء الاصطناعي في اختراع مسافات في أماكن لا تنتمي إليها، مما أدى إلى تفتيت الكلمات إلى قطع بلا معنى (مثل قراءة كلمة "biggest" كـ "big ge st").
- حلقة "النسخ واللصق": علقت بعض النماذج في حلقة مفرغة، حيث تكرر نفس الجملة مراراً وتكراراً، أو تخترع نصوصاً لم تكن موجودة أصلاً.
- "انحراف اللغة": في بعض الأحيان، ينظر الذكاء الاصطناعي إلى مستند فيتنامي ويقول بثقة: "هذه لغة صينية!" لأنه كان يخمن بناءً على الأنماط التي رآها في بيانات تدريبه.
لماذا يهم هذا؟
حالياً، يتم بناء معظم أنظمة الذكاء الاصطناعي من أجل "العالم الرقمي النظيف". لكن العالم الحقيقي فوضوي. معظم معرفة العالم ليست في ملفات PDF مثالية؛ بل في الكتب القديمة، والملاحظات المكتوبة بخط اليد، وصور الإيصالات.
MDPBench هو بمثابة جرس إنذار. إنه يوضح لنا أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً، فإنه لا يزال هشاً. إنه يعمل بشكل رائع في المختبر ولكنه يعاني في الميدان. يوفر هذا المعيار للباحثين خارطة طريق واضحة لأماكن فشل الذكاء الاصطناعي حتى يتمكنوا من بناء أنظمة جاهزة حقاً للعالم الحقيقي متعدد اللغات والفوضوي.
باختصار: لقد بنينا اختباراً لنرى ما إذا كان بإمكان الذكاء الاصطناعي قراءة إيصال مجعد ومبعثر بـ 17 لغة مختلفة. الذكاء الاصطناعي المدفوع اجتاز الاختبار بتفوق؛ أما المجاني فقد فشل في معظم الحالات. الآن نحن نعرف بالضبط ما الذي يجب إصلاحه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.