A Survey of OCR Evaluation Methods and Metrics and the Invisibility of Historical Documents
تنقد هذه الورقة أساليب تقييم التعرف الضوئي على الحروف (OCR) الحالية لاعتمادها المفرط على مجموعات البيانات الحديثة والغربية، مجادلةً بأن هذا التحيز يجعل الوثائق التاريخية والمهمشة — ولا سيما الصحف السوداء — غير مرئية بنيوياً، ويؤدي إلى ضرر تمثيلي من خلال الفشل في استيعاب تحدياتها الطباعية والمادية الفريدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة من الصحف القديمة الهشة المكتوبة بلغة تتغير قليلاً كل بضعة عقود. الآن، تخيل أنك وظفت روبوتاً فائق الذكاء ليقرأها بصوت عالٍ ويكتبها لكي يراها العالم.
هذه الورقة البحثية تتحدث عن كيفية اختبارنا لهذا الروبوت، ولماذا تفشل اختباراتنا الحالية في رصد مشكلة محددة وخطيرة للغاية: وهي أن الروبوت بارع في قراءة الوثائق الحديثة والنظيفة، لكنه يسيء فهم الصحف السوداء التاريخية تماماً، وغالباً ما يدمر معناها.
إليك تفصيل للورقة البحثية باستخدام تشبيهات بسيطة:
١. فخ "الدرجة الكاملة"
في الوقت الحالي، عندما نختبر روبوتات القراءة هذه (التي تسمى أنظمة OCR)، فإننا نعطيها اختباراً في الرياضيات. يسأل الاختبار: "هل كتبت كل حرف بشكل صحيح؟"
إذا كتب الروبوت "القطة جلست" بدلاً من "القطة جلست"، فإنه يحصل على درجة عالية. ولكن تخيل لو كانت الجريدة مكتوبة بثلاثة أعمدة من النصوص جنباً إلى جنب، مثل اللغز. إذا قرأ الروبوت العمود الأول، ثم قفز إلى الثالث، ثم الثاني، فقد يكتب كل حرف بشكل صحيح أيضاً. ومع ذلك، فإن القصة لن تعود ذات معنى.
التشبيه: الأمر يشبه طالباً حفظ وصفة طعام بدقة، لكنه قدم المكونات بترتيب خاطئ. لقد حصل على درجة "امتياز" في تهجئة كلمات "الدقيق"، "البيض"، و"السكر"، لكنه قدم لك وعاءً من الدقيق الخام لأنه لم يفهم بنية الوصفة.
٢. مشكلة "النظام الغذائي للتدريب"
تجادل الورقة بأن هذه الروبوتات يتم تدريبها على نظام غذائي محدد جداً. لقد تغذت على الملايين من نماذج الأعمال الحديثة، والأوراق العلمية، وملفات PDF الرقمية النظيفة. إنها لم تتناول أبداً طبقاً من الصحف السوداء من القرن التاسع عشر.
التشبيه: تخيل أنك علمت كلباً دائماً كيف يجلب كرات التنس فقط. ثم رميت له حذاءً ثقيلاً وموحلاً وطلبت منه أن يجلبه. الكلب ليس "غبياً"؛ هو فقط لا يعرف ما هو الحذاء لأنه لم يكن جزءاً من تدريبه. عندما يحاول الكلب جلب الحذاء، قد يمضغه أو يتركه. وبالمثل، تحاول نماذج الذكاء الاصطناعي هذه "جلب" النص من الصحف القديمة، ولكن لأنها لم ترَ هذا "الحذاء" من قبل، فإنها تبدأ في "الهلوسة" (تختلق أشياء) أو تخلط التنسيق.
٣. "الشبح" في الآلة
عندما تحاول هذه الروبوتات قراءة الصحف السوداء القديمة، فإنها تواجه تحديات فريدة:
- الورق يتآكل: الحبر باهت، والورق ملطخ، والمسوحات الضوئية ضبابية (مثل النظر من خلال نافذة متسخة).
- الخطوط غريبة: تستخدم خطوطاً قديمة وفخمة (قوطية أو Blackletter) تبدو كأنها رموز فضائية بالنسبة للذكاء الاصطناعي الحديث.
- التنسيق معقد: النص محشور في ٧ أعمدة، مع إعلانات وعناوين تتداخل وتخرج من بعضها البعض.
النتيجة: الروبوت لا يرتكب مجرد خطأ إملائي فحسب، بل إنه غالباً ما يمحو التاريخ.
- قد يقرأ قصيدة وتقريرًا إخباريًا كفقرة واحدة ضخمة ومربكة.
- قد "يهلوس" (يخترع) كلمات تبدو مناسبة لتلك الحقبة الزمنية ولكنها في الواقع مزيفة.
- قد يتجاهل تماماً الرسالة السياسية للتنسيق لأنه يحاول فرض النص في خط مستقيم.
٤. "عدم المرئية"
النقطة الأكثر أهمية في الورقة هي أن هذا ليس مجرد خلل تقني؛ إنه شكل من أشكال عدم المرئية.
لأن الاختبارات الحالية تهتم فقط بـ "هل تهجيت كلمة 'حرية' بشكل صحيح؟"، فإن النظام يحصل على الضوء الأخضر. ويُعلن أنه "متطور" (State-of-the-Art). ولكن في الواقع، لقد فشل في التقاط روح الوثيقة.
التشبيه: تخيل أميناً لمتحف تم توظيفه لترميم لوحة. يتم اختباره على مدى جودة مطابقة ألوان الطلاء. لقد قام بعمل مثالي في مطابقة اللونين الأحمر والأزرق. ولكن في هذه العملية، قام بالرسم فوق توقيع الفنان والمناظر الخلفية لأنهم اعتقدوا أن تلك الأجزاء ليست مهمة لـ "اختبار اللون". تبدو اللوحة ملونة، لكن القصة قد ضاعت.
٥. لماذا هذا مهم؟
يقول المؤلفون إننا بحاجة إلى تغيير قواعد اللعبة. لا يمكننا فقط أن نسأل، "هل النص دقيق؟". بل يجب أن نسأل:
- "هل حافظت على الأعمدة بالترتيب الصحيح؟"
- "هل احترمت الطريقة التي استخدم بها المحرر المساحة لإيصال رسالة سياسية؟"
- "هل حافظت على التاريخ، أم أنك قمت فقط بتنظيفه حتى بدا مثل تدوينة حديثة؟"
الخلاصة:
لفهم التاريخ حقاً، وخاصة تاريخ المجتمعات المهمشة مثل الصحافة السوداء، لا يمكننا استخدام أدوات صُنعت للوثائق المؤسسية الحديثة. نحن بحاجة إلى إطعام الروبوتات "الطعام" المناسب (البيانات التاريخية) وإعطائها "اختباراً" جديداً يقدر البنية والثقافة بقدر ما يقدر التهجئة. إذا لم نفعل ذلك، فإننا نخاطر بتحويل تاريخنا إلى فوضى مشوهة وغير قابلة للقراءة، حتى لو اعتقد الروبوت أنه أدى عملاً مثالياً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.