Pre-Editorial Normalization for Automatically Transcribed Medieval Manuscripts in Old French and Latin
تقدم هذه الورقة مهمة "التطبيع ما قبل التحريري" (PEN) لسد الفجوة بين الطبعات الرقمية الدقيقة باليوجرافيا (الخطوط القديمة) والمطبعة للغة الفرنسية القديمة واللاتينية، حيث تقدم مجموعة بيانات جديدة ونموذجاً قائماً على ByT5 يحقق أداءً هو الأفضل في فئته في تحويل مخرجات التعرف الآلي على النصوص الخام إلى نصوص مطبعة قابلة للاستخدام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك آلة زمن يمكنها التقاط صورة لصفحة مكتوبة بخط اليد من مخطوطة من العصور الوسطى (مثل كتاب من قبل 800 عام) وتحويلها إلى نص رقمي. هذا هو ما يفعله التعرف التلقائي على النصوص (ATR). إنه أمر مذهل، لكنه يشبه امتلاك مساعد آلي حرفي للغاية ومربك قليلاً.
إليك المشكلة: المساعد الآلي يرى الصفحة تماماً كما هي مكتوبة.
- يرى حرف "m" مشطوباً فيكتب "m".
- يرى رمزاً صغيراً يعني "و" (and) فيكتب "and" (أو أحياناً مجرد رمز غريب).
- يرى كلمة مقسمة عبر فاصل سطري فيكتبها مع وضع شرطة في منتصفها.
- يرى حرف "u" مزخرفاً يشبه حرف "v" فيكتب "v" لأن هذا هو شكل الحبر، حتى لو كان ينبغي أن يكون "u".
إذا حاولت استخدام هذا النص الخام مع أدوات الكمبيوتر الحديثة (مثل مدقق الإملاء، أو المترجم، أو محرك البحث)، فإن هذه الأدوات ستصاب بالارتباك وتتعطل. فهي تتوقع لغة إنجليزية أو فرنسية حديثة ونظيفة.
من ناحية أخرى، إذا طلبت من باحث بشري إصلاح كل ذلك دفعة واحدة، فقد يقوم بـ "الإفراط في التصحيح". قد يغير كلمة لمجرد أنه يعتقد أنها يجب أن تُكتب بطريقة معينة، مما يؤدي إلى ابتكار كلمات لم تكن موجودة أصلاً (هلوسات) أو مسح سمات تاريخية فريدة هي في الواقع مهمة.
الحل: "شطيرة المعالجة ما قبل التحرير" (PEN)
يقترح مؤلفو هذه الورقة خطوة وسطى جديدة تسمى المعالجة ما قبل التحرير (Pre-Editorial Normalization - PEN). فكر في الأمر كـ "مترجم" متخصص أو "فريق تنظيف" يجلس بين المسح الآلي الخام والكتاب المصقول النهائي.
إليك كيف تعمل هذه العملية، باستخدام تشبيه المطعم:
المكونات الخام (التعرف على الحروف - Graphemic ATR):
تخيل أن الماسح الآلي هو طباخ قام للتو بسكب كومة من الخضروات الخام غير المقشرة والمغطاة بالطين على الطاولة. بعضها سليم، وبعضها مقطع بشكل غريب، وبعضها عليه أوساخ (أخطاء في التعرف) مثل التراب. هذا هو المخرج "الحرفي" (graphemic). إنه دقيق بالنسبة لـ الصورة، لكنه ليس جاهزاً للأكل.الطريقة القديمة (الطباخ "الكل في واحد"):
في السابق، حاول الباحثون توظيف طباخ واحد ليقوم بغسل وتقشير وتقطيع وطهي وتقديم الطعام كله في آن واحد. المشكلة هي أن هذا الطباخ غالباً ما كان يتعب، أو يخمن نوع الخضروات بشكل خاطئ، وأحياناً يضيف مكونات لم تكن موجودة في الوصفة الأصلية (هلوسات).الطريقة الجديدة (شطيرة الـ PEN):
يقدم المؤلفون خطوة جديدة: محطة التحضير.
- الخطوة 1: الماسح الآلي يسكب الخضروات الخام (نص المخطوطة).
- الخطوة 2 (نموذج PEN): يأتي ذكاء اصطناعي متخصص (مدرب على ملايين الأمثلة). هو لا يحاول طهي الوجبة بعد؛ بل يقوم فقط بأعمال التحضير:
- يغسل الطين (يصلح أخطاء القراءة الآلية).
- يقشر القشور (يفك الاختصارات مثل تحويل "q̃" إلى "qui").
- يفصل الكتل المختلطة (يصلح المسافات).
- يوحد الأشكال (يغير "u" إلى "v" حيث يعمل كحرف ساكن، لكنه يحافظ على الإملاء الأصلي للكلمات مثل "philosophia" إذا كانت مكتوبة هكذا).
- الخطوة 3: الآن، أصبح النص نظيفاً ومعيارياً. إنه جاهز لعملية "التقديم" النهائية (التحرير) أو ليتم تحليله بواسطة أجهزة الكمبيوتر الحديثة.
لماذا يعد هذا أمراً هاماً؟
لقد بنى المؤلفون مجموعة بيانات تدريبية ضخمة (مكتبة من 4.6 مليون زوج من النصوص الآلية "المتسخة" والنصوص البشرية "النظيفة") لتعليم ذكائهم الاصطناعي كيفية القيام بأعمال التحضير هذه.
- النتيجة: نموذج الذكاء الاصطناعي الخاص بهم يشبه طباخ تحضير ماهر. لقد قام بتنظيف النص بدقة بلغت 93% (مع 6.7% فقط من الأخطاء)، وهو أفضل بكثير من المحاولات السابقة.
- الفائدة: نظرًا لأن هذا الذكاء الاصطناعي يفصل عملية "التنظيف" عن عملية "الطهي"، يمكننا الآن الوثوق في تحليل الكمبيوتر أكثر. إذا ارتكب الكمبيوتر خطأً لاحقاً، فسنعرف أن السبب هو الوصفة (التحليل)، وليس لأن المكونات كانت متسخة بالطين.
العقبة (خطر "الإفراط في التصحيح")
تحذر الورقة أيضاً من أن هذا الطباخ الجديد لديه انحياز.
- بالنسبة للاتينية: يميل الطباخ لجعل كل شيء يبدو مثل "اللاتينية الكلاسيكية" (النسخة المثالية والراقية من روما القديمة)، مما يؤدي أحياناً إلى مسح الإملاءات القروسطية الفريدة والفوضوية التي يرغب المؤرخون في دراستها فعلياً.
- بالنسبة للفرنسية القديمة: يميل الطباخ لاختيار الطريقة الأكثر شيوعاً لكتابة الكلمة، متجاهلاً اللهجات المحلية النادرة.
الخلاصة
تتعلق هذه الورقة ببناء مرشح (فلتر) ذكي لطبقة وسيطة للنصوص التاريخية. بدلاً من محاولة تحويل مخطوطة قديمة متسخة مباشرة إلى كتاب حديث في قفزة واحدة كبيرة، فإنهم يقومون بتفكيك العملية. أولاً، يحولون النص المتسخ إلى "نص نظيف ومعياري" باستخدام ذكاء اصطناعي متخصص. وهذا يجعل من الممكن لأجهزة الكمبيوتر قراءة وتاريخ وتحليل العصور الوسطيا دون أن تضيع في الطين، مع الحفاظ على ما يكفي من "النكهة الأصلية" لتكون دقيقة تاريخياً.
إنه الفرق بين محاولة قراءة ملاحظة مكتوبة بخط اليد من خلال نافذة ضبابية، وبين تنظيف الزجاج أولاً لتتمكن من رؤية الكلمات بوضوح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.