Ensemble Method for OCR Error Handling in Early-Modern Japanese Texts

إن الكلمة المكتوبة شيء هش؛ فالورق يصفرّ، والحبر يبهت، والصفحات المادية للتاريخ تتداعى ببطء. وللحفاظ على هذه السجلات، أمضت المكتبات والأرشيفات عقودًا في مسح الكتب ضوئيًا وتحويل صور صفحاتها إلى نصوص رقمية يمكن للحواسيب قراءتها والبحث فيها. وتعمل هذه العملية، المعروفة باسم التعرف الضوئي على الحروف (OCR)، بشكل ممتاز للكتب الحديثة حيث تكون الخطوط موحدة والورق نظيفًا. ومع ذلك، تصبح المهمة أكثر صعوبة عندما تكون المادة المصدرية من زمن ما قبل التوحيد المعياري، مثل الكتب اليابانية التي نُشرت بين أواخر القرن التاسع عشر وأوائل القرن العشرين. تتميز هذه النصوص بتنوع فوضوي في أنواع الخطوط، وطباعة متآكلة، وحروف تبدو متشابهة بشكل مذهل مع بعضها البعض. وعندما يحاول الكمبيوتر قراءتها، فإنه غالبًا ما يخطئ في تمييز حرف عن آخر، مما يؤدي إلى إنشاء نص رقمي يبدو صحيحًا للوهلة الأولى ولكنه مليء بأخطاء طفيفة وصامتة تجعل المحتوى عديم الفائدة للبحث الجاد.

لقد طور فريق من الباحثين من جامعات في نارا وكيوتو وشيغا طريقة جديدة لإصلاح هذه الأخطاء المحددة. فقد أنشأوا نظامًا يعمل بمثابة محرر ذي خطوتين لهذه النصوص الرقمية التالفة. أولاً، يقوم النظام بمسح النص للعثور على الأماكن التي تختبئ فيها الأخطاء. وبدلاً من الاعتماد على طريقة واحدة للقيام بذلك، قاموا بدمج نهجين مختلفين: أحدهما يتحقق مما إذا كانت الكلمة موجودة في قائمة معروفة، والآخر يستخدم نموذجًا حاسوبيًا مدربًا على فهم تدفق وسياق الجملة. ومن خلال جعل هذين النهجين يعملان معًا، يمكن للنظام رصد الأخطاء التي قد يغفل عنها أحد النهجين مع تجاهل الإنذارات الكاذبة التي قد يثيرها النهج الآخر. وبمجرد العثور على خطأ، يقترح النظام الحرف الصحيح لاستبداله، باستخدام نموذج لغوي قوي لتخمين الكلمة الأكثر احتمالًا بناءً على النص المحيط. وقد أظهرت تجاربهم أن هذا النهج المدمج يجد الأخطاء بدقة أكبر من الطرق السابقة ويصحح بنجاح جزءًا كبيرًا منها، مما يجعل التاريخ الرقمي لليابان في العصر الحديث أكثر موثوقية للباحثين والجمهور.

إن تحدي قراءة هذه الكتب القديمة لا يتعلق فقط بعمر الورق، بل بطبيعة الطباعة نفسها. فخلافًا للكتب اليوم، التي تستخدم خطوطًا ثابتة، كانت المنشورات من عصر ميجي إلى أوائل عصر شوا تتم طباعتها بمجموعة متنوعة من أنواع الخطوط التي تتغير من ناشر لآخر وحتى من سنة إلى أخرى. وغالبًا ما كانت عملية الطباعة في ذلك الوقت تؤدي إلى حروف ضبابية أو غير متساوية. وعندما تحاول برامج التعرف الضوئي على الحروف الحديثة، المدربة على نصوص نظيفة ومعيارية، قراءة هذه الصفحات، فإنها كثيرًا ما تخلط بين الحروف التي تتشابه في الشكل. فعلى سبيل المثال، قد يُقرأ حرف بضربة إضافية طفيفة على أنه كلمة مختلفة تمامًا. وبينما تم بناء برامج متخصصة للتعامل مع هذه الخطوط القديمة، إلا أنها لا تزال تخطئ في حوالي ثلاثة بالمائة من الحروف. وفي جملة طويلة، يعني هذا أن ما يقرب من نصف الجمل يحتوي على خطأ واحد على الأقل، وهو أمر كثير جدلت لا يمكن للحاسوب البحث من خلاله أو للباحث الوثوق به دون تحقق.

ولحل هذه المشكلة، بنى الباحثون نظامًا يعمل في مرحلتين متميزتين: الكشف والتصحيح. المرحلة الأولى هي الأكثر أهمية، حيث يجب على النظام تحديد الحروف الخاطئة بدقة دون تصنيف الحروف الصحيحة كأخطاء. أدرك الفريق أن استخدام أداة واحدة فقط للعثور على هذه الأخطاء لم يكن كافيًا. ففحص القاموس البسيط، الذي يبحث فيما إذا كانت الكلمة موجودة في قائمة الكلمات المعروفة، جيد جدًا في رصد الكلمات غير المفهومة، ولكنه غالبًا ما يفشل عندما يواجه كلمة نادرة أو غير معروفة وهي في الواقع صحيحة. ومن ناحية أخرى، فإن النموذج الحاسوبي الذي يتعلم من سياق الجملة جيد جدًا في فهم كيفية ترابط الكلمات مع بعضها البعض، ولكنه قد يرتبك أحيانًا بسبب الأسماء النادرة أو المصطلحات المحددة التي لم يراها كثيرًا.

قرر الباحثون دمج هاتين القوتين في طريقة تجميعية واحدة. فقد أخذوا المخرجات من الفاحص القائم على القاموس ومخرجات نموذج حاسوبي مدرك للسياق وجعلوهما يعملان معًا. فإذا قال القاموس إن الكلمة مفقودة، يتحقق النظام مما إذا كان نموذج السياق يعتقد أيضًا أنها خاطئة. وإذا اتفق كلاهما، يعتبر النظام ذلك خطأً. أما إذا اعتقد أحدهما فقط أنها خاطئة، يفترض النظام أنها قد تكون كلمة نادرة ولكنها صحيحة ويتركها كما هي. قللت هذه الاستراتيجية بشكل كبير من عدد المرات التي اتهم فيها النظام كلمة صحيحة بأنها خطأ. وفي اختباراتهم، حدد هذا النهج المدمج الأخطاء بدقة تبلغ حوالي 75 بالمائة مع إبقاء عدد الإنذارات الكاذبة أقل بكثير مما يمكن لأي من الطريقتين تحقيقه بمفرده.

بمجرد أن يحدد النظام مكان الأخطاء، ينتقل إلى المرحلة الثانية: التصحيح. استبدل الباحثون الحرف المشتبه في كونه خاطئًا بمسافة فارغة، أو "قناع"، وسألوا نموذجًا لغويًا متطورًا للتنبؤ بما كان ينبغي أن يكون عليه الحرف الأصلي. هذا النموذج، المدرب على كميات هائلة من النصوص من نفس الحقبة، ينظر إلى الكلمات التي تسبق وتلحق بالفراغ لتخمين المرشح الأكثر احتمالًا. ولضمان أن التخمين ملائم، تحقق النظام أيضًا من مدى تشابه الحرف الجديد مع القديم الخاطئ، بما أن أخطاء التعرف الضوئي على الحروف تحدث عادةً بين الحروف التي تتشابه في الشكل. ثم قام النظام بترتيب أفضل تخميناته واختار الأفضل بينها.

كانت نتائج هذه الطريقة الجديدة واعدة. فعندما اختبر الباحثون نظامهم على آلاف الجمل من الكتب المرقمنة، وجدوا أنه صحح حوالي 65 بالمائة من الأخطاء التي رصدها بنجاح. وكان هذا تحسنًا ملحوظًا عن استخدام نموذج السياق وحده، والذي صحح حوالي 58 بالمائة من الأخطاء. وكان النظام فعالًا بشكل خاص عندما يجد الموقع الدقيق للخطأ دون أي ارتباك؛ ففي تلك الحالات، ارتفع معدل نجاح التصحيح إلى أكثر من 90 بالمائة. ومع ذلك، لاحظ الباحثون وجود مقايضة؛ فمن خلال الحرص الشديد لتجنب الإنذارات الكاذبة، فات النظام أحيانًا بعض الأخطاء تمامًا، مما يعني أنه لم يضبط كل خطأ في النص. ووجدوا أن النظام واجه صعوبة أكبر مع الكلمات النادرة جدًا أو الأسماء العلم التي لم تكن شائعة في بيانات التدريب، حيث لم يكن لدى القاموس ولا نموذج السياق معلومات كافية بشأنها.

على الرغم من هذه القيود، تظهر الدراسة أن الجمع بين أنواع مختلفة من عمليات التحقق هو وسيلة قوية لتنقية النصوص التاريخية. لقد أظهر الباحثون أنه من خلال جعل القاموس ونموذج مدرك للسياق يراجع كل منهما الآخر، استطاعوا إنشاء أداة أكثر موثوقية للمؤرخين وأمناء المكتبات. لا يدعي هذا العمل أنه حل مشكلة قراءة الكتب اليابانية القديمة بالكامل، ولكنه يمثل خطوة كبيرة للأمام في جعل النسخ الرقمية من هذه النصوص دقيقة بما يكفي لتكون مفيدة. ومع رقمنة المزيد من الكتب، ستكون طرق مثل هذه ضرورية لضمان أن يكون الأرشيف الرقمي انعكاسًا أمينًا للأصل، مما يحفظ الصوت الحقيقي للماضي للأجيال القادمة.