Institutional Books - Enriched Text: A customizable multilingual open-source pipeline for denoising, deduplicating, and annotating OCR text at scale
تقدم هذه الورقة "النص المثرى" (Enriched Text)، وهو مسار متعدد اللغات مفتوح المصدر وقابل للتخصيص يحافظ على البيانات الوصفية ويسمح بالترشيح الذي يتحكم فيه المستخدم لمجموعة الكتب المؤسسية في مكتبة هارفارد البالغ عددها 983,004 مجلد، وذلك عبر تعليق نص التعرف الضوئي على الحروف (OCR) ببيانات الكشف عن اللغة، وعناقيد إزالة التكرار، ودرجات الجودة، بدلاً من تطبيق معالجة مسبقة عالمية صارمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مكتبة تضم ما يقرب من مليون كتاب، تمتد عبر قرون من الفكر البشري، ومكتوبة بمئات اللغات المختلفة. لعقود من الزمن، تم مسح هذه المجلدات ضوئيًا بواسطة الآلات، مما حول الصفحات الفيزيائية إلى نصوص رقمية. لكن هذا النص الرقمي غالبًا ما يكون فوضويًا؛ فهو يحتوي على "ضجيج" عملية المسح الضوئي: أرقام الصفحات المتكررة في أسفل كل صفحة، والعناوين التي تمتد عبر الجزء العلوي، والكلمات المقطوعة بشكل غريب في نهاية السطر. بالنسبة للحاسوب الذي يحاول التعلم من هذا النص، يمثل هذا الضجيج عقبة رئيسية. غالبًا ما تتضمن الأساليب القياسية لتنظيف هذه البيانات التخلص من أجزاء كبيرة من المعلومات، مثل إزالة كل نص ليس باللغة الإنجليزية أو حذف أي فقرة تبدو مشابهة لفقرة أخرى. وبينما يجعل هذا البيانات أكثر نظافة، إلا أنه يجردها من التاريخ الغني متعدد اللغات والسياق الهيكلي الذي يجعل الكتاب كتابًا.
لقد اتبع فريق من الباحثين في كلية الحقوق بجامعة هارفارد نهجًا مختلفًا. فبدلاً من التخلص من الأجزاء الفوضوية، قاموا ببناء نظام ينظمها بعناية. أطلقوا على نتيجتهم اسم "النص المثرى" (Enriched Text). وبدلاً من إنتاج تدفق بسيط وموحد من الكلمات، يحافظ خط المعالجة الخاص بهم على النص الأصلي سليمًا مع إضافة طبقة من التعليقات التوضيحية الرقمية. فكر في الأمر كإضافة مجموعة من الملصقات غير المرئية لكل فقرة، تخبر الحاسوب بالضبط ما هي تلك الفقرة، وفي أي لغة هي، وما إذا كانت نسخة مكررة من شيء آخر. وهذا يسمح لأي شخص يستخدم البيانات بأن يقرر بنفسه ما يريد الاحتفاظ به وما يريد تجاهله، بدلاً من أن تُتخذ هذه القرارات نيابة عنه بواسطة مرشح صارم.
بدأ المشروع بمجموعة ضخمة تضم 983,004 مجلدًا من مكتبة هارفارد، والتي تم رقمنتها في الأصل من خلال شراكة مع جوجل. تحتوي هذه المجموعة على حوالي 242 مليار وحدة نصية، تُعرف باسم "التوكنز" (tokens)، وتغطي حوالي 250 لغة مختلفة. أراد الباحثون جعل هذه المجموعة قابلة للاستخدام من قبل الذكاء الاصطناعي الحديث دون فقدان سلامة المادة المصدرية. لقد واجهوا صراعًا: فالممارسات القياسية في علوم الحاسوب لإعداد البيانات غالبًا ما تقوم بتصفية النصوص غير الإنجليزية بقوة وحذف أي شيء يبدو كنسخة مكررة لتوفير المساحة. ومع ذلك، بالنسبة لمكتبة تاريخية، فإن حذف النصوص غير الإنجليزية يعني فقدان نصف المجموعة، وحذف المكررات يعني كسر استمرارية الكتب الطويلة.
ولحل هذه المشكلة، أنشأ الفريق خط معالجة يعمل مثل أمين مكتبة دقيق. أولاً، قاموا بتنظيف النص عن طريق إصلاح الأخطاء الشائلة التي تسبب فيها المسح الضوئي. فقد أزالوا أرقام الصفحات والعناوين التي تظهر في أعلى وأسفل الصفحات، والتي غالبًا ما تختلط في منتصف الجمل. كما قاموا بإصلاح الكلمات التي انقسمت عبر الأسطر باستخدام الوصلات، وإعادة دمجها بشكل صحيح. كما فصلوا "المواد الختامية" — الأجزاء الأمامية والخلفية من الكتاب مثل جدول المحتويات، والفهرس، والمراجع — عن القصة الرئيسية أو الحجة في المنتصف. ومن الأهمية بمكان أنهم لم يحذفوا هذه الأقسام، بل قاموا بتمييزها بحيث يمكن للمستخدم اختيار قراءة النص الرئيسي فقط أو دراسة الفهرس بشكل منفصل.
قام النظام بعد ذلك بتفكيك الكتب إلى قطع أصغر وذات معنى. فقد حدد الجمل الفردية وجمعها في فقرات بناءً على الموضوع الذي تتم مناقشته، وليس فقط بناءً على مكان تغير الصفحة. وهذا أمر مهم لأن صفحة واحدة قد تحتوي على موضوعين مختلفين، أو قد يمتد موضوع واحد عبر صفحات عديدة. ومن خلال تجميع النص حسب موضوعه، جعل الباحثون من السهل على الحواسيب فهم تدفق الأفكار. كما حددوا الفقرات التي ظهرت في كتب متعددة؛ وبدلاً من حذف هذه المكررات، قاموا بتمييزها. حيث يتم إبراز نسخة واحدة من الفقرة باعتبارها النسخة "الممثلة"، بينما يتم وسم النسخ الأخرى كنسخ مكررة. وهذا يحافظ على تاريخ كيفية إعادة استخدام الأفكار ومشاركتها عبر الكتب واللغات المختلفة.
تضمنت إحدى الخطوات الأكثر تطورًا قياس جودة النص. استخدم الباحثون نموذجًا حاسوبيًا صغيرًا لقراءة كل فقرة وتخصيص درجة لها بناءً على مدى قابلية التنبؤ بها وسلاسة اللغة. هذه الدرجة، التي تسمى "بت لكل بايت" (bits-per-byte)، تساعد في تحديد الفقرات التي يُحتمل أن تكون نثراً عالي الجودة مقابل تلك التي ليست سوى ضجيج مشوش ناتج عن مسح سيئ، مثل جدول تمت قراءته ككتلة نصية واحدة. وهذا يسم يسمح للمستخدمين بتصفية أسوأ أنواع النصوص دون الحاجة إلى إجراء العملية الحسابية المكلفة بأنفسهم.
النتيجة النهائية هي مجموعة بيانات تحتوي على 217 مليار "توكن"، منظمة في أكثر من 1.3 مليار فقرة مشروحة. وجد الباحثون أن هذا النهج نجح في تنظيف النص مع الحفاظ على تعقيده. على سبيل المثال، اكتشفوا أنه بينما شكلت النصوص الإنجليزية الجزء الأكبر من المجموعة، فقد حدد النظام بشكل صحيح أن العديد من الكتب غير الإنجليزية تحتوي على كميات كبيرة من اللاتينية أو اليونانية، والتي تُستخدم غالبًا للاقتباسات أو المراجع العلمية. كما وجدوا أن النص أصبح أكثر قابلية للتنبؤ بالنسبة للحواسيب الحديثة مع مرور الوقت، حيث بدت الكتب من القرن التاسع عشر والعشرين تشبه اللغة التي نستخدمها اليوم أكثر من كتب القرن السابع عشر.
أطلق الفريق خط المعالجة بأكمله كبرمجيات مفتوحة المصدر، مما يعني أن أي شخص يمكنه استخدامه لمعالجة مجموعاته الخاصة من الكتب. كما وفروا أداة صغيرة لمساعدة المستخدمين على تحليل البيانات، مما يسمح لهم بإزالة التعليقات التوضيحية إذا أرادوا قائمة بسيطة من الكلمات، أو الاحتفاظ بالتعليقات إذا أرادوا دراسة بنية الكتب. ومن خلال اختيار التوسيم بدلاً من الحذف، أنشأ الباحثون موردًا يعد أكثر نظافة للآلات وأكثر ثراءً للدراسة البشرية. لقد أثبتوا أنه من الممكن جعل البيانات التاريخية متاحة للتكنولوجيا الحديثة دون التضحية بالدقة والتنوع الذي يجعل تلك القيمة التاريخية ذات قيمة. ويشير العمل إلى أن مستقبل معالجة البيانات لا يكمن في التخلص من الأجزاء الفوضوية، بل في تعلم كيفية تنظيمها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.