Institutional Newspapers Pipeline: Deriving billions of high quality tokens from historical newspapers
تقدم هذه الورقة "مسار الصحف المؤسسية" (Institutional Newspapers Pipeline)، وهو نظام معياري وفعال حاسوبياً تم تطويره مع مكتبة بوسطن العامة لمعالجة أكثر من 1.4 مليون مسح ضوئي لصحف تاريخية إلى مجموعة بيانات مفتوحة ومنظمة تحتوي على 16.3 مليار رمز (token) عالي الجودة من خلال سير عمل متعدد الخطوات يتضمن التجزئة، والتعرف الضوئي على الحروف (OCR)، والتحليل النصي المتقدم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعد الصحف السجل اليومي للحياة البشرية، حيث توثق كل شيء من الانتخابات المحلية إلى سعر الدقيق، ومن الوفيات إلى الإعلانات عن الاختراعات الجديدة. لقرون، حُفظت هذه القصص على ورق هش، ولكن في العصر الرقمي، قامت المكتبات بمسح ملايين الصفحات ضوئياً لجعلها متاهلة. ومع ذلك، فإن تحويل صورة صفحة جريدة إلى نص مفيد وقابل للبحث أمر صعب بشكل مفاجئ. فالصفحات كثيفة وفوضوية، مليئة بأعمدة النصوص، والعناوين المزخرفة، والإعلانات التي غالباً ما تتداخل مع بعضها البعض. البرامج الحاسوبية القياسية، التي تعمل جيداً مع المستندات النظيفة، غالباً ما ترتبك بسبب هذه الفوضى، مما ينتج نصاً مليئاً بالأخطاء أو يفتقد أقساماً كاملة. وهذا يخلق عائقاً أمام الباحثين وأنظمة الذكاء الاصطناعي التي ترغب في التعلم من التاريخ، لأنها لا تستطيع قراءة ما هو مكتوب على الصفحة بسهولة.
قام فريق من الباحثين من كلية الحقوق بجامعة هارفارد والمكتبة العامة في بوسطن بتطوير طريقة جديدة لحل هذه المشكلة. لقد أنشأوا نظاماً يتكون من خطوات متتالية مصمماً لتفكيك صفحة جريدة واحدة إلى أصغر قطع منطقية لها، وقراءة النص في كل قطعة بدقة عالية، ثم تنظيم كل شيء بحيث يمكن للحاسوب فهم التنسيق والمحتوى. لم يكن هدفهم مجرد رقمنة النص، بل إنشاء مجموعة بيانات نظيفة ومنظمة تكشف المحتوى الحقيقي لأكثر من مليون مسح ضوئي لصحف تاريخية. ومن خلال التعامل مع كل كتلة نصية أو صورة متميزة كعنصر منفصل، تمكنوا من استخراج مليارات الكلمات من مواد كانت في السابق شديدة الفوضى بحيث لا يمكن استخدامها بفعالية.
تبدأ العملية بأخذ صورة رقمية لصفحة جريدة وتعليم الحاسوب أن يرى الصفحة كما يراها القارئ البشري. فبدلاً من محاولة قراءة الصفحة بأكملها دفعة واحدة، يحدد النظام أولاً كل كتلة محتوى متميزة، مثل مقال واحد، أو صورة فوتوغرافية، أو إعلان. قام الباحثون بتدريب نموذج حاسوبي للتعرف على هذه الكتل، أو "القصاصات"، من خلال إظهار آلاف الأمثلة له. تعلم هذا النموذج تجاهل المساحات البيضاء الفارغة حول الحواف والحدود المعقدة بين الأعمدة، والتركيز فقط على المحتوى الفعلي. وعند اختباره، أثبتت أداة التجزئة هذه فعاليتها العالية، حيث نجحت في تحديد أكثر من 83 مليون كتلة فردية عبر أكثر من 1.4 مليون صفحة جريدة. وفي المتوسط، تم تقسيم كل صفحة إلى حوالي 56 قطعة منفصلة، مما سمح للنظام بالتعامل مع التنسيقات المعقدة للماضي بدقة.
بمجرد تقسيم الصفحة إلى هذه القطع التي يمكن إدارتها، يقرأ النظام النص الموجود داخل كل منها. استخدم الباحثون طريقتين مختلفتين للقيام بذلك، حيث يعملان جنباً إلى جنب لضمان أفضل النتائج. تستخدم الطريقة الأولى أداة تقليدية استُخدمت لعقود لتحويل صور النصوص إلى حروف رقمية. أما الطريقة الثانية، فتستخدم نوعاً أحدث وأكثر تقدماً من نماذج الذكاء الاصطناعي التي يمكنها فهم سياق الصورة بشكل أفضل. وقد أثبت هذا النموذج الأحدث كفاءة خاصة في قراءة النصوص التالفة أو الباهتة أو المكتوبة بخطوط مزخرفة أربكت الأداة القديمة. وفي كثير من الحالات، استطاع النموذج المتقدم حتى تخمين الحروف المفقودة في جزء ممزق من الصفحة، لملء الفجوات وإنشاء جملة كاملة. ومن خلال الجمع بين مخرجات الطريقتين، أنتج الفريق مجموعة ضخمة من النصوص، بلغ مجموعها 16.3 مليار رمز (token)، وهو ما يكفي لملء آلاف الكتب.
بعد استخراج النص، يعمل النظام بعد ذلك على فهم ماهية كل قطعة من المحتوى بالفعل. فهو يصنف الملايين من الكتل إلى فئات، ويميز بين المقالات الإخبارية، والإعلانات، والصور الفوتوغرافية، والرسوم الكرتونية. وللقيام بذلك بدقة، ينظر النظام إلى كل من المظهر البصري للكتلة والكلمات التي تحتويها. على سبيل المثال، الكتلة التي تبدو كصورة فوتوغرافية ولكنها لا تحتوي على نص يتم تحديدها كصورة، بينما الكتلة التي تحتوي على عنوان وقصة يتم تحديدها كخبر. وجد الباحثون أن الإعلانات شكلت أكبر عدد من هذه الكتل، لكن الأخبار الفعلية احتوت على غالبية الكلمات. هذا التمييز أمر بالغ الأهمية لأنه يسم يسمح للباحثين بدراسة كيف تغيرت الطبيعة البصرية للصحف بمرور الوقت، ملاحظين أن الإعلانات أصبحت بصرية بشكل متزايد وشغلت مساحة أكبر في الصفحة مع مرور العقود.
كما ينظم النظام النص بالترتيب الذي يقرأ به الإنسان بشكل طبيعي. فغالباً ما تحتوي الصحف على مقالات تبدأ في عمود وتستمر في آخر، أو قصص تتقاطع مع الصور. طور الباحثون طريقة لرسم مسارات هذه المقالات، وتحديد أي كتلة تأتي بعد الأخرى، وأيها تأتي بعد تلك. وبينما تعد هذه مهمة معقدة، نجحت مقاربتهم في إعادة بناء ترتيب القراءة لجزء كبير من الصفحات، محققة دقة بنسبة 72.1% على المستوى الكلي و80.8% على المستوى الجزئي، مما سمح للنص بالتدفق بشكل منطقي من البداية إلى النهاية. هذه الخطوة تحول مجموعة مشتتة من شظايا الصور إلى سرد متماسك يمكن البحث فيه وتحليله تماماً مثل مستند حديث.
وبعيداً عن مجرد قراءة وتنظيم النص، يضيف النظام طبقات من المعلومات المفيدة لكل كتلة. فهو يحدد اللغة المستخدمة، ليجد أنه بينما معظم المجموعة باللغة الإنجليزية، إلا أن هناك أجزاء كبيرة باللغات الييديشية، والألمانية، والسويدية، والفرنسية، مما يعكس المجتمعات المهاجرة المتنوعة في ذلك الوقت. كما يمسح النص للعثور على أسماء الأشخاص، والأماكن، والمؤسسات، حيث يضع علامات على ملايين الإشارات لمواقع مثل بوسطن ونيويورك، أو مؤسسات مثل الكونجرس. علاوة على ذلك، يخصص النظام موضوعاً لكل كتلة، فيصنف بعضها كتقارير تجارية، والبعض الآخر كأخبار سياسية، والبعض الآخر كتحديثات علمية. هذا الوسم الغني يسمح للباحثين بطرح أسئلة محددة، مثل "كم مرة ذُكرت كلمة 'بوسطن' في الإعلانات مقارنة بالأخبار؟" أو "ما هي المواضيع الأكثر شيوعاً في ثمانينيات القرن التاسع عشر؟".
لقد صُممت العملية برمتها لتكون فعالة بما يكفي للعمل على أجهزة حاسوب قياسية، بدلاً من تطلب حواسيب فائقة ضخمة ومكلفة. قام الباحثون بمعالجة البيانات في دفعات، مع تحسين كل خطوة لضمان قدرة النظام على التعامل مع الحجم الهائل للمواد دون الانهيار أو البطء الشديد. وقُدرت التكلفة الإجمالية لتشغيل هذا المسار باستخدام قدرة حاسوبية مستأجرة بحوالي 25,000 دولار، وهو جزء ضئيل مما كان سيكلفه استخدام النماذج الأكثر تقدماً وغلاءً. تعني هذه الكفاءة أن المكتبات والمؤسسات الأخرى يمكنها استخدام نفس الأدوات لفتح مجموعاتها التاريخية الخاصة.
النتيجة هي عمل ضخم، وهي مجموعة بيانات مفتوحة تتضمن ليس فقط النص، بل أيضاً هيكل وسياق أكثر من مليون صفحة جريدة من بين عامي 1795 و1930. لقد أتاح الباحثون الأدوات، والنماذج، والبيانات النهائية للجمهور، مما يسمح لأي شخص باستكشاف هذا التاريخ بطرق جديدة. وبينما لا يعد النظام مثالياً ولا يزال يتطلب إشرافاً بشرياً للحالات الأكثر صعوبة، إلا أنه يمثل قفزة نوعية في جعل الصحف التاريخية متاحة. فمن خلال تحويل الصور الفوضوية والمشوشة إلى بيانات نظيفة ومنظمة، فتح الفريق نافذة على الحياة اليومية للناس من الماضي، موفراً أساساً للبحوث المستقبلية وطريقة جديدة للذكاء الاصطناعي للتعلم من التاريخ البشري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.