Institutional Books - Visual Elements: An open-source pipeline for extracting, classifying, deduplicating, and captioning visual elements from digital book collections

تعد المكتبات مستودعات شاسعة للتاريخ البشري، ولكن لعقود من الزمن، لم ترو النسخ الرقمية من كتبها سوى نصف القصة. فعندما تقوم المؤسسات بمسح المجلدات القديمة ضوئياً لجعلها قابلة للبحث، فإنها تركز تقليدياً على النص، باستخدام البرمجيات لقراءة الكلمات وتحويلها إلى بيانات. هذه العملية، المعروفة باسم التعرف الضوئي على الحروف، كانت إنجازاً كبيراً، حيث سمحت للباحثين بالبحث عبر ملايين الصفحات في ثوانٍ معدودة. ومع ذلك، فإن الصور الموجودة داخل تلك الكتب — من رسوم توضيحية، وصور فوتوغرافية، ونقوش، وزخارف — ظلت إلى حد كبير غير مرئية للآلات. تحمل هذه العناصر المرئية طبقة فريدة من السياق والفروق الدقيقة التي لا يستطيع النص وحده التقاطها، ومع ذلك كان من الصعب دراستها على نطاق واسع لأنها لم تكن مهيكلة بطريقة يمكن للحواسيب فهمها بسهولة. ومع زيادة قدرة أنظمة الذكاء الاصطناعي على "رؤية" العالم وتفسيره، ظهرت فجوة كبيرة: فهذه الأنظمة مدربة في الغالب على صور حديثة من الإنترنت، وغالباً ما تواجه صعوبة في فهم الثقافة المرئية التاريخية. ولجسر هذه الفجوة، يحتاج الباحثون إلى مجموعة ضخمة ومتنوعة من الصور التاريخية المنظمة والجاهزة لكي تتعلم منها الآلات.

لقد عالج فريق من الباحثين من جامعة هارفارد هذا التحدي من خلال بناء نظام جديد مفتوح المصدر مصمم للعثور على العناصر المرئية داخل ما يقرب من مليون كتاب رقمي وفرزها ووصفها. إن عملهم، المفصل في تقرير تقني، ينشئ مسار عمل يعمل مثل أمين مكتبة ماهر للغاية يمكنه مسح الكتاب، وتحديد كل صورة، ومعرفة ماهيتها، وكتابة وصف قصير لها، وكل ذلك دون تدخل بشري. والنتيجة هي مجموعة بيانات تحتوي على أكثر من 22 مليون عنصر مرئي مستخرج من 983,004 مجلد. تضم هذه المجموعة كل شيء من الرسوم البيانية العلمية والنوتات الموسيقية إلى الصور الشخصية والفنون الزخرفية، مع وسم كل منها بمعلومات حول نوعها، وفي كثير من الحالات، وصف مولد بواسطة الحاسوب. ومن خلال إتاحة هذه البيانات، يأمل الفريق في مساعدة نماذج الذكاء الاصطناعي على فهم المواد التاريخية بشكل أفضل، مما يخلق دورة تؤدي فيها الأدوات الأفضل إلى المزيد من البيانات، والتي بدورها تؤدي إلى أدوات أفضل لاستكشاف ماضينا المشترك.

تبدأ العملية بالمهمة الأكثر أساسية: العثور على الصور. فقد طور الباحثون نظاماً يمسح الصفحات الرقمية للكتب لتحديد أي منطقة تحتوي على صورة. ولأن المجموعة ضخمة للغاية، حيث تحتوي على مئات الملايين من الصفحات، كان لزاماً على النظام أن يكون فعالاً للغاية. قاموا بتدريب نموذج حاسوبي متخصص للتعرف على العناصر المرئية من خلال إظهار آلاف الأمثلة لصفحات تحتوي على صور وأخرى لا تحتوي عليها. تعلم هذا النموذج تجاهل النص والتركيز على الأجزاء المرئية، ورسم مربع حول كل رسم توضيحي أو صورة أو مخطط وجده. في التشغيل النهائي، عالج النظام المجموعة بأكملها وحدد أكثر من 28 مليون صورة محتملة. ولضمان الجودة العالية، طبق الباحثون فلاتر صارمة لإزالة الإنذارات الخاطئة، مثل البقع أو أخطاء المسح الضوئي، مما ترك مجموعة نهائية مكونة من 22.6 مليون عنصر مرئي متميز.

بمجرد العثور على الصور، كانت الخطوة التالية هي فهم ماهيتها. قام النظام بفرز الـ 22.6 مليون صورة إلى خمس فئات رئيسية: الرسوم التوضيحية والصور الفوتوغرافية العامة، التدوين الموسيقي، العناصر الزخرفية مثل أختام الكتب، المخططات والرسوم البيانية، والشوائب الناتجة عن المسح الضوئي مثل الأصابع العابرة أو مشابك الورق التي ظهرت بالصدفة في عمليات المسح. درب الباحثون نموذجاً آخر للقيام بهذه التمييزات، وتعليمه كيفية التفريق بين النوتة الموسيقية وصفحة نصية، أو بين الإطار الزخرفي والرسم البياني العلمي. أثبت النظام دقة عالية، حيث استطاع التمييز بين التدوين الموسيقي بثقة شبه كاملة، رغم أنه وجد بعض الفئات، مثل الحدود الزخرفية، أصعب قليلاً في الفصل عن أنواع الرسوم التوضيحية الأخرى. عملية الفرز هذه حاسمة لأنها تسمح للباحثين بطرح أسئلة محددة، مثل "أرني جميع المخططات من القرن الثامن عشر" أو "ابحث عن كل حالة لختم كتاب معين".

بعد الفرز، عالج الفريق مشكلة التكرار. ففي مشاريع الرقمنة الكبيرة، غالباً ما تظهر الصورة نفسها مرات عديدة، إما لأنها استُخدمت في طبعات متعددة من الكتاب أو لأن عملية المسح الضوئي التقطت نفس الصفحة مرتين بالخطأ. ولتنظيف ذلك، استخدم الباحثون طريقتين مختلفتين للعثور على الصور المتطابقة. قارنت الطريقة الأولى أنماط البكسل للصور للعثور على النسخ المتطابقة تماماً، بينما بحثت الطريقة الثانية في المعنى الأعمق للصور للعثور على النسخ شبه المتطابقة التي قد تبدو مختلفة قليلاً بسبب اختلافات المسح الضوئي. ومن خلال الجمع بين هذين النهجين، حددوا وجمعوا ملايين الصور المتكررة، مما يضمن أن مجموعة البيانات النهائية تمثل محتوى مرئياً فريداً بدلاً من مجرد قائمة بكل مرة ظهرت فيها الصورة. قللت هذه الخطوة من العدد الإجمالي للعناصر بنسبة 20 في المائة تقريباً، مما ترك مجموعة أنظف وأكثر قيمة للدراسة.

تضمن الجزء الأخير والأكثر تجريبية من المشروع تعليم النظام كيفية كتابة الأوصاف للصور. باستخدام نموذج لغوي كبير، طلب الباحثون من الحاسوب توليد وصف قصير لكل صورة، يشرح ما تظهره. ولمساعدة الحاسوب على فهم السياق، قاموا بتزويده بالنص من الصفحة المحيطة مع الصورة نفسها. تم توجيه النظام ليكون دقيقاً ويتجنب التخمين، واصفاً فقط ما هو مرئي بوضوح. وبينما أشار الباحثون إلى أن هذه الأوصاف تجريبية ويجب استخدامها بحذر، فقد نجحوا في توليد ما يقرب من 18 مليون وصف. توفر هذه الأوصاف، المكتوبة باللغة الأصلية للكتاب كلما أمكن ذلك، طريقة جديدة للبحث عن المحتوى المرئي، مما يسمح للمستخدمين بالعثور على الصور بناءً على محتواها بدلاً من مجرد أسمائها أو فئاتها.

أولى الباحثون أيضاً اهتماماً كبيراً للجانب العملي لهذه المهمة الضخمة، لضمان كفاءة العملية وإمكانية تكرارها من قبل مؤسسات أخرى. ووجدوا أن أكبر عقبة لم تكن قدرة الحاسوب على التفكير، بل الوقت المستغرق لتحميل وتجهيز الصور للمعالجة. ومن خلال تحسين سير عملهم، تمكنوا من معالجة المجموعة بأكملها في غضون أسابيع باستخدام موارد حوسبة قياسية. أطلق الفريق مسار العمل بالكامل، والنماذج التي دربوها، ومجموعة البيانات الناتجة كأدوات مفتوحة المصدر، داعين المكتبات والباحثين الآخرين لاستخدام عملهم وتحسينه. كما تضمنوا تحذيرات واضحة حول حدود بياناتهم، مشيرين إلى أن بعض الصور قد تحتوي على تحيزات تاريخية أو لغة ضارة تعكس العصر الذي أُنشئت فيه، وأن الأوصاف المولدة حاسوبياً ليست مثالية.

يمثل هذا المشروع خطوة مهمة للأمام في جعل التاريخ المرئي للثقافة الإنسانية متاحاً لكل من البشر والآلات. فمن خلال تحويل مجموعة ضخمة وغير منظمة من صور الكتب إلى مجموعة بيانات قابلة للبحث والتصنيف والوصف، قدم الباحثون أساساً جديداً لدراسة الماضي. تتضمن مجموعة البيانات أكثر من 22 مليون عنصر مرئي، مما يوفر مورداً غنياً لتدريب الذكاء الاصطناعي على فهم السياقات التاريخية ولتمكين أشكال جديدة من أبحاث العلوم الإنسية الرقمية. يوضح هذا العمل أنه مع التخطيط الدقيق والأدوات المناسبة، يمكن تسليط الضوء على الكنوز المرئية المخفية داخل ملايين الكتب القديمة، مما يقدم رؤى جديدة حول القصص التي ترويها.