iDocV2: Leveraging Self-Supervision and Open-Set Detection for Improving Pattern Spotting in Historical Documents
تقدم الورقة البحثية iDocV2، وهو نموذج تعلم ذاتي التوجيه مزود بكاشف مفتوح المجموعة وخوارزمية لتقليل القيم غير القصوى، يعمل على تسريع رصد الأنماط في الوثائق التاريخية بشكل كبير مع تحقيق دقة جديدة هي الأفضل حالياً، لا سيما بالنسبة للاستعلامات الصغيرة غير المربعة.
المؤلفون الأصليون:Jose M. Saavedra, Crhistopher Stears, Marcelo Pizarro, Cristóbal Loyola, Luis Aros
تخيل أن لديك مكتبة ضخمة ومتربة مليئة بآلاف الكتب القديمة من العصور الوسطى. هذه الكتب جميلة، لكنها مكتوبة بخط اليد، ومليئة برسومات غريبة، والنصوص فيها بلغة قد لا تعرف حتى قراءتها. الآن، تخيل أنك تبحث عن رسمة صغيرة محددة لتنين في أحد هذه الكتب.
الطريقة القديمة ("البحث البطيء"): في السابق، إذا أردت العثور على ذلك التنين، كان عليك استئجار فريق من أمناء المكتبات المجتهدين ولكن البطيئين للغاية. كانوا يأخذون صورة لتنينك ثم يسيرون فعلياً عبر كل صفحة من كل كتاب، ويقارنون صورتك بكل إنش صغير في الصفحة.
المشكلة: كان هذا يستغرق وقتاً طويلاً (يصل إلى 7 ثوانٍ لكل عملية بحث!).
الخطأ: لأنهم كانوا ينظرون إلى كل شيء بدقة شديدة، فغالباً ما كانوا يرتبكون بسبب الأشكال الغريبة والصغيرة التي تبدو تقريباً مثل التنين ولكنها ليست كذلك. كما أنهم واجهوا صعوبة في العثور على التنانين المرسومة بشكل صغير جداً أو ممدودة بأشكال غريبة.
الطريقة الجديدة (iDocV2: "المحقق الذكي"): قام مؤلفو هذه الورقة البحثية ببناء محقق ذكاء اصطناعي جديد فائق الذكاء يسمى iDocV2. وبدلاً من النظر إلى كل بكسل في كل صفحة، يستخدم هذا المحقق حيلتين ذكيتين لحل القضية بشكل أسرع وأكثر دقة.
1. أمين المكتبة "ذاتي التعلم" (التعلم الخاضع للإشراف الذاتي)
تخيل طالباً يريد التعرف على الفن في العصور الوسطى.
الطريقة القديمة: سيحتاج إلى معلم يشير إلى كل صورة ويقول: "هذه قلعة"، "هذا فارس". لكن لا يوجد معلمين لملايين الصفحات القديمة!
الطريـقة الجديدة (iDoc): يعمل الذكاء الاصطناعي كطالب ينظر فقط إلى ملايين الصفحات بمفرده. إنه يتعلم التعرف على الأنماط والأشكال والقوام من خلال لعب لعبة "تخمين القطعة المفقودة". هو يعلم نفسه كيف يبدو "الرسم في العصور الوسطى" دون الحاجة إلى إنسان ليضع تسميات توضيحية لكل شيء. وهذا يجعله خبيراً في الوثائق القديمة أكثر بكثير من نماذج الذكاء الاصطناعي العامة المستخدمة سابقاً.
2. "القناص" مقابل "القصف العشوائي" (الكشف مفتوح المجموعة والمطابقة المتفرقة)
هذا هو التغيير الجذري الأكبر.
الطريقة القديمة (القصف العشوائي): كان الذكأ الاصطناعي القديم يمسح الصفحة بأكملها، ويقارن استعلام التنين الخاص بك بكل "إنش مربع" من الوثيقة. كان الأمر يشبه رش حقل كامل بالماء للعثور على زهرة واحدة محددة. كان بطيئاً وفوضوياً.
الطريقة الجديدة (القناص): يستخدم محقق iDocV2 أولاً "كشافاً ذكياً" (يسمى الكاشف مفتوح المجموعة). قبل أن يحاول حتى العثور على التنين، يقوم بمسح سريع للصفحة ويقول: "مهلاً، هناك رسم هنا، ومبنى هناك، وشخص هناك". إنه يتجاهل المساحات البيضاء الفارغة والنصوص.
هو يركز انتباهه فقط على الأماكن المثيرة للاهتمام.
بعد ذلك، يقارن التنين الخاص بك بتلك البقاع المحددة فقط.
النتيجة: الأمر يشبه العثور على إبرة في كومة قش عن طريق التخلص أولاً من كل القش والنظر فقط إلى الأماكن القليلة التي قد تكون الإبرة موجودة فيها. هذا يجعل البحث أسرع بـ 10 مرات (حيث انخفض من 7 ثوانٍ إلى أقل من ثانية واحدة).
3. "مغير الشكل" (التعامل مع الاستعلامات الغريبة)
أحد أكبر الصداع في البحث عن الرسومات القديمة هو أنها تأتي بأشكال غريبة. أحياناً تكون الرسمة عبارة عن خط رفيع جداً (غير مربع).
الطريقة القديمة: كان الذكاء الاصطناعي القديم يرتبك بسبب هذه الأشكال النحيفة وغالباً ما يفقدها.
الطريقة الجديدة: لأن iDocV2 علم نفسه على ملايين الصفحات، فقد تعلم أن "الخطوط الرفيعة" و"الأشكال الغريبة" لا تزال مهمة. لقد أصبح بارعاً في رصد هذه الأنماط الصعبة، الصغيرة، والممدودة.
النتيجة: في أصعب أنواع البحث (الرسومات الصغيرة ذات الأشكال الغريبة)، كان الذكاء الاصطناعي القديم يصيب الهدف بنسبة 43% تقريباً. أما iDocV2 الجديد فيصيب الهدف بنسبة 61% من الوقت. هذه قفزة هائلة!
الملخص: لماذا يجب أن تهتم؟
فكر في هذه التكنولوجيا كترقية من عدسة مكبرة إلى جهاز كشف معادن عالي التقنية.
أسرع: يجد ما تحتاجه في غمضة عين (720 مللي ثانية) بدلاً من استغراق وقت طويل.
أذكى: لا يخدعه الضجيج في الخلفية؛ فهو يعرف تماماً أين ينظر.
أفضل في المهام الصعبة: يمكنه أخيراً العثور على تلك الرسومات الصغيرة والغريبة التي كانت الحواسيب السابقة تفقدها باستمرار.
هذا يعني أنه في المستقبل القريب، يمكن لأي شخص البحث عبر كتب التاريخ الرقمية، والعثور على رسومات قديمة محددة، أو تتبع أشجار العائلات في السجلات القديمة بسهولة أكبر بكثير. إنه يحول جبلاً من التاريخ غير المفهوم إلى خريطة كنز تفاعلية وقابلة للبحث.
إليك ملخص تقني مفصل لورقة البحث بعنوان: "iDocV2: الاستفيد من التعلم الذاتي والكشف مفتوح المجموعة لتحسين رصد الأنماط في الوثائق التاريخية."
1. بيان المشكلة
تعد الوثائق التاريخية لا تقدر بثمن في الحفاظ على التراث الثقافي، لكن رقمنتها تفرض تحديات كبيرة في استرجاع المحتوى. وبينما يعد البحث القائم على النصوص (OCR) شائعًا، إلا أنه يفشل في معالجة انتشار الرسوم التوضيحية والأنماط الرسومية في المخطوطات العصور الوسطى.
القيود الحالية: تعتمد أحدث الطرق (SOTA) لـ رصد الأنماط (تحديد موقع استعلام رسومي داخل وثيقة) على استراتيجيات الارتباط الكثيف (مثل Curi et al., 2022). تعاني هذه الطرق من:
التأخير المفرط: يتطلب المطابقة الكثيفة مقارنة خرائط سمات الاستعلام مقابل كل رقعة (patch) في الوثيقة، مما يستغرق ما يصل إلى 7 ثوانٍ لكل استعلام في مجموعة بيانات DocExplore.
الأداء الضعيف في الاستعلامات المحددة: تعاني النماذج الحالية بشكل كبير مع الاستعلامات الصغيرة غير المربعة (التي تشكل 83% من مجموعة اختبار DocExplore)، حيث تحقق دقة منخفضة (0.427 mAP).
الحساسية للمقياس: يفترض الارتباط الكثيف أن حجم النمط المستهدف يطابق الاستعلام تمامًا، مما يحد من المتانة تجاه تغيرات المقياس.
2. المنهجية
يقترح المؤلفون iDocV2، وهو إطار عمل مبتكر ينتقل من الارتباط الكثيف إلى المطابقة المتفرقة (sparse matching) المقترنة بالتعلم الذاتي. تتكون البنية من ثلاثة مكونات:
أ. اقتراح المناطق الدلالية (خارج الخط - Offline)
بدلاً من معالجة صفحة الوثيقة بأكملها، يستخرج النموذج أولاً مجموعة من مناطق الاهتمام المرشحة (ROIs).
الأداة: يستخدم Grounding DINO، وهو كاشف كائنات مفتوح المجموعة، لتحديد المناطق الدلالية بناءً على مطالبات نصية (مثل "شكل"، "مبنى"، "رمز").
التصفية: يتم تصفية المناطق باستخدام "إزالة التكرار غير الأقصى" (NMS) مع عتبة IoU تبلغ 0.5 لإزالة التكرارات.
الفائدة: يقلل هذا من مساحة البحث من آلاف الرقع الصورية إلى عدد يمكن إدارته من المناطق الدلالية (متوسط ~112 لكل صفحة)، مما يقلل وقت الحوسبة بشكل كبير.
ب. مشفر iDoc (التكيف بالتعلم الذاتي)
الابتكار الجوهري هو iDoc، وهو مشفر بصري تم تكييفه خصيصًا لأنماط الوثائق التاريخية.
البنية الأساسية: مبني على iBOT (محول رؤية - Vision Transformer تم تدريبه باستخدام التعلم الذاتي غير التبايني).
استراتيجية التدريب:
التعلم الذاتي: تم تدريبه على مجموعة بيانات HORAE (107 ألف صورة من كتب الساعات - Books of Hours) دون تسميات يدوية.
تكييف LoRA: بدلاً من الضبط الدقيق الكامل (الذي ينطوي على خطر "النسيان الكارثي" وهو مكلف حوسبيًا)، استخدم المؤلفون التكيف منخفض الرتبة (LoRA). يعمل هذا على تكييف أوزان iBOT المدربة مسبقًا مع المجال التاريخي عبر تحديث ~4% فقط من المعلمات.
الدلالي مقابل العشوائي: تم تدريب المشفر باستخدام المناطق الدلالية المستخرجة بواسطة Grounding DINO، بدلاً من القطع العشوائية، لضمان تعلم دلالي متماسك.
المخرجات: ينتج المشفر تضمينًا لـ رمز الفئة (class token) لكل منطقة، يمثل المحتوى الدلالي العالمي.
ج. فك التشفير المتفرق (بحث التشابه)
الآلية: يحسب النظام تشابه جيب التمام (cosine similarity) بين تضمين الاستعلام وتضمينات المناطق الدلالية المستخرجة مسبقًا من الوثائق المستهدفة.
الترتيب: يتم ترتيب المقترحات حسب درجة التشابه لإنشاء ترتيب الكشف النهائي.
المعالجة اللاحقة: قدمت الورقة تقنية "إزالة التكرار غير الأقصى" (NMS) في النسخة النهائية (iDocV2) لتقليل الإيجابيات الكاذبة بشكل أكبر.
3. المساهمات الرئيسية
مشفر iDoc: مشفر بصري متخصص يعتمد على التعلم الذاتي للوثائق التاريخية، يتفوق على المشفرات العامة (CLIP, DINOv2, VGG) في هذا المجال المحدد.
نموذج المطابقة المتفرقة: استبدال الارتباط الكثيف بعملية من مرحلتين (اقتراح المنطقة + بحث التشابه) مما يقلل وقت البحث بمقدار 10 أضعاف.
LoRA للتكيف مع المجال: يثبت أن LoRA يتفوق على الضبط الدقيق الكامل في تكييف محولات الرؤية الكبيرة مع المجالات التاريخية المتخصصة، مما يحافظ على المعرفة المدربة مسبقًا مع التكيف مع البيانات الجديدة.
تدريب المناطق الدلالية: يثبت أن تدريب المشفرات على مناطق مستخرجة دلاليًا (عبر Grounding DINO) يعطي نتائج أفضل بكثير من التدريب على قطع صور عشوائية.
4. النتائج التجريبية
تم تقييم النموذج باستخدام مجموعة بيانات DocExplore (1,500 صفحة، 1,447 استعلامًا) ومقارنته مع نماذج SOTA (En et al., Úbeda et al., Curi et al.).
أداء رصد الأنماط:
إجمالي mAP: حقق 0.620، متفوقًا على SOTA السابق (Curi et al.) الذي بلغ 0.494.
الاستعلامات الصغيرة غير المربعة: حقق 0.588 mAP، وهو تحسن هائل مقارنة بـ Curi الذي حقق 0.427 (زيادة نسبية قدرها 37.7%). هذه هي الفئة الأكثر تحديًا في مجموعة البيانات.
المقارنة: تفوق على المشفرات الأخرى (DINOv2, CLIP, ResNet) بشكل كبير عند دمجها مع اقتراح المنطقة الدلالية.
أداء استرجاع الوثائق:
حقق إجمالي mAP قدره 0.789، وهو غير مختلف إحصائيًا عن نموذج Curi (0.799، القيمة الاحتمالية p-value = 0.47) ولكنه أسرع بـ 10 مرات.
الكفاءة:
السرعة: قلل وقت الاستعلام من 7 ثوانٍ (Curi) إلى 720 مللي ثانية (iDocV2).
الحمل الحوسبي: قلل المقارنات لكل صفحة من ~22,080 (كثيف) إلى ~112 (متفرق).
5. الأهمية
يعالج هذا العمل عقبة حرجة في العلوم الإنسانية الرقمية: القدرة على البحث بكفاءة في مجموعات كبيرة من الوثائق التاريخية عن الأنماط الرسومية.
التطبيق العملي: يجعل التسريع بمقدار 10 أضعاف النظام قابلًا للاستخدام في التفاعل في الوقت الفعلي في المكتبات الرقمية الكبيرة، بينما كانت الطرق الكثيفة السابقة بطيئة جدًا للاستخدام العملي.
المتانة: من خلال حل مشكلة "الاستعلامات الصغيرة غير المربعة"، يُمكّن النموذج من استرجاع التفاصيل الدقيقة والرسوم التوضيحية الرفيعة التي كان من الصعب اكتشافها سابقًا بواسطة الأنظمة الآلية.
الأثر المنهجي: تثبت الورقة أن الجمع بين الكشف مفتوح المجموعة (لاقتراح المناطق) والتكيف بالتعلم الذاتي (عبر LoRA) يمثل نموذجًا قويًا لتحليل الوثائق المتخصصة، ويقدم مخططًا للأبحاث المستقبلية في معالجة الوثائق التاريخية.