Judge a Book by its Cover: Investigating Multi-Modal LLMs for Multi-Page Handwritten Document Transcription

إليك ملخص تقني مفصل لورقة البحث بعنوان "احكم على الكتاب من غلافه: استقصاء النماذج اللغوية الكبيرة متعددة الوسائط لنسخ الوثائق المكتوبة بخط اليد متعددة الصفحات."

1. بيان المشكلة

لا يزال التعرف على النصوص المكتوبة بخط اليد (HTR) يمثل تحدياً كبيًراً مقارنة بالتعرف الضوئي على الحروف (OCR) للنصوص المطبوعة. وبينما توجد نماذج متطورة للتعرف على النصوص المكتوبة بخط اليد، إلا أنها تتطلب عادةً ضبطاً دقيقاً (fine-tuning) على مجموعات بيانات ضخمة وموسومة، وهو أمر غير عملي لعمليات الرقمنة الأرشيفية في الواقع نظراً للتكفلة والوقت المطلوبين للنسخ اليدوي.

تواجه الحلول الحالية التي تعمل بنظام "التعلم الصفري" (zero-shot) (مثل Google Vision وAmazon Textract وTranskribus) والنماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) قيوداً محددة في سيناريوهات الوثائق متعددة الصفحات:

• فقدان السياق: تعالج معظم الأدوات الوثائق صفحة بصفحة، مما يؤدي إلى فقدان السياق المشترك مثل أسلوب الكتابة اليدوية، والاستمرارية الدلالية، والسمات التنسيقية التي توجد عبر الصفحات.
• محدودية النمط: غالباً ما تُستخدم النماذج اللغوية الكبيرة متعددة الوسائط إما كمترجمين نهائيين (end-to-end) (مما يجعلها عرضة للهلوسة والتكلفة العالية بسبب ترميز الصور) أو كمعالجات لاحقة للنصوص فقط (تفتقر إلى السياق البصري لتصحيح أخطاء الـ OCR).
• الكفاءة: معالجة كل صفحة من وثيقة طويلة باستخدام صور عالية الدقة عبر النماذج اللغوية الكبيرة متعددة الوسائط أمر مكلف حاسوبياً ويستهلك الكثير من الرموز (tokens).

تعالج الورقة الفجوة في البحث التجريبي المتعلق بـ النسخ الصفري للوثائق المكتوبة بخط اليد متعددة الصفحات، وتحديداً كيفية استغلال النماذج اللغوية الكبيرة متعددة الوسائط لتصحيح أخطاء الـ OCR مع تقليل التكلفة وتعقيد الأوامر (prompts).

2. المنهجية

يقترح المؤلفون مجموعة من الطرق التي تجمع بين محركات الـ OCR والنماذج اللغوية الكبيرة متعددة الوسائط، مصنفة إلى معالجة "صفحة بصفحة" (PBP) ومعالجة "الكل دفعة واحدة" (AAO). المساهمة الجوهرية هي تقديم استراتيجيتين جديدتين للأوامر: OCR+PAGE1 و OCR+PAGEN.

الفرضية الأساسية

تتشارك الوثائق متعددة الصفحات في سياق كبير (اتساق الكتابة اليدوية، المحتوى الدلالي، والآثار الصورية). لذلك، فإن تزويد النموذج اللغوي الكبير متعدد الوسائط بـ النص الكامل المستخرج عبر الـ OCR لوثيقة ما جنباً إلى جنب مع صورة صفحة واحدة ممثلة، ينبغي أن يسمح للنموذج بفهم العلاقة بين الأسلوب البصري والنص، مما يمكنه من تصحيح الأخطاء في الصفحات غير المرئية دون الحاجة لمعالجة كل صورة.

الاستراتيجيات المقترحة

1. OCR+PAGE1:
   • المدخلات: النسخ النصي (OCR) لجميع الصفحات + صورة الصفحة الأولى.
   • الآلية: يستخدم النموذج اللغوي الكبير متعدد الوسائط صورة الصفحة الأولى لفهم أسلوب الكتابة اليدوية والتنسيق، ثم يطبق هذا الفهم لتصحيح نص الـ OCR للوثيقة بأكملها.
2. OCR+PAGEN:
   • المدخلات: النسخ النصي (OCR) لجميع الصفحات + صورة صفحة (N) مختارة.
   • الآلية: يقوم نموذج لغوي (LLM) خفيف الوزن في مرحلة سابقة بتحليل نص الـ OCR لتحديد أي صفحة هي الأكثر "إفادة" (على سبيل المثال، تحتوي على أكبر قدر من النص، أو أقل عدد من الأخطاء، أو أفضل تمثيل لأسلوب الكاتب) ويختار صورة تلك الصفحة للنموذج اللغوي الكبير متعدد الوسائط في المرحلة التالية. وهذا يتجنب عيوب كون الصفحة الأولى صفحة عنوان تحتوي على نص ضئيل.

خطوط الأساس التي تم تقييمها (Baselines)

تقارن الدراسة هذه الاستراتيجيات مقابل:

• IMAGES (PBP): نسخ نهائي (end-to-end) لكل صفحة عبر النموذج اللغوي الكبير متعدد الوسائط.
• IMAGES-ALL-AT-ONCE (AAO): يعالج النموذج اللغوي الكبير متعدد الوسائط جميع صور الصفحات والنصوص في آن واحد.
• OCR (PBP): مخرجات الـ OCR الخام (التي تمت معالجتها لاحقاً بواسطة نموذج لغوي نصي فقط).
• OCR+IMAGES (PBP): يعالج النموذج اللغوي الكبير متعدد الوسائط الصورة ونص الـ OCR لكل صفحة بشكل فردي.

3. المساهمات الرئيسية

1. معيار وبيانات جديدة:

   • Malvern-Hills: مجموعة بيانات جديدة مكونة من 161 صورة (70 وثيقة متعددة الصفحات) مستمدة من أرشيفات خيرية من القرن التاسع عشر والعشرين. تتميز بلغة قديمة، وأساليب كتابة يد متعددة، وظروف صعبة.
   • معايير اصطناعية متعددة الصفحات: أنشأ المؤلفون نسخاً متعددة الصفحات من مجموعات بيانات موجودة أحادية الصفحة: IAM (الإنجليزية)، Bentham (الإنجليزية من القرن الثامن عشر)، و CASIA-5 (الصينية).

2. استراتيجيات أوامر مبتكرة:

   • تقديم OCR+PAGE1 و OCR+PAGEN، اللذين يثبتان أن صورة واحدة يمكن أن "تُعلم" النموذج اللغوي الكبير متعدد الوسائط السياق اللازم لتصحيح مخرجات الـ OCR للوثيقة كاملة.

3. تقييم شامل للتعلم الصفري (Zero-Shot):

   • أول تقييم واسع لاستراتيجيات أوامر النماذج اللغوية الكبيرة متعددة الوسائط للتعرف على النصوص المكتوبة بخط اليد متعددة الصفحات، مع مقارنة طرق النسخ النهائي، والـ OCR فقط، والأساليب الهجينة عبر نماذج مختلفة (GPT-4o، Gemini-2.5-Pro، Gemma-3-27B) ولغات مختلفة.

4. النتائج التجريبية

أُجريت التجارب على مجموعات بيانات IAM و Malvern-Hills و Bentham باستخدام Azure Vision كمحرك OCR أساسي ونماذج لغوية كبيرة متعددة الوسائط متنوعة.

• الأداء مقابل التكلفة:

  • حققت استراتيجيات OCR+PAGE1 و OCR+PAGEN باستمرار أفضل حد بايريتو (Pareto frontier) (التوازن الأمثل بين الدقة والتكلفة) عبر جميع مجموعات البيانات.
  • في مجموعة بيانات IAM، حققت استراتيجية OCR+PAGE1 معدل خطأ في الحروف (CER) قدره 1.36% (Gemma-3) و 0.85% (GPT-4o)، متفوقة على الـ OCR الخام وغالًبا ما تفوقت أو ساوت الطرق التي تستخدم الصور الكاملة مع استخدام عدد أقل بكثير من الرموز (tokens).
  • في مجموعة بيانات Malvern-Hills الصعبة، حققت استراتيجية OCR+PAGE1 (باستخدام Gemini-2.5-Pro) معدل خطأ في الحروف (CER) قدره 5.83%، متفوقة على الـ OCR الخام (7.47%) ومنافسة بقوة لطريقة OCR+IMAGES الأكثر تكلفة بكثير (6.42% CER) وبجزء بسيط من التكلفة.
  • في مجموعة بيانات CASIA-5 (الصينية)، حققت استراتيجية OCR+PAGEN معدل خطأ في الحروف (CER) قدره 8.94%، مقتربة جداً من طريقة الصور الكاملة (8.39%) بتكلفة أقل.

• الدقة الدلالية:

  • بعيداً عن معدل الخطأ في الحروف (CER)، أظهر التقييم الدلالي (تصنيف الأخطاء كأخطاء طفيفة مقابل أخطاء كبرى/هلوسة) أن OCR+PAGE1/PAGEN قللت من الأخطاء الكبرى بأكثر من 20% مقارم بالمنهج التالي في الأفضلية (OCR+IMAGES). وهذا يشير إلى أن هذه الطرق أفضل في تجنب الهلوسة والحفاظ على الأسماء العلم.

• التوسع في الوثائق الطويلة:

  • أظهرت التجارب على وثائق تتراوح بين 5 إلى 13 صفحة أن OCR+PAGE1 ظلت الأفضل أو من بين الأفضل أداءً، حتى عند الوصول إلى أقل من 20% من صور الوثيقة.
  • أثبتت الطريقة متانة حتى في دراسات الاستبعاد (ablation studies) حيث تباينت أساليب الكتابة اليدوية عبر الصفحات (IAM-5-Random)، رغم انخفاض المكاسب في الأداء قليلاً، مما يؤكد أهمية السياق المشترك.

• خطوط الأساس مفتوحة المصدر:

  • أدت نماذج مثل TROCR و DOCOWL2 أداءً ضعيفاً في إعدادات التعلم الصفري (CER >30% أو >90%)، مما يسلط الضوء على تفوق النماذج اللغوية الكبيرة متعددة الوسائط التجارية لهذه المهمة المحددة.

5. الأهمية والآثار المترتبة

• الكفاءة في الرقمنة: تثبت الورقة أنه بالنسبة للوثائق متعددة الصفحات، ليس من الضروري تغذية كل صفحة بصورة إلى النموذج اللغوي الكبير متعدد الوسائط. فصفحة "غلاف" واحدة (أو صفحة مختارة استراتيجياً) جنباً إلى جنب مع تدفق النص الكامل كافية لتحقيق نسخ صفري بمستوى متطور. وهذا يقلل بشكل كبير من تكاليف الرموز ووقت الاستدلال.
• التصحيح السياقي: تؤكد هذه الدراسة قدرة النماذج اللغوية الكبيرة متعددة الوسائط على تنفيذ التعلم داخل السياق (in-context learning) لربط أساليب الكتابة اليدوية البصرية بالنصوص، مما يصحح أخطاء الـ OCR التي قد تفشل المعالجات النصية فقط في رصدها.
• النشر العملي: تقدم الاستراتيجيات المقترحة حلاً قابلاً للتطبيق ومنخفض التكلفة لأرشفة الوثائق التاريخية، والسجلات القانونية، وغيرها من المواد المكتوبة بخط اليد متعددة الصفحات دون الحاجة إلى ضبط دقيق مكلف وخاص بالمهمة.
• الاتجاهات المستقبلية: يقترح المؤلفون أن تخزين الرموز مؤقتاً (prompt caching) يمكن أن يحسن التكاليف بشكل أكبر للوثائق الطويلة، وأن استخدام نماذج لغوية كبيرة متعددة الوسائط أرخص كـ محرك للـ OCR (بدلاً من الـ OCR التقليدي) يعد مساراً واعداً للبحث المستقبلي.

في الختام، تؤسس الورقة لفكرة أن "الحكم على الكتاب من غلافه" (استخدام صورة صفحة واحدة لتوجيه نسخ الوثيقة بأكملها) هو استراتيجية فعالة للغاية لنسخ الوثائق متعددة الوسائط، حيث توازن بين الدقة العالية والجدوى الاقتصادية.