Layout-Aware Curriculum Learning for Lightweight Document OCR

في العصر الرقمي، توجد مكتبات هائلة من المعلومات على هيئة صور لوثائق ورقية: عقود ممسوحة ضوئياً، وملاحظات مكتوبة بخط اليد، وأوراق أكاديمية كثيفة، وتقارير مالية معقدة. ولجعل هذه المعلومات مفيدة للحواسيب، يجب علينا ترجمة هذه الصور إلى نصوص يمكن للآلات قراءتها وفهمها. تُسمى هذه العملية بالتعرف الضوئي على الحروف. لعقود من الزمن، كانت الطريقة القياسية للقيام بذلك تتمثل في تقسيم المهمة إلى العديد من الخطوات الصغيرة والمنفصلة. أولاً، يقوم الحاسوب بتحديد مكان النص في الصفحة. ثم يحدد الجداول أو الصي المعادلات. وأخيراً، يقرأ الكلمات. وبينما نجحت هذه الطريقة، إلا أنها كانت هشة؛ فخطأ واحد في الخطوة الأولى كان كفيلاً بإفساد بقية الخطوات، كما أن تشغيل هذا العدد الكبير من البرامج المختلفة يتطلب قدرة حوسبة هائلة. مؤخراً، ظهر نهج جديد باستخدام نماذج الرؤية واللغة الكبيرة. هذه النماذج هي أنظمة قوية يمكنها النظر إلى صورة وكتابة وصف لها دفعة واحدة، متجاوزةً بذلك الخطوات المنفصلة. ومع ذلك، غالباً ما تكون هذه النماذج ضخمة، وتتطلب مراكز بيانات هائلة لتشغيلها، ولا تزال تعاني أمام الواقع الفوضوي للوثائق المعقدة.

لقد طور باحثون في معهد البحث والتطوير التابع لشركة داقينغ للنفط (Daqing Oilfield Company) طريقة جديدة لتعليم هذه النماذج تغير قواعد اللعبة. لقد طرحوا سؤالاً بسيطاً: هل يمكن لنموذج صغير جداً وخفيف الوزن أن يتعلم قراءة الوثائق ببراعة نموذج عملاق إذا تم تعليمه بالترتيب الصحيح؟ كانت إجابتهم هي "نعم". لقد ابتكروا طريقة تدريب تعمل كمعلم دقيق، تبدأ بالصفحات الأسهل ثم تُدخل الصفحات الأصعب تدريجياً. كما أضافوا قاعدة محددة لعملية التعلم تجبر الحاسوب على الانتباه بدقة إلى مكان وجود الأشياء في الصفحة، وليس فقط إلى ماهية الكلمات. والنتيجة هي نموذج صغير، يمتلك 256 مليون معلمة فقط، ويؤدي بنفس كفاءة النماذج الأكبر منه بآلاف المرات.

يكمن جوهر اكتشافهم في كيفية تنظيم بيانات التدريب الخاصة بهم. تخيل طالباً يتعلم القراءة؛ إذا قدمت له جملة بسيطة، ثم فقرة، ثم صفحة تحتوي على مخطط ومسألة رياضية مختلطة معاً، فسوف يتعلم بشكل أسرع مما لو ألقيت عليه أصعب صفحة منذ البداية. طبق الباحثون هذا المنطق على الحاسوب. قاموا بتحليل آلاف صور الوثائق ومنحوا كل منها درجة صعوبة بناءً على مدى ازدحام الصفحة، ومدى تعقيد النص، وعدد الجداول أو الصيغ التي تحتوي عليها. ثم قاموا بفرز هذه الوثائق من الأبسط إلى الأكثر تعقيداً. وبدلاً من عرض جميع الصفحات على الحاسوب دفعة واحدة، قاموا بتغذيته بالصفحات السهلة أولاً. وبمجرد أن أتقن النموذج الصفحات البسيطة، أضافوا الصفحات الأصعب قليلاً، واستمروا في رفع مستوى الصعوبة. هذا النهج المتدرج، المعروف باسم "التعلم المنهجي" (curriculum learning)، سمح للنموذج الصغير ببناء أساس قوي قبل التعامل مع الوثائق الفوضوية والمعقدة التي عادة ما تربك الآلات.

ولجعل هذا الأمر أكثر فعالية، قام الباحثون بتغيير كيفية تصحيح النموذج عندما يرتكب أخطاء. تركز طرق التدريب القياسية بشكل شبه كامل على ما إذا كانت الكلمات التي كتبها الحاسوب تطابق الكلمات الموجودة في الوثيقة، وغالباً ما تتجاهل ما إذا كان الحاسوب قد حدد الموقع الصحيح لتلك الكلمات. في وثيقة حقيقية، معرفة أن الجدول يقع في الزاوية اليمنى العليا لا تقل أهمية عن معرفة ما بداخله. أدخل الفريق قاعدة جديدة تعاقب النموذج إذا خمن المكان الخاطئ لقطعة من النص أو صيغة أو جدول. هذا أجبر النموذج على تعلم التخطيط الفيزيائي للصفحة، مما ربط الكلمات بأماكنها الصحيحة. ساعد هذا الوعي المكاني النموذج على فهم هيكل الوثيقة، مما جعله أفضل في قراءة النص نفسه.

كانت نتائج هذا النهج مذهلة. اختبر الباحثون نموذجهم الجديد، الذي أطلقوا عليه اسم LACL-OCR، على معيار اختبار يحتوي على أكثر من ألف صورة وثيقة متنوعة، تتراوح من الكتب المدرسية إلى الملاحظات المكتوبة بخط اليد. وبامتلاكه 256 مليون معلمة فقط، حقق النموذج درجة 85.18. ولوضع ذلك في السياق، فقد تفوق هذا النموذج الصغير على نماذج متخصصة أخرى أكبر منه بكثير، بما في ذلك نموذج يمتلك ثلاثة مليارات معلمة وآخر يمتلك سبعة مليارات معلمة. بل إنه اقترب جداً من أداء نموذج ذكاء اصطناعي عام يمتلك تريليون معلمة، وهو أكبر منه بآلاف المرات. لم يكتفِ النموذج الصغير بمطابقة النماذج الأكبر فحسب، بل تفوق عليها في مهام محددة مثل التعرف على الجداول والصيغ الرياضية. تشير الدراسة إلى أن الطريقة التي يتم بها تدريب النموذج لا تقل أهمية عن حجمه. فمن خلال تعليم النموذج بترتيب منطقي وضمان فهمه لتخطيط الصفحة، يمكن لنظام خفيف الوزن تحقيق نتائج كان يُعتقد سابقاً أنها تتطلب موارد حوسبة هائلة.

يتحدى هذا العمل الفكرة القائلة بأن "الأكبر هو الأفضل دائماً" في مجال الذكاء الاصطناعي. وجد الباحثون أن الصعوبات السابقة للنماذج الصغيرة لم تكن بسبب نقص الحجم، بل بسبب نقص استراتيجية التدريب الذكية. ومن خلال الجمع بين مسار تعلم مرتب حسب الصعوبة والتركيز على التخطيط المكاني، أطلقوا العنان للإمكانات الكاملة لنموذج مدمج. وهذا يعني أنه في المستقبل، يمكن لأدوات قراءة الوثائق القوية أن تعمل على أجهزة الكمبيوتر القياسية أو حتى الأجهزة المحمولة، بدلاً من الحاجة إلى خوادم مكلفة ومستهلكة للطاقة. تشير النتائج إلى أنه مع طريقة التدريس الصحيحة، يمكن للنماذج الصغيرة أن تتعامل مع الواقع الفوضوي والمعقد لوثائق العالم تماماً مثل نظيراتها العملاقة.