From Handwriting to Structured Data: Benchmarking AI Digitisation of Handwritten Forms

فيما يلي ملخص تقني مفصل للورقة البحثية بعنوان "من الكتابة اليدوية إلى البيانات المهيكلة: تقييم الذكاء الاصطناعي في رقمنة النماذج المكتوبة بخط اليد."

1. بيان المشكلة

لا تزال عملية رقمنة الأرشيفات الطبية الورقية، ولا سيما السجلات السريرية المكتوبة بخط اليد، تشكل عقبة حرجة في البنية التحتية للرعاية الصحية، خاصة في البلدان منخفضة ومتوسطة الدخل (LMICs). تواجه تقنيات التعرف الضوئي على الحروف (OCR) التقليدية ومسارات الرؤية الحاسوبية المجزأة صعوبات مع:

• الكتابة اليدوية غير المقيدة: تباين عرض الخطوط، وتداخل الحروف، والرموز غير القياسية.
• الشذوذ الهيكلي: النصوص المكتوبة خارج الحقول المخصصة، والكتابة الرأسية، والمعلومات المضغوطة بسبب ضيق المساحة.
• التباين الدلالي: الاستخدام الكثيف للاختصارات الطبية (مثل "NAD" لتعني "No abnormalities detected")، والاختصارات الغامضة، واتفاقيات الترميز المخصصة (مثل استخدام "1/2/3" للإشارة إلى حالة المستخدم).
• المخاطر العالية: يمكن أن تؤدي الأخطاء في الرقمنة إلى تفتت البيانات، ومخاطر على سلامة المرضى، وتأخير في التغذية الراجعة السريرية.

يهدف المؤلفون إلى تقييم ما إذا كانت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) المتطورة يمكنها التغلب على هذه التحديات لأتمتة استخراج البيانات المهيكلة من النماذج الطبية المعقدة والواقعية.

2. المنهجية

مجموعة البيانات

استخدمت الدراسة بيانات من مشروع UBOMI BUHLE، وهو سجل تعرض الحمل في جنوب أفريقيا لمراقبة تعرض الأمهات للأدوية.

• بيانات حقيقية: 49 سجلاً لحالات الأمومة (MCRs) مجهولة الهوية تحتوي على استجابات مكتوبة بخط اليد، وصناديق اختيار (checkboxes)، وتواريخ، ونصوص حرة.
• بيانات اصطناعية: 4 نماذج ببيانات محاكية استُخدمت للفحص الأولي للنماذج (لتجنب مشكلات الامتثال لقانون POPIA خلال الاختبارات المبكرة).
• أنواع الحقول: تم تصنيف النماذج إلى ثلاثة أنواع:
  1. حقول الاختيار المنفصلة: صناديق الاختيار والقوائم المحددة مسبقاً.
  2. الحقول المنسقة: التواريخ والقيم العددية التي تتطلب هياكل محددة (مثل DD/MM/YYYY).
  3. حقول النص الحر: الملاحظات السريرية غير المقيدة.

اختيار النماذج

قام المؤلفون باختبار 17 نموذجاً، بما في ذلك:

• النماذج المملوكة والمتطورة: عائلة Google Gemini (إصدارات 2.5 و3.1)، وعائلة OpenAI GPT (إصدارات 4.1 و5)، وAnthropic Claude (Haiku وSonnet وOpus)، وGrok.
• النماذج مفتوحة المصدر: Qwen2-VL، وQwen2.5-VL، وDots.ocr.

بنية المسار (Pipeline)

• المعالجة الشاملة (End-to-End): على عكس الـ OCR التقليدي، يستخدم المسار نماذج MLLM لمعالجة فهم المستندات كمشكلة "تسلسل إلى تسلسل" موحدة. يتم ترميز الصور إلى رموز بصرية ومعالجتها مباشرة بواسطة فك الترميز اللغوي.
• هندسة الأوامر (Prompt Engineering): تم اختبار تكوينين للأوامر:
  • الأمر المحسن (Optimized Prompt): يتضمن 16 قاعدة لتقنين البيانات ونموذج JSON مجزأ (على سبيل المثال، فرض خيارات محددة مثل ["NVD", "C/S"] لنوع الولادة).
  • الأمر المختزل (Ablated/Base Prompt): أزال التقنين واعتمد على تعليمات عامة.
• مقاييس التقييم:
  • الدقة (Accuracy): مطابقة السلسلة الصارمة (على المستوى العالمي وعلى مستوى القسم).
    * التصنيف (Classification): الدقة (Precision)، والاستدعاء (Recall)، ومقياس F1 (بناءً على Macro وWeighted) للحقول المنفصلة.
  • النص الحر: معدل خطأ الكلمات (WER) ومعدل خطأ الحروف (CER).
  • معدل الهلوسة (Hallucination Rate): نسبة المخرجات المختلقة التي لا توجد في الحقيقة الأرضية (ground truth).

3. المساهمات الرئيسية

1. معيار واقعي: وضع معيار صارم باستخدام نماذج طبية حقيقية وشديدة الصعوبة من جنوب أفريقيا، تتميز بخط يد غير منتظم، وشذوذ هيكلي، واختصارات طبية خاصة بالمجال.
2. تحليل تحسين الأوامر: أثبت أن هندسة الأوامر (خاصة تقنين المخطط وقواعد التقنين) تؤثر بشكل كبير على الأداء، لا سيما لمهام التصنيف المنفصلة.
3. مقارنة النماذج: قدم مقارنة شاملة بين نماذج MLLM المتطورة والبدائل مفتوحة المصدر في سياق سريري عالي المخاطر.
4. توصيف الأخطاء: حدد أنماط الفشل المحددة، مثل الهلوسة في تفسير صناديق الاختيار، والصعوبات في التعامل مع الاختصارات الطبية غير القياسية في النصوص الحرة.

4. النتائج

الأداء العام

• النماذج المتطورة مقابل مفتوحة المصدر: تفوقت النماذج المتطورة (Gemini, GPT, Claude) بشكل كبير على النماذج مفتوحة المصدر (Qwen, Dots.ocr). حققت النماذج مفتوحة المصدر الصغيرة (أقل من 5 مليارات معلمة) دقة منخفضة تتراوح بين 24-34%، بينما وصلت أفضل النماذج المتطورة إلى دقة إجمالية بلغت ~85%.
• أفضل النماذج أداءً:
  • Gemini 3.1 Pro: الأفضل أداءً بشكل عام، خاصة في حقول الاختيار المنفصلة (Weighted F1 = 0.91) واستخراج النصوص الحرة (WER = 0.50، CER = 0.31).
  • GPT 5.4: برع في استخراج التواريخ المشوشة (دقة وسيطة 100% في قسم الاستشارة) وكان لديه أدنى معدل هلوسة (6%).
  • Claude Sonnet 4.6: الأفضل أداءً في الحقول المنسقة (التواريخ والقيم العددية) بدقة وسيطة بلغت 77% (باستثناء القيم الفارغة).

نتائج محددة

• الحقول المنفصلة: كانت مقاييس المستوى الكلي (Macro-level) منخفضة في جميع النماذج بسبب عدم توازن الفئات (الفئات الفرعية النادرة)، ولكن مقاييس Weighted F1 كانت عالية (>0.90) للنماذج الرائدة، مما يشير إلى أداء قوي في الفئات المتكررة.
• الحقول المنسقة: لم يرتبط الأداء في التواريخ والأرقام بقوة بحجم النموذج أو قدرته على الاستنتاج؛ حيث قدمت النماذج الصغيرة أداءً مماثلاً للنماذج الأكبر في هذه المهام.
• النص الحر: ظل هذا هو التصنيف الأكثر صعوبة. أشارت معدلات WER العالية إلى أن النماذج غالباً ما تحذف كلمات أو عبارات، خاصة عند التعامل مع الاختصارات الطبية (مثل "P83"، "APH").
• الهلوسة: رغم أن المعدلات كانت منخفضة نسبياً (6-14%)، إلا أنها تظل مصدر قلق حرج في البيانات الطبية حيث يمكن لتزييف واحد أن يكون خطيراً.

تأثير هندسة الأوامر

• التقنين (Discretization): أدى استخدام قالب مجزأ (فرض خيارات مخرجات محددة) إلى تحسين درجات Macro F1 بنسبة ~50% للحقول المنفصلة.
• المقايضات: بينما حسن التحسين المقاييس الكلية (macro)، إلا أن تأثيره كان ضئيلاً على المقاييس الموزونة (weighted) (تحسن بنسبة ~2-5% فقط) لأن الفئة الفارغة (null class) تهيمن على مجموعة البيانات.
• الاختزال (Ablation): أدى إزالة التقنين إلى جعل النماذج الأصغر (مثل GPT-5 Mini) تعمل بشكل أفضل في بعض الحالات لأنها كانت تجد صعوبة في تفسير المخطط المعقد، فتعود إلى التعرف البصري الخام.

5. الأهمية والخاتمة

تخلص الدراسة إلى أن النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) قد وصلت إلى مستوى من النضج يجعلها تقدم مساراً مقنعاً للأتمتة الكاملة لرقمنة سير العمل المعقد المكتوب بخط اليد.

• الجدوى: تشير الدقة التي بلغت ~85% والتي حققتها أفضل النماذج إلى أن الذكاء الاصطناعي يمكن أن يحل محل إدخال البيانات اليدوي للأرشيفات الطبية واسعة النطاق، خاصة في البيئات محدودة الموارد حيث تكون الرقمنة اليدوية مكلفة وبطيئة.
• القيود: لا يزال استخراج النصوص الحرة والتعامل مع الكتابة اليدوية غير المنتظمة للغاية يمثل تحدياً. خطر "الهلوسة"، رغم انخفاضه، يتطلب تحققاً من قبل البشر (human-in-the-loop) للبيانات الطبية الحرجة.
• الآفاق المستقبلية: يقترح المؤلفون أنه مع توسيع مجموعة البيانات واستمرار تطور النماذج، يمكن لهذه الأنظمة فتح كميات هائلة من البيانات الطبية التي كانت غير قابلة للوصول سابقاً، مما يتيح أبحاثاً وبائية أفضل وتحسين تقديم الرعاية الصحية.

الخلاصة الجوهرية: رغم عدم كمال أي نموذج، فإن الجمع بين نماذج MLLM المتطورة (خاصة Gemini 3.1 Pro و GPT 5.4) مع استراتيجيات الأوامر المحسنة يوفر حلاً قابلاً للتوسع والتحقق لرقمنة السجلات الطبية المعقدة والمكتوبة بخط اليد.