Double Triangle Annotation: A Scalable Human-in-the-Loop Framework for High-Precision Historical Document Annotation

ملخص تقني: إطار عمل التوسيم بالمثلث المزدوج (Double Triangle Annotation)

بيان المشكلة
يعد استخراج المعلومات المهيكلة من الوثائق التاريخية (مثل الأدلة الطبية، وسجلات التعداد السكاني) أمراً بالغ الأهمية لأبحاث العلوم الإنسانية الرقمية، ولكنه يواجه عقبة تتمثل في صعوبة إنتاج توسيمات "الحقيقة الأرضية" (ground-truth) عالية الدقة. إن التوسيم اليدوي المستقل التقليدي مكلف للغاية ويصعب توسيع نطاقه. ومن ناحية أخرى، فإن خطوط المعالجة المؤتمتة بالكامل التي تعتمد على نماذج لغوية متعددة الوسائط (MLLMs) منفردة عرضة للهلوسة وتفتقر إلى الموثوقية المطلوبة لإنشاء مجموعات بيانات معيارية ذهبية. وتعتمد النهج الحالية التي تشرك الإنسان في الحلقة (human-in-the-loop) غالباً على درجات ثقة النموذج الواحد، مما قد يؤدي إلى "تحيز الارتكاز" (anchoring bias) والفشل في اكتشاف الأخطاء المنهجية عندما يكون النموذج مفرط الثقة. ويتمثل التحدي الجوهري في التحقق من مخرجات النموذج بكفاءة دون تحمل التكلفة الكاملة للتحقق اليدوي لكل نقطة بيانات.

المنهجية: التوسيم بالمثلث المزدوج
يقترح المؤلفون إطار عمل التوسيم بالمثلث المزدوج، وهو إطار عمل ذو طبقتين يشرك البشر في الحلقة، حيث يستفيد من التوافق بين النماذج المتقاطعة لأتمتة معظم أعمال التوسيم مع حصر الجهد البشري حصرياً في الحالات الغامضة أو المتضاربة. يعمل هذا الإطار تحت فرضية واحدة: استقلال الخطأ بين النماذج ذات البنى الهيكلية المختلفة.

• الطبقة الأولى: مثلث التوسيم

  • البنية: يعالج مُوسمان آليان مستقلان ($M_1, M_2$) كل وثيقة بالتوازي. ويعمل محلف بشري ($H$) فقط كمحل للنزاعات، وليس كمنتج أساسي.
  • سير العمل:
    1. الاستدلال المتوازي: يقوم $M_1$ و $M_2$ بتوليد تسميات مؤقتة.
    2. تصفية التوافق: إذا اتفق $M_1$ و $M_2$، يتم قبول التسمية تلقائياً. ويفترض إطار العمل أن احتمال ارتكاب نموذجين مستقلين لنفس الخطأ في نفس الحقل هو أمر ضئيل للغاية ($P \le \epsilon_1 \cdot \epsilon_2$).
    3. التحكيم البشري: في حال اختلف النموذجان، تُحال الحالة إلى المحلف البشري، الذي يراجع الصورة والتنبؤين لتحديد التسمية النهائية.
  • استراتيجية الاستقلال: لضمان استقلال الخطأ، يستخدم إطار العمل أزواجاً من النماذج "المتقاطعة العائلات" (من مزودين مختلفين، مثل Anthropic مقابل Qwen) أو "المتقاطعة الوسائط" (OCR مقابل MLLM).

• الطبقة الثانية: مثلث التحقق

  • البنية: يتم التعامل مع نظامين مستقلين من الطبقة الأولى ($S_a, S_b$) كوحدات مُوسم واحدة. ويعمل خبير مجال نهائي ($R$) كحكم مطلق.
  • سير العمل:
    1. التوليد المزدوج: يقوم $S_a$ و $S_b$ بمعالجة البيانات بشكل مستقل لإنتاج تسمات منقحة ($L_a, L_b$).
    2. المقارنة الميتا (العليا): إذا تطابقت $L_a$ و $L_b$، تُصنف التسمية على أنها "معيار ذهبي" (Gold Standard).
    3. حل الخلاف بواسطة الخبير: يتم تصعيد الخلافات بين النظامين إلى خبير المجال.
  • الهدف: تعمل هذه الطبقة على تخفيف الخطأ البشري (الإرهاق، الذاتية) من خلال رصد الأخطاء التي قد يغفل عنها محلف بشري واحد، مما يقلل معدل الخطأ المتبقي نحو الصفر.

المساهمات الرئيسية

1. تصميم إطار العمل: تقديم نموذج ذي طبقتين ينقل الدور البشري من "منتج" إلى "متحقق"، مما يؤتمت معظم عمليات التوسيم عبر التوافق مع حصر الجهد البشري بصرامة للحالات الغامضة.
2. تصميم قائم على الحد الأدنى من الفرضيات: لا يتطلب إطار العمل أي معايرة خاصة بالمهمة أو احتمالات توزيعية، بل يعتمد فقط على استقلال أخطاء النماذج. وهو قابل للتطبيق على أي مهمة استخراج مهيكلة حيث يكون تنفيذ النماذج المتوازية ممكناً.
3. القابلية للتوسع المستقبلي: صُممت البنية لتتحسن ذاتياً مع زيادة قدرات النماذج؛ حيث يؤدي ارتفاع دقة النماذج إلى زيادة معدلات التوافق، مما يقلل من الجهد البشري.
4. إصدار المعيار المرجعي: بناء وإصدار أول حقيقة أرضية للاستخراج المهيكل لـ Guides Rosenwald (الأدلة الطبية الفرنسية، 1887–1906)، والتي تضم 60 عموداً من الوثائق و13,595 حقلاً موسماً.

النتائج التجريبية
تم تقييم إطار العمل على مجموعة بيانات Guides Rosenwald.

• الدقة: في تقييم مضبوط لـ 380 حقلاً، حقق إطار العمل في النهاية معدل خطأ في الكلمات (WER) قدره 0.003 ومعدل خطأ في الحروف (CER) قدره 0.001.
  • قام محلفو الطبقة الأولى بتصحيح 18.4% و 26.3% من الحقول على التوالي.
  • قام المراجع النهائي (الطبقة الثانية) بتصحيح 4.2% إضافية من الحقول.
• الكفاءة:
  • في التقييم المضبوط، قبل توافق النماذج تلقائياً أكثر من 73% من الحقول.
  • في المعيار المرجعي الموسع (13,595 حقلاً)، ارتفع معدل القبول التلقائي إلى أكثر من 85%.
  • احتاج المراجع النهائي لتصحيح 7.2% فقط من الحقول في المعيار المرجعي الموسع.
• تحليل الخطأ: تم تتبع الخطأين المتبقيين في المخرج النهائي ليعودا إلى غموض بصري حقيقي في الصور المصدرية (مثل علامات التشكيل الباهتة أو آثار فواصل الأسطر). في هذه الحالات، أدى المدخل المتدهور إلى أخطاء مترابطة عبر كل من البشر والآلات، مما انتهك فرضية الاستقلال. ويشير المؤلفون إلى أن هذا يمثل نمط فشل غير قابل للتقليل في آليات التوافق.

الأهمية
يزعم البحث أن "التوسيم بالمثلث المزدوج" يقدم حلاً قابلاً للتوسع لعقبة التكلفة العالية لتوسيم الوثائق التاريخية. ومن خلال استبدال تصفية ثقة النموذج الواحد بالتوافق بين النماذج المتقاطعة، يقلل إطار العمل بفعالية من الهلوسة وتحيز الارتكاز. كما يثبت أنه يمكن تحقيق حقيقة أرضية عالية الدقة بجزء بسيط من تكلفة التوسيم اليدوي، مع تحول النظام نحو الاستقلالية التامة مع تحسن النماذج الأساسية. إن إصدار معيار Rosenwald Guides يوفر مورداً جديداً للأبحاث المستقبلية في معالجة الوثائق التاريخية.

القيود التي أقر بها المؤلفون

• تقييم الصفحة الواحدة: اعتمد تحليل الخطأ التفصيلي على صفحة واحدة (380 حقلاً)، رغم أن بناء المعيار المرجعي أظهر القابلية للتوسع.
• غموض المصدر: لا يمكن لإطار العمل اكتشاف الأخطاء عندما تكون الصورة المصدرية متدهورة لدرجة تجعل جميع الموسمين (البشر والآلات) يتفقون على التفسير الخاطئ نفسه.
• تداخل الموسمين: في الإعداد التجريبي، كان المراجع النهائي هو أيضاً أحد محلفي الطبقة الأولى، مما قد يضعف الاستقلال بين الطبقات (رغم أن المؤلفين يجادلون بأن هذا يوفر حداً أعلى محافظاً لمعدلات الخطأ).
• تحيز التصفية: تضمن بناء المعيار المرجعي تصفية الأعمدة ذات التوافق المنخفض بين النماذج، مما قد يؤدي إلى تحيز مجموعة البيانات نحو الحالات الأسهل.
• نطاق النماذج: استخدمت التجارب أزواج MLLM فقط؛ بينما تم اقتراح تكوينات متقاطعة الوسائط (MLLM + OCR تقليدي) ولكن لم يتم تقييمها.