Breaking the HISCO Barrier: Automatic Occupational Standardization with OccCANINE

إليك ملخص تقني مفصل لورقة البحث بعنوان "كسر حاجز الـ HISCO: التنميط الآلي للمهن باستخدام OccCANINE".

1. المشكلة

يعتمد البحث التاريخي في مجالات الاقتصاد، وعلم الاجتماع، والتاريخ بشكل كبير على أكواد HISCO (التصنيف الدولي القياسي للمهن التاريخية) لتصنيف البيانات المهنية المستمدة من مصادر مثل سجلات التعداد السكاني، وشهادات الزواج، وسجلات الأبرشيات.

• العقبة: إن تحويل الأوصاف النصية الخام وغير المهيكلة للمهن إلى أكواد HISCO معيارية هو عملية تقليدية تعتمد على الجهد اليدوي المكثف.
• النطاق: قد يستغرق الباحث الواحد 10 ثوانٍ لترميز وصف واحد. ترميز 10,000 وصف يستغرق حوالي 28 ساعة؛ مما يجعل الترميز اليدوي لملايين السجلات أمراً غير ممكن.
• محدودية الحلول السابقة:
  • القائم على القواعد/مطابقة النصوص: تعتمد الطرق التقليدية على تنظيف النصوص (إزالة كلمات التوقف، إصلاح الأخطاء الإملائية) واستخدام التعبيرات النمطية (regular expressions). هذه الطرق هشة، وعرضة للأخطاء بسبب الاختلافات في التهجئة، وتفتقر إلى القدرة على التعميم عبر مصادر البيانات المختلفة.
  • التعلم الآلي المبكر: حققت مناهج التعلم الآلي السابقة (مثل حقيبة الكلمات - bag-of-words، والجار الأقرب - nearest neighbors) دقة متوسطة (65-89%)، لكنها غالباً ما تطلبت معدلات إنتاج عالية (مراجعة يدوية لـ 20-40% من البيانات) أو هندسة ميزات مكثفة.
  • الغموض: غالباً ما تحتوي الأوصاف المهنية على وظائف متعددة، أو نفي، أو تهجئات عتيقة، وهو ما تفشل عملية المطابقة السطحية في تفسيره دلالياً.

2. المنهجية: OccCANINE

قدم المؤلفون OccCANINE، وهو نموذج لغوي مفتوح المصدر يعتمد على المحولات (transformer)، مصمم لربط الأوصاف المهنية بأكواد HISCO (وأنظمة أخرى) تلقائياً.

أ. البنية (Architecture)

• النموذج الأساسي: مبني على CANINE (Clark et al., 2022)، وهو مشفر (encoder) يحتوي على 127 مليون معلمة. تم اختيار CANINE لقدرته على الترميز على مستوى الحروف (character-level tokenization)، مما يجعله قوياً في مواجهة الأخطاء الإملائية والاختلافات في التهجئة الشائعة في البيانات الأرشيفية (مثل "frmter" مقابل "farmer").
• بنية المشفر-المفكك (Encoder-Decoder Structure):
  • المشفر (Encoder): يأخذ النص الخام (ويمكن إضافة معرف اللغة اختيارياً) ويحوله إلى تضمين دلالي (semantic embedding) ذي 768 بُعداً.
  • المفككات (Decoders): تم تنفيذ استراتيجيتين مختلفتين لفك التشفير:
    1. المفكك المسطح ("السريع" - Flat Decoder): رأس تصنيف خطي يخرج احتمالات لجميع أكواد HISCO البالغ عددها حوالي 1,919 كوداً في آن واحد. يتطلب ضبط عتبة الثقة (confidence threshold).
    2. المفكك المتسلسل ("الجيد" - Sequential Decoder): مفكك محول (transformer decoder) يتنبأ بكود HISCO رقماً برقم (على سبيل المثال، التنبؤ بـ '6'، ثم '1'، ثم '1'...). تتعامل هذه الطريقة مع الغموض بشكل أفضل، وتدير مخرجات المهن المتعددة بشكل طبيعي، وتلغي الحاجة إلى ضبط عتبة الثقة الصريح.

ب. بيانات التدريب

• النطاق: تم ضبط النموذج بدقة (fine-tuned) على 15.8 مليون زوج من (الوصف المهني-الكود).
• المصادر: بيانات مجمعة من 29 مصدراً مختلفاً (مثل تعدادات الدنمارك، والسويد، والمملكة المتحدة، والولايات المتحدة؛ سجلات الزواج؛ وسجلات السفن) تغطي 13 لغة.
• التعزيز (Augmentation):
  • تعزيز العطف (Conjunction Augmentation): قام المؤلفون بتوليد عبارات مهنية متعددة اصطناعياً (مثل "مزارع و صياد سمك") عن طريق دمج نصوص المهن الفردية لتعليم النموذج كيفية إخراج عدة أكواد.
  • التدريب الخصمي (Adversarial Training): يتضمن إدراج حروف/كلمات، والترجمة العكسية، والضجيج العشوائي لتحسين المتانة.
  • خسارة عدم التغير في الترتيب (Order-Invariant Loss): تم تطوير دالة خسارة مبتكرة للتعامل مع الحالات التي يختلف فيها ترتيب أكواد المهن المتعددة في تسميات التدريب (على سبيل المثال، [مزارع، صياد سمك] مقابل [صياد سمك، مزارع])، مما يضمن تعلم النموذج لـ مجموعة المهن بدلاً من تسلسل محدد.

ج. إجراءات التدريب

• المعلمات (Parameters): الحجم الإجمالي للنموذج هو حوالي 151 مليون معلمة (المشفر + المفكك).
• الخطوات: تم التدريب عبر 1.6 مليون خطوة بحجم دفعة (batch size) قدره 512.
• التنظيم (Regularization): يستخدم 10% من الإسقاط (dropout)، وتعزيز النص العشوائي، وحجب (masking) متعمد لمعرف اللغة لإجبار النموذج على تعلم أنماط دلالية مستقلة عن اللغة.

3. المساهمات الرئيسية

1. أتمتة عالية الدقة: يحقق دقة بنسبة 96.1% (على مستوى 5 خانات) على مجموعة اختبار محجوزة، متفوقاً بشكل كبير على الطرق السابقة القائمة على القواعد والتعلم الآلي.
2. القدرة على التعميم: يعمم النموذج نفسه عبر 13 لغة و29 مصدراً متنوعاً للبيانات دون الحاجة لهندسة خاصة بكل مصدر.
3. دعم الأنظمة المتعددة: بعيداً عن HISCO، أظهر المؤلفون قابلية نقل طريقتهم من خلال ضبط نماذج لـ OCC1950 (الولايات المتحدة)، و OCCICEM (المملكة المتحدة)، و ISCO-68، محققين دقة تتراوح بين 85-97%.
4. الكفاءة: يقلل وقت الترميز من أسابيع/شهور إلى دقائق. على وحدة معالجة رسومات (GPU) لجهاز كمبيوتر محمول قياسي، يعالج النموذج 10,000 سجل في أقل من 9 دقائق (للمسلسل) أو أقل من دقيقتين (للمسطح).
5. العلم المفتوح: تم إصدار الكود والنماذج ومسارات التدريب كمصادر مفتوحة على GitHub.

4. النتائج الرئيسية

• مقاييس الأداء (المفكك المتسلسل، مستوى 5 خانات):
  • الدقة (Accuracy): 96.1%
  • الدقة المحددة (Precision): 96.1%
  • الاستدعاء (Recall): 96.7%
  • مقياس F1 (F1-Score): 96.3%
• الأداء خارج التوزيع (OOD Performance):
  • يحافظ النموذج على دقة عالية (87-96%) في مجموعات البيانات التي تم التحقق منها يدوياً ولم يتدرب عليها (مثل سجلات الوفيات في كوبنهاجن، وسير الطلاب النرويجيين).
  • تنخفض الدقة في مجموعات البيانات ذات التمثيل المنخفض في التدريب (مثل الألمانية، والإيطالية) أو حيث أدخلت الترميز القائم على التعبيرات النمطية (regex) أخطاءً منهجية (مثل حالات الإفلاس في المملكة المتحدة)، لكنه يظل منافساً للبدائل البشرية.
• فك التشفيد من نوع Top-k:
  • عندما يُسمح للنموذج بتقديم قائمة قصيرة من المرشحين (Top-2)، تقفز احتمالية تضمين الكود الصحيح إلى أكثر من 98%. يشير هذا إلى أن العديد من الأخطاء هي "أخطاء وشيكة" وليست إخفاقات كاملة، مما يجعل الأداة فعالة للغاية لـ الترميز بمساعدة البشر (human-in-the-loop).
• التحيز الاجتماعي والاقتصادي: يظهر التحليل وجود ارتباط ضئيل جداً بين أداء النموذج والوضع الاجتماعي والاقتصادي (SES) للمهنة، بمجرد التحكم في تكرار أمثلة التدريب.

5. الأهمية والتأثير

• دمقرطة البحث: من خلال إزالة "حاجز الـ HISCO"، يسمح OccCANINE للباحثين بمعالجة مجموعات البيانات التاريخية الضخمة التي كانت في السابق أكبر من أن تُرمز يدوياً. وهذا يتيح دراسات جديدة حول الحراك الاجتماعي، وتمكين المرأة، والتصنيع على نطاق غير مسبوق.
• التحول المنهجي: تنقل الورقة المجال من مطابقة النصوص الهشة القائمة على القواعد إلى الفهم الدلالي باستخدام التعلم العميق. وهي تثبت أن النماذج اللغوية الصغيرة والمتخصصة يمكن أن تتفوق على النماذج الأكبر العامة في مهام تاريخية محددة.
• القابلية للتوسع: يقدم النهج "وصفة" لتوحيد غير هيكلة البيانات التاريخية الأخرى، مثل السلع التجارية، أو الخلفيات التعليمية، أو التشخيصات الطبية.
• سير العمل العملي: يوفر المؤلفون استراتيجية تصعيد واضحة:
  1. الأتمتة الكاملة: الاستخدام للحالات ذات الثقة العالية.
  2. الترميز بالمساعدة: استخدام فك التشفيد من نوع Top-k للحالات ذات الثقة المنخفضة لتسريع المراجعة البشرية.
  3. الضبط الدقيق (Fine-tuning): إذا كان أداء مجموعة بيانات معينة ضعيفاً، يمكن ضبط النموذج بدقة باستخدام مجموعة صغيرة (مثلاً 10,000 مثال مصنف) للتكيف مع اتفاقيات الترميز المحلية.

في الختام، يمثل OccCANINE تحولاً جذرياً في التاريخ الاقتصادي، حيث يحول ترميز المهن من عقبة إلى عملية مؤتمتة وقابلة للتوسع مع الحفاظ على دقة عالية في التفاصيل التاريخية.