Data Contamination in Neural Hieroglyphic Translation: A Reproducibility Study

ملخص تقني: تلوث البيانات في الترجمة الهيروغليفية العصبية

بيان المشكلة
تفرض اللغات القديمة والمهددة بالانقراض، مثل اللغة المصرية القديمة، تحديات فريدة أمام معالجة اللغات الطبيعية (NLP) بسبب الندرة الشديدة في البيانات. وخلافًا للغات الحديثة، تعتمد مجموعات البيانات لهذه المجالات على الآثار الأثرية الناجية وتتطلب وسمًا من متخصصين، مما يجعل توسيعها أمرًا صعبًا. هذه الندرة تجعل قضا questões جودة البيانات ذات عواقب جسيمة بشكل غير متناسب. يبحث البحث في حالة محددة لترجمة الهيروغليفية إلى الألمانية، حيث سجلت دراسة حديثة (De Cao et al., 2024) درجة حالة متقدمة بلغت 61.5 (BLEU) باستخدام نموذج M2M-100 مضبوط دقيقًا. وجد المؤلفون تباينًا كبيرًا عند إعادة إنتاج هذه النتائج باستخدام النموذج المنشور علنًا، حيث حقق 37.0 (BLEU) فقط. أشار هذا الفارق إلى خلل منهجي محتمل، وتحديدًا تلوث البيانات، حيث تظهر أهداف التقييم عن غير قصد في بيانات التدريب. وتعد المجموعات النصية القديمة عرضة لذلك بشكل خاص بسبب الاستخدام المنتشر للتكرار الصيغي (مثل: التعليمات الطبية، صيغ القرابين، والألقاب الملكية) عبر النصوص، وهو ما يفشل التقسيم العشوائي القياسي في معالجته.

المنهجية
أجرى البحث عملية تدقيق شاملة لإعادة الإنتاج والتلوث باستخدام بيانات مستودع hiero-transformer.

• مصدر البيانات: استخدم المؤلفون مجموعة بيانات Thesaurus Linguae Aegyptiae (TLA). بعد تصفية المدخلات التي تحتوي على مصادر هيروغليفية رقمية (بترميز جاردينر) وأهداف ألمانية غير فارغة، احتوت مجموعة التدريب الصالحة على 18,669 زوجًا، واحتوت مجموعة الاختبار على 50 عينة صالحة فقط.
• كشف التلوث: استخدم المؤلفون طريقتين رئيسيتين للكشف:
  1. المطابقة التامة المعيارية: تمت مقارنة أهداف الاختبار مع جميع أهداف التدريب الفريدة بعد المعايرة (Unicode NFC، تحويل الأحرف لصغيرة، إزالة علامات الترقيم، وتقليص المسافات البيضاء). كشف ذلك أن 16 من أصل 50 عينة اختبار (32%) كانت لها أهداف مطابقة تمامًا لبيانات التدريب.
  2. تداخل n-gram للحروف: للكشف عن التسرب "الناعم"، حسب المؤلفون كسر تداخل الـ 8-grams للحروف في أهداف الاختبار التي تظهر في أهداف التدريب. وعند عتبة تداخل 70%، تم تحديد 50% من عينات الاختبار.
• الإعداد التجريبي: تم تقييم خمسة تكوينات للنماذج عبر بنيتين (M2M-100 و mBART-50):
  1. النموذج الأصلي المنشور (De Cao et al., 2024).
  2. إعادة إنتاج نصية لإجراء التدريب الأصلي.
  3. ثلاثة نماذج تم تدريبها باستخدام وصفة حديثة للموارد المنخفضة (AdamW، جدول جيب التمام، تنعيم الملصقات، وتقليم التدرج، وزيادة عينات البيانات).
• بروتوكول التقييم: تم قياس الأداء باستخدام BLEU (غير حساس لحالة الأحرف) و chrF++ على ثلاث مجموعات فرعية: مجموعة الاختبار الكاملة (50 عينة)، المجموعة الملوثة (16 عينة)، والمجموعة النظيفة (34 عينة). كما استُخدم COMET-22 للتحقق.

النتائج الرئيسية
أكد التحقيق أن تلوث البيانات هو المحرك الرئيسي لتضخم مقاييس الأداء في هذا المجال:

• فجوة الأداء: عبر جميع النماذج الخمسة، سجلت العينات الملوثة درجات أعلى بـ 29 إلى 47 نقطة BLEU من العينات النظيفة. على سبيل المثال، حقق أفضل النماذج أداءً (M2M-100 Hybrid) بلغ 83.8 (BLEU) على العينات الملوثة مقابل 37.3 (BLEU) على العينات النظيفة.
• اتساق المقاييس: كان التضخم ثابتًا عبر البنيات والمقاييس؛ حيث سجلت العينات الملوثة درجات أعلى بمقدار 0.23–0.26 في COMET-22 مقارنة بالعينات النظيفة.
• الحفظ مقابل الترجمة: حقق خط أساس الاسترجاع (Retrieval baseline)، الذي يقوم ببساطة بنسخ أفضل هدف مطابق من التدريب، 81.8 (BLEU) في العناصر ذات المطابقة التامة، وهو ما يضاهي أفضل نموذج عصبي (77.9 BLEU)، بينما سجل 0.0 في العناصر النظيفة. يشير هذا إلى أن الدرجات العالية في البيانات الملوثة تنبع من حفظ الأهداف وليس من قدرة ترجمة حقيقية.
• استقلالية المصدر: أظهر التحليل أن حفظ الأهداف يحدث بشكل مستقل عن مدخل المصدر. فقد حقق عنصر اختبار واحد، ذو صفر تداخل في المصدر مع أي عينة تدريب، 100% تداخل في الهدف، كما أن 10 من أصل 16 عنصرًا من عناصر المطابقة التامة كانت مصادر التدريب الخاصة بها أقل من 5% في التشابه.
• حدود إزالة التلوث: أدت تجربة إزالة التلوث على مستوى المستند (إزالة جميع جمل التدريب من 33 وثيقة مصدر لمجموعة الاختبار) إلى تقليل درجة BLEU في العناصر ذات المطابقة التامة بمقدار 4.6 نقطة فقط. وذلك لأن 8 من أصل 16 هدفًا ملوثًا استمرت في بيانات التدريب عبر وثائق مصدر أخرى (على سبيل المثال، عبارة "Werde gekocht" تظهر عبر عدة برديات مستقلة). وهذا يثبت أن التقسيم على مستوى المستند غير كافٍ؛ إذ يتطلب الأمر إزالة التكرار على مستوى الهدف.

المساهمات الرئيسية

1. أول تدقيق للتلوث في ترجمة اللغات القديمة العصبية: يحدد البحث أن التكرار الصيغي في المجموعات النصية القديمة يخلق مخاطر نظامية لتسرب البيانات غير موجودة في المعايير الحديثة، كاشفًا عن تداخل 32% في الأهداف التامة في مجموعة اختبار عامة.
2. متانة عبر البنيات: يوضح المؤلفون أن تضخم الأداء هو أمر متأصل في مجموعة البيانات وليس مرتبطًا بنموذج معين، حيث استمرت الفجوة عبر بنيات M2M-100 و mBART-50 وأنظمة تدريب مختلفة.
3. تحليل التطهير المتدرج: يصنف البحث شدة التلوث من خلال المطابقة التامة، وتداخل الـ 8-gram للحروف، وتحليل التسرب على مستوى المستند، وفهرسة التكرار لكل عنصر.
4. تصحيح الخطوط المرجعية والبروتوكول: يطلق المؤلفون مجموعة اختبار منزوعة التلوث مكونة من 34 عينة (بدون أي تداخل تام في الأهداف) ويضعون خطوطًا مرجعية مصححة تتراوح بين 30.9–39.2 (BLEU). كما يقترحون بروتوكول تقسيم يتضمن تقسيم مستوى المستند، وإزالة تكرار الأهداف، وتصنيف الأنواع.

الأهمية والادعاءات
يدعي البحث أن درجة 61.5 (BLEU) المسجلة لترجمة الهيروغليفية إلى الألمانية هي نتاج تلوث البيانات وليست انعكاسًا للقدرة الحقيقية للنموذج. توفر الخطوط المرجعية المصححة (30.9–39.2 BLEU) تقييمًا واقعيًا للترجمة الآلية العصبية (NMT) لهذا النظام الكتابي المهدد بالانقراض. ويجادل المؤلفون بأنه بينما يمكن لـ NMT التقاط الجو العام للنصوص القديمة (مما يفيد في فرز المجموعات النصية)، إلا أنها تحتوي على أخطاء جسيمة في المصطلحات المتخصصة وتحديد الكيانات، مما يجعلها غير مناسبة للتحليل الفيلولوجي (اللغوي التاريخي) دون تحقق من الخبراء.

تسلط الدراسة الضوء على أن التكرار الصيغي هو خاصية عالمية للمجموعات النصية القديمة (بما في ذلك اللاتينية واليونانية والأكدية)، مما يشير إلى أن التلوث هو مشكلة نظامية محتملة في معايير معالجة اللغات الطبيعية للغات القديمة والتي لم يتم تدقيقها سابقًا. ويخلص المؤلفون إلى أن المعايير المستقبلية يجب أن تذكر إحصائيات التلوث وتقسم النتائج حسب حالة التلوث لتجنب التقييمات المضللة. ويؤطرون عملهم كمساهمة بناءة في إعادة الإنتاج، مشيرين إلى أن التلوث المحدد ناتج على الأرجح عن إجراءات المعالجة المسبقة القياسية وليس التلاعب المتعمد.