Do Lexical and Contextual Coreference Resolution Systems Degrade Differently under Mention Noise? An Empirical Study on Scientific Software Mentions

1. تعريف المشكلة

تتناول الورقة البحثية مهمة حل الإحالة المرجعية عبر المستندات (CDCR)، وتحديداً فيما يتعلق بـ إشارات البرمجيات العلمية. وخلافاً لحل الإحالة المرجعية العام الذي غالباً ما يتعامل مع الضمائر والتعبيرات الاسمية المتنوعة، تتميز إشارات البرمجيات العلمية بانتظام سطحي عالٍ (مثل الأسماء العلمية، والسلاسل النصية التي تتضمن إصدارات مثل "MATLAB 8.0"، وعناوين URL، والاختصارات).

يتضمن التحدي تقسيم الإشارات عبر مجموعة من الأوراق العلمية إلى مجموعات (clusters)، حيث تمثل كل مجموعة كياناً برمجياً واحداً كامناً. وقد صاغ المؤلفون هذا الإطار ضمن مهمة SOMD 2026 المشتركة، والتي تشمل ثلاث مهام فرعية:

1. الإشارات المعيارية (Gold-standard mentions): تقييم حل الإحالة بمعزل عن أخطاء الكشف.
2. الإشارات المتوقعة آلياً (Automatically predicted mentions): محاكاة الظروف الواقعية مع وجود ضجيج في الكشف في المراحل السابقة.
3. الإشارات المتوقعة واسعة النطاق (Large-scale predicted mentions): اختبار الكفاءة الحسابية على مجموعات بيانات أكبر.

تتمثل الأسئلة البحثية الأساسية (RQs) في:

• RQ1: هل يمكن لنموذج مرجعي لغوي (lexical baseline) بسيط غير خاضع للإشراف أن ينافس نهج التمثيلات السياقية (contextual embedding approaches)؟
• RQ2: كيف تتدهور هذه الأنظمة تحت أنواع مختلفة من ضجيج الإشارات (أخطاء الحدود مقابل استبدال الهوية)؟
• RQ3: ما هو المقايضة بين الدقة والسرعة (precision-speed trade-off) بين النهجين عند مستويات قياس مختلفة؟

2. المنهجية

يقترح المؤلفون ويقارنون بين نهجين غير خاضعين للإشراف ولا يتطلبان ضبطاً دقيقاً (fine-tuning-free):

أ. المطابقة الضبابية (Fuzzy Matching - FM)

• الآلية: طريقة تعتمد على تشابه السلسلة النصية اللغوية.
• الخوارزمية: تستخدم خوارزمية Ratcliff/Obershelp (عبر مكتبة difflib في بايثون) لحساب درجات التشابه بناءً على أطول سلسلة فرعية مشتركة.
• التجميع (Clustering): يتم ربط الإشارات إذا تجاوزت درجة تشابهها عتبة معينة ($\theta$). وتتشكل المجموعات عبر الإغلاق المتعدي (transitive closure).
• الخصائص: لا تعتمد على سياق المستند؛ بل تعتمد كلياً على تشابه الشكل السطحي.

ب. التمثيلات المدركة للسياق (Context Aware Representations - CAR)

• الآلية: تجمع بين تمثيلات مستوى الإشارة وتمثيلات مستوى المستند.
• النموذج: يستخدم all-MiniLM-L6-v2 (وهو محول جمل خفيف الوزن - sentence transformer) لتوليد تمثيلات متجهة كثيفة.
• بناء التمثيل:
  1. مستوى الإشارة ($e_m$): يقوم بترميز سلسلة الإشارة المعيارية.
  2. مستوى المستند ($e_d$): يقوم بترميز تجميع لما يصل إلى 10 جمل تحتوي على إشارات من نفس المستند لالتقاط السياق الموضوعي.
  3. الدمج (Fusion): التمثيل النهائي هو مجموع مرجح: $e = \alpha \cdot e_m + (1-\alpha) \cdot e_d$ (مع $\alpha=0.6$).
• التجميع: يستخدم التجميع التجمعي (agglomerative clustering) مع مسافة جيب التمام (cosine distance) والارتباط المتوسط (average linkage).

ج. بروتوكول حقن الضجيج (Noise Injection Protocol)

لتقييم المتانة (RQ2)، أجرى المؤلفون دراسة مضبوطة لحقن نوعين من الضجيج في بيانات التدريب المعيارية:

1. تعديل الحدود (Boundary Modification): تمديد أو تقليص نطاقات الإشارات عشوائياً (لمحاكاة أخطاء حدود النطاق/span boundaries).
2. استبدال الإشارة (Mention Substitution): استبدال سلسلة الإشارة باسم برنامج مختلف من مجموعة التدريب (لمحاكة أخطاء الهوية).

3. المساهمات الرئيسية

1. نماذج مرجعية تنافسية غير خاضعة للإشراف: حقق النظامان (FM و CAR) المركز الثاني في جميع المهام الثلاث لمهمة SOMD 2026 دون أي ضبط دقيق خاص بالمهمة.
2. تحليل منهجي للمتانة: أول دراسة توضح كيفية تدهور أنظمة الإحالة المرجعية تحت أنواع محددة من ضجيج الإشارات في سياق البرمجيات العلمية.
3. رؤى حول القابلية للتوسع: تحليل مفصل لزمن الاستدلال (inference-time)، يكشف عن سلوكيات توسع غير بديهية بين النهج اللغوي والنهج العصبي.
4. المصدر المفتوح: إصدار الكود لدعم قابلية التكرار والبحوث المستقبلية في هذه المهمة غير المستكشفة جيداً.

4. النتائج

الأداء على مجموعة الاختبار الرسمية

• حقق كلا النظامين درجات CoNLL F1 عالية (0.94–0.96).
• تفوق نظام CAR باستمرار على نظام FM بنحو نقطة واحدة (0.96 مقابل 0.95) في الاختبار الرسمي.
• تفوق كلا النظامين بشكل كبير على المشاركين الخاضعين للإشراف (System B)، مما يشير إلى أن الانتظام اللغوي العالي لأسماء البرامج يجعل النماذج المعقدة الخاضعة للإشراف غير ضرورية لهذا المجال تحديداً.

المتانة تجاه الضجيج (RQ2)

أظهرت الأنظمة أنماط فشل متكاملة:

• ضجيج الحدود (Boundary Noise): كان نظام CAR أكثر متانة بشكل ملحوظ.
  • فقد نظام CAR 0.07 نقطة فقط من F1 من الحالة النظيفة إلى حالة الضجيج بنسبة 100%.
  • فقد نظام FM 0.20 نقطة من F1.
  • السبب: التمثيلات الكثيفة تتحمل التغييرات الطفيفة في الحروف/الرموز، بينما تعتمد المطابقة الضبابية على هيكل السلسلة النصية بدقة.
• استبدال الإشارة (Mention Substitution): تدهور نظام FM بشكل أكثر تدريجياً وسلاسة.
  • فقد نظام FM 0.52 نقطة من F1.
  • فقد نظام CAR 0.63 نقطة من F1.
  • السبب: يتم بناء سياق المستند في نظام CAR من الجمل التي تحتوي على الإشارات. إذا تم استبدال سلسلة الإشارة، فإن سياق المستند يفسد في الوقت نفسه، مما يزيل إشارة التمييز. أما نظام FM، لكونه لغوياً بحتاً، فلا يعاني من هذا الاعتماد الهيكلي.

الكفاءة والتوسع (RQ3)

• النطاق الصغير (المهمة 1، ~743 إشارة): كان نظام FM أسرع بـ 7.4 مرة من نظام CAR (0.6 ثانية مقابل 4.45 ثانية) مع دقة متطابقة تقرياً.
• النطاق الكبير (المهمة 2، ~21,500 إشارة): انعكس التفوق.
  • زاد زمن استدلال FM بمقدار 78 ضعفاً (توسع فوق خطي بسبب المقارنات الثنائية).
  • زاد زمن استدلال CAR بمقدار 10 أضعاف فقط (توسع خطي تقريباً).
  • عند النطاق الكبير، تقارب كلا النظامين في أزمنة استدلال متشابهة (~46 ثانية)، لكن CAR حافظ على تفوقه في الدقة.

5. الأهمية والآثار المترتبة

• الانتظام اللغوي هو المفتاح: تؤكد الدراسة أن إشارات البرمجيات العلمية تمتلك تشابهاً لغوياً عالياً داخل المجموعة الواحدة (متوسط 0.881). وهذا يجعل المطابقة اللغوية البسية نموذجاً مرجعياً قوياً بشكل مفاجئ، مما يتحدى الافتراض بأن النماذج العصبية المعقدة مطلوبة دائماً.
• استراتيجية اختيار النظام: يجب ألا يعتمد اختيار النظام على الدقة وحدها، بل على سياق النشر:
  • المجموعات الصغيرة / الكواشف عالية الجودة: استخدم المطابقة الضبابية (FM) من أجل السرعة.
  • المجموعات الكبيرة: استخدم التمثيلات المدركة للسياق (CAR) من أجل قدرة أفضل على التوسع.
  • الحدود الضبابية (Noisy Boundaries): استخدم CAR (أكثر متانة تجاه أخطاء النطاق).
  • الهويات الضبابية (Noisy Identities): قم بتحسين كاشف الإشارات في المرحلة السابقة بدلاً من تغيير نظام الإحالة المرجعية، حيث ينهار كلا الطريقتين تحت تأثير الاستبدال الشديد للهوية.
• الاتجاهات المستقبلية: يقترح المؤلفون أن التحسينات المستقبلية تعتمد أكثر على جودة كاشف الإشارات في المرحلة السابقة أكثر من اعتمادها على خوارزمية حل الإحالة المرجعية نفسها. كما اقترحوا استكشاف تمثيلات مستوى المستند المنفصلة عن سلاسل الإشارات لتحسين المتانة ضد أخطاء الاستبدال.