Fine-Grained Perspectives: Modeling Explanations with Annotator-Specific Rationales

فيما يلي ملخص تقني مفصل للورقة البحثية بعنوان: "منظورات دقيقة: نمذجة التفسيرات باستخدام مبررات خاصة بالمُعلِّم" (Fine-Grained Perspectives: Modeling Explanations with Annotator-Specific Rationales).

1. بيان المشكلة

تجادل معالجة اللغات الطبيعية (NLP) ذات المنظورية (Perspectivist NLP) بأن التعليقات التوضيحية يجب أن تعكس أحكام المُعلِّمين الأفراد بدلاً من تسمية توافقية واحدة. وبينما تهدف الأساليب الحالية إلى نمذجة هذه المنظورات باستخدام تسميات مفككة وبيانات وصفية (مثل معرفات المستخدمين، والخصائص الديموغرافية)، إلا أنها غالباً ما تتعامل مع التفسيرات (المبررات) كتبريرات ثانوية أو لاحقة.

• الفجوة: نادراً ما تدمج الطرق الحالية المبررات الخاصة بكل مُعلِّم مباشرة في عملية النمذجة. ونتيجة لذلك، يظل "السبب" الكامن وراء التسمية مجرداً، وتفشل النماذج في التقاط تنوع الاستدلال الدقيق الذي يؤدي إلى الاختلاف في الآراء.
• الهدف: تطوير إطار عمل يقوم بنمذجة التنبؤ بالتسمية وتوليد التفسير بشكل مشترك، بشرط صريح يعتمد على هوية المُعلِّم واستدلاله الخاص، ومعاملة التفسيرات كتعابير أساسية للمنظور وليس مجرد أدوات للتفسير (Interpretability).

2. المنهجية

يقترح المؤلفون إطار عمل يستخدم مجموعة بيانات VariErrNLI، والتي تحتوي على تسميات استدلال لغوي طبيعي (NLI) مفككة وتفسيرات مقدمة من المُعلِّمين. يتكون إطار العمل من مكونين:

أ. التصنيف الواعي بالمُعلِّم (جواز سفر المستخدم - User Passport)

بدلاً من تعديل النص المدخل، يدمج النموذج هوية المُعلِّم عند مستوى التمثيل (Representation Level):

• العمود الفقري (Backbone): نموذج DeBERTa-v3-base.
• آلية الدمج (Fusion Mechanism): ينشئ النموذج تمثيلاً مدمجاً ($z_{ij}$) عن طريق دمج:
  1. التمثيل السياقي المجمع للمدخل ($h$).
  2. متجه تمثيل قابل للتعلم خاص بالمُعلِّم المحدد ($u_j$).
  3. متجه مسقط للبيانات الوصفية الديموغرافية للمُعلِّم ($m_j$).
• الهدف: التنبؤ بمجموعة التسميات المحددة ($y_a$) لكل مُعلِّم $a$، مع معالجة التسميات المفقودة عبر تقنية القناع (Masking).

ب. نمذجة التفسير المشروط بالمُعلِّم

تقارن الورقة بين بنيتين مختلفتين لتوليد المبررات ($r_a$):

1. المفسر القائم على المطالبات اللاحقة (Post-hoc Prompt-Based Explainer):

   • البنية: نموذج Flan-T5 (مشفر-فك تشفير).
   • الآلية: يولد التفسيرات بناءً على "مطالبة" (Prompt) نصية فقط تحتوي على السياق، والعبارة، والتسميات الذهبية، و"رمز تحكم للمعلّم" (وهو رمز خاص مرتبط بمعرف المُعلِّم).
   • القصور: لا يوجد اتصال قابل للاشتقاق (Differentiable connection) بين المصنف والمفسر؛ حيث يعتمد المفسر فقط على المطالبات النصية السطحية.

2. المفسر ذو الجسر المسبق (Prefixed Bridge Explainer) - (المساهمة الجديدة):

   • البنية: هجين بين المصنف ونموذج Flan-T5.
   • الآلية:
     • ينتج المصنف تمثيلاً داخلياً مدمجاً ($z_{ij}$).
     • تقوم شبكة عصبية صغيرة (الجسر المسبق - Prefixed Bridge، وهي عبارة عن طبقة MLP مكونة من طبقتين) بمسقط هذا المتجه إلى سلسلة من تمثيلات البادئة (Prefix Embeddings).
     • تُلحق هذه التمثيلات بمدخلات مشفر T5 قبل عملية التوليد.
   • الميزة: يخلق هذا آلية ربط وثيقة وقابلة للاشتقاق، حيث يتم اشتراط توليد التفسير مباشرة على إشارات الاستدلال الداخلية الخاصة بالمُعلِّم والمستمدة من المصنف، بدلاً من الاعتماد فقط على المطالبات النصية.

3. المساهمات الرئيسية

• إطار النمذجة المشتركة: أول نهج يربط صراحةً توليد التفسير بالتمثيلات الداخلية الخاصة بكل مُعلِّم، متجاوزاً التعامل مع التفسيرات كمبررات لاحقة.
• بنية الجسر المسبق (Prefixed Bridge): تقدم طريقة مبتكرة لنقل تمثيلات المصنف مباشرة إلى نموذج توليدي عبر تمثيلات البادئة، مما يسمح للنموذج بالاستفادة من إشارات الاستدلال العميقة لعملية التوليد.
• التفسير المنظوري: يعيد صياغة التفسيرات كتعابير عن منظور دقيق، موضحاً أن نمذجتها يحسن من دقة تمثيل الاختلاف.
• التحقق التجريبي: توفر الورقة تقييماً شاملاً على مجموعة بيانات VariErrNLI، مع تحليل الأداء عبر مختلف الخصائص الديموغرافية للمُعلِّمين وأنماط استدلالهم.

4. النتائج

أُجريت التجارب على مجموعة بيانات VariErrNLI (4 مُعلِّمين، وحوالي 1,900 زوج من التسمية-التفسير).

• الأداء التنبئي:

  • أدى دمج نمذجة التفسير إلى رفع الأداء بشكل كبير مقارنة بالنموذج المرجعي "جواز سفر المستخدم" (Macro-F1: 70.5).
  • مفسر الجسر المسبق (Prefixed Bridge Explizer): حقق أعلى درجة في Macro-F1 (93.9) والتماثل التام (92.4)، مما يشير إلى محاذاة فائقة مع التسميات.
  • المفسر اللاحق (Post-hoc Explainer): حقق Macro-F1 بنسبة 92.3، وهو أقل قليلاً من نموذج الجسر.

• جودة التفسير:

  • التشابه اللفظي (ROUGE-L): حقق نهج المطالبات اللاحقة درجات أعلى قليلاً، مما يشير إلى تداخل سطحي أفضل مع النصوص المرجعية.
  • التشابه الدلالي: حقق نهج الجسر المسبق درجات تشابه دلالي أعلى، مما يشير إلى أن تفسيراته كانت أكثر اتساقاً من حيث المعنى مع المبرر الذهبي، حتى لو اختلف اللفظ.

• التحليل الخاص بالمُعلِّم:

  • أظهر نموذج الجسر المسبق أداءً أكثر استقراراً عبر مختلف المُعلِّمين (مثل Ann1 وAnn4)، خاصة عندما تباينت أنماط الاستدلال.
  • أدى نموذج المطالبات اللاحقة أداءً استثنائياً مع Ann2 (باحث ما بعد الدكتوراه ذو مستوى تعليمي عالٍ)، ويرجع ذلك على الأرجح إلى استدلاله المنظم للغاية والمتوافق مع النص.
  • الأمانة (Faithfulness): أظهر التحليل النوعي أن نموذج الجبر المسبق أنتج تفسيرات أكثر إيجازاً ومرتبطة بالاستدلال، بينما مال نموذج المطالبات اللاحقة إلى أن يكون أكثر إسهاباً وأدخل أحياناً معلومات غير موجودة في السياق.

5. الأهمية والخاتمة

• الأثر النظري: تثبت الدراسة أن نمذجة التفسيرات كتعابير عن المنظور يوفر تمثيلاً أغنى للاختلاف البشري مقارنة بالنهج المعتمد على التسميات فقط. كما توضح أن معرفة "لماذا" اختار المُعلِّم تسمية معينة لا تقل أهمية عن التسمية نفسها.
• التقدم المنهجي: أثبتت بنية الجسر المسبق (Prefixed Bridge) أن نقل تمثيلات المصنف الداخلية إلى النماذج التوليدية يؤدي إلى مخرجات أكثر اتساقاً من الناحية الدلالية وأكثر أمانة مقارنة بطرق المطالبات وحدها.
• الاتجاهات المستقبلية: يشير المؤلفون إلى وجود قيود تتعلق بصغر عدد المُعلِّمين وتصميم مجموعة البيانات الأصلية المخصص لاكتشاف الأخطاء بدلاً من التباين الديموغرافي المنضبط. يهدف العمل المستقبلي إلى توسيع مجموعات البيانات لتشمل مقارنات بين المتحدثين الأصليين وغير الأصليين (ثنائيي اللغة)، واستكشاف أساليب التجميع (Ensemble methods) التي تجمع بين كلا نوعي المفسرات.

باخت-صار، تتقدم هذه الورقة في مجال معالجة اللغات الطبيعية المنظورية من خلال إثبات أن دمج المبررات الخاصة بالمُعلِّم في كل من المكونات التنبؤية والتوليدية يؤدي إلى نماذج أكثر قوة، وشفافية، وأمانة في تمثيل التنوع البشري في مهام معالجة اللغات الطبيعية.