ملخص تقني: معايرة الموثوقية اللاحقة على مستوى الكيان لتعرف الكيانات المسماة عبر ميزات متعددة المصادر

1. تعريف المشكلة

بينما دفعت النماذج اللغوية المدربة مسبقاً (PLMs) أداء التعرف على الكيانات المسماة (NER) نحو مرحلة التشبع في المعايير القياسية (مثل CoNLL-2003)، فإن بروتوكولات التقييم الحالية تتجاهل إلى حد كبير موثوقية ثقة التنبؤ. في النشر الواقعي، غالباً ما تظهر النماذج ظاهرة "الثقة المفرطة مع الخطأ"، لا سيما تحت تأثير تحولات التوزيع مثل نقل النطاق (خارج التوزيع/OOD)، والرموز خارج المفردات (OOV)، والضجيج (الأخطاء المطبعية).

تشمل القيود الحالية ما يلي:

• عدم تطابق الحبيبية: تعمل معظم طرق المعايرة على مستوى الجملة أو الرمز (token)، وتفشل في معالجة الموثوقية الأكثر دقة لتنبؤات الكيانات الفردية.
• محدودية الإشارة: تعتمد معايرة مستوى الكيان الحالية (مثل Jagannatha و Yu, 2020) حصرياً على درجات احتمالية النموذج الداخلية، متجاهلة المعلومات متعددة المصادر مثل حالات التمثيل، ودلالات النوع، والسياق الهيكلي.
• التوتر بين المعايرة والكشف: قد تؤدي طرق المعايرة التقليدية إلى تحسين خطأ المعايرة المتوقع (ECE) ولكنها قد تقلل دون قصد من القدرة على الفصل بين التنبؤات الصحيحة والخاطئة، مما يعيق قدرات كشف الأخطاء والتنبؤ الانتقائي.

يعالج هذا البحث الحاجة إلى إطار عمل يخرج احتمالية صحة معايرة لكل كيان متنبأ به دون تعديل العمود الفقري لنموذج NER الأساسي، مما يتيح مهاماً لاحقة مثل كشف الأخطاء، وتصنيف المخاطر، ورفض التنبؤات.

2. المنهجية

النهج المقترح هو إطار عمل لمعايرة الموثوقية اللاحقة (post-hoc). يعامل هذا النهج نموذج NER الأساسي كصندوق أسود مجمد، حيث يحول تنبؤاته على مستوى الجملة إلى عينات مستقلة على مستوى الكيان لتدريب معاير خفيف الوزن.

2.1 بناء عينات مستوى الكيان

يولد نموذج العمود الفقري مجموعة من الكيانات المتنبأ بها $\hat{E}$. يتم تحويل كل كيان إلى عينة مع تسمية إشرافية ثنائية ($y=1$ للمطابقة التامة الصارمة مع الكيانات الذهبية، و $y=0$ خلاف ذلك). هذا يفصل نمذجة الموثوقية عن هدف NER الأصلي.

2.2 نظام الميزات متعدد المصادر ذو الأبعاد الخمسة

الابتكار الجوهري هو استخراج متجه ميزات $\phi_i$ لكل كيان متنبأ به، يتكون من خمسة أبعاد متكاملة:

1. ميزات عدم اليقين: مشتقة من توزيع احتمالية الفئة $p(c|\hat{e}, x)$.
   • الاحتمالية القصوى للفئة ($s_{max}$): إشارة ثقة مباشرة.
   • الاعتلاج التنبئي ($H$): يقيس تشتت التوزيع.
   • الهامش ($M$): الفرق بين أعلى احتماليتين للفئة، مما يلتقط التنافس بين الفئات.
2. ميزات التمثيل: تلتقط الحالات الدلالية والحدودية الداخلية.
   • تمثيل النطاق ($h_{span}$): متوسط الحالات المخفية لنطاق الكيان.
   • تمثيلات الحدود ($h_{start}, h_{end}$): الحالات المخفية عند رموز البداية والنهاية، وهي حاسمة لاكتشاف انزياحات الحدود والتقليم.
3. الميزات الدلالية للنوع: تعالج الاتساق بين نطاق الكيان المتنبأ به وفئته.
   • بدلاً من تشابه جيب التمام عبر الفضاءات (الذي يسبب انحيازاً للمقاييس)، تستخدم الطريقة المتجه الدلالي ($z_{c_{pred}}$) للنوع المتنبأ به (المشفر عبر مشفر مدرب مسبقاً) مدمجاً مباشرة مع الميزات الأخرى.
4. الميزات الهيكلية: إشارات هيكلية صريحة تعكس الصعوبة المتأصلة للكيان.
   • تشمل طول الكيان، طول الجملة، الموقع النسبي، ومؤشرات ثنائية للنطاقات المتداخلة أو غير المستمرة.
   • تشمل مؤشر وعاء طول النطاق لتقطيع التعقيد.
5. ميزات الجوار: تستفيد من الهيكل المحلي لفضاء تمثيل التدريب.
   • باستخدام فهرس FAISS على تمثيلات نطاق التدريب، تسترجع الطريقة أقرب $k$ من الجيران.
   • تشمل الميزات: متوسط المسافة ($\bar{d}_k$)، الحد الأدنى للمسافة ($d_{min}$)، نسبة الجيران الصحيحين ($\rho_{corr}$)، الكثافة المحلية ($dens$)، واعتلاج التسمية داخل الجوار ($H_{knn}$).

2.3 المعاير خفيف الوزن

يقوم نظام MLP (Perceptron متعدد الطبقات) بطبقتين مخفيتين برسم خريطة لمتجه الميزات المدمج إلى احتمال صحة قياسي $r(\hat{e}) \in (0, 1)$.

• التدريب: يتم تدريب المعاير حصرياً على عينات مستوى الكيان من مجموعة التحقق باستخدام خسارة التقاطع التقاطعي الثنائي مع وزن الفئات.
• الاستدلال: تظل معاملات نموذج العمود الفقري ونتائج فك التشفير مجمدة؛ حيث يعمل المعاير كوحدة معالجة لاحقة غير اقتحامية.

3. المساهمات الرئيسية

1. تصميم إطار العمل: يقترح إطار عمل لمعايرة الموثوقة اللاحقة على مستوى الكيان يخرج احتمالات صحة معايرة مناسبة لمهام الموثوقية اللاحقة (كشف الأخطاء، تصنيف المخاطر، الرفض) دون تغيير بنية العمود الفقري.
2. هندسة الميزات: يصمم نظام ميزات متعدد المصادر بخمسة أبعاد (عدم اليقين، التمثيل، دلالات النوع، الهيكل، الجوار) ويتحقق من المساهمات المستقلة والمتكاملة لكل بُعد من خلال دراسات الاستئصال.
3. تقييم موجه للنشر: يبني تقييماً شاملاً يغطي سيناريوهات التوزيع الطبيعي (ID) وتحول التوزيع (OOD, OOV, Typos)، باستخدام ثلاثة مقاييس أساسية:
   • AUPRC: قدرة كشف الأخطاء (ترتيب الكيانات الصحيحة فوق الخاطئة).
   • AURC: جودة التنبؤ الانتقائي (المفاضلة بين المخاطرة والتغطية).
   • ECE: جودة معايرة الاحتمالية (توافق الدرجات المتنبأ بها مع الدقة التجريبية).

4. النتائج التجريبية

أجريت التجارب على مجموعات بيانات CoNLL-2003، GENIA، و OntoNotes 4.0.

4.1 الأداء ضمن التوزيع (In-Distribution)

• كشف الأخطاء: تحسن AUPRC بشكل ملحوظ عبر جميع مجموعات البيانات. في CoNLL-2003، ارتفع AUPRC من 0.9490 إلى 0.9929.
• التنبؤ الانتقائي: انخفض AURC (المخاطرة-التغطية) بشكل كبير، مما يشير إلى مخاطر أقل عند نفس مستوى التغطية. في CoNLL-2003، انخفض AURC من 0.0514 إلى 0.0095 (انخفاض بنسبة 81.5%).
• المعايرة: تحسن ECE، حيث انخفض في CoNL-2003 من 0.0648 إلى 0.0156.

4.2 الأداء تحت تحول التوزيع

أظهرت الطريقة متانة تحت تحولات التوزيع:

• OOD (نقل النطاق): أظهرت تحسناً أكثر وضوحاً، حيث ارتفع AUPRC من 0.8291 إلى 0.9409. كانت ميزات الجوار فعالة بشكل خاص هنا، حيث وفرت إشارات مرجعية للكيانات خارج النطاق.
• OOV والأخطاء المطبعية: لوحظت تحسينات متسقة، وإن كانت المكاسب أقل تواضعاً في سيناريوهات OOV بسبب غياب أقرب الجيران للرموز غير المرئية.

4.3 المقارنة والاستئصال

• النماذج المرجعية: تفوقت الطريقة المقترحة بشكل كبير على Platt Scaling و Temperature Scaling في مقاييس AUPRC و AURC، رغم أن النماذج المرجعية أظهرت ECE أفضل قليلاً في بعض الحالات (لأنها تركز فقط على محاذاة الاحتمالية).
• الاستئصال: أدى إزالة أي بُعد من الميزات عموماً إلى تدهور الأداء، رغم أن مقاييس محددة أظهرت مقايضات دقيقة. وفرت ميزات التمثيل أكبر قفزة في AUPRC (من 0.9502 إلى 0.9890). بينما حقق التكوين "الكامل" (مع ميزات الجوار) أدنى ECE (0.0100)، فإن تكوين "الكامل (بدون الجوار)" حقق في الواقع AUPRC أعلى قليلاً (0.9922 مقابل 0.9921) و AURC أقل (0.0102 مقابل 0.0103). يشير هذا إلى أنه بينما تعمل ميزات الجوار على تحسين جودة معايرة الاحتمالية بشكل كبير، فإن تأثيرها الهامشي على ترتيب كشف الأخطاء في سيناريوهات التوزيع الطبيعي محدود، ومع ذلك تظل حاسمة لتقليل ECE.

5. الأهمية والادعاءات

يزعم البحث أن أهميته الرئيسية تكمن في تحويل نموذج الموثوقية في NER من "التنبؤ بالصحة" إلى "تقدير الجدارة بالثقة".

• التحكم في المخاطر: تحدد الدرجات المعايرة بفعالية التنبؤات عالية المخاطر. على سبيل المثال، في CoNLL-2003، أدى رفض 2.9% فقط من التنبؤات (ذات الدرجات المعايرة المنخفضة) إلى زيادة دقة المجموعة المتبقية إلى 94.76%، بينما احتوت المجموعة المرفوضة على 82.93% من الأخطاء.
• الجدوى الهندسية: على عكس الطرق التي تتطلب إعادة تدريب العمود الفقري أو إعادة تصميم معقدة لفك التشفير، فإن هذا النهج جاهز للاستخدام مباشرة (plug-and-play). فهو يتطلب فقط MLP خفيف الوزن يتم تدريبه على بيانات التحقق، مما يجعله قابلاً للتطبيق بدرجة عالية في النشر الواقعي.
• الموثوقية الشاملة: تحل الطريقة التوتر بين المعايرة وكشف الأخطاء، حيث تحسن في آن واحد محاذاة الاحتمالية (ECE) والقدرة على تصفية الأخطاء (AUPRC/AURC).

يخلص المؤلفون إلى أن هذا الإطار يوفر آلية قوية وغير اقتحامية لتعزيز التطبيق العملي لأنظمة NER في بيئات العالم المفتوح حيث تسود تحولات التوزيع والضجيج. ويُقترح في العمل المستقبلي توسيع هذا إلى مهام التنبؤ المهيكلة الأخرى (استخراج العلاقات/الأحداث) ونماذج NER التوليدية.