DOREMI: Optimizing Long Tail Predictions in Document-Level Relation Extraction

ملخص تقني: DOREMI – تحسين تنبؤات الذيل الطويل في استخراج العلاقات على مستوى المستند

بيان المشكلة
يواجه استخراج العلاقات على مستوى المستند (DocRE) تحديين رئيسيين: الحاجة إلى سياق عبر الجمل لتحديد العلاقات، والتوزيع الحاد لـ "الذيل الطويل" لأنواع العلاقات. في مجموعات البيانات القياسية مثل DocRED وRe-DocRED، تهيمن علاقات متكررة قليلة على بيانات التدريب، بينما تمتلك غالبية العلاقات (الذيل الطويل) أمثلة تدريب شحيحة (غالبًا أقل من 100 حالة). هذا الاختلال في الفئات يوجه النماذج نحو العلاقات المتكررة، مما يؤدي إلى تدهور قدرتها على تحديد العلاقات النادرة بدقة. علاوة على ذلك، فإن النهج الحالية لتخفيف الضجيج في مجموعات البيانات ذات الإشراف البعيد (DS)، مثل UGDRE، غالبًا ما تفشل في معالجة علاقات الذيل الطويل بشكل محدد أو تعتمد على بيانات ضخمة مشوبة بالضجيج مما يفاقم الانحياز. ورغم أن النماذج اللغوية الكبيرة (LLMs) تظهر وعودًا، إلا أنها لا تزال حاليًا دون أداء النماذج القائمة على التسلسل المتطورة لهذه المهمة المحددة.

المنهجية: إطار عمل DOREMI
يقترح المؤلفون DOREMI (تحسين استخراج العلاقات على مستوى المستند للذيل الطويل)، وهو إطار عمل تكراري يعتمد على "الإنسان في الحلقة" (human-in-the-loop)، مصمم لتعزيز العلاقات غير الممثلة كفايةً من خلال تعليقات يدوية مستهدفة وأدنى قدر ممكن. وخلافًا لاستراتيجيات إزالة الضجيج السابقة التي تعتمد على التصفية الاستدلالية أو بيانات الإشراف البعيد واسعة النطاق، يقوم DOREMI بنشاط باختيار الأمثلة الأكثر إفادة لتحسين كفاءة التدريب ومتانته.

يعمل إطار العمل من خلال الكتل الحسابية التالية:

1. مجموعة النماذج الأساسية: يحافظ DOREMI على مجموعة ($\Gamma$) من $n$ من نماذج DocRE الأساسية المتنوعة (تحديدًا CNN، وLSTM، وBiLSTM، وContextAware، والنماذج القائمة على BERT). يتم تدريب هذه النماذج أوليًا على البيانات المتاحة ذات التعليق البشري (HA).
2. حساب عدم الاتفاق: تتنبأ النماذج بالعلاقات عبر مجموعة بيانات الإشراف البعيد (DS) المشوبة بالضجيج. لكل زوج من الكيانات $(s, o)$، يحسب النظام عدم الاتفاق ($\phi_\Gamma$) بين النماذج. يتم حساب عدم الاتفاق بناءً على احتمالية أن تتنبأ جميع النماذج بعلاقة ما أو تتنبأ جميعها بـ "لا توجد علاقة". وللتعامل مع الطبيعة متعددة الملصقات لـ DocRE، يتم اشتقاق عدم الاتفاق الإجمالي من حاصل ضرب عدم الاتفاق لكل علاقة. يتم تطبيق تحويل لوغاريتمي لتضخيم الفروق الصغيرة وتعزيز قابلية التفسير.
3. أخذ العينات والتعليق التكراري: يحدد النظام الأمثلة "الصعبة التصنيف" عن طريق اختيار أفضل-$k$ من أزواج الكيانات ذات أعلى درجات عدم الاتفاق. ومن الأهمية بمكان أن عملية أخذ العينات هذه تقتصر على ثلاثيات الذيل الطويل المرشحة (حيث يتنبأ نموذج واحد على الأقل بعلاقة ذيل طويل) لضمان توجيه جهود التعليق نحو نقطة الاختناق في الأداء.
4. تجميع الملصقات: بمجرد الوصول إلى شرط التوقف (إما انخفاض متوسط عدم الاتفاق عن عتبة $\epsilon$ أو استنفاد ميزانية التعليق $b$)، يتم تجميع التنبؤات لبناء مجموعة بيانات "المشرف البعيد منزوعة الضجيج" (DDS). يتم تطبيق مرشح يركز على الدقة: حيث يتم الاحتفاظ بالعلاقة في DDS النهائي فقط إذا تنبأ نموذج واحد على الأقل بها بثقة عالية (أعلى من العتبة $\tau$).
5. التدريب التكراري: يتم تعليق العينات المختارة يدويًا، وإضافتها إلى مجموعة التدريب، ثم يتم ضبط النماذج الأساسية بدقة (fine-tuning) على المجموعة الموسعة. وتتكرر هذه الدورة حتى يتم الوصول إلى شرط التوقف.

المساهمات الرئيسية

1. إطار عمل DOREMI: تقديم نظام تكراري جديد مصمم لعلاقات الذيل الطويل يعمل على تعزيز مجموعات بيانات الإشراف البعيد من خلال التعليقات القائمة على عدم الاتفاق.
2. عدم الاتفاق كوكيل: إثبات أن قياس عدم الاتفاق بين نماذج متعددة يعد وكيلًا فعالًا لتحديد الأمثلة الصعبة التصنيف خصيصًا لـ DocRE، مما يحقق تحسينات جوهرية في الأداء بجهد بشري ضئيل.
3. مجموعات بيانات جديدة: إصدار مجموعتين جديدتين من مجموعات بيانات الإشراف البعيد منزوعة الضجيج (DDSs) بناءً على DocRED وRe-DocRED. تم تحسين هذه المجموعات صراحةً لعلاقات الذيل الطويل وهي مصممة لتكون مستقلة عن النموذج، مما يسمح لأي نموذج DocRE لاحق بالاستفيد من تحسين تغطية الذيل الطويل.

النتائج التجريبية
قيم المؤلفون DOREMI باستخدام خطوط الأساس المتطورة (ATLOP وDREEAM) على كل من مجموعة تطوير DocRED ومجموعة اختبار Re-DocRED.

• DocRED: أدى التعليق على 0.001% فقط من مجموعة بيانات DS (400 ثلاثية) إلى تعزيز أداء النموذج بشكل كبير. مقارنة بتقنية إزالة الضجيج الرائدة (UGDRE)، زاد DOREMI الدقة الإجمالية بنسبة تصل إلى +8.2% وF1 بنسبة +0.7%. بالنسبة لثلاثيات الذيل الطويل (<100 مثال)، زادت الدقة بنسبة +76.0% وF1 بنسبة +5.0%. والجدير بالذكر أنه بالنسبة لثلاثيات الذيل الطويل التي تتضمن أزواج كيانات لم تُشاهد في التدريب، عزز DOREMI مقياس ignF1 بنسبة تصل إلى 28.7% وignPrecision بنسبة 137.6% مقارنة بـ UGDRE.
• Re-DocRED: في مجموعة بيانات Re-DocRED الأكبر، أدى التعليق على 0.003% (1,200 ثلاثية) إلى تحقيق مكسب قدره +16.2% في دقة الذيل الطويل و+19.2% في ignPrecision. بالنسبة لثلاثيات "الذيل الطويل للغاية" (<100 مثال)، حقق DOREMI زيادة قدرها +83.2% في الدقة و+207.9% في ignPrecision مقارنة بـ UGDRE، مع زيادة في ignF1 قدرها +33.5%.
• النهج الهجين: أظهر الإعداد الهجين، الذي يجمع بين DOREMI لعلاقات الذيل الطويل وUGDRE للعلاقات المتكررة، أن DOREMI يكمل نهج إزالة الضجيج الحالي بفعالية، مما يحقق تحسينات إضافية في المقاييس الإجمالية.

الأهمية والادعاءات
يزعم البحث أن DOREMI يقدم حلاً قابلاً للتوسع وفعالاً لمشكلة انحياز الذيل الطويل في DocRE. ومن خلال إعطاء الأولوية للدقة على الاستدعاء في تصميمه، يضمن DOREMI موثوقية العلاقات المستخرجة، وهو أمر بالغ الأهمية لمهام بناء قاعدة المعرفة (KBC) اللاحقة. يؤكد المؤلفون أن نهجهم يحقق مكاسب كبيرة في الأداء بتكلفة تعليق بشري ضئيلة (حوالي 20 ساعة عمل للمُعلّق في تجربة Re-DocRED). يثبت العمل أن التعلم النشط القائم على عدم الاتفاق هو استراتيجية قابلة للتطبيق وفعالة لتكييف مجموعات البيانات لتحسين التعميم على العلاقات النادرة، مما يمثل أول جهد لتطبيق مثل هذا النهج خصيصًا لـ DocRE. توفر مجموعات البيانات والمنهجية الناتجة أساسًا لتدريب أي نماذج DocRE بقدرات محسنة في التعامل مع توزيعات الذيل الطويل.