SCHK-HTC: Sibling Contrastive Learning with Hierarchical Knowledge-Aware Prompt Tuning for Hierarchical Text Classification

إليك ملخص تقني مفصل لورقة البحث SCHK-HTC: التعلم التبايني للأشقاء مع الضبط الدقيق للنماذج القائم على المعرفة الهرمية لتصنيف النصوص الهرمي.

1. بيان المشكلة

يتضمن التصنيف الهرمي للنصوص في ظل ندرة البيانات (Few-shot Hierarchical Text Classification - HTC) تعيين النصوص إلى تسلسل هرمي من الملصقات (Labels) ذو بنية شجرية محددة مسبقاً مع وجود عينات تدريب محدودة للغاية. وبينما تستخدم الأساليب الحالية قيوداً هيكلية لضمان اتساق التنبؤ بين الأب والابن، إلا أنها تواجه عقبة حرجة: التمييز بين الفئات "الأشقاء" (Sibling Classes) (الملصقات الموجودة في نفس المستوى في الهيكل الهرمي) المتشابهة دلالياً.

تعاني الأساليب الحالية من قصور رئيسي في جانبين:

• نقص المعرفة بالمجال: تفتقر نماذج اللغات المدربة مسبقاً (PLMs) القياسية إلى المعرفة النوعية بالمجال المطلوبة للتمييز بين الفروق الدلالية الدقيقة بين فئات الأشقاء، خاصة في حالات ندرة البيانات (few-shot).
• تداخل التمثيلات: تؤدي الطرق التي تسحب تمثيلات الملصقات ذات المستويات الدنيا لتكون أقرب إلى بعضها البعض لفرض الهرمية غالباً إلى زيادة تداخل التمثيلات، مما يؤدي إلى تفاقم الارتباك بين الفئات دقيقة التفاصيل.
• محدودية الحلول الحالية:
  • HierVerb: يستخدم التعلم التبايني ولكنه يعاني من الغموض في المستويات العميقة.
    വസ്ഥ K-HTC: يدمج الرسوم البيانية للمعرفة (KG) ولكنه يفتقر إلى الوعي الهرمي وآليات الدمج الفعالة.
  • DCL: يعتمد على النماذج اللغوية الكبيرة (LLMs) والاسترجاع، وهو أمر مكلف حاسوبياً ويتطلب بيانات موسومة واسعة لتعلم السياق (in-context learning).

2. المنهجية: إطار عمل SCHK-HTC

يقترح المؤلفون SCHK-HTC، وهو إطار عمل مبتكر يجمع بين ضبط النماذج (Prompt Tuning)، والرسوم البيانية للمعرفة (KG)، والتعلم التبايني (Contrastive Learning). تتكون البنية من مكونين أساسيين:

أ. المشفر الهرمي الواعي بالمعرفة (HK-Encoder)

يستخرج هذا المكون سياقاً هيكلياً واعياً بالمستوى من رسم بياني للمعرفة (Wikidata) لتعويض نقص البيانات.

1. ربط الكيانات (Entity Linking): تتم معالجة النص المدخل لتحديد الإشارات وربطها بكيانات في رسم بياني فرعي (subgraph) من الـ KG (بما في ذلك الجيران من خطوة واحدة).
2. الترميز ثنائي الأنماط (Dual-Modality Encoding):
   • النمط الدلالي: يتم إنشاء تمثيلات الكيانات باستخدام BERT.
   • النمط الهيكلي: يتم ترميز بنية الرسم البياني باستخدام Node2Vec وأخذ عينات عشوائية للجيران لالتقاط العلاقات الطوبولوجية.
3. الدمج: يتم دمج التمثيلات الدلالية والهيكلية عبر الجمع العنصري (element-wise addition).
4. تكامل المطالبة (Prompt Integration): يستخدم النموذج قالباً من نوع "الفراغ" (cloze-style template) (مثل "معرفة الطبقة الأولى هي [MASK]...") لحقن هذه المعرفة الهرمية في نموذج اللغة المدرب مسبقاً، واستخراج تمثيل واعي بالمعرفة من رمز [MASK].

ب. آلية التعلم التبايني للأشقاء (SCL)

لمعالجة الغموض بين فئات الأشقاء تحديداً، يستخدم الإطار استراتيجية تعلم تبايني ثنائية القوالب.

1. مشفر السياق الهرمي: يستخدم قالب مطالبة مثل "الطبقة الأولى هي [MASK] بدلاً من [MASK]..." حيث يكون الـ [MASK] الإيجابي هو الملصق الحقيقي (ground-truth) والـ [MASK] السلبي هو ملصق الشقيق المربك.
2. استخراج النفي الصعب (Hard Negative Mining): يحدد النموذج "النفي الصعب" (الملصقات ذات الاحتمالية العالية للتنبؤ ولكنها غير صحيحة) من مخرجات المفسر (verbalizer).
3. خسارة التباين للمفسر (Verbalizer Contrastive Loss): يتم تدريب النموذج على تعظيم التشابه بين تمثيل النص وتمثيل الملصق الحقيقي، مع تقليل التشابه مع تمثيلات الأشقاء "النفي الصدامي" (hard-negative). وهذا يجبر النموذج على تعلم التمايزات الدقيقة.

ج. أهداف التدريب

دالة الخسارة الإجمالية هي مزيج مرجح من أربعة مكونات:

1. خسارة InfoNCE الواعية بالمعرفة والهرمية: تفرض القيود الهيكلية بناءً على الهرمية للملصقات (سحب العينات التي لها نفس الأب لتكون أقرب).
2. خسارة التعلم التبايني للأشقاء (SCL): تستهدف تحديداً فصل فئات الأشقاء.
3. خسارة تصنيف المفسر (Verbalizer Classification Loss): خسارة الإنتروبيا المتقاطعة (Cross-Entropy) أو الإنتروبيا المتقاطعة الثنائية القياسية لمهمة التصنيف النهائية.
4. خسارة MLM: تحافظ على هدف نمذجة اللغة المقنعة (Masked Language Modeling) من هيكل BERT الأساسي.

3. المساهمات الرئيسية

1. إطار عمل مبتكر: يقترح SCHK-HTC، وهو أول طريقة تدمج استخراج المعرفة الهرمية من الرسوم البيانية للمعرفة مع التعلم التبايني الخاص بالأشقاء ضمن نموذج ضبط المطالبات (prompt-tuning) لتصنيف النصوص الهرمي في حالات ندرة البيانات.
2. استراتيجية القوالب المزدوجة: يقدم آلية لإجبار النموذج صراحةً على التمييز بين فئات الأشقاء المتشابهة دلالياً باستخدام استخراج النفي الصعب ومطالبات القوالب المزدوجة.
3. دمج المعرفة الهرمية: يطور طريقة لاستخراج ودمج كل من المعرفة الدلالية والهيكلية من الرسوم البيانية للمعرفة في عملية ضبط المطالبات، مما يوفر سياقاً حاسماً لسيناريوهات الموارد المنخفضة.
4. أداء يضاهي أحدث التقنيات (SOTA): أظهر تحسينات كبيرة مقارنة بالنماذج المرجعية الحالية، لا سيما في حل غموض التصنيف في المستويات العميقة.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاثة مجموعات بيانات مرجعية: WOS (مسار واحد)، DBpedia (مسار واحد)، و RCV1-V2 (متعدد المسارات).

• الأداء: تفوق SCHK-HTC باستمرار على أفضل النماذج الحالية (بما في ذلك HierVerb و DCL و HPT) عبر مختلف إعدادات عدد العينات (من 1-shot إلى 16-shot).
  • في WOS (16-shot)، حقق 81.31% Micro-F1 و 74.02% Macro-F1، متفوقاً على أفضل النتائج السابقة (HierVerb) بفارق واضح.
  • في DBpedia، وصل إلى 96.26% Micro-F1 و 93.29% Macro-F1.
• دقة المستويات العميقة: كما هو موضح في الشكل 1 من الورقة، أظهر النموذج أكبر المكاسب في الطبقات الأكثر عمقاً من الهرمية، حيث يكون ارتباك الأشقاء في أعلى مستوياته.
• دراسات الاستئصال (Ablation Studies): أدى إزالة خسارة SCL إلى أكبر انخفاض في الأداء، مما يؤكد دورها الحاسم في تمييز فئات الأشقاء. كما أدى إزالة HK-Encoder إلى تراجع الأداء، مما أكد قيمة المعرفة الخارجية.
• التصور (Visualization): أظهرت مخططات t-SNE أن SCHK-HTC يخلق عناقيد أكثر وضوحاً وغير متداخلة لفئات الأشقاء مقارنة بـ HierVerb، الذي أظهر توزيعات مشتتة ومتداخلة.

5. الأهمية

تعالج هذه الورقة بحثاً في حقيقة جوهرية في التصنيف الهرمي في ظل ندرة البيانات: وهي عدم القدرة على التمييز بين الملصقات دقيقة التفاصيل والمتشابهة دلالياً دون وجود بيانات وفيرة. من خلال الدمج الفعال لـ المعرفة بالمجال الخارجية (عبر الرسوم البيانية للمعرفة) مع التعلم التبايني المستهدف خصيصاً لعلاقات الأشقاء، يوفر SCHK-HTC حلاً قوياً لتطبيقات العالم الحقيقي مثل تصنيف الأخبار وتصنيف الأوراق الأكاديمية. إنه يثبت أن ضبط المطالبات (prompt tuning)، عندما يتم تعزيزه بمعرفة مهيكلة وأهداف تباينية مستهدفة، يمكن أن يتفوق بشكل كبير على الطرق التي تعتمد فقط على النصوص أو أعداد ضخمة من المعلمات.