Improving Continual Learning of Knowledge Graph Embeddings via Informed Initialization

ملخص تقني: تحسين التعلم المستمر لتمثيلات المعرفة الرسومية عبر التهيئة المستنيرة

بيان المشكلة
تُعد الرسوم البيانية للمعرفة (KGs) هياكل ديناميكية تتطور باستمرار من خلال إضافة ثلاثيات (triples) جديدة. وفي سيناريوهات مثل أنظمة التوصية، غالبًا ما تكون هذه التحديثات صغيرة ومتكررة، مما يستلزم أن تتكيف تمثيلات المعرفة الرسومية (KGEs) دون الحاجة إلى إعادة تدريب كاملة. تعالج تقنيات التعلم المستمر (CL) هذا الأمر من خلال تعلم تمثيلات الكيانات الجديدة مع تحديث الكيانات الموجودة مسبقًا. ومع ذلك، يمثل تهيئة التمثيلات الجديدة للكيانات عقبة حرجة في طرق التعلم المستمر الحالية.

تعتمد الممارسة القياسية، الموروثة من التدريب الثابت، على تهيئة تمثيلات الكيانات الجديدة عشوائيًا (على سبيل المثال، عبر تهيئة Xavier أو He). ويطرح هذا النهج مشكلتين هامتين:

1. كفاءة التدريب: تضع التهيئة العشوائية التمثيلات الجديدة بعيدًا عن مواضعها المثلى، مما يتطلب المزيد من دورات التدريب (epochs) والوقت للوصول إلى التقارب.
2. النسيان الكارثي: عندما تتضمن الثلاثيات الجديدة كيانات موجودة سابقًا، فإن خسارة التدريب الكبيرة الناتجة عن التهيئة السيئة للتمثيلات الجديدة تفرض تعديلات كبيرة على الثلاثية بأكملها أثناء عملية التحسين. وهذا يؤدي إلى تعطيل التمثيلات التي تم تعلمها سابقًا، مما يتسبب في فقدان المعرفة القديمة (النسيان الكارثي).

تحاول طرق التهيئة الحالية الخاصة بالتعلم المستمر (مثل LKGE أو incDE) استنتاج المواضع الجديدة بناءً على القيود الهندسية لنماذج ترجمية محددة (مثل TransE). ومع ذلك، غالبًا ما تكون هذه الأساليب مرتبطة بنموذج معين، حيث تعتمد على دالات تسجيل قابلة للعكس لا توجد في العديد من نماذج KGE الحديثة (مثل نماذج المطابقة الدلالية أو النماذج القائمة على الشبكات العصبية مثل ConvE)، مما يجعلها غير قابلة للتطبيق على مجموعة واسعة من البنى المعمارية.

المنهجية
يقترح المؤلفون استراتيجية تهيئة مستنيرة قائمة على المخطط (schema-based) وغير مرتبطة بنموذج محدد لتمثيلات الكيانات الجديدة في سيناريوهات التعلم المستمر. تستفيد الطريقة من مخطط المعرفة (فئات الكيانات) وتوزيع التمثيلات التي تم تعلمها مسبقًا لتوليد تمثيلات أولية.

تتبع الخوارزمية الجوهرية الخطوات التالية:

1. مراكز الفئات (Class Centroids): لكل فئة كيان $c$ معرفة في مخطط المعرفة، يتم حساب تمثيل المركز $v_c$ كمتوسط لتمثيلات جميع الكيانات الموجودة التي تنتمي إلى تلك الفئة.
2. التباين داخل الفئة (Intra-class Variation): يتم حساب الانحراف المعياري $\sigma_c$ للتمثيلات داخل كل فئة لالتقاط التنوع داخل الفئة الواحدة.
3. التهيئة: يتم حساب التمثيل الأولي لكيان جديد $e$ ينتمي إلى مجموعة من الفئات $C_e$ كمتوسط لمراكز فئاته، مع إضافة اضطراب عشوائي:
   $$\mathbf{e} = \frac{1}{|C_e|} \sum_{c \in C_e} (\mathbf{v}_c + \gamma \cdot \boldsymbol{\sigma}_c \odot \mathbf{r}_c)$$
   حيث $\gamma$ هو معلم فائق (hyperparameter) يتحكم في مقدار الاضطراب، و $\mathbf{r}_c$ هو متجه عشوائي، و $\odot$ ترمز إلى الضرب العنصري.

يضمن هذا النهج بدء الكيانات الجديدة بمعلومات دلالية كامنة مستمدة من عضويتها في الفئات، مما يضعها في موقع قريب من تمثيلاتها النهائية المحتملة. ويمنع المكون العشوائي الحالات المتدهورة حيث تتلقى الكيانات ذات العضويات الفئوية المتطابقة تمثيلات متطابقة. وبمجرد التهيئة، يمكن تطبيق أي تقنية تعلم مستمر قياسية (مثل Fine-tuning أو EWC أو Rehearsal) لتحديث التمثيلات باستخدام الثلاثيات الجديدة.

المساهمات الرئيسية

1. استراتيجية التهيئة المستنيرة: طريقة مبتكرة لتهيئة KGEs في التعلم المستمر تستخدم مخطط المعرفة والتمثيلات الموجودة، وهي قابلة للتطبيق عبر نماذج KGE متنوعة دون الحاجة إلى تعديلات معمارية.
2. التحقق التجريبي من الكفاءة والأداء: إثبات أن الاستراتيجية المقترحة تقلل بشكل كبير من وقت التدريب (الدورات) مع تحسين الأداء التنبؤي مقارنة بالتهيئة العشوية والتهيئة المحددة بالنموذج.
3. مقاييس تقييم جديدة: تقديم مقاييس مكيفة ($\Omega_{base}$ و $\Omega_{new}$) لقياس الاحتفاظ بالمعرفة واكتسابها في تعلم KGE المستمر، والمستمدة من تعلم المهام المتزايدة في الشبكات العصبية.
4. تقييم شامل: تجارب واسعة النطاق لتقييم طريقتهم عبر مختلف خوارزميات التعلم المستمر (Fine-tuning, EWC, EMR, LKGE, incDE) وعائلات نماذج KGE (النماذج الترجمية ونماذج المطابقة الدلالية).

النتائج التجريبية
قيم المؤلفون نهجهم على ثلاثة مجموعات بيانات (FBinc-S, FBinc-M, FBinc-L) مشتقة من FB15K-237، والتي تتميز بتحديثات متزايدة ذات أحجام متفاوتة. وتشمل النتائج الرئيسية ما يلي:

• مكاسب الأداء: تفوقت التهيئة القائمة على المخطط باستمرار على التهيئة العشوائية، وفي كثير من الحالات، على التهيئة المحددة بالنموذج. لقد حسنت كلاً من الاحتفاظ بالمعرفة ($\Omega_{base}$) واكتساب المعرفة الجديدة ($\Omega_{new}$). على سبيل المثال، في الطرق غير المنتظمة مثل Fine-tuning و EMR، زادت التهيئة المخططية الاحتفاظ بالمعرفة بنسبة تصل إلى 30% واكتساب المعرفة الجديدة بنسبة تصل إلى 65% في مجموعات البيانات الصغيرة.
• تسريع التدريب: قللت التهيئة المستنيرة بشكل كبير من عدد الدورات المطلوبة للوصول إلى التقارب. مقارنة بالتهيئة العشوائية، انخفض الوقت اللازم للتقارب بعامل يتراوح بين 2.16 و 2.67 عبر معظم الطرق.
• عدم الارتباط بالنموذج (Model Agnosticism): أثبتت الطريقة فعاليتها عبر كل من النماذج الترجمية (TransH, RotatE, TransR) ونماذج المطابقة الدلالية (DistMult, HolE, ProjE). وفي النماذج المعرضة للنسيان الكارثي تحت التهيئة العشوائية (مثل RotatE, TransR)، خففت التهيئة المخططية من هذه الآثار.
• التكلفة الحسابية: عملية التهيئة نفسها ضئيلة حسابيًا (أسرع بعدة مراتب من دورة تدريب واحدة) وتتوسع بكفاءة، حيث تتطلب فقط الحفاظ على مراكز الفئات والانحرافات المعيارية بين التحديثات.

الأهمية والادعاءات
يدعي البحث أن التهيئة المستنيرة هي خطوة أساسية، وإن كانت غالبًا ما يتم تجاهلها، في التعلم المستمر لـ KGEs. ومن خلال توفير نقطة انطلاق ذات أساس دلالي، فإن الطريقة:

• تسرع اكتساب المعرفة: يتم تعلم المعلومات الجديدة بشكل أسرع، مما يقلل التكلفة الحسابية للتحديثات المتزايدة.
• تخفف من النسيان الكارثي: من خلال تقليل المسافة الأولية إلى المواضع المثلى، تقلل الطريقة من التعديلات المزعجة المطلوبة للتمثيلات الموجودة أثناء تحسين الثلاثيات الجديدة.
• تعزز القدرة على التعميم: على عكس طرق CL السابقة المحددة بالنموذج، فإن هذا النهج غير مرتبط بالقيود الهندسية لنماذج KGE محددة، مما يجعله إضافة متعددة الاستخدامات لخطوط أنابيب التعلم المستمر الحالية.

يخلص المؤلفون إلى أن هذه الاستراتيجية تحسن الأداء التنبؤي للمهام اللاحقة وتعزز كفاءة التعلم المستمر، مما يجعلها إضافة قيمة لمجموعة أدوات إدارة الرسوم البيانية للمعرفة الديناميكية.