DuConTE: Dual-Granularity Text Encoder with Topology-Constrained Attention for Text-attributed Graphs

إليك ملخص تقني مفصل لورقة البحث بعنوان "DuConTE: مشفر نصوص ثنائي التدرج مع انتباه مقيد بالطوبولوجيا للرسوم البيانية ذات السمات النصية".

1. بيان المشكلة

الرسوم البيانية ذات السمات النصية (TAGs) هي رسوم بيانية ترتبط فيها العقد بأوصاف نصية (مثل الأوراق الأكاديمية مع ملخصاتها، أو منشورات وسائل التواصل الاجتماعي). الهدف هو تعلم تمثيلات عقد عالية الجودة تلتقط بفعالية كلاً من المعلومات الدلالية للنص والبنية الطوبولوجية للرسم البياني للمهام اللاحقة مثل تصنيف العقد.

قصور المنهجيات الحالية:

• عدم تطابق التدرج (Granularity Mismatch): معظم الطرق الحالية التي تستخدم النماذج اللغوية (LMs) تقوم بالتفاعل الدلالي فقط عند تدرج الكلمة-الرمز (word-token granularity). وهي تفشل في التقاط التفاعلات ذات المعنى عند تدرج العقدة (node granularity)، حيث يجب التعامل مع نص العقد المختلفة كوحدات كاملة تتفاعل عبر الرسم البياني.
• الترميز المنفصل (Decoupled Encoding): تتجاهل العديد من المنهجيات إما بنية الرسم البياني أثناء مرحلة ترميز النموذج اللغوي أو تضخ الإشارات الهيكلية بشكل غير كافٍ. غالبًا ما يعمل النموذج اللغوي والشبكة العصبية للرسوم البيانية (GNN) بطريقة منفصلة، مما يعيق الدمج العميق للمعلومات الهيكلية والدلالية.
• تركيب التمثيل (Representation Composition): تفتقر المنهجيات الحالية إلى آليات فعالة لتركيب تمثيلات العقد من تضمينات الكلمة-الرمز، حيث تعامل جميع الرموز بالتساوي أو تفشل في التمييز بين سياق العقدة المركزية وسياق جيرانها.

2. المنهجية: DuConTE

يقترح المؤلفون DuConTE، وهو مشفر نصوص ثنائي التدرج مع آلية انتباه مقيدة بالطوبولوجيا. يعمل هذا النموذج كوحدة قابلة للتركيب (plug-and-play) في مسار تعلم الرسوم البيانية القياسي (المشفر النصي $\to$ GNN).

أ. البنية المتتالية ثنائية التدرج

يستخدم DuConTE نموذجين لغويين مدربين مسبقاً (LMs) بطريقة متسلسلة ومتتالية:

1. مشفر الكلمة-الرمز ($M_L$): يقوم بترميز النص المدمج للعقدة المستهدفة وجيرانها الذين تم اختيارهم. يلتقط الدلالات عند تدرج الكلمة-الرمز.
2. مشفر العقدة ($M_N$): يأخذ تمثيلات العقد المجمعة من المرحلة الأولى ويقوم بترميزها عند تدرج العقدة، حيث ينمذج التفاعلات بين العقد كوحدات كاملة.
3. الدمج: التمثيل النهائي للعقدة هو مزيج مرجح من تمثيلات المرحلة الأولى (المشتقة من الكلمة-الرمز) وتمثيلات المرحلة الثانية (المشتقة من العقدة).

ب. آلية الانتباه المقيدة بالطوبولوجيا

لضمان وعي النماذج اللغوية ببنية الرسم البياني دون تغيير في البنية المعمارية، يقدم DuConTE استراتيجية قناع انتباه (attention masking) محددة تعتمد على فرضية التجانس (homophily assumption) (العقد المتصلة تميل لمشاركة تسميات/دلالات متشابهة).

• قناع الكلمة-الرمز: في النموذج اللغوي الأول، يتم تقييد الانتباه. يمكن للرمز أن ينتبه لرمز آخر فقط إذا كانا ينتميان إلى نفس العقدة أو إلى عقد متصلة في الرسم البياني. يمكن لرموز [SEP] الانتباه لأي رمز للحفاظ على الوعي بالحدود.
• قناع العقدة: في النموذج اللغوي الثاني، يمكن لتمثيلات العقد الانتباه لتمثيلات العقد الأخرى فقط إذا كانت العقد المقابلة متطابقة أو متصلة في الرسم البياني.
• الأثر: هذا يجبر النموذج على تعلم الارتباطات الدلالية المستنيرة بدقة من طوبولوجيا الرسم البياني، مما يمنع الضوضاء من العقد غير المرتبطة.

ج. مُركب تمثيل العقدة (Node Representation Composer)

يقوم وحدة متخصصة بتجميع تضمينات الكلمة-الرمز في تمثيلات العقد. وهي تميز بين سياقين للعقدة المستهدفة:

1. سياق العقدة المركزية: أهمية الرمز بناءً على علاقته داخل نص العقدة نفسها.
2. سياق الجوار: أهمية الرمز بناءً على علاقته مع نصوص العقد المجاورة.

• الآلية: يستخدم المُركب آلية انتباه ثنائية المنظور لحساب درجة أهمية موزونة ($\mu$) لكل رمز، حيث يدمج تأثيرات المركز والجوار عبر معامل قابل للتعلم $\beta$. يسمح هذا للنموذج بالتقاط المعلومات الدلالية البارزة ذات الصلة بدور العقدة المحدد في الرسم البياني.

د. إجراء التدريب ذو المرحلتين

1. المرحلة 1: تدريب مشفر الكلمة-الرمز ($M_L$) ومُركب العقدة المركزية ($f_1$) لإنتاج تمثيلات عقد عالية الجودة للمرحلة الأولى.
2. المرحلة 2: تجميد مكونات المرحلة الأولى وتدريب مشفر العقدة ($M_N$) ومُركب الجوار ($f_2$) لتنقية التمثيلات باستخدام السياق الهيكلي.

3. المساهمات الرئيسية

1. الترميز ثنائي التدرج: بنية مبتكرة تنمذج الدلالات على مستويي الكلمة-الرمز والعقدة، مما يعالج قصور المنهجيات الحالية التي تعمل فقط على مستوى الرمز.
2. الانتباه المقيد بالطوبولوجيا: استراتيجية قناع تضخ المعلومات الهيكلية للرسم البياني مباشرة في آلية الانتباه الذاتي للنماذج اللغوية المدربة مسبقاً، مما يسمح بترميز مدرك للبنية دون تعديل بنية Transformer الأساسية.
3. مُركب تمثيل مدرك للسياق: آلية تميز وتدمج بوضوح تأثير العقدة المركزية وجيرانها عند تجميع تضمينات الرموز، مما يؤدي إلى تمثيلات أكثر دقة للعقد.
4. أداء رائد (SOTA): حققت المنهجية نتائج فائقة في عدة اختبارات معيارية، مما يثبت فعالية الدمج العميق بين الدلالات والهيكل.

4. النتائج التجريبية

قيم المؤلفون DuConTE على خمس مجموعات بيانات معيارية: Cora, CiteSeer, WikiCS, ArXiv-2023, و OGBN-Products.

• الأداء: حقق DuConTE نتائج رائدة (SOTA) في معظم مجموعات البيانات.
  • في Cora، وصل إلى دقة 95.24% (مقابل 93.60% لأفضل نموذج سابق، GraphBridge).
  • في ArXiv-2023، وصل إلى 90.31% (مقابل 86.43% لـ GraphBridge).
  • في OGBN-Products، وصل إلى 78.80%.
• دراسات الاستئصال (Ablation Studies):
  • إزالة تصميم التدرج الثنائي (NoDual) أدى إلى انخفاض كبير في الأداء، مما أكد ضرورة الترميز على مستوى العقدة.
  • إزالة القيود الطوبولوجية (NoMask) أدى إلى تدهور الأداء، مما أثبت أن التوجيه الهيكلي حاسم حتى عند أدق التدرجات.
  • استخدام متوسط التجميع البسيط (mean pooling) بدلاً من المُركب المدرك للسياق أدى إلى دقة أقل، مما يثبت أهمية التمييز بين سياقات المركز مقابل الجوار.
• الكفاءة: رغم استخدام نموذجين أصغر (RoBERTa-base)، إلا أن DuConTE تفوق على النماذج المرجعية التي تستخدم نماذج أكبر (RoBERTa-large)، مما يبرز كفاءته في استخدام المعلمات. كما أظهر أداءً قوياً في مهام التنبؤ بالروابط (link prediction).

5. الأهمية

يعمل هذا العمل على سد الفجوة بين النماذج اللغوية والشبكات العصبية للرسوم البيانية بطريقة أكثر منهجية. من خلال فرض قيود طوبولوجية داخل آلية الانتباه، يضمن DuConTE أن المعرفة القوية للنماذج اللغوية المدربة مسبقاً يتم توجيهها بفعالية بواسطة بنية الرسم البياني. إن نهج التدرج الثنائي يقر بأن الرسوم البيانية ذات السمات النصية تمتلك هياكل دلالية متعددة المقاييس (الكلمات والعقد)، والتي فشلت المنهجيات السابقة في التقاطها في آن واحد. تشير النتائج إلى أنه بالنسبة لمهام الرسوم البيانية الغنية بالنصوص، فإن دمج القيود الهيكلية مباشرة في مرحلة النمذجة اللغوية هو استراتيجية فعالة للغاية، مما يقدم نموذجاً جديداً لتعلم تمثيل TAGs عالي الأداء وقابل للتوسع.