S2Aligner: Pair-Efficient and Transferable Pre-Training for Sparse Text-Attributed Graphs

ملخص تقني: S2Aligner

بيان المشكلة

تعالج الورقة البحثية تحدي التدريب المسبق لنماذج الرسوم البيانية التأسيسية (GFMs) القابلة للنقل على الرسوم البيانية ذات النصوص المنسوبة والمنخفضة الكثافة (Sparse Text-Attributed Graphs - TAGs). وبينما يعتمد نموذج "النموذج اللغوي الكبير كمحاذٍ" (LLM-as-Aligner) الناشئ (مثل GraphCLIP) على فرضية مفادها أن نصوص العقد توفر إشرافاً كافياً وموثوقاً للمحاذاة، إلا أن هذا النموذج يعتمد على فرضية حرجة.

في السيناريوهات الواقعية، غالباً ما تُنتهك هذه الفرضية؛ فقد تكون السمات النصية مفقودة، أو مشوشة، أو قصيرة، أو موزعة بشكل غير متساوٍ عبر المجالات. عندما تكون المرتكزات النصية شحيحة، يجب محاذاة بنية الرسم البياني مع إشارات دلالية ضعيفة أو غامضة. يؤدي هذا إلى تحديين رئيسيين:

1. محاذاة غير موثوقة بين البنية والدلالة: قد يتم سوء محاذاة البنى الغنية للرسوم البيانية مع نصوص مشوشة أو غير مكتملة، مما يتسبب في تعلم النموذج لارتباطات غير دقيقة. كما أن الإضافة الهيكلية الساذجة قد تؤدي إلى تضخيم عدم التطابق بدلاً من تصحيحه.
2. انحياز النقل الناتج عن الشح (Sparsity-Induced Transfer Bias): تخلق ندرة النصوص عدم موثوقية متفاوتة عبر المجالات. قد يؤدي التدريب المسبق القياسي إلى الإفراط في التخصيص (Overfitting) للمجالات ذات المرتكزات الكثيفة، أو تعلم ارتباطات منحازة من البيانات المشوشة، مما ينتج عنه ضعف في القدرة على التعميم الصفري (Zero-shot Generalization) على الرسوم البيانية (TAGs) الشحيحة غير المرئية.

المنهجية: S2Aligner

يقترح المؤلفون S2Aligner، وهو إطار عمل "محاذٍ باستخدام النماذج اللغوية الكبيرة" يراعي الشح ويعزز البنية. الفلسفة الجوهرية هي فك الارتباط بين المحاذاة الدلالية والنمذجة الهيكلية، مما يسمح للإشارات المدركة للبنية بتعزيز المحاذاة دون تلويث الفضاء الدلالي المشترك. يتكون الإطار من ثلاثة مكونات رئيسية:

1. تحليل المحتوى والبنية (Content-Structure Factorization)

يقوم النموذج بفصل تمثيلات الرسم البياني والنص إلى فرعين مستقلين:

• فرع المحاذاة الدلالية: يعتمد حصرياً على معلومات المحتوى الحتمية (سمات العقد) لاستخراج دلالات مستقرة، متجنباً التداخل من النصوص الهيكلية ذات اليقين المنخفض.
• الفرع الهيكلي: يُبقى مستقلاً ويُنقّى من خلال مهمة إعادة بناء لاستخراج معلومات طوبولوجية موثوقة.
  لكل عينة، يتم تشفير الرسم البياني إلى تضمين محتوى ($z^c_g$) وتضمين هيكل ($z^s_g$). وبالمثل، يتم تشفير النص إلى تضمينات محتوى ($z^c_t$) وهيكل ($z^s_t$). يشكل زوج المحتوى فضاء المحاذاوة الأساسي، بينما يُستخدم زوج الهيكل لعملية إعادة البناء.

2. إعادة البناء الموجهة نحو الهيكل (Structure-Oriented Reconstruction)

لتصفية الضجيج من النصوص الهيكلية ذات اليقين المنخفض، يستخدم الإطار التضمين الهيكلي من جانب الرسم البياني كهدف منفصل عن التدرج (Gradient-detached target) لإعادة بناء التضمين الهيكلي من جانب النص.

• خسارة إعادة البناء (Reconstruction Loss): تقلل الفرق بين التضمين الهيكلي المعاد بناؤه وبنية الرسم البياني الأصلية.
• بوابة الموثوقية (Reliability Gate): آلية تحكم في الاتساق ($\kappa$) تقيس مدى قدرة الهيكل القائم على النص على استعادة طوبولوجيا الرسم البياني. إذا كان الوصف الهيكلي غير موثوق، تتقلص البوابة، مما يقلل من الإشارة الهيكلية المحقونة. يضمن ذلك أن المعلومات التي تعزز المرتكز النصي هي فقط المعلومات القابلة للاسترداد والمتسقة طوبولوجياً.

3. موازنة مخاطر المجالات المتعددة الواعية بالشح (SCRB)

لمعالجة انحياز النقل، يقدم S2Aligner آلية لموازنة المخاطر عبر مجالات متعددة ذات مستويات شح متفاوتة.

• نسبة كثافة الدعم المشترك (Shared-Support Density Ratio): تحسب وزناً بناءً على نسبة كثافة المجال العالمية إلى كثافة المجال النوعي. تعمل هذه النسبة على رفع وزن العينات التي تقع في نطاق الدعم المشترك عبر المجالات، وخفض وزن تلك التي يهيمن عليها الانحياز النوعي للمجال.
• موثوقية الرسم البياني الشحيح: تحسب درجة موثوقية ($\rho$) لكل عينة بناءً على ثلاث إشارات: الاستقرار الهيكلي (إنتروبيا المسار العشوائي)، واكتمال النص (نسبة السمات الملحوظة)، والاتساق بين الهيكل والدلالة.
• الأوزان التكيفية: تجمع بين نسب الكثافة ودرجات الموثوقية لإعادة وزن العينات أثناء التدريب.
• تنظيم المخاطر (Risk Regularization): يعمل منظم من نمط التباين (Variance-style regularizer) على معاقبة تشتت المخاطر الموزونة عبر مجالات المصدر، مما يشجع النموذج على تعلم محاذات (رسم بياني-نص) ثابتة عبر المجالات بدلاً من تعلم اختصارات مرتبطة بمجالات شحيحة محددة.

المساهمات الرئيسية

1. اقتراح الإطار: تقديم S2Aligner، الذي يحول الإشارات الطوبولوجية غير المستقرة إلى تعزيزات هيكلية قابلة للتحقق ويدمج موازنة المخاطر الواعية بالشح.
2. تصميم الآليات: تطوير آلية موازنة مخاطر المجالات المتعددة الواعية بالشح والتي تصفي العينات المشوشة عبر تقييم موثوقية الرسم البياني وتعاير المخاطر عبر نسب كثافة المجال العالمي.
3. التحقق التجريبي: تجارب واسعة النطاق تثبت أن S2Aligner يتفوق باستمرار على النماذج المرجعية الحالية (بما في ذلك GraphCLIP وADAligner والأساليب ذات الإشراف الذاتي) عبر مجالات رسوم بيانية متنوعة، ومستويات شح مختلفة، ومهام هبوطية متنوعة. والجدير بالذكر أن النموذج المدرب باستخدام 10% فقط من السمات النصية يتفوق على النماذج المرجعية المدربة بخصائص كاملة.

النتائج التجريبية

قيم المؤلفون S2Aligner على 12 مجموعة بيانات للرسوم البيانية ذات السمات النصية (5 مصادر، 7 أهداف) عبر مجالات أكاديمية، وتجارة إلكترونية، واجتماعية، وويب.

• تصنيف العقد الصفري (Zero-Shot Node Classification): تحت شح نصي بنسبة 10%، حقق S2Aligner متوسط دقة قدره 59.88%، متفوقاً على النموذج المرجعي القوي GraphCLIP (55.16%) والأساليب الأخرى القائمة على النماذج اللغوية الكبيرة. وأظهر مكاسب كبيرة في مجموعات بيانات مثل Cora وCiteSeer وBooks-History.
• التنبؤ بالروابط (Link Prediction): حقق S2Aligner أفضل درجات AUC في Cora (91.06%)، وWikiCS (87.15%)، وHistory (91.76%).
• الاسترجاع عبر الوسائط (Cross-Modal Retrieval): حسن الأسلوب بشكل كبير عملية استرجاع (النص إلى العقدة - T2N)، حيث حقق متوسط رتبة عكسي (MRR) بنسبة 95.62% مقارلة بـ 38.85% لـ GraphCLIP.
• المتانة والكفاءة: حافظ النموذج على أداء متفوق حتى عند شح نصي بنسبة 1%، متفوقاً على GraphCLIP المدرب بشح 10%. كما أظهر عبئاً حوسبياً أقل لكل حقبة تدريبية (Epoch).
• دراسات الاستئصال (Ablation Studies): أدى إزالة أي مكون رئيسي (إعادة البناء الهيكلي، أو موازنة المخاطر، أو الملخص) إلى تدهور الأداء، مما يؤكد ضرورة جميع الوحدات.

الأهمية والادعاءات

تدعي الورقة أن S2Aligner يوفر حلاً قوًياً لبناء نماذج رسوم بيانية تأسيسية قابلة للنقل في السيناريوهات الواقعية حيث يكون الإشراف النصي شحيحاً وغير موثوق. ومن خلال فصل تعلم الدلالة عن الهيكل وموازنة مخاطر المجالات صراحةً، يقلل الإطار من "انحياز النقل الناتج عن الشح" الذي يعيب طرق "النموذج اللغوي الكبير كمحاذٍ" الحالية.

يؤكد المؤلفون أن نهجهم لا يعتمد على إشراف نصي كثيف لتحقيق تعميم صفري قوي، بل يستفيد من المعلومات الهيكلية للرسم البياني لتعويض النص المفقود، بشرط تصفية الإشارات الهيكلية للتأكد من موثوقيتها. يدعم التحليل النظري الادعاء بأن هدف موازنة المخاطر المقترح يقلل من فجوات التعميم عبر المجالات من خلال التحكم في تباين مخاطر المجالات.

تشير الدراسة إلى أنه بالنسبة للرسوم البيانية (TAGs) الشحيحة، فإن مفتاح القدرة على النقل لا يكمن فقط في محاذاة الوسائط، بل في معايرة موثوقية إشارات المحاذاة عبر المجالات. وهذا يسمح للنموذج بتعلم سمات ثابتة تعمم على الرسوم البيانية الشحيحة غير المرئية، مما يجعله مناسباً للتطبيقات في شبكات الاقتباس، والتجارة الإلكترونية، والمنصات الاجتماعية حيث تختلف اكتمال البيانات بشكل كبير.