Distance-Misaligned Training in Graph Transformers and Adaptive Graph-Aware Control

ملخص تقني: عدم محاذاة المسافة في التدريب في نماذج المحولات الرسومية والتحكم التكيفي الواعي بالرسم البياني

1. بيان المشكلة

تعد المحولات الرسومية (Graph Transformers) قوية بفضل قدرتها على دمج المعلومات العالمية. ومع ذلك، فإن هذه المرونة سلاح ذو حدين: تتطلب مهام الرسم البياني المختلفة مقاييس مختلفة من التواصل. تعتمد بعض المهام على معلومات الجوار المحلية، بينما تتطلب مهام أخرى تبعات بعيدة المدى.

حدد المؤلفون نمط فشل محدد يُسمى "عدم محاذاة المسافة" (distance misalignment). يحدث هذا عندما يكون هناك عدم تطابق بين:

• تبعية المهمة ($\pi_{\text{task}}$): المسافة الرسومية التي توجد عندها المعلومات ذات الصلة بالتسميات (labels) فعلياً.
• استغلال النموذج ($\pi_A$): المسافة الرسومية التي يخصص لها النموذج المدرب فعلياً الانتباه/التواصل.

يتجلى عدم المحاذاة في شكلين:

• قصور الوصول (Under-reaching): تتطلب المهمة إشارات بعيدة المدى، لكن النموذج يظل محلياً للغاية.
• الإفراط في العولمة (Over-globalizing): تكون المهمة محلية، لكن النموذج يخصص الكثير من الانتباه للعقد البعيدة (ما قد يؤدي إلى التنعيم المفرط/oversmoothing).

2. المنهجية

يقترح الباحثون إطار عمل تجريبي مضبوط لتشخيص وتخفيف حدة عدم المحاذاة هذه.

أ. المعيار الاصطناعي (Synthetic Benchmark):
يستخدمون نموذج الكتلة العشوائية السياقية (CSBM) لإنشاء بيئة ذات حقيقة أرضية (ground-truth). يتم توليد التسميات عبر مزيج قابل للتحكم من الإشارات المحلية ($g_{\text{loc}}$) وإشارات القشرة البعيدة ($g_{\text{far}}$):
$$s(i) = \beta \hat{g}_{\text{loc}}(i) + (1 - \beta) \hat{g}_{\text{far}}(i)$$
يسمح المعامل $\beta \in [0, 1]$ بالتحكم الدقيق في محلية المهمة ($\beta=1$ هي محلية بحتة؛ $\beta=0$ هي عالمية بحتة).

ب. بنية النموذج وعنصر التحكم (Control Knob):
يستخدمون محولاً رسومياً كثيفاً حيث يتم حقن التحيز الهيكلي في لوغاريتمات الانتباه باستخدام عقوبة قائمة على المسافة:
$$\text{logit}_{ij} = \frac{q_i^\top k_j}{\sqrt{d}} + \lambda_{\text{dist}} \cdot (- \text{spd}(i, j))$$
يعمل المعامل الفائق $\lambda_{\text{dist}}$ كعنصر تحكم: القيم الأعلى تفرض المحلية، بينما القيم الأقل أو السالبة تشجع التواصل العالمي.

ج. مقاييس التقييم:
لتحديد كمية عدم المحاذاة، يستخدمون:

• فجوة متوسط المسافة ($\mu_{\text{task}} - \mu_A$): الفرق في متوسط مسافة التواصل.
• مسافة واسرستاين-1 ($W_1$): مقياس للاختلاف التوزيعي بين تبعية المهمة واستغلال النموذج.

د. استراتيجيات التحكم:

• المحايد (Neutral): $\lambda_{\text{dist}} = 0$.
• متحكم الفجوة الصفرية (Zero-gap Controller): يحاول دفع فجوة متوسط المسافة إلى الصفر.
• متحكم هدف الفجوة المثالي (Oracle Target-gap Controller): متحكم مثالي يعرف الفجوة المثلى (من التحقق خارج الخط - offline validation) ويوجه النموذج نحوها.

3. المساهمات الرئيسية

1. صياغة عدم محاذاة المسافة: قدموا إطاراً رياضياً للتمييز بين أنماط "قصور الوصول" و"الإفراط في العولمة".
2. أدوات التشخيص: أثبتوا أن المقاييس الموزعة حسب المسافة (فجوة متوسط المسافة ومسافة واسرستاين) أكثر إخبارية لفهم إخفاقات المحولات الرسومية من الدقة الإجمالية وحدها.
3. إطار التحكم التكيفي: أظهروا أن توجيه التحيز الهيكلي ($\lambda_{\text{dist}}$) أثناء التدريب يمكن أن يحسن الأداء بشكل كبير في المهام ذات المحلية المتغيرة.

4. النتائج

• إزاحة التحيز المنهجي: مع زيادة محلية المهام (زيادة $\beta$)، ينتقل $\lambda_{\text{dist}}$ الأمثل من القيمة القريبة من الحياد إلى قيم موجبة متزايدة.
• فعالية التحكم التكيفي: يقترب متحكم هدف الفجوة المثالي (Oracle Target-gap Controller) من مطابقة أداء أفضل نموذج ذي تحيز ثابت عبر جميع أنظمة المحلية. وهو يتفوق بشكل كبير على خط الأساس "المحايد" ومتحكم "الفجوة الصفرية".
• فشل الفجوة الصفرية: أثبت "متحكم الفجوة الصفرية" (الذي يحاول ببساطة مطابقة المسافة المتوسطة) أنه أضعف من المتحكم المثالي (Oracle). وهذا يثبت أن التكيف وحده غير كافٍ؛ يجب توجيه النموذج نحو مسافة مستهدفة محددة وملائمة للمهمة، وليس مجرد هدف عدم تطابق صفري.
• الرؤية الآلية: تؤكد منحنيات عدم التطابق (الشكل 1ج، 1د) أن نفس عنصر التحكم $\lambda_{\text{dist}}$ ينقل النموذج عبر أنماط فشل مختلفة اعتماداً على محلية المهمة الأصلية.

5. الأهمية

ينقل هذا العمل التركيز من تصميم بنيات انتباه ثابتة ومعقدة إلى استراتيجيات تدريب ديناميكية واعية بالرسم البياني. من خلال معاملة التحيز الهيكلي كمعامل قابل للتحكم يمكن توجيهه نحو المسافات ذات الصلة بالمهمة، يوفر المؤلفون خارطة طريق لإنشاء محولات رسومية أكثر قوة يمكنها التكيف تلقائياً مع مقياس الإشارة الأساسية للرسم البياني. لهذا الأمر تداعيات كبيرة على تطبيق المحولات على الرسوم البيانية المتنوعة في العالم الحقيقي حيث يكون "المقياس الصحيح" للتواصل غير معروف مسبقاً في الغالب.