ملخص تقني: تشتت الانتباه في محولات الرسوم البيانية الديناميكية (Attention Dispersion in Dynamic Graph Transformers)

بيان المشكلة

لقد اعتمد تعلم الرسوم البيانية في الزمن المستمر (CTDG) بشكل متزايد على بنى المحولات (Transformer-based architectures) لمعالجة تسلسلات التفاعل التاريخية متغيرة الطول. وبينما أصبحت هذه النماذج هي النموذج السائد في الاختبارات المعيارية، إلا أن أداءها يصل إلى حالة من الثبات (plateau) في مجموعات البيانات التي تتميز بوجود تحولات توزيع زمني كبيرة بين نوافذ التدريب والاختبار. ركزت الأبحاث الحالية بشكل أساسي على تحسين بناء التسلسل (مثل ترميز التواجد المشترك للجيران، أو الترقيع الزمني) وتصميم الميزات، ومع ذلك، تفشل هذه النهج في حل تدهور الأداء في مجموعات البيانات ذات التحول العالي مثل US Legis. و UN Trade و UN Vote.

تحدد الورقة أن هذا القصور ليس ناتجًا عن نقص في توفر المعلومات أو عدم كفاية قدرة النموذج، بل إن نمط الفشل الجوهري هو تشتت الانتباه (attention dispersion): ففي ظل وجود تحول في التوزيع الزمني، تفشل آليات انتباه "softmax" القياسية في تركيز الكتلة الاحتمالية على الرموز (tokens) التاريخية الحرجة، مما يؤدي إلى توزيعات انتباه مسطحة للغاية لا يمكنها التمييز بشكل موثوق بين الإشارات التنبؤية والضجيج.

المنهجية

1. تشخيص تشتت الانتباه

أثبت المؤلفون أولاً أن تدهور الأداء يرتبط ارتباطًا وثيقًا بحجم التحول في التوزيع الزمني، والذي يُقاس بتباعد المتوسط الأقصى (MMD). ولتحديد موقع السبب، قدموا مفهوم العقد الحرجة (critical nodes): وهي الجيران التاريخيون الذين يكونون إما مركزيين هيكليًا (متصلين بعدة عقد في بنية التفاعل المحلية) أو مستقرين زمنيًا (مشاركين في علاقات متكررة ومستقرة).

من خلال دراسات الاستئصال (ablation studies) المنضبطة، أثبت المؤلفون ما يلي:

• توفر المعلومات: تحمل العقد الحرجة معلومات تنبؤية غير متناسبة مع حجمها. ويؤدي حجبها إلى انخفاض كبير في الأداء، خاصة في مجموعات البيانات ذات التحول العالي.
• عنق الزجاجة: حتى عندما تكون جميع العقد الحرجة موجودة في المدخلات، تؤدي نماذج المحولات الحالية أداءً ضعيفًا في مجموعات البيانات ذات التحول العالي. وهذا يشير إلى أن الخلل يكمن في تخصيص الانتباه (attention allocation)، وليس في استرجاع المعلومات.
• الآلية: تؤدي التحولات الزمنية إلى تقليل التباين النسبي في درجات (Query-Key) ($QK^\top$)، مما يتسبب لاحقًا في جعل عملية "softmax" تنتج توزيعات أكثر تسطحًا وتشتتًا. وبالتالي، يخصص النموذج وزنًا غير كافٍ للرموز الأكثر إخبارًا.

2. الحل المقترح: الانتباه التفاضلي (Differential Attention)

لمعالجة تشتت الانتباه، تقترح الورقة استبدال الانتباه الذاتي القياسي بـ الانتباه التفاضلي (Differential Attention). تم اقتراح هذه الآلية في الأصل لنمذجة اللغة، وهي تقوم بحساب الفرق بين خريطتي انتباه "softmax" مشتقتين من نفس المدخلات:
$$\text{DiffAttn}(Z) = (A_1 - \lambda A_2)V$$
حيث $A_1$ و $A_2$ هما خريطتا انتباه محسوبتان من زوجين من (Query-Key)، و $\lambda$ هو ثابت قابل للتعلم.

• الوظيفة: تعمل عملية الطرح على كبح "انتباه النمط المشترك" (الإشارات التي تظهر بشكل متشابه في كلتا الخريطتين، والتي تمثل غالبًا ضجيجًا أو أنماطًا عامة) وتضخيم الإشارات المميزة على مستوى الرمز.
• الهدف: يعمل هذا على استعادة التباين بين الرموز التاريخية، مما يجبر النموذج على تركيز الكتلة الاحتمالية على العقد الأكثر قدرة على التنبؤ.

3. تنفيذ DiffDyG

قام المؤلفون بتطبيق هذا الحل في DiffDyG، وهو نموذج مرجعي لـ CTDG Transformer.

• البنية: يحتفظ بمكونات بناء المدخلات القياسية (RoPE، ترميز التواجد المشثترك للجيران، ترميز المسافة المكانية) ولكنه يستبدل طبقات الانتباه الذاتي بالانتباه التفاضلي.
• الكفاءة: نظرًا لقدرة التخلص من الضجيج الزمني المحسنة للانتباه التفاضلي، يحقق DiffDyG أداءً فائقًا مع بُعد تضمين أصغر (36 مقابل 50 في النماذج المرجعية) وعدد أقل من المعلمات، مما يؤدي إلى أوقات تدريب أسرع عند دمجه مع FlashAttention و Grouped Query Attention.

المساهمات الرئيسية

1. التشخيص: تحدد الورقة تشتت الانتباه كنمط فشل مشترك لنماذج Transformer-based في CTDG تحت تأثير التحول في التوزيع الزمني. وتثبت أن الإشارات التنبؤية الحرجة موجودة في المدخلات ولكن يتم تجاهلها بسبب توزيعات الانتباه المسطحة.
2. التحقق: تحقق المؤلفون من هذا التشخيص عبر ثلاثة نماذج مرجعية متباينة بنيويًا (DyGFormer، TIDFormer، TCL). وقد أدى استبدال آلية الانتباه فقط بالانتباه التفاضلي إلى تحقيق مكاسب ثابتة في الأداء، لا سيالما في مجموعات البيانات ذات التحول العالي. وتؤكد القياسات المباشرة أن هذا الحل يقلل من اعتلاج (entropy) الانتباه ويزيد من كتلة الانتباه المخصصة للعقد الحرجة.
3. الأداء الرائد (SOTA): يحقق DiffDyG نتائج رائدة في الحالة الراهنة (state-of-the-art) عبر 9 اختبارات معيارية تحت ثلاثة بروتوكولات لأخذ العينات السلبية (عشوائي، تاريخي، واستقرائي). كما يقلص بشكل كبير فجوة الأداء في أكثر مجموعات البيانات تحديًا والتي توقف أداؤها عند مستويات معينة في الطرق السابقة.

النتائج

• مكاسب الأداء: في مجموعات البيانات ذات التحول العالي، يظهر DiffDyG تحسنات جوهرية مقارنة بأفضل النماذج المرجعية الحالية:
  • US Legis.: 71.1% $\to$ 87.5% AP
  • UN Trade: 66.5% $\to$ 99.0% AP
  • UN Vote: 69.0% $\to$ 88.8% AP
• التحقق من الآلية: تُظهر قياسات مستوى الانتباه أن الانتباه التفاضلي يقلل باستمرار من الاعتلاج (مما يشير إلى تركيز أكثر حدة) ويزيد من نسبة كتلة الانتباه المخصصة للعقد الحرجة مقارنة بالانتباه القياسي.
• الكفاءة: يتم تدريب DiffDyG بسرعة تتراوح بين 1.5 إلى 2.5 ضعف النماذج الأخرى القائمة على Transformer (مثل DyGFormer و TIDFormer) مع استخدام عدد أقل من المعلمات.

الأهمية والادعاءات

تجادل الورقة بأن المسار المستقبلي لتعلم CTDG في مجموعات البيانات الصعبة ذات التحول العالي لا يتطلب فقط بناء تسلسلات تاريخية أفضل، بل يتطلب آليات أفضل لتخصيص الانتباه فوق تلك التسلسلات. يوضح العمل أن تغييرًا مستهدفًا في آلية الانتباه يمكن أن يحل اختناقات الأداء التي فشلت الابتكارات المعمارية في ترميز المدخلات في حلها.

يتبنى المؤلفون موقفًا متواضعًا، مشيرين إلى أن تحليلهم تجريبي في المقام الأول. ويقرون بأنهم لا يقدمون توصيفًا نظريًا رسميًا للحالات التي يصبح فيها انتباه "softmax" مشتتًا أو متى يضمن الانتباه التفاضلي المساعدة. علاوة على ذلك، فإن تعريفهم لـ "العقد الحرجة" يعمل كمسبار تشخيصي وليس كتعريف أمثل فريد، كما أن التقييم يقتصر حاليًا على التنبؤ بالروابط الديناميكية في الاختبارات المعيارية. ويُقترح كعمل مستقبلي توسيع هذه النتائج لتشمل مهام أخرى في الرسوم البيانية الديناميكية ورسوم بيانية صناعية أكبر.