ملخص تقني: CTQWformer

بيان المشكلة

لقد حققت الشبكات العصبية الرسومية (GNNs) والبنى القائمة على المحولات (Transformers) تقدماً في تعلم الرسوم البيانية، لكنها تواجه قيوداً محددة. غالباً ما تعاني الشبكات العصبية الرسومية التقليدية من حقول الاستقبال المحلية، والتمهيد المفرط (over-smoothing) في الشبكات العميقة، وعدم القدرة على التقاط التبعيات طويلة المدى. وفي المقابل، بينما تتفوق المحولات في نمذجة التبعيات طويلة المدى، فإنها غالباً ما تفشل في التقاط كل من التبعيات الهيكلية المحلية والعالمية في آن واحد وبفعالية. علاوة على ذلك، قد تفتقر الطرق الحالية إلى آلية قائمة على أسس فيزيائية لنمذجة انتشار المعلومات الديناميكي المتأصل في هياكل الرسوم البيانية. تحدد الورقة البحثية الحاجة إلى إطار عمل يمكنه الاستفادة من الانتباه العالمي، والحفاظ على المعلومات الهيكلية المحلية، ونمذجة أنماط التطور الديناميكي في وقت واحد.

المنهجية

يقترح المؤلفون CTQWformer، وهو إطار عمل هجين لتعلم الرسوم البيانية يدمج السير العشوائي الكمي في الوقت المستمر (CTQW) مع الشبكات العصبية الرسومية (GNNs). تم تصميم النموذج لالتقاط كل من الانحيازات الهيكلية الفيزيائية الساكنة وأنماط التطور الزمني الديناميكي لـ CTQW لتعلم تمثيل مستوى الرسم البياني. تتكون البنية من ثلاثة مكونات أساسية:

1. مشفر السير العشوائي الكمي (QWE)

على عكس نماذج CTQW الكلاسيكية التي تعتمد على مصفوفات لابلاسيان أو مصفوفات مجاورة ثابتة، يستخدم CTQWformer هاميلتوني قابل للتدريب ($H_\theta$).

• البناء: يدمج الهاميلتوني بين طوبولوجيا الرسم البياني وميزات العقد. يتم تعلم أوزان الحواف عن طريق دمج ميزات العقد المتصلة وتمريرها عبر مدرك متعدد الطبقات (MLP) مع تنشيطات ReLU وSigmoid لضمان أوزان محدودة.
• الديناميكيات: يتطور النظام وفقاً لمعادلة شرودنجر ($i \frac{d}{dt}|\psi(t)\rangle = H|\psi(t)\rangle$). يحاكي النموذج تطور CTQW بدءاً من حالات أساس متعامدة (حالات عقدة واحدة أولية) عبر مجموعة من الخطوات الزمنية المنفصلة $T$.
• المخرجات: تولد هذه العملية تنسور تطور زمني $P \in \mathbb{R}^{T \times n \times n}$، والذي يشفر توزيع الاحتمالات للمسير عبر الرسم البياني عند كل خطوة زمنية.

2. وحدة محول الرسم البياني للسير العشوائي الكمي (QWGT)

تعالج هذه الوحدة الحاجة إلى الوعي الهيكلي العالمي.

• الآلية: تدمج احتمالات الانتشار في الزمن النهائي ($P^T$) من محاكة CTQW كتحيز هيكلي ساكن في آلية الانتباه الذاتي لـ "محول الرسم البياني" (Graph Transformer).
• التكامل: يتم اشتقاق مصفوفة التحيز $B$ عن طريق تطبيع $P^T$ وتطبيق تحويل لوغاريتمي ($B = \log(1 + P^T)$)، والتي تُضاف إلى مصفوفة درجات الانتباه ($QK^T/\sqrt{d} + B$). هذا يوجه آلية الانتباه لاحترام طوبولوجيا الرسم البياني والخصائص الهيكلية الفيزيائية بما يتجاوز مجرد تشابه الميزات.

3. وحدة السير العشوائي الرسومي المتكرر (QWGR)

تلتقط هذه الوحدة التطور الزمني الديناميكي للسير العشوائي الكمي.

• الآلية: تقوم بمعالجة التسلسل الزمني الكامل لتنسور تطور CTQW. وتحديداً، تستخرج العناصر القطرية (احتمالات الانتخاب الذاتي للعقدة) من مصفوفات الاحتمال عبر الخطوات الزمنية.
• البنية: يتم تغذية هذه التسلسلات في وحدة متكررة بوابة ثنائية الاتجاه (BiGRU) لنمذجة التقلبات والتبعيات الزمنية في كلا الاتجاهين الأمامي والخلفي.
• المخرجات: يتم تجميع تمثيلات العقد الناتجة عبر تجميع المتوسط (mean pooling) وشبكة تغذية أمامية لإنتاج تضمين على مستوى الرسم البياني.

الدمج والتنبؤ

يتم دمج وحدتي QWGT وQWGR في طبقات موحدة. يتم دمج مخرجاتهما وتمريرهما عبر شبكة دمج تغذية أمامية. يدعم النموذج التراكم متعدد الطبقات، حيث يتم بث تضمينات مستوى الرسم البياني مرة أخرى إلى تمثيلات مستوى العقد لتوجيه الطبقات اللاحقة. أخيراً، يقوم تجميع المتوسط العالمي بتجميع تضمينات العقد النهائية لتمثيل تصنيف مستوى الرسم البياني.

المساهمات الرئيسية

1. هاميلتوني قابل للتدريب: تصميم هاميلتوني معلمي يدمج بنية الرسم البياني وميزات العقد. يسمح هذا لديناميكيات CTQW بالتقاط الاتصالات بشكل تكيفي بناءً على ميزات العقد، مما يجعل النموذج مناسباً لمهام تصنيف الرسوم البيانية ذات السمات.
2. إطار عمل هجين (CTQWformer): اقتراح أول محول هجين قائم على CTQW. فهو يجمع بشكل فريد بين:
   • التحيز الساكن: استخدام احتمالات CTQW في الزمن النهائي لتوجيه آلية الانتباه في المحول.
   • النمذجة الديناميكية: استخدام الشبكات المتكررة ثنائية الاتجاه لمعالجة التطور الزمني لـ CTQW.
     يسمح هذا التكامل بالتقاط كل من الانحيازات الهيكلية الفيزيائية الساكنة وأنماط التطور الزمني الديناميكي.
3. الأداء: تثبت التجارب المكثفة أن إطار العمل يتفوق على نواة الرسوم البيانية التقليدية ومختلف طرق GNN (بما في ذلك Graphormer وGraphGPS).

النتائج التجريبية

تم تقييم النموذج على ست مجموعات بيانات مرجعية من مجموعة TU (وهي: MUTAG، PTC(MR)، PROTEINS، DD، IMDB-B، IMDB-M)، والتي تغطي الشبكات البيولوجية والاجتماعية.

• المقارنة مع نواة الرسوم البيانية (Graph Kernels): تفوق CTQWformer باستمرار على سبع طرق لنواة الرسوم البيانية، بما في ذلك نواة R-convolution الكلاسيكية والنواة القائمة على المعلومات النظرية مثل (JTQK، QJSK). وقد حقق أفضل أداء في خمس من أصل ست مجموعات بيانات.
• المقارنة مع GNNs: حقق النموذج نتائج تنافسية أو متفوقة مقابل ثماني شبكات عصبية رسومية ممثلة (مثل GIN، GCN، GraphSAGE) وثلاثة من أحدث المحولات الرسومية (Graphormer، GraphGPS، GRIT).
• دراسات الاستئصال (Ablation Studies): أدى إزالة وحدة QWGR (النمذجة الزمنية) إلى انخفاض كبير في الأداء (على سبيل المثال، انخفضت دقة MUTAG من 92.54% إلى 74.97%)، مما يسلط الض الضوء على الأهمية الحاسمة لنمذجة التطور الديناميكي. أما إزالة وحدة QWGT (التحيز الهيكلي) فقد تسببت في انخفاض أقل حدة ولكنه ملحوظ، مما يشير إلى أن كلا المكونين ذوا قيمة.
• حساسية المعلمات الفائقة: وجدت الدراسة أن الخطوات الزمنية المتوسطة (مثل $T=4$ لـ MUTAG) وعمق الشبكة (مثل $L=2$) يعطيان الأداء الأمثل، مما يشير إلى أن وقت التطور المفرط أو عمق الشبكة الزائد يمكن أن يؤدي إلى تمييع المعلومات أو التمهيد المفرط.

الأهمية والادعاءات

تدعي الورقة أن CTQWformer يمثل تقدماً كبيراً من خلال النجاح في دمج الديناميكيات الكمية في أطر التعلم العميق القابلة للتدريب.

• التأسيس الفيزيائي: يوفر نمذجة قائمة على أسس فيزيائية لهيكل الرسم البياني من خلال معادلة شرودنجر، مما يلتقط معلومات هيكلية معقدة عبر تأثيرات التداخل البناء والهدام المتأصلة في السير العشوائي الكمي.
• النمذجة المتكاملة: من خلال دمج التحيزات الهيكلية الساكنة مع التطور الزمني الديناميكي، يتغلب النموذج على قيود النماذج التي تعتمد فقط على التجميع المحلي أو الانتباه الساكن.
• الأول من نوعه: يذكر المؤلفون أنه، حسب علمهم، هذا هو أول محول هجين قائم على CTQW يدمج التحيز الهيكلي المشتق من CTQW مع نمذجة التطور الزمني لتعزيز تعلم الرسوم البيانية.

يخلص المؤلفون إلى أن هذا العمل يوضح إمكانات ديناميكيات السير العشوائي الكمي لتعلم تمثيل الرسوم البيانية، ويشيرون إلى أن العمل المستقبلي سيركز على تحسين الكفاءة الحسابية وتوسيع إطار العمل ليشمل مهام تعلم رسوم بيانية أوسع.