SpectralMLP: Message-Passing-Free Dual-Frequency Spectral Filtering on Hypergraphs

ملخص تقني: SpectralMLP

بيان المشكلة
تعتمد الشبكات العصبية للرسوم البيانية الفائقة (HGNNs) الحالية بشكل أساساد على آليات التجميع — مثل تمرير الرسائل المحلي، أو الانتباه العالمي، أو الإسقاط الطيفي — لإثراء تمثيلات العقد. تواجه هذه النهج قيودًا عملية كبيرة: يعاني تمرير الرسائل المحلي من مشكلة "الضغط الزائد" (over-squashing) والحساسية للضوضاء؛ بينما يتسبب الانتباه العالمي في تعقيد حسابي قدره $O(N^2)$، مما يحد من القدرة على التوسع؛ وتتطلب الطرق الطيفية الدقيقة عملية تفكيك القيم الذاتية بقدر تعقيد $O(N^3)$، مما يجعلها غير مجدية للرسوم البيانية الكبيرة. علاوة على ذلك، غالبًا ما تفشل الطرق الطيفية الحالية في معالجة "التدهور الطيفي" (spectral degeneration)، وهي ظاهرة تتقارب فيها القيم الذاتية لـ "لابلاسيان" (Laplacian) بشدة (على سبيل المثال، $\lambda_{max} - \lambda_{min} < 10^{-4}$)، مما يؤدي إلى انهيار المرشحات القياسية إلى استجابات ثابتة وفقدان القدرة على التمييز بين الترددات. بالإضافة إلى ذلك، لا يمكن لاستجابة طيفية واحدة أن تلتقط في آن واحد الإشارات منخفضة التردد المفيدة للرسوم البيانية المتجانسة (homophilic)، والإشارات عالية التردد المطلوبة للمهام متباينة التجانس (heterophilic) أو متعددة الفئات.

المنهجية
يقترح المؤلفون SpectralMLP، وهو إطار عمل خالٍ من تمرير الرسائل يستبدل التجميع بـ ترشيح طيفي ثنائي التردد باستخدام أسس "متعددات حدود جاكوبي" (Jacobi polynomial) القابلة للتعلم. يتكون الإطار من ثلاثة مكونات رئيسية:

1. العمود الفقري (MLP Backbone): يقوم نموذج MLP بتحويل الميزات المدخلة إلى تمثيلات خفية دون أي عمليات رسوم بيانية، مما يعمل كخط أساس عادل للمقارنة.
2. المرشح الطيفي التكيفي ثنائي التردد (ADF-SF): هذا هو الابتكار الجوهري. بدلاً من مرشح واحد، يقوم ADF-SF بتفكيك التمثيلات الخفية إلى فرعين مستقلين في المعلمات:
   • فرع التردد المنخفض: يحكمه أساس "متعدد حدود جاكوبي" قابل للتعلم بمعلمات $(\alpha_l, \beta_l)$ ومعاملات $\theta_{low}$.
   • فرع التردد العالي: يحكمه أساس "متعدد حدود جاكوبي" منفصل قابل للتعلم بمعلمات $(\alpha_h, \beta_h)$ ومعاملات $\theta_{high}$.
   • البوابة التكيفية: تقوم بوابة متعلمة ($g = \sigma(W_g[h_{low}; h_{high}] + b_g)$) بدمج هذه الفروع ديناميكيًا لكل عقدة على حدة، مما يسمح للنموذج بالموازنة التكيفية بين إشارات التجانس والتباين.
   • الاتصال المتبقي (Residual Connection): يتم دمج المخرات المرشحة مع الإشارة الأصلية عبر مقياس قابل للتعلم $\beta_{res}$ لضمان الاستقرار والحفاظ على الإشارة.
3. تفاصيل التنفيذ: يعمل الأسلوب مباشرة على "لابلاسيان الموحد المتفرق" (sparse normalized Laplacian) (المستمد عبر التوسيع الكلي/clique expansion) باستخدام علاقات التكرار ثلاثية الحدود. وهذا يتجنب تفكيك القيم الذاتية تمامًا، مما يقلل التعقيد لكل طبقة إلى $O(K \cdot \text{nnz} \cdot H)$، حيث $K$ هو رتبة متعدد الحدود و $\text{nnz}$ هو عدد العناصر غير الصفرية في "لابلاسيان".

يجمع هدف التدريب بين خسارة الإنتروبيا المتقاطعة (cross-entropy loss) ومنظم نعومة مدرك للبنية، والذي يعاقب المسافات الإقليدية الكبيرة بين العقد داخل نفس الحافة الفائقة، ويتم حسابه بكفاءة عبر أخذ العينات.

المساهمات الرئيسية

• إطار عمل خالٍ من تمرير الرسائل: يثبت SpectralMLP أن الترشيح الطيفي وحده، دون معاملات تجميع قابلة للتعلم، كافٍ لتصنيف عقد الرسوم البيانية الفائقة.
• أسس جاكوبي القابلة للتعلم: يقدم البحث أول تطبيق لترشيح "متعدد حدود جاكوبي" القابل للتعلم على الرسوم البيانية الفائقة. ومن خلال جعل المعلمات $(\alpha, \beta)$ قابلة للتعلم، يكيف النموذج أساس متعدد الحدود مع التوزيع الطيفي لكل مجموعة بيانات، مما يضيف معلمين فقط لكل مرشح.
• بنية ثنائية التردد: يعالج الإطار صراحةً تنوع الخصائص الطيفية في الرسوم البيانية الفائقة من خلال فصل معالجة الترددات المنخفضة والعالية. يسمح هذا التصميم للنموذج بالتعامل مع كل من التجانس والتباين، والأهم من ذلك، يخفف من حدة التدهور الطيفي حيث تفشل المرشحات القياسية.
• الكفاءة الحسابية: يلغي الأسلوب الحاجة إلى تفكيك القيم الذاتية وتوسيع الجوار، معتمداً فقط على عمليات ضرب المصفوفات المتفرقة في المتجهات.

النتائج التجريبية
قيم المؤلفون SpectralMLP على 10 مجموعات بيانات لتصنيف عقد الرسوم البيانية الفائقة (تتراوح من 101 إلى 41,302 عقدة) مقابل 9 نماذج مرجعية، بما في ذلك نماذج HGNN المعتمدة على تمرير الرسائل، والنماذج المعتمدة على المحولات (Transformers)، والنماذج المعتمدة على MLP.

• الأداء: احتل SpectralMLP المركز الأول أو الثاني في 7 من أصل 10 مجموعات بيانات.
  • التدهور الطيفي: في مجموعة بيانات Congress، التي تتميز بتدهور طيفي شديد ($\lambda_{max} - \lambda_{min} < 10^{-4}$)، حقق SpectralMLP دقة بلغت 95.88%، متفوقًا بشكل كبير على نموذج MLP المرجعي (70.47%) وعلى الطرق الأخرى المتطورة. يمثل هذا زيادة قدرها +27.9% عن نموذج MLP في الإعدادات الموحدة.
  • المهام متعددة الفئات: في ModelNet40 (40 فئة)، حقق SpectralMLP نسبة 98.08%، متجاوزًا جميع النماذج المرجعية.
  • المتانة: عمل وضع التردد المزدوج كوضع افتراضي قوي "صفر الإعدادات" (zero-configuration)، حيث كان أداؤه ضمن نطاق 1% من أفضل متغير أحادي الفرع عبر جميع مجموعات البيانات.
• كفاءة المعلمات: أضاف SpectralMLP متوسط ما يقرب من 2.4% من المعلمات الإضافية فوق نموذج MLP الأساسي. وكان إجمالي عدد معلماته أقل من معظم نماذج تمرير الرسائل المرجعية (مثل AllSet و HyperGT و SheafHyperGCN)، مما يؤكد أن الترشيح الطيفي هو بديل فعال من حيث عدد المعلمات مقارنة بالتجميع القابل للتعلم.

الأهمية والادعاءات
يزعم البحث أن SpectralMLm يضع نموذجاً جديداً لتعلم الرسوم البيانية الفائقة من خلال إثبات أن الترشيح مكافئ نظرياً للتجميع في القدرة التمثيلية، ولكنه متفوق في الكفاءة العملية. يجادل المؤلفون بأنه من خلال تجاوز التجميع، يتجنب الإطار مشاكل الضغط الزائد، وتكاليف الانتباه $O(N^2)$، وتفكيك القيم الذاتية $O(N^3)$. ويُقدم تصميم التردد المزدوج كحل لمحدودية "النموذج الواحد للجميع" في المرشحات الطيفية القياسية، مما يمكن النموذج من اكتشاف التوازن الترددي الأمثل للمهام المتنوعة تلقائيًا. وتبرز النتائج في مجموعة بيانات Congress تحديدًا قدرة الطريقة على استعادة الأداء في السيناريوهات التي تتدهور فيها الطرق الطيفية الموجودة.

القيود والعمل المستقبلي
يشير المؤلفون إلى أن نموذج MLP الأساسي يضع حداً أقصى للأداء، ويقترحون أن استخدام اتصالات متبقية ذات سعة عالية أو نماذج MLP مدعومة بالانتباه قد يحسن النتائج بشكل أكبر. تشمل الاتجاهات المستقبلية تطوير رتب متعدد حدود ($K$) تكيفية عبر تحسين "الاشتقاق المتدرج الفائق" (hypergradient optimization)، وتصميم مرشحات طيفية تعمل مباشرة على بنية الرسم البيفي الفائق بدلاً من التوسيع الكلي.