ملخص تقني: الرتبة ليست هي السعة: الإشغال الطيفي لنماذج الرسم البياني الكامن

بيان المشكلة

في تعلم تمثيل الرسوم البيانية (Graph Representation Learning)، يعد بُعد الفضاء الكامن خيار تصميم حرج يحكم سلوك النموذج. ومع ذلك، يُعامل هذا البُعد تقليديًا كمعلم فائق (hyperparameter) هش: حيث يتم تحديده مسبقًا قبل التدريب ويتم ضبطه عبر الأداء في مجموعة بيانات الاختبار (held-out performance). يعاني هذا النهج من مشكلتين جوهريتين:

1. قابلية التحديد (Identifiability): العوامل الكامنة المتعلمة قابلة للتحديد فقط حتى الدوران وإعادة القياس العالمي. وبناءً على ذلك، نادرًا ما تتطابق الرتبة الاسمية (البُعد المعلن) مع الكمية التي تحكم سلوك النموذج فعليًا.
2. الافتقار إلى التحكم: تفشل إجراءات الاختيار الحالية (مثل أسلوب المرفق في الاحتمال الأقصى، أو الاختيار البايزي، أو التحقق المتقاطع) في كشف "القدرة التمثيلية" — أي عدد الأنماط الكامنة المستخدمة فعليًا من قبل النموذج الملائم — ككمية قابلة للقياس أو التحكم أو التدقيق داخل النموذج نفسه.

في الأنظمة ذات المعلمات الزائدة (overparameterized regimes)، الكمية التشغيلية ليست الرتبة المعلنة، بل كيفية توزيع الكتلة التمثيلية عبر الأنماط الكامنة.

المنهجية: SPECTRA

يقترح المؤلفون إطار عمل استخراج البادئات الطيفية وتحليل القدرة المستهدف للتمثيل (SPECTRA)، والذي يستبدل الرتبة الاسمية بطيف نواة موجبة محددة (PSD kernel) متعلمة كوحدة للتحليل.

المكونات الأساسية

1. النواة المعيرة بالأثر (Trace-Normalized Kernel):
   بدلاً من تثبيت الرتبة $r$ كبُعد، يقوم SPECTRA بتمثيل نواة تقارب كامنة $K \in \mathbb{R}^{N \times N}$ عبر عامل محدود الرتبة $L \in \mathbb{R}^{N \times r}$. ومن الأهمية بمكان أن النواة معيرة بالأثر:
   $$K(L) = \frac{N \cdot LL^\top}{\text{tr}(LL^\top)}$$
   هذا التعيير يثبت إجمالي الكتلة الطيفية عند $N$، مما يضمن أن الاختلافات في توزيع القيم الذاتية تعكس كيفية تخصيص التمثيل لميزانيته الطيفية الثابتة عبر الأنماط الكامنة، بدلاً من الاختلافات في الحجم الإجمالي. وهذا يجعل الأطياف قابلة للمقارنة عبر عمليات الملاءمة وقيود الرتب المختلفة.

2. الإشغال الطيفي والبُعد الفعال:
   تحدد القيم الذاتية المعيرة $\lambda_i(K)$ توزيع احتمالي $p_i(K) = \lambda_i(K)/N$ على الأنماط الطيفية، ويسمى هذا توزيع الإشغال الطيفي. يعرّف المؤلفون البُعد الطيفي الفعال ($d_{\text{spec}}$) كأسي إنتروبيا شانون لهذا التوزيع:
   $$d_{\text{spec}}(K) := \exp\left( -\sum_{i: p_i > 0} p_i \log p_i \right)$$
   على عكس الرتبة الصلبة، فإن $d_{\text{spec}}$ هو مقياس سلس ومستمر للقدرة المحققة. وتساوي 1 إذا كانت كل الكتلة في نمط واحد، وتساوي $s$ إذا كانت الكتلة موزعة بانتظام عبر $s$ من الأنماط.

3. هدف التحكم في القدرة:
   للتحكم في البُعد المتحقق أثناء التدريب، يقدم SPECTRA هدفًا منظمًا بالإنتروبيا:
   $$F_\eta(L, a, \beta) = \ell(L, a, \beta) - \eta \log d_{\text{spec}}(K(L)) + R(L, a, \beta)$$
   هنا، $\ell$ هو فقدان التنبؤ بالروابط، و $R$ هو التنظيم التربيعي، و $\eta$ هو وزن الإنتروبيا القياسي.

• $\eta > 0$ يشجع على طيف منتشر (أي $d_{\text{spec}}$ أعلى).
• $\eta < 0$ يشجع على طيف مركز (أي $d_{\text{spec}}$ أقل).
• $\eta = 0$ يتوافق مع الملاءمة القياسية للاحتمال الأقصى دون انحياز للإنتروبيا الطيفية.

4. الاستهداف والمعايرة:
   يثبت المؤلفون أنه، تحت شروط الانتظام المحلي (طيف نشط بسيط وهيسيان غير متدهور)، يكون البُعد المتحقق $d_{\text{spec}}(\eta)$ سلسًا من الدرجة الأولى $C^1$ ويزداد رتيبًا بالنسبة لـ $\eta$. وهذا يسمح باستخدام التنصيف (bisection) لإيجام $\eta^*$ يستهدف بُعدًا طيفيًا فعالًا $d^*_{\text{spec}}$ ضمن سماحية محددة.

5. البادئات الطيفية (Spectral Prefixes):
   تنتج نواة ملائمة واحدة عائلة متداخلة من التمثيلات متوافقة ومنخفضة الأبعاد. من خلال قطع النواة إلى أعلى $k$ من الأنماط الذاتية ($K_k$)، تحصل على أفضل تقريب رتبة-$k$ لنواة PSD (بموجب نظرية إيكارت-يانغ-ميرسكي). توفر هذه البادئات الطيفية رؤى متوافقة ومنخفضة القدرة لنفس النموذج الملائم دون الحاجة لإعادة التدريب.

المساهمات الرئيسية

1. الإشغال الطيفي كقدرة محققة: استبدل البحث الرتبة الاسمية بطيف معير بالأثر لنواة PSD المتعلمة، باستخدام الرتبة الشانونية الفعالة ($d_{\text{spec}}$) كمقياس سلس للبُعد الكامن.
2. التحكم في القدرة أثناء التدريب: قدم هدفًا منظمًا بالإنتروبيا حيث يشكل المعلم $\eta$ البُعد الطيفي المتحقق، مما يتيح استهداف قيم $d_{\text{spec}}$ محددة عبر طريقة التنصيف.
3. الضمانات النظرية: تحقق المؤلفون من قابلية تحديد الأنماط الطيفية النشطة تحت شروط الطيف البسيط، وأثبتوا السلوك السلس $C^1$ والرتابة لملف البُعد المتحقق. كما أثبتوا أن البادئات الطيفية هي ملخصات مثلى منخفضة الرتبة لنواة PSD.
4. جبهات القدرة التجريبية: كشفت التجارب عبر ثماني شبكات مرجعية (تعاون، اجتماعية، بيولوجية، بنية تحتية) أن الأداء التنبئي (AUC) يتوافق مع $d_{\text{spec}}$ المحقق بدلاً من الرتبة الاسمية. وهذا يميز بين مجموعات البيانات "المشبعة" (حيث يصل الأداء إلى ذروته تحت حد الرتبة) ومجموعات البيانات "المقيدة بسقف الرتبة" (حيث يتحسن الأداء مع زيادة السقف).
5. عائلات البادئات ذات الملاءمة الواحدة: توفر النواة الملائمة عائلة متداخلة من البادئات الطيفية المتوافقة، مما يوفر رؤى منخفضة القدرة لنفس التمثيل دون إعادة التدريب.
6. الإفراط في المعلمات المتحكم فيه طيفيًا: في التجارب المقترنة، أدت عمليات الملاءمة المستهدفة بـ $\eta$ (حيث $r > d_{\text{spec}}$) إلى تحسين لوغاريتم الاحتمال للاختبار وتقليل الفجوة بين التدريب والاختبار مقارنة بالنماذج التي تعتمد على سقف الرتبة فقط، حتى عند مطابقتها للقدرة الفعالة.

النتائج التجريبية

• مجموعات البيانات: تم تقييم الطريقة على ثمانية رسوم بيانية غير موجهة، بما في ذلك شبكات الاقتباس (ca-GrQc, ca-HepTh)، الشبكات الاجتماعية (socfb-American75, socfb-Amherst41)، الشبكات البيولوجية (bio-grid-human, bio-grid-worm)، وشبكات البنية التحتية (inf-power, inf-openflights).
• النماذج المرجعية: تمت مقارنة SPECTRA مع التمثيلات الإقليدية (Node2Vec, Role2Vec)، وتحليل المصفوفات (NetMF, GRAREP)، ونماذج العضوية المختلطة (MNMF)، ونماذج المسافة الكامنة (HM-LDM).
• الأداء:
  • عند مطابقة عدد المعلمات، حقق SPECTRA (عند $\eta=0$) أفضل أو ثاني أفضل AUC على 7 من أصل 8 مجموعات بيانات عبر أبعاد مختلفة.
  • ظل SPECTRA المستهدف للقدرة منافسًا عند أبعاد محققة أصغر بكثير. على سبيل المثال، استهداف متوسط الرتبة الفعالة للنماذج المرجعية غالبًا ما أعطى أداءً مشابهًا مع $d_{\text{spec}}$ أقل بشكل ملحوظ.
  • تحليل الجبهة: عند رسم AUC مقابل $d_{\text{spec}}$ المحقق، تلاشت المنحنيات من قيود رتب مختلفة ($r=64, 128, 256$) لتندمج في جبهة مشتركة. وهذا يؤكد أن الأداء منظم بواسطة القدرة الطيفية المحققة، وليس الرتبة الاسمية.
  • الإفراط في المعلمات: أدى استهداف $d^*_{\text{spec}}$ معين باستخدام سقف رتبة أكبر $r$ إلى نماذج أكثر دقة (فجوة تعميم أقل ولوغاريتم احتمال اختبار أعلى) مقارنة بالتدريب بسقف رتبة يساوي $d^*_{\text{spec}}$.

الأهمية والادعاءات

يجادل البحث بأن القدرة يجب أن تُعامل كخاصية للنموذذ الملائم وليس كمعلم فائق لعملية التدريب. من خلال نقل التركيز من الرتبة الاسمية إلى الإشغال الطيفي، يجعل SPECTRA المقايضة بين الدقة التنبؤية والبُعد المتحقق مرئية وقابلة للتحكم.

يدعي المؤلفون أن هذا النهج:

• يوفر أداة مبدئية للتعامل مع الإفراط في المعلمات.
• يسمح باستخراج رؤى متوافقة ومنخفضة القدرة للنموذج (البادئات الطيفية) دون إعادة التدريب.
• يميز بين مجموعات البيانات التي يتم فيها التقاط البنية الكامنة بالكامل بعدد قليل من الأنماط (مشبعة) وتلك التي يحدها سقف الرتبة.
• يوفر إحداثيًا مستمرًا ($d_{\text{spec}}$) لمقارنة التعقيد الهيكلي للشبكات المختلفة، وهو أمر قد يكون قابلًا للتطبيق في دراسة كيفية تغير تعقيد الشبكة عبر سياقات مختلفة (مثل الاجتماعية، البيولوجية، أو البنية التحتية).

العمل متواضع بشأن حدوده، حيث يشير إلى أنه يعمل حاليًا ضمن مساحات إقليدية. ويترك تطوير مفاهيم لهذه الهندسات غير الإقليدية (مثل التمثيلات الهيبيربولية) وتطوير بروتوكولات معالجة مسبقة مشتركة للمقارنات بين الشبكات كأعمال مستقبلية.