ملخص تقني: ضبط التلقين العالمي على مستوى المخطط الفرعي (SUPT)

بيان المشكلة

تواجه عملية تكييف الشبكات العصبية الرسومية (GNNs) سابقة التدريب مع المهام اللاحقة تحديات كبيرة. فإطار العمل التقليدي القائم على "التدريب المسبق، ثم الضبط الدقيق" (pre-train, fine-tune) غالبًا ما يعاني من عدم التوافق بين أهداف التدريب المسبق (مثل توقع الحواف) والمهام اللاحقة (مثل تصنيف المخططات)، مما يؤدي إلى النسيان الكارثي والقدرة المحدودة على التعميم. علاوة على ذلك، يتطلب الضبط الدقيق تحديث عدد هائل من المعلمات، وهو أمر مستهلك للموارد.

بينما برز "ضبط التلقين" (prompt tuning) كبديل فعال من حيث المعلمات في معالجة اللغات الطبيعية (NLP) والرؤية الحاسوبية، إلا أن تطبيقه على المخططات (graphs) لا يزال غير مستكشف بشكل كافٍ. تقدم طرق ضبط تلقين المخططات الحالية، مثل "ميزة تلقين المخطط" (GPF) وامتدادها (GPF-plus)، عالمية عبر استراتيجيات التدريب المسبق، لكنها تعتمد على آليات تلقين بسيطة نسبيًا. يطبق GPF تلقينًا موحدًا لجميع العقد، بينما يخصص GPF-plus تلقينات خاصة بكل عقدة بناءً على أنواع العقد. ويرى المؤلفون أن هذه الأساليب تفتقر إلى القدرة على استيعاب السياقات المعقدة والمتشابكة المتأصلة في هياكل المخططات، وخاصة العلاقات الدقيقة داخل المخططات الفرعية المحلية. هناك حاجة إلى طريقة عالمية لضبط التلقين يمكنها التقاط سياق مستوى المخطط الفرعي دون التضحية بكفاءة المعلمات أو العالمية.

المنهجية: ضبط التلقين العالمي على مستوى المخطط الفرعي (SUPT)

يقدم البحث طريقة SUPT، وهي طريقة تخصص ميزات التلقين على مستوى المخطط الفرعي بدلاً من مستوى العقدة أو المستوى العالمي. تعمل SUPT ضمن فضاء ميزات المدخلات للمخطط، حيث تقوم بتعديل ميزات العقد قبل معالجتها بواسطة الشبكة العصبية الرسومية (GNN) ثابتة التدريب.

الآلية الجوهرية

على عكس GPF-plus، الذي يحسب أوزان التلقين بناءً فقط على ميزات العقدة المدخلة ($x_i$)، تقوم SUPT بحساب درجات تعيين التلقين بناءً على المعلومات السياقية للعقد المستمدة من GNN بسيطة (مثل GCN أو SGC).

يتم حساب ميزة التلقين $p_i$ للعقدة $i$-ة كجموع مرجح لمتجهات الأساس القابلة للتعلم ($b_j$):
$$p_i = \sum_{j=1}^{k} \sigma(\alpha)_{i,j} b_j$$
حيث يتم اشتقاق $\alpha$ من تجميع GNN عبر $m$ من القفزات:
$$\alpha = (\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2})^m (X \oplus \sum_{j=1}^k b_j)W$$
حيث $W$ هي مصفوفة وزن قابلة للتعلم، و $k$ هو عدد المخططات الفرعية (متجهات الأساس)، و $\sigma$ هي عملية غير خطية.

نوعان من المتغيرات

يقترح المؤلفون متغيرين لـ SUPT بناءً على تعريف $\sigma$:

1. SUPTsoft: مستوحى من تجميع المخططات القائم على التكتل (مثل DiffPool)، يستخدم هذا المتغير دالة softmax عمودية. يقوم بتعيين كل عقدة لجميع الـ $k$ من الأساسات بدرجات تأثير متفاوتة (تعيين ناعم/soft assignment). يضمن ذلك أن كل عقدة تتلقى تلقينًا، لكن المقدار يعتمد على التعيين الكتلي المتعلم.
2. SUPThard: مستوحى من تجميع اختيار العقد، يستخدم هذا المتغير آلية اختيار الترتيب الأعلى (top-rank selection). لكل أساس، يتم اختيار أعلى $\lceil rN \rceil$ من العقد فقط (حيث $r$ هو نسبة التجميع) لتلقي التلقين. العقد التي لم يتم اختيارها تحتفظ بميزاتها الأصلية دون إضافة أي تلقين. وهذا يخلق تعيينًا صلبًا (hard assignment) ومتباعدًا للتلقينات لمخططات فرعية محددة.

العالمية النظرية

يقدم البحث تحليلاً نظرياً (النظرية 1) يثبت أن SUPT تحافظ على العالمية. فعلى الرغم من أن التلقين يُطبق فقط على مجموعة فرعية من العقد (مخطط فرعي $S \subseteq V$) وليس على كامل المخطط، إلا أن الإطار قادر نظريًا على تحقيق نفس الحد الأعلى للأداء لأي دالة تلقين عشوائية. وهذا يؤكد أن التلقين على مستوى المخطط الفرعي لا يحد بطبيعته من القدرة التعبيرية المطلوبة للتكيف العالمي.

المساهمات الرئيسية

1. دقة مستوى المخطط الفرعي: المساهمة الأساسية هي الانتقال من التلقين على مستوى العقدة أو المستوى العالمي إلى التلقين على مستوى المخطط الفرعي. يسمح هذا بالتقاط الفروق السياقية الدقيقة والمعقدة التي تغفل عنها طرق التلقين الموحدة أو النوعية.
2. كفاءة المعلمات: تتطلب SUPT معلمات قابلة للضبط أقل بكثير من الضبط الدقيق الكامل (أقل من 0.2% من معلمات النموذج مسبق التدريب) وهي مقاربة لـ GPF/GPF-plus أو أعلى قليلاً، ومع ذلك فهي تقدم أداءً فائقًا.
3. العالمية: تم تصميم الطريقة لتكون مستقلة عن استراتيجية التدريب المسبق (مثل Infomax، أو قناع السمات، أو توقع السياق، أو تعلم تباين المخطط، أو توقع الحواف)، حيث تعمل بفعالية عبر أهداف تدريب مسبق متنوعة.
4. الضمان النظري: يضع البحث إثباتًا نظريًا بأن التلقين على مستوى المخطط الفرعي يمكنه نظريًا محاكاة أي دالة تلقين، مما يؤكد تعدد استخدامات هذا النهج.

النتائج التجريبية

قيم المؤلفون SUPT عبر 9 مجموعات بيانات لاحقة (بما في ذلك التنبؤ بوظيفة البروتين والتنبؤ بخصائص الجزيئات) و 5 استراتيجيات تدريب مسبق، بإجمالي 45 إعدادًا تجريبيًا.

• سيناريوهات البيانات الكاملة (Full-Shot Scenarios):
  • تفوقَت SUPT على الضبط الدقيق الكامل (FT) في 42 من أصل 45 تجربة.
  • حققت متوسط تحسن في الأداء بنسبة تزيد عن 2.5% مقارنة بـ FT.
  • في المقابل، تفوق GPF و GPF-plus على FT في 27 حالة فقط من أصل 45.
• سيناريوهات البيانات القليلة (Few-Shot Scenarios - 50-shot):
  • برعت SUPT في 41 من أصل 45 تجربة.
  • حققت متوسط زيادة في الأداء تزيد عن 6.6% مقارنة بـ FT.
  • كانت مكاسب الأداء أعلى بشكل ملحوظ في سيناريوهات البيانات القليلة مقارنة بسيناريوهات البيانات الكاملة، مما يسلط الض الضوء على فعالية الطريقة عندما تكون البيانات المصنفة شحيحة.
• الكفاءة: بينما تتحمل SUPThard تكلفة حوسبية أعلى قليلاً بسبب عمليات اختيار الترتيب الأعلى، إلا أن وقت الاستدلال الإضافي ضئيل للغاية (على سبيل المثال، ~$1.86 \times 10^{-4}$ ثانية لكل مخطط لـ BBBP)، مما يجعلها قابلة للتطبيق عمليًا.

الأهمية والادعاءات

يزعم البحث أن SUPT تمثل تقدمًا كبيرًا في ضبط تلقين المخططات من خلال معالجة قصور الطرق الحالية في التقاط سياقات المخططات المعقدة. من خلال الاستفادة من معلومات مستوى المخطط الفرعي، تحقق SUPT توازنًا بين الكفاءة (الحد الأدنى من المعلمات) و الفعالية (الأداء المتميز عبر مهام متنوعة).

يؤكد المؤلفون أنه بينما تمتلك التلقينات البسيطة (مثل GPF) عالمية نظرية، فإن قدرتها العملية على استيعاب السياقات المعقدة محدودة. تسد SUPT هذه الفجوة من خلال تقديم تعيين مخطط فرعي مدرك للسياق دون التضحية بالتطبيق العالمي المطلوب لمختلف استراتيجيات التدريب المسبق. تشير الدراسة إلى أن SUPT تعد بديلاً فعالًا وموفرًا لتكييف الشبكات العصبية الرسومية (GNNs) سابقة التدريب، خاصة في السيناريوهات التي تكون فيها البيانات محدودة أو الموارد الحوسبية للضبط الدقيق الكامل مقيدة. يساهم هذا العمل في الفهم الأوسع لكيفية تكييف ضبط التلقين بفعالية مع التعقيدات الهيكلية لبيانات المخططات.