ملخص تقني: عندما تتجاوز نماذج لغة الرسوم البيانية مرحلة الحفظ الصم

1. بيان المشكلة

السؤال المركزي الذي تعالجه هذه الدراسة هو ما إذا كانت نماذج لغة الرسوم البيانية (GLMs) — وهي نماذج فك تشفير ذاتية الانحدار (autoregressive decoders) يتم تدريبها على تمثيلات متسلسلة للرسوم البيانية — تتعلم حقاً القواعد الهيكلية المنتظمة للرسوم البيانية، أم أنها تكتفي بمجرد حفظ بيانات التدريب لإصدار رسوم بيانية من توزيع تجريبي قريب من الواقع.

إن مقاييس الدقة الإجمالية الحالية (مثل: درجة العقدة/التكتل/المدار عبر تباعد متوسط المربعات الأقصى (MMD)، أو مقياسة FID القائمة على GIN) غير كافية لحسم هذا الغموض. وكما هو موضح في النتيجة 3 (Corollary 3)، فإن الاتفاق على أي إحصائية فرعية محدودة هو أمر متسق رياضياً مع كلا السيناريوهين: نموذج يتعلم الأنماط الهيكلية، ونموذج يكتفي بإعادة إنتاج الرسوم البيانية التدريبية حرفياً. وبدون مرجع معاير، لا يمكن لمقاييس الدقة العالية أن تميز بين "التعلم الهيكلي" و"الاستدعاء الحرفي".

2. المنهجية

يقترح المؤلفون بروتوكول تشخيص معاير مصمم للفصل بين الحفظ الصم والمحاذاة الهيكلية. يعمل هذا الإطار على محورين: محور الحفظ (الاستدعاء الحرفي مقابل التوليد الجديد) ومحور المحاذاة (الدقة التوزيعية لإحصائيات الرسوم البيانية الفرعية للتدريب).

المكونات الجوهرية

1. خط الأساس لتمهيد الرسوم البيانية (Graph-Level Bootstrap Baseline):
   يقدم البروتوكول توزيعاً مرجعياً غير متعلم، $\hat{P}^{boot}_G$، يتم بناؤه عن طريق إعادة أخذ عينات مباشرة من مجموعة بيانات التدريب. يمثل هذا الخط المرجعي المحاذاة التوزيعية التي يمكن تحقيقها فقط من خلال الحفظ الصم. ويُعتبر النموذج قد تجاوز مرحلة الحفظ فقط إذا انحرفت إحصائيات الرسوم البيانية الفرعية الخاصة به بشكل كبير عن توزيع التمهيد هذا.

2. تنقيب الرسوم البيانية الفرعية المتكررة (gSpan):
   بدلاً من الاعتماد على إحصائيات الرسم البياني الإجمالية، يركز التقييم على الأنماط الفرعية. باستخدام خوارزمية gSpan مع حد دعم أدنى ($\sigma = 0.1$)، يقوم المؤلفون بحصر الرسوم البيانية الفرعية المتصلة والمتكررة في كل من قواعد بيانات التدريب ($D_{tr}$) والبيانات المولدة ($D_{gen}$).

3. التحليل الطبقي للتردد (Frequency-Stratified Analysis):
   للكشف عن مواضع نجاح أو فشل المحاذا_ة، يتم تقسيم توزيع دعم الأنماط الفرعية إلى ثلاث طبقات:

   • الرأس (Head): أعلى 10% (الزخارف عالية التكرار).
   • الجذع (Torso): الـ 80% الوسطى (الأنماط متوسطة التكرار).
   • الذيل (Tail): أقل 10% (الأنماط النادرة القريبة من حد الدعم).
     وتُحسب المقاييس (ارتباط سبيرمان، تباعد جينسن-شانون، والكتلة المفقودة) بشكل مستقل لكل طبقة.

4. متانة التسلسل (Serialization Robustness):
   يتم إجراء التحليل عبر طريقتين مختلفتين للتسلسل لضمان عدم كون النتائج ناتجة عن طريقة ترميز محددة:

   • كود DFS المعياري (Canonical DFS Code): تمثيل فريد للرسوم البيانية المتماثلة (isomorphic).
   • تسلسلات إجراءات DGMG: عملية اتخاذ قرار متسلسلة تشمل (إضافة عقدة، إضافة حافة، إلخ).

الإعداد التجريبي

• النماذج: نماذج لغوية سببية من نوع LLaMA تم تدريبها من الصفر على رسوم بيانية متسلسلة.
• مجموعات البيانات: خمس مجموعات من اختبارات TU (مثل MUTAG, PTC_MR, ENZYMES, PROTEINS, NCI1) ومجموعة جزيئات PCQM4Mv2 الضخمة (~3.75 مليون رسم بياني).
• خطوط الأساس: المقارنة مع خطوط أساس هيكلية تشمل DiGress (الانتشار)، وGraphRNN، وDGMG-official.

3. النتالئ الرئيسية

أ. نظام النطاق الصغير (اختبارات TU)

في مجموعات البيانات الصغيرة، تعمل نماذج GLM في نظام يهيمن عليه الحفظ الصم.

• دقة عالية عبر الاستدعاء: تحقق النماذج ارتباطات سبيرمان عالية ($\rho \approx 0.95\text{--}0.99$) وتباعد جينسن-شانون منخفض. ومع ذلك، يكشف معايرة التمهيد (Bootstrap Calibration) أن هذه المقاييس تقع ضمن أو تحت النطاق المتوقع من مجرد إعادة أخذ عينات من مجموعة التدريب.
• الاستدعاء الحرفي: معدلات التطابق التام للرسم البياني الكامل (الدقة) مرتفعة للغاية (مثلاً 82.8% في MUTAG، و100% في NCI1).
• الاستنتاج: في هذا النظام، تعد الدقة الإجمالية نتيجة إحصائية للحفظ الصم، وليست دليلاً على التعلم الهيكلي.

ب. نظام النطاق الكبير (PCQM4Mv2)

عند الوصول إلى النطاق الكبير (3.75 مليون رسم بياني)، يحدث تحول طوري (Phase Transition).

• الانفصال (Decoupling): تنخفض دقة التطابق التام للرسم البياني بالكامل بشكل حاد (الدقة $\approx 31.7\%$)، ومع ذلك يظل ارتباط سبيرمان على مستوى الرسم البياني الفرعي قريباً من السقف ($\rho \approx 0.976$).
• المحاذاة المقتصرة على الجديد فقط: عند الاقتصار على مجموعة فرعية "جديدة فقط" (باستثناء الرسوم البيبية المحفوظة)، يتتبع ارتباط سبيرمان الارتباط الخاص بالتوليد الكامل بفارق ضئيل قدره 0.026. وهذا يؤكد أن النموذج يحافظ على القواعد المنتظمة الهيكلية حتى بالنسبة للرسوم البيانية غير المحفوظة.
• الاستنتاج: تنجح نماذج GLM واسعة النطاق في استيعاب القواعد المنتظمة الهيكلية، حيث تعمل كأدوات تنقيب عصبية ضمنية عن الرسوم البيانية.

ج. العجز المستمر في الأنماط النادرة

عبر جميع المقاييس وطرق التسلسل، لوحظ قصور جوهري:

• نجاح الرأس/الجذع: يتم إنتاج الأنماط المتكررة والمتوسطة التكرار بدقة عالية ($\rho \ge 0.91$).
• فشل الذيل: الأنماط النادرة (طبقة الذيل) تعاني باستمرار من ضعف التغطية. الكتلة المفقودة في "الذيل" أعلى بمراحل منها في "الرأس/الجذع" (مثلاً 13.5%–22.0% في مجموعات TU مقابل أقل من 1% للرأس). كما أن ارتباط الرتب في "الذيل" منخفض بشكل ملحوظ ($\rho \in [0.26, 0.56]$ في TU؛ وحوالي 0.41 في PCQM4Mv2).
• المتانة: يستمر هذا العجز بغض النظر عن سعة النموذج (بالتوسع من 10.5 مليون إلى 451 مليون معلمة) وشكل التسلسل، مما يشير إلى وجود فجوة هيكلية في التوليد التلقائي الحالي للأنماط الفرعية النادرة.

د. مقارنة خطوط الأساس

• DiGress (الانتشار): يحقق حفظاً يقترب من الصفر، لكنه يفشل في استعادة توزيعات الرسوم البيانية الفرعية المتكررة ($\rho \approx 0.25$ في PCQM4Mv2)، مما يجعله في نظام منخفض الحفظ ومنخفض المحاذاة.
• GraphRNN/DGMG-official: تفشل هذه النماذج التي لا تأخذ العلامات (labels) في الاعتبار في استعادة دعم الرسوم البيانية الفرعية المصنفة بالكامل، مما يجعل إحصائيات الرسوم البيانية الفرعية غير معرفة في معظم الحالات.

4. المساهمات

1. بروتوكول تشخيص معاير: تقديم إطار يجمع بين تنقيب الرسوم البيانية الفرعية المتكررة ومعيار تمهيد (bootstrap) لمستوى الرسم البياني. يتجاوز هذا الإطار حدود المقاييس الإجمالية عبر الاختبار الصريح لما إذا كانت المحاذاة تتجاوز ما يمكن تحقيقه عبر الحفظ الصم.
2. دليل على التعلم الهيكلي المعتمد على النطاق: إثبات أن نماذج GLM تنتقل من نظام يهيمن عليه الحفظ الصم في مجموعات البيانات الصغيرة إلى نظام منفصل عند النطاقات الكبيرة، حيث تحافظ على إحصائيات الرسوم البيانية الفرعية للرسوم البيانية الجديدة.
3. تحديد العجز في الأنماط النادرة: الكشف عن الفشل المنهجي في تعلم توزيع الأنماط النادرة (الذيل)، والذي يظل عائقاً حتى مع زيادة سعة النموذج.

5. الأهمية والادعاءات

تدعي الورقة وجود إجابة مشروطة حول ما إذا كانت نماذج GLM تتجاوز الحفظ الصم: نعم، ولكن فقط عند النطاق الكافي، وبشكل أساسي للأنماط المتكررة.

• التحول المنهجي: تجادل الورقة بأن مقاييس الدقة الإجمالية غير مفيدة دون مرجع للحفظ الصم. إن معايرة التمهيد المقترحة ضرورية لتفسير درجات الارتباط العالية بشكل صحيح.
• التنقيب الضمني: تشير النتائج إلى أن النمذجة التلقائية لتسلسلات الرسوم البيانية تسمح لنماذج LLM باستيعاب القواعد المنتظمة الهيكلية ضمنياً (العمل كـ "منقبين عصبيين للرسوم البيانية") دون الحاجة لتعداد الأنماط صراحة، بشرما كان حجم مجموعة التدريب كبيراً بما يكفي لمنع الانهيار التام على التوزيع التجريبي.
• القيود: يشير المؤلفون بتواضع إلى أنه بينما يتم استعادة "رأس" التوزيع بشكل جيد، يظل "الذيل" فجوة حرجة. يتصرف النموذج كمنقب جزئي، حيث يلتقط هياكل الدعم المهيمنة لكنه يفشل في التعميم على البنى الفرعية النادرة.

تخلص الورقة إلى أن المحاذاة العالية الملحوظة في الإعدادات واسعة النطاق ليست ناتجة عن تسلسل معين (كما أكد عبر DFS وDGMG)، بل هي خاصية قوية لنماذج لغة الرسوم البيانية واسعة النطاق، متميزة عن كل من الحفظ الصم الخالص ونماذج التوليد غير القائمة على LLM.