Scaling Laws and Symmetry, Evidence from Neural Force Fields

بيان المشكلة
تتناول الورقة البحثية سلوك التوسع (scaling behavior) للجهود الكامنة للنيورونات العصبية بين الذرات (NNIPs)، وهي نماذج تعلم عميق مصممة للتنبؤ بالخصائص الميكانيكية الكمومية (تحديداً طاقة الوضع وقوى الذرات) للأنظمة الذرية. وبينما تشير الأدبيات الحديثة في مجالات اللغة الطبيعية والرؤية الحاسوبية إلى أن قوانين التوسع (العلاقات القوية بين الأداء والبيانات/المعلمات/الحوسبة) هي علاقات مستقلة إلى حد كبير عن البنية (architecture-independent) — مما يعني أن النماذج يمكنها تعلم الانحيازات الاستقرائية الضرورية مثل التماثل بمفردها مع زيادة حجمها — فإن هذه الرؤية محل خلاف في المجالات الهندسية. ويتحقق المؤلفون مما إذا كان التماثل المعماري الصريح (فرض تماثل الدوران والتبديل) يوفر ميزة متميزة في قوانين التوسع لـ NNIPs، أم أن النماذج الأبسط غير المتماثلة يمكن أن تحقق أداءً مماثلاً في ظل توفر قدر كافٍ من الحوسبة.

المنهجية
أجرى المؤلفون دراسة تجريبية شاملة على مجموعة بيانات الجزيئات المتعادلة OpenMol (حوالي 34 مليون عينة تدريب، و~9.2 × 10⁸ توكن). وتقارن الدراسة بين أربع عائلات معمارية متميزة تمثل مستويات متفاوتة من قيود التماثل:

1. MPNN غير المقيد (Unconstrained MPNN): شبكة تمرير رسائل عادية (vanilla) تعالج الميزات الهندسية (المواقع النسبية) دون قيود التماثل.
2. الكميات القياسية الثابتة (GemNet-OC): تستخدم ميزات ثابتة (المسافات، الزوايا، الزوايا ثنائية السطح)، ولكنها تقرب الدوال المتوافقة دورانياً عبر تمرير الرسائل القائم على الحواف؛ وتُصنف كبنية ذات 4 أجساد ورتبة تانسور $\ell=0$.
3. المتجهات الكارتيزية (EGNN): شبكة GNN متوافقة مع مجموعة $E(n)$ باستخدام قنوات متجهية (رتبة تانسور $\ell=1$).
4. التانسورات الكروية عالية الرتبة (eSEN): شبكة متوافقة دورانياً تستخدم تمثيلات غير قابلة للاختزال من الرتب العليا لمجموعة الدوران ($\ell \ge 2$)، وتوظف محاذاة الإطار لتقليل عمليات ضرب التانسورات.

تعتمد الدراسة نظام تدريب بـ "دورة تدريبية واحدة" (single-epoch) ليتماشى مع أدبيات قانون التوسع، مع استخدام مُحسنات AdamW خالية من الجدولة لتخفيف آثار جدول معدل التعلم. ويتم ملاءمة قوانين التوسع مقابل ثلاثة مقاييس:

• الحوسبة: كل من العمليات الحسابية النظرية (FLOPs) ($C$) ووقت التدريب الفعلي (ساعات وحدة معالجة الرسومات، $H$).
• البيانات: عدد توكنات التدريب ($D$).
• المعلمات: حجم النموذج ($N$).

كما يبحث المؤلفون في تأثيرات تنظيم فقدان التماثل (معاقبة الانحرافات عن التوافق في النماذج غير المتوافقة)، والتدريب متعدد الدورات مع تعزيز البيانات، واختبار متوسط المجموعة عند وقت الاختبار.

المساهمات الرئيسية

1. أسات (Exponents) التوسع المعتمدة على البنية: تُظهر الورقة أن أسات التوسع ليست ثابتة عبر البنى المختلفة. فكلما زادت "درجة" التوافق (من غير مقيد إلى رتبة منخفضة إلى رتبة عالية)، زادت أسات القوة (power-law exponents) للبيانات ($\beta$) والمعلمات ($\alpha$) بشكل ملحوظ.
2. التوسع المتفوق للنماذج المتوافقة: تظهر البنى المتوافقة، وخاصة تلك التي تحتوي على تمثيلات تانسور عالية الرتبة (eSEN)، منحنيات توسع أكثر انحداراً. وهذا يعني أن الفجوة في الأداء بين النماذج المتوافقة وغير المتوافقة تتسع مع زيادة الحوسبة والبيانات، مما يدحض فكرة أن النماذج يمكنها ببساً "تعلم" التماثل لاحقاً.
3. التخصيص الأمثل للحوسبة: تجد الدراسة أنه بالنسبة للتدريب الأمثل للحوسبة، يجب أن يتوسع حجم النموذج ($N$) وحجم مجموعة البيانات ($D$) جنباً إلى جنب ($N \propto D$) عبر جميع البنى، مما يحاكي النتائج في نمذجة اللغة (Chinchilla scaling). ومع ذلك، فإن ثابت التناسب وخفض الخسارة الناتج يختلفان بناءً على الانحياز التماثلي للبنية.
4. عدم فاعلية فقدان التماثل: إن فرض التماثل من خلال حد الفقد (التنظيم) في النماذج غير المقيدة لا يؤدي إلى نفس فوائد التوسع التي يوفرها التوافق المعماري. ورغم أنه يحسن كفاءة البيانات قليلاً، إلا أنه يفشل في مطابقة أسات التوسع للنماذج المتوافقة أصلاً.
5. رؤى التدريب متعدد الدورات والتعزيز: في حالات البيانات المنخفضة والتدريب متعدد الدورات، يلزم استخدام تعزيز البيانات للنماذج غير المقيدة لمنع الإفراط في التخصيص (overfitting) واستعادة قانون التوسع. ومع ذلك، حتى مع التعزيز، لا تضاهي النماذج غير المقيدة أسات التوسع للنماذج المتوافقة.

النتائج

• قوانين التوسع: تتبع خسارة التحقق قانون القوة $L \propto C^{-\gamma}$. ويزداد الأس $\gamma$ مع تعقيد البنية:
  • MPNN غير المقيد: $\gamma \approx 0.14$
  • EGNN: $\gamma \approx 0.17$
  • GemNet-OC: $\gamma \approx 0.25$
  • eSEN (عالية الرتبة): $\gamma \approx 0.40$
• توسع البيانات والمعلمات:
  • تتراوح أسات توسع البيانات ($\beta$) من 0.31 (غير مقيد) إلى 0.75 (eSEN).
  • تتراوح أسات توسع المعلمات ($\alpha$) من 0.28 (غير مقيد) إلى 0.82 (eSEN).
• فقدان التماثل: إضافة حد فقد التماثل إلى نموذج غير مقيد يزيد من أس البيانات ($\beta$) قليلاً ولكنه يقلل من أس المعلمات ($\alpha$)، مما يؤدي إلى عدم تحقيق أي ربح صافٍ في منحدر جبهة الحوسبة المثلى مقارنة بالنموذج المرجعي غير المقيد.
• العمق: بالنسبة للنماذج المتوافقة، يزداد العمقب الأمثل للشبكة مع رتبة تمثيل الدوران، بينما تعاني النماذج غير المقيدة من مشكلة التنعيم المفرط (over-smoothing) عند الأعماق العالية.

الأهمية والادعاءات
تجادل الورقة بأنه، وخلافاً لفرضية "الدرس المر" (التي تقترح أن النماذج يجب أن تتعلم الانحيازات الاستقرائية من البيانات)، فإن التماثل المعماري الصريح أمر بالغ الأهمية للتوسع في المهام الهندسية. ويدعي المؤلفون أن التماثل ليس مجرد تقنية لتقليل البيانات، بل هو يغير بشكل أساسي الصعوبة الجوهرية للمهمة وقوانين التوسع الخاصة بها.

تكمن الأهمية الأساسية في اكتشاف أن التمثيلات المتوافقة عالية الرتبة تترجم إلى أسات توسع أفضل. وهذا يشير إلى أنه بالنسبة لنماذج NNIP واسعة النطاق، فإن الاستثمار في بنى معقدة مدركة للتماثل (مثل eSEN) أكثر فعالية من توسيع النماذج الأبسط غير المتوافقة. ويخلص المؤلفون إلى أن الانحيازات الاستقرائية الأساسية مثل التماثل يجب أن تُشفر في البنية بدلاً من تركها للنموذج ليكتشفها، لأنها تغير مسار التوسع نفسه.

تظل الورقة متواضعة فيما يتعلق بنطاقها، حيث تشير إلى قيود مثل التركيز على التدريب بدورة واحدة، ومجموعة البيانات المحددة المستخدمة (الجزيئات المتعادلة)، واستبعاد استراتيجيات التدريب المسبق لإزالة الضجيج المستخدمة في أعمال حديثة أخرى. وهي تدعو إلى عمل نظري مستقبلي لتفسير لماذا يغير التماثل أسات التوسع، وتقترح توسيع هذه الدراسات لتشمل أنواعاً أكثر تنوعاً من الجزيئات وأنظمة متعددة الدورات.