🤖 machine learning

Compact SO(3) Equivariant Atomistic Foundation Models via Structural Pruning

تقدم هذه الورقة طريقة للتقليم الهيكلي تحافظ على التكافؤ الدوراني (SO(3)) في النماذج التأسيسية الذرية من خلال إزالة كتل التمثيلات غير القابلة للاختزال، مما يحقق تقليلاً كبيراً في عدد المعلمات وتكاليف الحوسبة مع التفوق على النماذج الأصغر التي تم تدريبها من الصفر في كل من الدقة وكفاءة الضبط الدقيق للمهام اللاحقة.

المؤلفون الأصليون: Chen Wang, Siyu Hu, Guangming Tan, Weile Jia

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chen Wang, Siyu Hu, Guangming Tan, Weile Jia

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك شيفاً ماهراً يمكنه طهي أي طبق في العالم بنكهة مثالية. هذا الشيف موهوب للغاية، لكنه ضخم أيضاً: فهو يحمل حقيبة ظهر مليئة بآلاف التوابل، والقدور الضخمة، والأدوات المعقدة. وبينما يمكنه إعداد وجبة مثالية، إلا أنه يستغرق وقتاً طويلاً في الطهي، ويستهلك الكثير من الطاقة، ويحتاج إلى مطبخ ضخم للعمل فيه.

الآن، تخيل أنك تريد افتتاح كشك صغير للوجبات السريعة. أنت لا تحتاج إلى كامل مجموعة أدوات الشيف الماهر؛ بل تحتاج فقط إلى المهارات الأساسية لصنع برجر وبطاطس مقلية رائعة بسرعة.

هذه الورقة البحثية تتحدث عن طريقة جديدة لأخذ ذلك "الشيف الماهر" (نموذج ذكاء اصطناعي ضخم وعالي الدقة للتنبؤ بكيفية سلوك الذرات) وتقليمه جراحياً ليصبح "شيف وجبات سريعة" (نموذج أصغر وأسرع) دون أن يفقد قدرته على طهي وجبات لذيذة.

إليك تفاصيل كيفية قيامهم بذلك، باستخدام تشبيهات بسيطة:

1. المشكلة: "حقيبة الظهر الثقيلة"

نماذج الذكاء الاصطناعي الأفضل حالياً في الكيمياء (تسمى نماذج SO(3) المتوافقة/المتساوية) تشبه الطهاة الذين يفهمون فيزياء الدوران بشكل مثالي. إذا قمت بتدوير جزيء، يعرف النموذج بالضبط كيف تتحرك الذرات بالنسبة لبعضها البعض. وهذا ما يجعلها دقيقة للغاية.

ومع ذلك، لكي تفعل ذلك، فهي تحمل "حقيبة ظهر ثقيلة" من الرياضيات المعقدة (الموترات من الرتب العليا).

المقايضة: كلما زاد حجم الحقيبة، زادت دقة الطهي، ولكنها تصبح أبطأ وأكثر تكلفة في التشغيل.
الطريقة القديمة: إذا كنت تريد شيفاً أصغر، فعادة ما كان عليك تدريب شيف صغير جديد من الصفر. هذا الشيف الجديد يبدأ بلا خبرة، ويستغرق وقتاً طويلاً للتعلم، وغالباً ما ينتهي به الأمر بصنع طعام أسوأ من طعام الشيف الماهر.

2. الحل: "التقليم الهيكلي" (التقليم الجراحي)

بدلاً من تدريب شيف جديد من الصفر، أخذ المؤلفون الشيف الماهر الحالي وقاموا بعملية "تقليم هيكلي". فكر في هذا الأمر كأنه قص شعر دقيق جداً أو تقليم لحقيبة الظهر.

التحدي: لا يمكنك مجرد قطع مرطبان توابل أو أداة بشكل عشوائي. في هذه النماذج، "الأدوات" (الأجزاء الرياضية) مرتبطة ببعضها البعض بشدة. إذا قطعت قطعة واحدة من الأداة، ستتعطل الأداة بأكملها، وسيفقد النموذج قدرته على فهم الدوران (سيفقد خاصية "التوافق").
الابتكار: اكتشف المؤلفون كيفية قطع كتل كاملة من الأدوات دفعة واحدة. إنهم يعاملون مجموعة محددة من الأدوات المرتبطة ببعضها كـ "وحدة ذرية" واحدة. إذا قرروا إزالة وحدة، فإنهم يزيلون الوحدة بأكملة، مما يضمن أن الأدوات المتبقية ستعمل معاً بشكل مثالي.

3. كيف قرروا ما الذي سيتم قطعه (اختبار الحساسية)

كيف تعرف الأدوات التي يجب الاحتفاظ بها والتي يجب التخلص منها؟ لا يمكنك التخمين فحسب.

استخدم المؤلفون اختباراً ذكياً يعتمد على الطاقة والقوة:

تخيل أن النموذج يمسك بمنحوتة زجاجية دقيقة (الجزيء).
سألوا: "إذا أزلنا هذه الأداة المحددة، هل ستتشقق المنحوتة أو تسقط؟"
قاموا بقياس مدى تغير تنبؤ النموذج لـ "الطاقة" و"القوة" عند إزالة أداة ما.
القاعدة: إذا أدى إزالة أداة ما إلى تغيير ضئيل في النتيجة، فهي "أداة كسولة" ويتم قطعها. أما إذا تسبب إزالتها في تعثر النموذج، فهي "أداة حاسمة" ويتم الاحتفاظ بها.

4. العملية: وصفة من أربع خطوات

تحدد الورقة عملية من أربع خطوات لتحويل النموذج الضخم إلى نموذج مدمج:

المعايرة (Calibration): تمرير بعض الأطباق التجريبية عبر الشيف الماهر لمعرفة أي الأدوات يتم استخدامها بالفعل ومدى أهميتها.
التقليم (Pruning): بناءً على الاختبار، يتم إزالة كتل الأدوات "الكسولة" جراحياً.
إعادة التدريب (Retraining): النموذج الآن أصغر، وهناك فجوة حيث كانت الأدوات موجودة. يقدمون له "دورة تنشيطية" سريعة على كمية صغيرة من البيانات لمساعدته على التكيف مع جسده الجديد الأصغر.
الضبط الدقيق (Fine-tuning): أخيراً، يعلمون هذا النموذج المدمج مهمة محددة (مثل التنبؤ بكيفية سلوك جزيء دواء معين).

5. النتائج: أسرع، أرخص، ولا يزال لذيذاً

كانت النتائج مبهرة:

أفضل من البدء من جديد: كان النموذج المقلم أكثر دقة من أي نموذج صغير يتم تدريبه من الصفر، رغم أنهما بنفس الحجم.
توفير هائل:
- التدريب: استغرق إنشاء النموذج المقلم وقت حاسوب ومالاً أقل بمقدار 2.5 إلى 4 مرات مقارنة بتدريب نموذج صغير من الصفر.
- السرعة: عند استخدام النموذج لإجراء التنبؤات، كان أسرع بمقدار 2.7 مرة.
- الذاكرة: تطلب ذاكرة حاسوب أقل بكثير (حتى 5.7 مرة أقل).
تعدد الاستخدامات: نجحت هذه الطريقة ليس فقط على نوع واحد من النماذج (MACE)، بل على نماذج أخرى أيضاً (SevenNet، eSCN)، مما يثبت أنها وصفة عامة لهذا النوع من "شيفات الذكاء الاصطناعي".

6. "التركيبة الإضافية"

تشير الورقة أيضاً إلى أنه يمكن دمج طريقة التقليم هذه مع حيل كفاءة أخرى:

الكمّية (Quantization): مثل الانتقال من فيديو عالي الدقة إلى دقة قياسية لتوفات المساحة.
تقطير المعرفة (Knowledge Distillation): مثل جعل الشيف الماهر يعلم الشيف الصغير بعض الحيل المحددة.
عند الجمع بين هذه الطرق، تجعل هذه الأساليب النموذج أسرع وأصغر بكثير دون فقدان الجودة.

الملخص

باختصار، وجد المؤلفون طريقة لتقليص نماذج الذكاء الاصطناعي الضخمة والمكلفة المستخدمة في الكيمياء من خلال قطع الأجزاء غير الضرورية بعناية مع الحفاظ على "دماغ الفيزياء" الأساسي سليماً. النتيجة هي نموذج أصغر، أسرع، وأرخص، ومع ذلك فهو أذكى من أي نموذج صغير يمكن بناؤه من الصفر. وهذا يجعل اكتشاف المواد المتقدمة وتصميم الأدوية متاحاً لمزيد من الباحثين الذين لا يملكون حواسيب فائقة القدرة.

ملخص تقني: نماذج تأسيسية ذرية مدمجة متوافقة مع SO(3) عبر التقليم الهيكلي

بيان المشكلة

أرست الشبكات العصبية الرسومية (GNNs) المتوافقة مع SO(3) قواعد نموذج سائد لنماذج التأسيس الذرية، حيث حققت دقة عالية وكفاءة في استخدام البيانات من خلال ترميز التماثل الدوراني بشكل صريح. ومع ذلك، تعتمد هذه النماذج على عمليات ضرب التنسور (tensor product) ذات الرتب العليا لربط الميزات الهندسية، مما يؤدي إلى تكاليف حوسبة تتوسع لتصل إلى $O(L_{max}^6)$ ، حيث $L_{max}$ هي الرتبة القصوى للتمثيلات غير القابلة للاختزال. وهذا يخلق مقايضة كبيرة بين دقة النموذج وكفاءة الاستدلال.

تواجه استراتيجيات ضغط النماذج الحالية — وتحديداً تقنيات تقطير المعرفة (KD) والكمية (Quantization) — قيوداً في هذا المجال. فتقنية تقطير المعرفة غالباً ما تتطلب تدريب نموذج "طالب" من الصفر ولا تستفيد مباشرة من أوزان النموذج "المعلم"، بينما تقلل عملية الكمية من دقة البتات ولكنها تترك عدد المعلمات ومسارات ضرب التنسور دون تغيير. علاوة على ذلك، لا يمكن تطبيق طرق التقليم الهيكلي القياسية المستخدمة في النماذج اللغوية الكبيرة (LLMs) مباشرة على النماذج الذرية المتوافقة مع SO(3). إن إزالة أبعاد الميزات بشكل عشوائي يكسر التماثل الدوراني لمسار ضرب التنسور، مما ينتهك خاصية التوافق الضرورية للاتساق الفيزيائي. كما كانت المحاولات السابقة لتقليم النماذج الذرية مقتصرة على إزالة الكتل خشنة الحبيبات (مثل إزالة طبقات التفاعل بأكملها)، مما يقلل من مجال الاستقبال للنموذج، وهو أمر ضار بشكل خاص بالبنى ذات الطبقات الضحلة.

المنهجية

يقترح المؤلفون إطار عمل للتقليم الهيكلي مصمم خصيصاً للنماذج التأسيسية الذرية المتوافقة مع SO(3). يعمل هذا الأسلوب على نقاط التحقق (checkpoints) المدربة مسبقاً لإنتاج نماذج أصغر وأكثر كثافة تحتفظ بتوافق SO(3) والدقة العالية.

1. دقة التقليم المتوافق

يكمن الابتكار الجوهري في تعريف وحدة التقليم. في النماذج المتوافقة مع SO(3)، يتم تفكيك الميزات إلى تمثيلات غير قابلة للاختزال من الرتبة $l \in [0, L_{max}]$ . يتكون متجه الميزة لقناة $k$ ورتبة $l$ محددة من $2l+1$ مكونات مفهرسة بواسطة $m \in [-l, l]$ .

القيد: عملية الدوران في SO(3) تربط جميع مكونات $m$ ضمن رتبة $l$ محددة. لذا، فإن إزالة المكونات الفردية (التقليم على مستوى العنصر) يكسر التوافق.
الحل: يعامل الأسلوب الفضاء الجزئي الذي تشغله المكونات $2l+1$ لرتبة $l$ وقناة $k$ كـ "وحدة ذرية". يتم إجراء التقليم على الزوج $(k, l)$ ، والذي يُمثل بقناع ثنائي $z^{(t)}_{k,l}$ . يضمن ذلك أنه إذا تم الاحتفاظ بكتلة ميزة، فسيتم الحفاظ على جميع مكوناتها الدورانية، مما يحافظ بدقة على توافق SO(3).

2. معيار الأهمية المستند إلى الفيزياء

لتحديد كتل $(k, l)$ التي يجب الاحتفاظ بها، يقترح المؤلفون درجة أهمية تعتمد على حساسية سطح طاقة الجهد.

هدف مزدوج: يجب أن تتنبأ نماذج التعلم الآلي للجهد البيني (MLIPs) بكل من طاقة الجهد ( $E$ ) والقوى ( $F_i = -\nabla_{r_i} E$ ).
المقياس: تُشتق درجة الأهمية $I^{(t)}_{k,l}$ من توسيع تايلور من الدرجة الأولى لتغير الطاقة عند إزالة كتلة ميزة. وهي تجمع حاصل ضرب مقدار الميزة وتدرج الطاقة بالنسبة لتلك الميزة عبر جميع الذرات وأبعاد التمثيل:
$I^{(t)}_{k,l} = \mathbb{E}_{R,Z \sim \mathcal{D}} \left| \sum_{j,m} \frac{\partial E}{\partial h^{(t)}_{j,klm}} \cdot h^{(t)}_{j,klm} \right|$
الميزة: هذا المقياس ثابت تحت تحويلات SO(3) ويتطلب جهداً حسابياً ضئيلاً لأن التدرجات $\frac{\partial E}{\partial h}$ تُحسب بالفعل أثناء استدلال القوة القياسي.

3. المحاذاة الهيكلية ومسار العمل

يتبع إطار العمل مساراً من أربع مراحل:

المعايرة (Calibration): يتم تمرير مجموعة فرعية صغيرة من بيانات التدريب المسبق عبر النموذج الكبير لحساب درجات الأهمية.
التقليم الموجه بالهدف: يتم تحديد بنية مستهدفة، حيث يتم الاحتفاظ بأعلى الكتل تصنيفاً من نوع $(k, l)$ بناءً على درجات الأهمية.
المحاذاة الهيكلية: يتم تعديل بنية النموذج فيزيائياً لتتطابق مع الأبعاد المختزلة. يتضمن ذلك:
- إعادة تكوين ضرب التنسور: تقطيع الأوزان الشعاعية ومسارات "كليبش-جو دوران" (Clebsch-Gordan) لتتماشى مع القنوات المحتفظ بها.
- تقطيع الأوزان: الإزالة الفعلية لصفوف وأعمدة من أوزان التحويل الخطي لإنشاء تنسور أوزان أصغر وأكثر كثافة.
إعادة التدريب والضبط الدقيق: يخضع النموذج المقلم لإعادة تدريب خفيفة على مجموعة فرعية من بيانات التدريب المسبق للتعافي من أخطاء التقريب، يليه الضبط الدقيق لمهام محددة لاحقاً.

المساهمات الرئيسية

طريقة التقليم المتوافق: تقديم طريقة تقليم هيكلي لـ "تنسورات" أعلى رتبة ومتوافقة مع SO(3) عبر أبعاد القنوات والرتب، والتي تحافظ بدقة على توافق SO(3) عبر معاملة كتل $(k, l)$ كوحدات ذرية.
إطار عمل رباعي المراحل: مسار كامل (معايرة، تقليم، إعادة تدريب، ضبط دقيق) لضغط النماذج التأسيسية.
القدرة على التعميم: إثبات قدرة الطريقة على التطبيق على بنيات متعددة، بما في ذلك MACE وSevenNet وeSCN.
القابلية للدمج: التحقق من إمكانية دمج التقليم الهيكلي مع الكمية وتقطير المعرفة لتحقيق مكاسب كفاءة تراكمية.

النتائج التجريبية

تم تقييم الطريقة بشكل أساسي على MACE-MP (المواد غير العضوية) و MACE-OFF (الجزيئات العضوية)، مع اختبارات التعميم على SevenNet و eSCN.

الدقة مقابل التدريب من الصفر

التفوق: تتفوق النماذج المقلمة باستمرار على النماذج التي لها نفس الحجم والتي تم تدريبها من الصفر.
- في MACE-MP، حققت النماذج المقلمة خطأ متوسط مطلق (MAE) أقل في القوة وأداءً أفضل في البيانات خارج التوزيع على مجموعة بيانات sAlex مقارنة بالنماذج المرجعية المدربة من الصفر.
- في Matbench Discovery، تفوق نموذج MACE-MP المقلم (باستخدام 25% فقط من بيانات التدريب المسبق) على النموذج الصغير الرسمي المدرب من الصفر في 7 من أصل 9 مقاييس.
- في MACE-OFF، طابقت النماذج المقلمة أو تجاوزت النماذج المدربة من الصفر عبر مجموعات جزيئية متنوعة، حتى عند استخدام 50% فقط من بيانات التدريب المسبق.
الأداء في المهام اللاحقة: أدى الضبط الدقيق للنماذج المقلمة على ثمانية مجموعات بيانات غير عضوية لاحقة إلى تقليل أخطاء الطاقة والقوة بنسبة 70.1% و 34.4%، على التوالي، مقارنة بتدريب نماذج خاصة بالمهمة من الصفر.

مكاسب الكفاءة

تقليل المعلمات: تحتوي النماذج المضغوطة على معلمات أقل بنسبة 1.5 إلى 4 مرات.
تكلفة التدريب: يتطلب المسار الكامل حسابات تدريب مسبق أقل بنسبة 2.5 إلى 4 مرات من تدريب نموذج صغير من الصفر (مثلاً، 181 ساعة GPU مقابل 750 ساعة GPU لتكوين محدد).
سرعة الاستدلال: تحقق النماذج المقلمة تسريعاً في الاستدلال بنسبة 2.7 إلى 3.0 ضعف، وانخفاضاً يصل إلى 5.7 ضعفاً في ذروة استخدام الذاكرة.

الدمج مع الطرق الأخرى

الكمية (Quantization): أدى الجمع بين التقليم والكمية بنظام FP32 إلى تحسين الإنتاجية بمقدار 9.6 ضعف (نسبة إلى نموذج FP64 الأساسي).
تقطير المعرفة (Knowledge Distillation): أدى الجمع بين التقليم وتقطير المعرفة القائم على "هسيان" (Hessian-based KD) إلى تحسين أداء النموذج بشكل أكبر، مما أثبت أن الطريقتين متكاملتان.

الأهمية والادعاءات

يدعي البحث أن التقليم الهيكلي يوفر مساراً طبيعياً وفعالاً لسد الفجوة بين الدقة والكفاءة في النماذج التأسيسية الذرية. ومن خلال وراثة الأوزان مباشرة من نقاط التحقق الكبيرة وضغطها مع الحفاظ على التماثلات الفيزيائية، تنتج هذه الطريقة نماذج مدمجة تتميز بأنها:

أكثر دقة من النماذج ذات الحجم نفسه المدربة من الصفر.
أقل تكلفة بكثير من حيث التدريب والنشر.
متسقة فيزيائياً، حيث تحافظ على توافق SO(3) الصارم المطلوب لمحاكاة الديناميكا الجزيئية الموثوقة (تم التحقق من ذلك عبر محاكاة MD للماء السائل التي أظهرت استقرار انحراف الطاقة ودالة التوزيع الشعاعي الدقيقة).

يؤكد المؤلفون أن المبدأ الجوهري — وهو تقييم أهمية التمثيلات غير القابلة للاختزال المترابطة — قابل للتطبيق على نطاق واسع على أي بنية متوافقة تمثل الميزات كمجموعات من تمثيلات SO(3) غير القابلة للاختزال. ويشير العمل إلى أن التقليم يسمح للممارسين بنشر نماذج تأسيسية عالية الدقة في بيئات محدودة الموارد دون التضحية بالقدرة على الانتقال (transferability) التي تم تعلمها أثناء التدريب المسبق واسع النطاق.