Diffusion Tree Sampling for Inference Time Adaptation of Crystal Generative Models
تقدم هذه الورقة البحثية أخذ عينات الانتشار الشجري (DTS)، وهو أسلوب للتكيف أثناء الاستدلال يستخدم بحث شجرة مونت كارلو عبر مسارات إزالة الضجيج لتوجيه نماذج توليد البلورات القائمة على الانتشار نحو خصائص مثلى متعددة الأهداف دون الحاجة إلى إعادة تدريب مكلفة للنموذج.
إن البحث عن مواد جديدة هو لعبة اكتشاف عالية المخاطر، حيث يحاول العلماء إيجاد تركيبات من الذرات تشكل بلورات ذات خصائص محددة ومفيدة. تخيل أنك تحاول العثور على إبرة في كومة قش، باستثناء أن كومة القش مكونة من كل ترتيب ممكن للذرات، والإبرة هي هيكل ليس مستقراً فحسب، بل يوصل الكهرباء بطريقة معينة أو يتحمل ضغطاً هائلاً. لعقود من الزمن، اعتمد الباحثون على نماذج حاسوبية قوية لتوليد هذه الهياكل البلورية، لكن هذه النماذج غالباً ما تنتج فيضاً من المرشحين المستحيلين كيميائياً أو غير المستقرين. تكمن العقبة الحقيقية في أن التحقق مما إذا كانت البلورة مستقرة حقاً يتطلب تشغيل عمليات محاكاة مكلفة وبطيئة للغاية يمكن أن تستغرق أياماً لمرشح واحد. لهذا السبب، يحتاج العلماء إلى طريقة لتوجيه النماذج الحاسوبية لإنتاج مرشحين أفضل منذ البداية، بدلاً من توليد الملايين من العناصر عديمة الفائدة والأمل في العثور على القليل منها بالصدفة.
لقد طور فريق من الباحثين في جامعة مكغيل ومعهد ميلا (Mila) للذكاء الاصطناعي في كيبيك طريقة جديدة لحل هذه المشكلة دون الحاجة إلى إعادة تدريب النماذج الحاسوبية الضخمة التي تولد البلورات. فبدلاً من محاولة تعليم النموذج طريقة جديدة للتفكير، وهو أمر بطيء ومكلف، ابتكروا عملية بحث ذكية تحدث أثناء عمل النموذج. أطلقوا على هذه الطريقة اسم "أخذ عينات الانتشار الشجري" (Diffusion Tree Sampling). تخيل النموذج الحاسوبي كالنحات الذي ينحت ببطء من كتلة حجرية ليكشف عن تمثال. عادةً، يرتكب النحات خطأ واحداً في كل مرة ويمضي قدماً. ومع ذلك، فإن هذه الطريقة الجديدة توقف النحات في لحظات رئيسية وتسأله: "ماذا لو كنت قد قمت بقطع مختلف قليلاً هنا؟". ثم تستكشف عدة مسارات من نوع "ماذا لو" في وقت واحد، محتفظة بالمسارات الأكثر واعدة واستبعاد المسارات المسدودة. ومن خلال القيام بذلك، يمكن للنظام توجيه عملية التوليد نحو بلورات من المرجح أن تكون مستقرة ومفيدة، وكل ذلك باستخدام نفس النموذج المدرب مسبقاً والمتاح بالفعل.
وقد أظهر الباحثون أن هذا النهج يعمل بشكل جيد بشكل ملحوظ عبر تحديات مختلفة في علم المواد. في أحد الاختبارات، استخدموا هذه الطريقة لتوليد بلورات مستقرة ديناميكياً حرارياً، مما يعني أنها أقل عرضة للتفكك. نجح النظام في إيجاد عدد أكبر من البلورات المستقرة مقارنة بالطرق القياسية، وزادت هذه الميزة كلما سمح الباحثون للحاسوب بالقيام بمزيد من العمل. وفي تجربة أخرى، استهدفوا بلورات ذات تماثلات داخلية نادرة جداً، وتحديداً نوعاً من الترتيب الذري الذي يظهر في أقل من واحد بالمائة من البلورات المعروفة. النماذج القياسية نادراً ما تجد هذه الهياكل النادرة من تلقاء نفسها. ومع ذلك، من خلال الجمع بين البحث الذكي ونسخة متخصصة من النموذج تم ضبطها مسبقاً للبحث عن هذه التماثلات، تمكن الفريق من إيجاد هذه البلورات النادرة بمعدل عشرة أضعاف أعلى من ذي قبل.
ولعل الإنجاز الأهم لهذا العمل هو كيفية تعامله مع المواقف التي يحتاج فيها العلماء إلى الموازنة بين هدفين أو أكثر متضاربين. في العالم الحقيقي، قد تحتاج المادة إلى أن تكون عازلاً كهربائياً جيداً وتمتلك فجوة طاقة كبيرة في آن واحد، لكن تحسين أحدهما غالباً ما يجعل الآخر أسوأ. أظهر الباحثون أن طريقتهم يمكنها استكشاف النطاق الكامل للمقايضات الممكنة بين هذه الخصائص المتضاربة في بحث واحد. فبدلاً من العثور على إجابة واحدة "مثلى" فقط، أنتج النظام مجموعة متنوعة من البلورات، كل منها يمثل توازناً مختلفاً بين الهدفين. وهذا يسمح للعلماء برؤية المشهد الكامل للاحتمالات واختيار المادة التي تناسب احتياجاتهم المحددة بشكل أفضل.
تتميز هذه الطريقة بكونها مرنة ولا تتطلب من الباحثين إعادة بناء النماذج الحاسوبية الأساسية من الصفر. يمكنها الاستفيد من النماذج الموجودة التي تم تدريبها لمهام محددة، واستخدامها كدليل مع ضمان أن النتائج النهائية لا تزال تتبع القوانين الأساسية للفيزياء. كما أظهر الباحثون أنه حتى عندما لا يكون النموذج الموجه مطابقاً تماماً للهدف - مثل استخدام نموذج مدرب للعثور على البلورات الكثيفة للبحث بدلاً من ذلك عن بلورات ذات معامل حجم مرتفع - يمكن لنظامهم تصحيح عدم التطابق هذا. وهذا يضمن أن النتائج النهائية مدفوعة بالهدف الفعلي وليس بخصائص الدليل.
من خلال نقل الجهد الحسابي من تدريب نماذج جديدة إلى البحث الأذكى أثناء عملية التوليد، يوفر هذا النهج مساراً أكثر كفاءة للاكتشاف. إنه يدرك أنه في عالم علم المواد، تكون تكلفة التحقق من مرشح ما أعلى بكثير من تكلفة توليده. لذلك، فإن تخصيص المزيد من القدرة الحسابية لضمان أن كل مرشح يتم توليده هو عالي الجودة يعد استراتيجية أفضل بكثير من توليد كميات هائلة من العناصر منخفضة الجودة. يشير هذا العمل إلى أن مستقبل اكتشاف المواد قد لا يكمن في النماذج الأكبر وحدها، بل في طرق أكثر ذكاءً لاستخدام النماذج التي نمتلكها بالفعل للتنقل في الفضاء الواسع والمعقد للمواد الممكنة.
ملخص تقني: أخذ عينات شجرة الانتشار (Diffusion Tree Sampling) للتكيف عند وقت الاستدلال لنماذج توليد البلورات
بيان المشكلة أرست نماذج التوليد القائمة على الانتشار (Diffusion-based generative models)، مثل MatterGen وDiffCSP، أسسًا قوية للاحتمالات المسبقة للهياكل البلورية المعقولة. ومع ذلك، فإن ترجمة هذه الاحتمالات المسبقة إلى مواد مرشحة واعدة أمر صعب، لأن المواد المرشحة يجب أن تستوفي خصائص متعددة، وغالبًا ما تكون متضاربة (مثل الاستقرار، أو مجموعات فراغية محددة، أو معامل مرونة حجمي عالٍ، أو مقايضات معينة بين فجوة النطاق وثابت العزل الكهربائي). تتضمن الاستراتيجيات الحالية عادةً ضبط النموذج (fine-tuning) لأهداف محددة أو استخدام التوجيه القابل للاشتقاق (differentiable guidance). وتعد هذه الأساليب مكلفة حاسوبيًا، وتتطلب بيانات مصنفة لكل مشكلة تصميم جديدة، وتنتج نموذجًا جديدًا لكل هدف، مما يتعارض مع نموذج "النماذج التأسيسية" (foundation-model paradigm). علاوة على ذلك، فإن العديد من خصائص المواد في العالم الحقيقي (مثل الاستقرار الديناميكي الحراري عبر نظرية وظيفية الكثافة DFT) غير قابلة للاشتقاق، مما يجعل التوجيه القائم على التدرج (gradient-based guidance) غير قابل للتطبيق.
المنهجية يقترح المؤلفون أخذ عينات شجرة الانتشار (Diffusion Tree Sampling - DTS)، وهو طريقة للتكيف عند وقت الاستدلال توجه نموذج انتشار ثابت ومُدرب مسبقًا نحو أهداف يحددها المستخدم دون تعديل أوزان النموذج. تعامل طريقة DTS مسار إزالة الضجيج (denoising trajectory) كشجرة من الحالات الجزئية، وتستخدم بحث مونت كارلو في الأشجار (MCTS) لتخصيص الموارد الحسابية بشكل تكيفي للفروع الواعدة.
يقدم البحث تعديلين تقنيين محددين على طريقة DTS القياسية لمعالجة القيود في علم المواد:
التحدي: غالبًا ما تكون النماذج الشرطية للخصائص (مثل النماذج التي تم ضبطها لمجموعات فراغية أو خصائص معينة) أكثر فعالية في التوجيه المحلي من النماذج غير الشرطية. ومع ذلك، فإن استخدام نموذج شرطي كمقترح داخل DTS دون تصحيح يؤدي إلى مشكلة "الانحراف المزدوج" (double-tilt): حيث ينحاز النموذج الشرطي نحو الشرط، ويقوم الانحراف القائم على المكافأة بتضخيم هذا الانحياز، مما يشوه التوزيع المستهدف.
الحل: يستخدم المؤلفون النموذج الشرائي qc فقط كمقترح لتوليد خطوات إزالة الضجيج، مع الحفاظ على النموذج الأساسي غير الشرطي pθ كهدف. ويطبقون أخذ العينات بالوزن (Importance Sampling - IS) لتصحيح إزاحة التوزيع. وتحديدًا، أثناء توسيع الشجرة والتدحرج (rollout)، يتم أخذ عينات من qc ولكن يتم تخصيص وزن أهمية η=pθ/qc. يُستخدم هذا الوزن في عملية الارتداد الناعم (soft Bellman backup) وقاعدة الاختيار لضمان تقارب توزيع الأوراق التجريبي نحو الهدف غير الشرطي المائل بالمكافأة π∗(x0)∝pθ(x0)exp(λr(x0))، بدلاً من الهدف الشرطي المنحاز.
2. أخذ عينات شجرة الانتشار متعدد الأهداف (Multi-Objective Diffusion Tree Sampling - MO-DTS):
التحدي: يتضمن تصميم المواد غالبًا موازنة أهداف متضاربة (مثل تعظيم فجوة النطاق مع تعظيم ثابت العزل الكهربائي)، مما يتطلب أخذ عينات من جبهة باريتو (Pareto front) بدلاً من نقطة مثلى واحدة. تعاني طريقة MCTS القياسية من صعوبة في مشاركة الحوسبة عبر أوزان تفضيل مختلفة.
الحل: يصيغ المؤلفون أخذ العينات متعدد الأهداف كعملية سحب من خليط من التوزيعات المائلة بالمكافأة، حيث يتم تحديد الخليط بواسطة توزيع يختاره المستخدم لمتجهات التفضيل w. تحافظ طريقة MO-DTS على تقدير قيمة منفصل لكل هدف في كل عقدة. أثناء انتقال الشجرة، يتم أخذ عينة من التفضيل w، ويتم حساب قيمة مُجمعة (scalarized value) لتوجيه الاختيار. يسمح هذا لشجرة بحث واحدة باستكشاف جبهة باريتو بأكملها من خلال مشاركة الحوسبة عبر مختلف التفضيلات والسيناريوهات الشرطية، بدلاً من تشغيل عمليات بحث منفصلة لكل منها.
المساهمات الرئيسية
النماذج الشرطية كمقترحات: إثبات كيفية الاستفادة من نماذج الانتشار الشرطية للخصائص الموجودة كمقترحات موجهة داخل DTS دون تشويه التوزيع المستهدف، باستخدام عمليات الارتداد المصححة بالأهمية وقواعد الاختيار.
التوسيع متعدد الأهداف: توسيع DTS لأخذ عينات من جبهات باريتو من خلال الحفاظ على تقديرات قيمة لكل هدف وتعيين التفضيلات أثناء الانتقال، مما يسمح لبحث واحد بالانتشار عبر أهداف متضاربة.
التكيف عند وقت الاستدلال: التحقق من أن هذه التعديلات تحسن مخرجات النموذج لتوليد البلورات الجديدة (de novo) دون تعديل أوزان النموذج أو طلب تدرجات المكافأة.
النتائج التجريبية تم تطبيق الطريقة على أربع مهام لتوليد البلورات باستخدام MatterGen وDiffCSP:
البحث عن الاستقرار: باستخدام مكافأة تعتمد على الطاقة فوق غلاف التحدب (Ehull)، حسنت طريقة DTS بشكل كبير معدل الهياكل المستقرة والفريدة والجديدة (SUN) مقارنة بأسلوب "أفضل من N" (best-of-N) وغيرها من خطوط الأساس للاستدلال (SMC, SVDD-PM, TreeG). أظهرت DTS فوائد واضحة في التوسع عند وقت الاستدلال، حيث زادت معدلات الاستقرار مع زيادة عدد تقييمات الوظيفة (NFE).
توليد مجموعات فراغية نادرة: لاستهداف مجموعة فراغية نادرة (SG 204، بنسبة تردد ~0.2%)، استخدم المؤلفون نموذج MatterGen شرطي للمجموعة الفراغية كمقترح. أنتجت DTS حوالي عشرة أضعاف الهياكل المستهدفة من نوع SUN مقارنة بأسلوب "أفضل من N". ومن المهم ملاحظة أن النموذج غير الشرطي وحده (حتى مع DTS) فشل في توليد هياكل في هذه المجموعة الفراغية، مما يسلط الضوء على ضرورة الجمع بين المقترح الشرطي وعملية البحث.
المواد العازلة متعددة الأهداف: في مهمة توازن بين فجوة النطاق وثابت العزل الكهربائي، تفوقت MO-DTS على خط أساس يعتمد على التكييف على نقاط ثابتة على جبهة باريتو. حققت MO-DTS حجم جبهة باريتو أكبر، وحجم فائق (hypervolume) أعلى، وتحسينات أفضل في مقاييس المسافة الجيلية.
المقترح غير المتوافق (معامل المرونة الحجمي): باستخدام نموذج مشروط بالكثافة لاستهداف معامل مرونة حجمي عالٍ (حيث ترتبط الكثافة ومعامل المرونة الحجمي ولكن لا تتطابقان)، أظهر المؤلفون أن التصحيح بالأهمية كان ضرورياً. بدون التصحيح بالأهمية، انحرف مقترح التوزيع نحو كثافة مختلفة في المخرج؛ أما مع التصحيح بالأهم "IS"، فقد تمت إزالة التشوه مع الاحتفاظ بتحسين العائد.
الأهمية والادعاءات يزعم البحث أن طريقة DTS توفر مسارًا مرنًا للتكيف عند وقت الاستدلال في مجال الذكاء الاصطنا لعلوم المواد، خاصة في اكتشاف المواد حيث يكون التحقق (عبر DFT) والتصنيع أغلى بمراتب عديدة من التوليد. ومن خلال ترك النموذج المدرب مسبقًا ثابتًا وتوجيه عملية أخذ العينات عبر البحث الشجري، تتماشى هذه الطريقة مع نموذج النماذج التأسيسية. ويؤكد المؤلفون أن نهجهم يسمح باستخدام النماذج الشرطية الموجودة كمقترحات فعالة مع تصحيح انحيازاتها، كما يتيح استكشاف المقايضات بين الأهداف المتضاربة ضمن إطار حوسبي واحد. تشير الدراسة إلى أن تخصيص الحوسبة عند وقت الاستدلال لجودة المرشحين أكثر قيمة من توليد كميات كبيرة من الهياكل منخفضة الجودة. كما يلاحظ المؤلفون أنه بينما تُعتبر المكافآت حاليًا نماذج بديلة متعلمة، فإن الطريقة متوافقة مع أي دالة مكافأة قابلة للاشتقاق أو غير قابلة للاشتقاق، طالما أن التوزيع المستهدف محدد جيدًا.