ملخص تقني: اكتشاف واستعادة المواد البلورية باستخدام المحولات المشروطة بالخصائص

بيان المشكلة

إن اكتشاف المواد الوظيفية الجديدة يعوقه تاريخياً الفضاء التركيبي الهائل للأنظمة غير العضوية والتكلفة الحسابية العالية لتوصيف المرشحين. وبينما توفر الذكاء الاصطناعي التوليدي مساراً لتسريع هذه العملية، تواجه النهج القائمة على المحولات (Transformers) قيوداً كبيرة عند محاولة التصميم العكسي (توليد هياكل بخصائص مستهدفة محددة).

تعتمد بنيات المحولات القياسية عادةً على ترميز (Tokenization) منفصل على مستوى الأرقام لتمثيل الخصائص الفيزيائية المستمرة (مثل فجوة النطاق أو الكثافة). ويؤدي هذا النهج إلى عدة مشكلات حرجة:

1. النزاع التمثيلي: استخدام رموز منفصلة متطابقة لكل من الإحداثيات المكانية المحلية والخصائص المستمرة العالمية يخلق صراعات داخل فضاء التضمين (Embedding space).
2. فقدان العلاقات الترتيبية: يؤدي الترميز على مستوى الأرقام إلى تعطيل العلاقات الترتيبية المتأصلة في القيم الفيزيائية المستمرة، مما يمنع الاستكمال الرياضي السلس.
3. النسيان الكارثي: غالباً ما تتطلب عملية الضبط الدقيق (Fine-tuning) للنماذج سابقة التدريب على مجموعات بيانات خصائص معينة تعديلات معمارية تؤدي إلى تعطيل المعرفة الهيكلية التأسيسية المكتسبة أثناء التدريب غير الخاضع للإشراف على ملفات المعلومات البلورية (CIFs).
4. عدم الكفاءة: يزيد التكييف على مستوى التسلسل (مثل إدراج رموز الخصائص في مقدمة التسلسل) من طول التسلسل ويخل بتمثيلات الرموز التي تحكم توليد ملفات CIF، مما يؤدي إلى عدم الاستقرار وضعف الصلاحية الهيكلية.

المنهجية: CrystaLLM-$\pi$

لمعالجة هذه القيود، قدم المؤلفون CrystaLLM-$\pi$ (حقن الخصائص)، وهو إطار عمل تلقائي الانحدار مشروط، يدمج تمثيلات الخصائص المستمرة مباشرة في آلية الانتباه للمحول، متجاوزاً بذلك الترميز على مستوى التسلسل.

البنية الأساسية

يعتمد النموذج على بنية GPT-2 الخاصة بـ CrystaLLM الأصلي، والتي تم تدريبها مسبقاً على مجموعة ضخمة من ملفات CIF غير المصنفة. ولتمكين التوليد المشروط بالخصائص، قدم الإطار آليتين جديدتين للانتباه تعملان على حقن متجهات الخصائص المستمرة ($c \in \mathbb{R}^P$) مباشرة في طبقات الانتباه متعدد الرؤوس (MHA):

1. انتباه بادئة مفتاح-قيمة الخاص بالخصائص (PKV Prefix Attention):

   • مستوحى من "ضبط البادئة" (Prefix Tuning)، تقوم هذه الطريقة بتوليد أزواج "شبحية" من المفاتيح والقيم (KV) من متجه الحالة.
   • يتم دمج أزواج KV هذه مع أزواج KV الخاصة بالتسلسل المدخل داخل طبقة الانتباه.
   • يفرض هذا تحيزاً هيكلياً "صلباً"، مما يوسع نافذة السياق الفعالة دون تعديل طبقات الشبكة العصبية ذات التغذية الأمامية (FFNN) أو الرموز المدخلة.

2. انتباه متبقي لـ PKV (PKV Residual Attention):

   • تقدم هذه الطريقة آلية تكييف "لينة".
   • تقوم بحساب درجة انتباه "متبقية" متوازية بين الاستعلامات المدخلة والمفاتيح/القيم المشتقة من الحالة.
   • يكون مخرج الانتباه النهائي عبارة عن مجموع موزون للانتباه الذاتي الأساسي والحد المتبقي: $A_{out} = A_{base} + \alpha \cdot A_{Residual}$.
   • يتم تهيئة الوزن $\alpha$ عند الصفر (على غرار LoRA)، مما يضمن اعتماد النموذج في البداية على المعرفة سابقة التدريب لتخفيف حدة النسيان الكارثي. كما تتعامل هذه البنية مع الحالات المفقودة أو غير المحددة للخصص بشكل أفضل من انتباه البادئة عبر تجنب تغيير طول التسلسل الذي يغير تطبيع "softmax".

استراتيجية التدريب

• التحسين المزدوج: يتم استخدام استراتيجية معدل تعلم مزدوج؛ حيث يتم تطبيق معدل تعلم متحفظ على معاملات الظهر (Backbone) سابقة التدريب للحفاظ على المعرفة الهيكلية التأسيسية، بينما يُستخدم معدل تعلم أعلى لطبقات التكييف الجديدة التي تم تهيئتها حديثاً لتسريع التكيف.
• دالة الخسارة: تُستخدم دالة خسارة "الاعتراض المتقاطع" (Cross-entropy) معدلة، تتضمن عقوبة لرموز بناء جمل (Syntax) ملفات CIF الثابتة لتسريع تعلم قواعد اللغة خلال مراحل التدريب المبكرة.
• معالجة البيانات: يستخدم الإطار نظام ترميز ديناميكي للحدود وتجميعاً متوافقاً مع الشروط لاستقرار التدريب.

المساهمات الرئيسية

1. آليات تكييف مبتكرة: اقتراح آليات انتباه PKV البادئة وPKV المتبقية التي تدمج الخصائص المستمرة مباشرة في طبقات الانتباه، متجنبةً عدم كفاءة الترميز على مستوى التسلسل.
2. الحفاظ على الأولويات الهيكلية: إثبات أن التكييف على مستوى الانتباه يحافظ على المعرفة الهيكلية الغنية المكتسبة من التدريب غير الخاضع للإشراف، مما يحافظ على صلاحية هيكلية عالية حتى في ظل إشراف مصنف شحيح.
3. التقييم الشامل: تقييم منهجي عبر أحجام مجموعات بيانات متفاوتة (من 1 ألف إلى 653 ألف عينة) ومهام تصميم مواد متميزة، مما يوفر مقارنة معيارية بين التكييف على مستوى التسلسل والتكييف على مستوى الانتباه.
4. إطار عمل مفتوح المصدر: إصدار إطار عمل خفيف الوزن، مرن، وقابل للتوسع مع نماذج سابقة التدريب، وواجهة برمجة تطبيقات حاوية (Containerized API)، وواجهة ويب لتسهيل اكتشاف المواد.

النتائج

1. المتانة وفعالية التكييف

• التكييف بفجوة النطاق: في مجموعة بيانات MP Bandgap، تفوقت النماذج سابقة التدريب بشكل كبير على النماذج المدربة من الصفر، خاصة في أطراف التوزيع المستهدف. أظهرت بنية البادئة (Prefix) أفضل مقايضة إجمالية بين الصلاحية، والمعايرة، وكفاءة البيانات عبر أحجام مجموعات البيانات المختلفة، محققة قيم $R^2$ عالية (0.97) ومتوسط خطأ مطلق منخفض (0.72 جم/سم³) لأهداف الكثافة مع البيانات الكاملة.
• ندرة البيانات: في الأنظمة ذات البيانات المنخفضة (1 ألف عينة)، أظهرت بنية المتبقي (Residual) متانة فائقة، حيث حافظت على الصلاحية الهيكلية في حين واجهت الطرق الأخرى صعوبات، ويرجع ذلك على الأرجح إلى طبيعتها الجمعية التي تقلل من تعطيل الأولوية سابقة التدريب.
• المقارنة مع الانتشار (Diffusion): مقارنة بنموذج الانتشار القائم على الرسم البياني (Graph-based) المعروف بـ MatterGen، حقق CrystാLLM-$\pi$ معايرة أدق للأهداف المطلقة للخصائص بتكاليف حسابية أقل بكثير (ذاكرة فيديو أقل، تدريب واستدلال أسرع) وحفاظ أعلى على التماثل في المخرجات غير المسترخية (Unrelaxed).

2. اكتشاف المواد: المرشحات الكهروضوئية

• تم ضبط النموذج بدقة على مجموعة بيانات تضم 5.35 ألف هيكل غير عضوي مصنف حسب الكفاءة القصوى المحدودة طيفياً (SLME).
• عند التكييف على هدف SLME يبلغ 33.2%، ولد النموذج 16,463 مرشحاً جديداً من الناحية الهيكلية.
• التحقق بـ DFT: تم التحقق من مجموعة فرعية من المرشحين باستخدام نظرية الكثافة الوظيفية (DFT). تم تأكيد استقرار وكفاءة بعض المواد، مثل Cs$_2$NaInAs$_2$ (SLME 26.4%) و NaHfCuS$_3$ (SLME 23.3%).
• سلطت الدراسة الضوء على أهمية التحقق من "الأصل الأول" (Ab initio)، حيث فشلت بعض المرشحين ذوي قيم SLME العالية المتوقعة عبر النماذج البديلة عند فحصها بـ DFT الهجين بسبب ميزات دقيقة في البنية الإلكترونية (مثل الحد الأدنى لنطاق التوصيل المنقسم).

3. استعادة الهيكل من حيود الأشعة السينية (XRD)

• تم اختبار الإطار لاستعادة الهياكل البلورية من أنماط حيود الأشعة السينية (XRD)، وهي مهمة تتطلب محاذاة إشارات مستمرة عالية الأبعاد مع تسلسلات CIF المنفصلة.
• أداء الاختبار المعياري: في اختبارات MP-20 و Jarvis-DFT، حقق CrystaLLM-$\pi$ دقة هيكلية تنافسية (RMSD ~0.03–0.04 Å) ومعدلات مطابقة، متفوقاً على النماذج المرجعية مثل DiffractGPT و Uni3Dar في مقاييس محددة.
• الاستعادة التجريبية: في اختبار Chili-100K، حقق النموذج المشروط بـ XRD معدل مطابقة هيكلية بنسبة 49.04% (مقابل 15.89% للنموذج غير المشروط) ونجح في استعادة هياكل تحتوي على ما يصل إلى 83 ذرة في وحدة الخلية، بينما فشل النموذج غير المشروط في الأنظمة التي تتجاوز 40 ذرة.
• التمييز بين المتعددات الشكلية (Polymorphs): نجح النموذج في التمييز بين أشكال TiO$_2$ (الروتيل، الأناتاز، البروكيت) باستخدام التركيب وأنماط XRD فقط، بل واستعاد طور "البروكيت" الذي كان غائباً تماماً عن بيانات التدريب.

الأهمية والادعاءات

يزعم البحث أن CrystaLLM-$\pi$ يضع معياراً جديداً لتوليد البلورات التلقائي الشرطي من خلال حل التوتر بين التحكم في الخصائص المستمرة وتوليد الهياكل المنفصلة.

• القدرة على التصميم العكسي: يوضح العمل أن التحكم المستمر في التوليد التلقائي يعتمد بشكل حاسم على أين تدخل إشارة التكييف إلى الشبكة. ومن خلال حصر التكيف في مسار الانتباه، يقوم الإطار بتوجيه التوليد نحو مساحات كيميائية نادرة دون تآكل الأولويات الهيكلية المتعلمة أثناء التدريب المسبق.
• الكفاءة والوصول: يقدم الإطار بديلاً خفيف الوزن للنماذج القائمة على الانتشار، حيث يتطلب موارد حسابية أقل بكثير مع الحفاظ على أداء يقارب أو يضاهي أحدث النتائج في كل من مهام الاكتشاف والاستعادة.
• القدرة على التعميم: يشير النجاح عبر مهام متنوعة (ضبط فجوة النطاق، تكييف الكثافة، تحسين SLME، واستعادة الهيكل من XRD) إلى أن الطريقة قابلة للتكيف مع سيناريوهات مختلفة في تصميم المواد دون الحاجة إلى إعادة تصميم معمارية معقدة.

يخلص المؤلفون إلى أنه بينما لا يمكن للإطار التنبؤ بالقدرة على التوسع خارج الفضاء الكيميائي الممثل في بيانات التدريب، إلا أنه يوفر أداة قوية وسهلة الوصول لتسريع اكتشاف المواد ذات الخصائص الوظيفية المستهدفة ولحل الهياكل من بيانات التوصيف التجريبية.