Large Language Model Assisted Discovery of Optimal Dopants for Enhanced Thermoelectric Performance in CoSb$_3$ Based Skutterudites

ملخص تقني لورقة بحثية بعنوان: "استخدام النماذج اللغوية الكبيرة لاكتشاف المطعّمات المثالية لتعزيز الأداء الكهروحراري في مواد سكوتيرودايت القائمة على CoSb₃"

1. بيان المشكلة

إن اكتشاف المواد ذات الأداء الكهروحراري العالي، وتحديداً مواد سكوتيرودايت القائمة على CoSb₃، يعوقه اتساع الفضاء الكيميائي والتركيبِي المتاح للتحسين. تعتمد الطرق التقليدية على:

• التجربة والخطأ التجريبي: وهي عملية مستهلكة للوقت والموارد.
• محاكاة المبادئ الأولى (DFT/MD): وهي مكلفة حاسوبياً، مما يحد من القدرة على فحص آلاف التركيبات المحتملة.
• التعلم الآلي التقليدي (ML): غالباً ما تتطلب نماذج الشبكات العصبية الاصطناعية (ANN) الحالية واصفات فيزيائية صريحة (مثل أنصاف أقطار الذرات، أو المعلمات الهيكلية) والتي قد تكون غير متسقة أو غير متوفرة في مجموعات البيانات المستخرجة من الأدبيات. علاوة على ذلك، تعاني الشبكات العصبية الاصطناعية من صعوبة في التعميم عندما تكون مجموعات البيانات صغيرة.

يتمثل التحدي الجوهري في تطوير إطار عمل قائم على البيانات يمكنه التنبؤ بمعامل الاستحقاق الكهروحراري ($ZT$) باستخدام التركيب الكيميائي الخام ودرجة الحرارة فقط، دون الاعتماد على واصفات هيكلية محسوبة مسبقاً، وذلك لتحديد عناصر الملء المثالية (المطعّمات) للفراغات "الهزازة" (rattler) في الشبكة البلورية للسكوتيرودايت بشكل سريع.

2. المنهجية

يقترح المؤلفون سير عمل هجين يجمع بين معالجة اللغات الطبيعية (NLP)، والتعلم الآلي (ML)، والمحاكاة الكمومية.

أ. تجميع البيانات

• تم تجميع مجموعة بيانات شاملة مكونة من 412 نتيجة تجريبية يدوياً من أكثر من 300 مقال بحثي.
• تتضمن نقاط البيانات التركيب الكيميائي (عناصر الملء والنسب الكمية)، ودرجة حرارة القياس، وقيمة $ZT$ المقابلة.

ب. نهج النمذجة
تم تدريب نموذجين متميزين للتنبؤ بـ $ZT$ من التركيب ودرجة الحرارة:

1. نموذج الشبكة العصبية الاصطناعية الأساسي (Baseline ANN):
   • تم تحويل التركيبات إلى متجهات ترميز أحادي (one-hot encoded vectors) تمثل وجود العناصر والنسب الكمية.
   • المدخلات: متجه الترميز الأحادي + درجة الحرارة.
   • البنية: شبكة عصبية متصلة بالكامل مع طبقتين خفيتين وتنشيط ReLU.
2. النموذج القائم على النماذج اللغوية الكبيرة (المقترح):
   • تنسيق المدخلات: تم تنسيق التركيبات كجمل من اللغة الطبيعية (على سبيل المثال: "Composition: {'Co': 1, 'Sb': 3...}, Temperature: 682K")، بما يشبه مجموعات البيانات التي تتبع التعليمات (أسلوب Alpaca).
   • التضمين (Embedding): تم استخدام نموذج BERT مدرب مسبقاً (bert-base-uncased) لتحويل هذه الجمل إلى رموز وتضمينها.
   • الثبات (Invariance): تم تصفير الترميزات الموضعية لضمان أن يكون التضمين ثابتاً بغض النظر عن ترتيب العناصر في السلسلة النصية.
   • الانحدار (Regression): تم تغذية تضمين رمز [CLS] (بأبعاد 768) في رأس انحدار خفيف الوزن (طبقة خفية واحدة) للتنبؤ بـ $ZT$.

ج. توليد المرشحين وفحصهم

• تم استخدام استراتيجية أخذ عينات عشوائية لتوليد آلاف التركيبات الجديدة من CoSb₃ تحتوي على عناصر ملء مفردة، ثنائية، وثلاثية (مثل Ba, Yb, Ce, In, La).
• تم تطبيق قيود لضمان الصلاحية الفيزيائية (إجمالي الإشغال $\le$ المواقع المتاحة).
• قام نموذج LLM المدرب بفحص هؤلاء المرشحين، واختار أولئك الذين لديهم $ZT$ متوقع مرتفع ($>1.0$) ومنخفض ($<0.5$).

د. التحقق عبر حسابات المبادئ الأولى
تم التحقق من اثنين من أفضل المرشحين (واحد ذو $ZT$ مرتفع، وآخر ذو $ZT$ منخفض) باستخدام:

1. نظرية الكثافة الوظيفية (DFT):
   • تم استخدام برنامج VASP مع جهود PAW-PBE لتهدئة الهياكل.
   • الموصلية الكهربائية ($\sigma$): تم حسابها باستخدام صيغة كوبو-غرينوود (Kubo-Greenwood) (عبر kg4vasp) لتحديد خصائص النقل الإلكتروني.
2. الديناميكا الجزيئية (MD):
   • الموصلية الحرارية للشبكة ($\kappa$): تم حسابها باستخدام GPUMD مع جهد ثابت القوة المعتمد على تعلم الآلة (FCP) المستمد من Hiphive.
   • استخدمت عمليات المحاكاة صيغة غرين-كوبو (Green-Kubo) على مسارات MD في حالة التوازن (مجموعة NVE) لحساب دالات الارتباط الذاتي لتيار الحرارة.

3. المساهمات الرئيسية

• واصفات خالية من الهيكل: أثبتت الدراسة أن النماذج اللغوية الكبيرة (تحديداً BERT) يمكنها ترميز التركيب الكيميائي بفعالية كلغة طبيعية، مما يعمل كواصفات متفوقة للخصائص المادية دون الحاجة إلى بيانات هيكلية صريحة أو سمات فيزيائية مصممة يدوياً.
• أداء تنبؤي متفوق: أظهر نموذج الانحدار القائم على LLM تفوقاً ملحوظاً على الشبكات العصبية الاصطناعية التقليدية من حيث متوسط الخطأ التربيعي (MSE) والاستقرار، خاصة في ظل صغر حجم مجموعة البيانات.
• اكتشاف مواد جديدة: حددت الدراسة تركيبات محددة (مثل نظام Ce-In-Ba المطعّم بشكل مشترك) ذات قيم $ZT$ متوقعة عالية، والتي تم التحقق منها لاحقاً بواسطة المحاكاة القائمة على الفيزياء.
• سير عمل متكامل: أرست الدراسة خط إنتاج كاملاً يبدأ من تنقيب النصوص في الأدبيات $\leftarrow$ التنبؤ القائم على معالجة اللغات الطبيعية $\leftarrow$ التحقق عبر المحاكاة الكمومية لتصميم المواد الكهروحرارية.

4. النتائج الرئيسية

أداء النموذج

• BERT مقابل ANN: حقق النموذج القائم على BERT أفضل MSE للتحقق قدره 0.0373 ومعامل تحديد $R^2$ قدره 0.8527. في المقابل، أظهر نموذج ANN تبايناً عالياً، بمتوسط $R^2$ قدره -6.81 عبر 30 بذرة عشوائية، مما يشير إلى فرط التخصيص (overfitting) وضعف التعميم.
• الاستقرار: حافظ نموذج BERT على منحنيات فقد (loss) منخفضة ومستقرة، بينما أظهر نموذج ANN عدم استقرار وحساسية تجاه بذور التهيئة.

المرشحون المتوقعون

• حدد النموذج CoSb₃ المطعّم بـ Ce-In-Ba (تحديداً $CoSb_3Ce_{0.078}In_{0.03\_1}Ba_{0.031}$) كمرشح رئيسي بقيمة $ZT$ متوقعة تبلغ 1.70 عند 682 كلفن.
• وعلى العكس من ذلك، توقع النموذج أن يكون CoSb₃ المطعّم بـ Ag ذا $ZT$ منخفض جداً (~0.07).

التحقق (DFT & MD)

• الموصلية الكهربائية:
  • المطعّم بـ Ce-In-Ba: أظهر تحسناً كبيراً في الموصلية الكهربائية ($6.18 \times 10^5$ S/m) مقارنة بـ CoSb₃ النقي ($0.45 \times 10^5$ S/m) و CoSb₃ المطعّم بـ Ag ($0.048 \times 10^5$ S/m). وقد عُزي ذلك إلى ارتفاع كثافة الحالات (DOS) بالقرب من مستوى فيرمي.
  • المطعّم بـ Ag: أظهر انخفاضاً في الموصلية.
• الموصلية الحرارية:
  • المطعّم بـ Ce-In-Ba: أظهر أدنى موصلية حرارية للشبكة (~1.2 W/(m·K)) بسبب تشتت الفونونات القوي الناتج عن تعدد ذرات الملء التي تعمل كمذبذبات أينشتاين.
  • CoSb₃ النقي: أعلى موصلية حرارية (~40 W/(m·K)).
  • المطعّم بـ Ag: موصلية متوسطة (~15 W/(m·K)).
• الاستنتاج حول ZT: أكد الجمع بين الموصلية الكهربائية العالية والموصلية الحرية فائقة الانخفاض في نظام Ce-In-Ba تنبؤ النموذج اللغوي الكبير بـ $ZT$ المتفوق. كما أن نظام التطعيم بـ Ag الذي أداؤه ضعيف قد تم التنبؤ به بشكل صحيح أيضاً.

5. الأهمية

يمثل هذا العمل تحولاً جذرياً في المعلوماتية المادية عبر تسخير النماذج اللغوية الكبيرة ليس فقط لتوليد النصوص، بل كأدوات قوية لاستخراج السمات للبيانات العلمية.

• الكفاءة: يقلل هذا النهج بشكل كبير من التكلفة الحسابية للفحص باستخدام نموذج انحدار خفيف الوزن مدرب على تضمينات نصية، متجاوزاً الحاجة إلى حسابات هيكلية مكلفة خلال مرحلة الفحص الأولية.
• القدرة على التعميم: هذا النهج قابل للتطبيق على أنظمة مادية أخرى بخلاف السكوتيرودايت، بشرط توفر بيانات كافية من الأدبيات.
• التحقق: إن النجاح في التنبؤ بتركيبة محددة (Ce-In-Ba) والتحقق الفيزيائي اللاحثي منها يثبت أن تضمينات NLP تلتقط العلاقات الفيزيائية الكامنة بين التركيب والأداء الكهروحراري، مما يوفر أداة قوية لتسريع اكتشاف مواد الطاقة المستدامة.