KappaFormer: Physics-aware Transformer for lattice thermal conductivity via cross-domain transfer learning

1. بيان المشكلة

لا يزال التنبؤ الدقيق بـ الموصلية الحرارية للشبكة البلورية ($\kappa_L$) يمثل تحديًا كبيرًا في علم المواد.

• ندرة البيانات: بيانات $\kappa_L$ التجريبية عالية الجودة نادرة ومكلفة للغاية، مما يحد من فعالية نماذج تعلم الآلة (ML) المعتمدة كليًا على البيانات.
• التعقيد الفيزيائي: لا تُعد $\kappa_L$ مجرد خريطة بسيطة للتركيب البلوري؛ بل هي ناتجة عن التفاعل المعقد بين التوافقية (harmonicity) (الخصائص المرنة، وسرعة الصوت) واللا توافقية (anharmonicity) (تشتت فونون-فونون، ومعامل غرونايسن).
• قصور النماذج الحالية: تعتمد معظم نماذج تعلم الآلة الحالية استراتيجيات التعلم من النهاية إلى النهاية (end-to-end) التي تعامل $\kappa_L$ كصندوق أسود. يفتقر هذا النهج إلى التفسير الفيزيائي، ويعاني من ضعف كفاءة البيانات، ويواجه صعوبة في التعميم على المواد خارج نطاق توزيع التدريب، خاصة عند محدودية بيانات التدريب.

2. المنهجية: بنية KappaFormer

يقترح المؤلفون KappaFormer، وهي بنية "ترانسفورمر" (Transformer) مدركة فيزيائيًا، تقوم بدمج التفكيك الفيزيائي لـ $\kappa_L$ (التوافقية مقابل اللا توافقية) صراحةً في هيكل الشبكة.

أ. البنية الأساسية

يستخدم النموذج شبكة انتباه قائمة على الرسم البياني (graph-based attention network) مع فرعين متميزين:

1. فرع التوافقية (Harmonic Branch): يركز على الخصائص المرنة (معامل الحجم $B$، ومعامل القص $G$) التي تحكم صلابة الشبكة وسرعة الصوت.
2. فرع اللا توافقية (Anharmonic Branch): يركز على معامل غرونايسن ($\gamma$)، الذي يحكم تشتت الفونونات.
3. المكونات الرئيسية:
   • تضمين الرسم البياني (Graph Embedding): يتم رسم البلورات كرسوم بيانية متعددة الحواف حيث تمثل العقد الذرات، وتمثل الحواف معلومات الترابط الشعاعي والاتجاهي باستخدام دوال الأساس الغاوسية ومصفوفات "ويغنر-دي" (Wigner-D) لضمان التكافؤ الدوراني.
   • انتباه الرسم البياني المدرك لزوج الذرات: يستخدم نواتج "SO(2)" التنسورية لالتقاط تفاعلات القوة الزوجية، مع تقسيم الميزات إلى تمثيلات غير قابلة للاختزال (irreps) وميزات قياسية.
   • كتلة الاسترجاع القياسية (Scalar Recurrent Block): تستخدم وحدات "GRU" لدمج تضمينات التوافقية واللا توافقية بشكل تكيفي.
   • خليط الخبراء متعدد البوابات (MMoE): ينظم مساهمة الفرعين ديناميكيًا، مما يسمح للنموذج بتعلم الاقتران الجوهري بين التوافقية واللا توافقية.
   • طبقة الصياغة الفيزيائية: بدلاً من الانحدار المباشر لـ $\kappa_L$، يتنبأ النموذج بكميات فيزيائية وسيطة ($\hat{B}, \hat{G}, \hat{\gamma}$) والتي يتم تغذيتها بعد ذلك في معادلة نموذج سلاك (Slack model) المعدلة لحساب $\log_{10}\hat{\kappa}_L$. هذا يفرض القيود الفيزيائية والقابلية للتفسير.

ب. استراتيجية التدريب: التعلم بنقل المعرفة عبر المجالات

للتغلب على ندرة البيانات، يستخدم KappaFormer استراتيجية تعلم نقل المعرفة ثنائية المرحلة:

1. المرحلة الأولى (التدريب المسبق): يتم تدريب النموذج مسبقًا على مجموعة بيانات واسعة النطاق من الخصائص المرنة ($B$ و $G$) من قاعدة بيانات "Materials Project" (أكثر من 10,000 مدخل). هذا يعلم الشبكة تمثيلات قوية لديناميكيات الشبكة التوافقية.
2. المرحلة الثانية (الضبط الدقيق): يتم ضبط النموذج المدرب مسبقًا على مجموعة بيانات محدودة من قيم $\kappa_L$ التجريبية (302 مادة).
   • يتم تجميد معاملات فرع التوافقية للحفاظ على المعرفة المرنة المتعلمة.
   • يكون فرع اللا توافقية وطبقات الصياغة الفيزيائية النهائية قابلة للتدريب لتعلم آليات تشتت اللا توافقية المحددة من بيانات $\kappa_L$ المحدودة.

3. المساهمات الرئيسية

• بنية مدركة فيزيائيًا: على عكس النماذج "الصندوق الأسود"، يقوم KappaFormer بتفكيك $\kappa_L$ صراحةً إلى حدود توافقية ولا توافقية داخل الشبكة العصبية، مما يضمن أن التنبؤات تلتزم بالقوانين الفيزيائية (نموذج سلاك).
• تعلم نقل معرفة فعال: تنجح استراتيجية المرحلتين في نقل المعرفة من البيانات المرنة الوفيرة إلى بيانات الموصلية الحرارية الشحيحة، مما يحسن التعميم بشكل كبير في حالات نقص البيانات.
• إطار عمل قابل للتفسير: يوفر النموذج مساهمات على مستوى الذرة لكل من التوافقية واللا توافقية، مما يربط تضمينات تعلم الآلة بالكميات الفيزيائية مثل كثافة حالات الفونون (PDOS)، وحاصل هاملتون المداري البلوري (COHP)، ونسبة مشاركة الفونون (PPR).

4. النتائج

أ. الأداء التنبئي

• الخصائص المرنة: حقق أداءً رائدًا في التنبؤ بمعاملات الحجم ($B$) والقص ($G$) (مجموعة الاختبار $R^2 = 0.97$ لـ $B$، و $0.93$لـ$G$).
• الموصلية الحرارية: حقق دقة عالية في بيانات $\kappa_L$ التجريبية بمتوسط خطأ مطلق (MAE) قدره 0.17 (في المقياس اللوغاريتمي) و $R^2 = 0.92$.
• دراسة الاستئصال (Ablation Study): النماذج التي تفتقر إلى الصياغة الفيزيائية (من النهاية إلى النهاية) بالغت كثيرًا في تقدير $\kappa_L$ (MAE 0.24)، مما يثبت ضرورة النهج الموجه فيزيائيًا.

ب. الاكتشاف عالي الإنتاجية

قام النموذج المدرب بفحص حوالي 25,000 شبه موصل من قاعدة بيانات MP، وحدد مواد ذات $\kappa_L$ منخفض للغاية ($\le 2$ W/mK). تم اختيار ثلاثة مرشحين واعدين والتحقق من صحتها عبر حسابات المبادئ الأولية (DFT):

1. CsNb$_2$Br$_9$
2. Cs$_2$AgI$_3$
3. Cs$_6$CdSe$_4$

ج. الرؤى والآليات الفيزيائية

• التوافقية (Harmonicity): تهيمن عليها أنيونات الإطار (Br, I, Se). يؤدي الترابط الأيوني الضعيف بين Cs وأنيونات الإطار إلى إضعاف ثوابت القوة وتقليل سرعات المجموعة الفونونية.
• اللا توافقية (Anharmonicity): مدفوعة بأنماط هيكلية محددة:
  • CsNb$_2$Br$_9$: الحركات الدورانية الجماعية لوحدات $[Nb_2Br_9]$ ثمانية السطوح.
  • Cs$_2$AgI$_3$: الحركات المقترنة لسلاسل $[AgI_3]_\infty$ أحادية الأبعاد وحركات ذرات Cs "المتذبذبة" (rattling).
  • Cs$_6$CdSe$_4$: اهتزازات "الرطّات" (rattling) لذرات Cs ووحدات $[CdSe_4]$ رباعية الأوجه الموضعية.
• تؤدي هذه الأنماط الاهتزازية الموضعية إلى إحداث لا توافقية قوية وعمر قصير للفونونات، مما يثبط انتقال الحرارة.

5. الأهمية

• تسريع الاكتشاف: يوفر KappaFormer إطارًا قابلًا للتعميم لاكتشاف مواد ذات موصلية حرارية منخفضة للغاية، وهو أمر بالغ الأهمية لـ تحويل الطاقة الكهروحرارية و الإدارة الحرارية.
• تحول جذري في النموذج: يثبت أن دمج المبادئ الفيزيائية (تفكيك الآليات) في بنيات التعلم العميق يتفوق على النهج المعتمد على البيانات فقط، خاصة عندما تكون البيانات المستهدفة عالية الجودة محدودة.
• مبادئ التصميم: ترسي هذه الدراسة مبدأ تصميم المواد ذات $\kappa_L$ المنخفض للغاية: التفاعل التآزري بين أطر الشبكة اللينة (توافقية منخفضة) والوحدات الاهتزازية الموضعية (لا توافقية قوية، مثل الكاتيونات المتذبذبة أو متعددات السطوح المرنة).