Interpretation of Crystal Energy Landscapes with Kolmogorov-Arnold Networks

1. بيان المشكلة

يعد توصيف مشهد طاقة المواد البلورية أمراً جوهرياً للتنبؤ بالاستقرار الديناميكي الحراري، والبنية الإلكترونية، والسلوك الوظيفي. وبينما توفر نظرية وظيفية الكثافة (DFT) تنبؤات دقيقة، إلا أن تكلفتها الحسابية العالية تمنع الاستكشاف واسع النطاق للمساحات الكيميائية. وقد ظهرت نماذج تعلم الآلة (ML) كحل لهذه المعضلة، لكنها تواجه عقبتين حرجتين:

• مشكلة "الصندوق الأسود": تعتمد معظم النماذج عالية الأداء (مثل الشبكات العصبية الرسومية - GNNs) على بنيات معقدة ذات دوال تنشيط ثابتة، مما يحجب الآليات الفيزيائية الكامنة ويعيق الاستبصار العلمي.
• الاعتماد على البيانات الهيكلية: تتطلب النماذج الحديثة غالباً إحداثيات ذرية ثلاثية الأبعاد أو هياكل بلورية مسترخية كمدخلات. وهذا يحد من فائدتها في مراحل الاكتشاف المبكرة حيث تفتقر المركبات الافتراضية إلى هياكل محددة، أو بالنسبة للأنظمة غير المتبلورة (amorphous).

2. المنهجية: شبكات كولموغوروف-أرنولد الموزونة بالعناصر (EWKAN)

يقترح المؤلفون EWKAN، وهو إطار عمل مبتكر يجمع بين المدخلات القائمة على التركيب فقط وبنية شبكة كولموغوروف-أرنولد (KAN) لتحقيق دقة عالية وقابلية للتفسير في آن واحد.

• تمثيل المدخلات: يعمل النموذج حصرياً على التركيب الكيميائي. فهو يمثل المادة كمجموع موزون لتمثيلات العناصر (element embeddings) القابلة للتعلم بناءً على وفرتها الكسرية ($r_i$):
  $$f_{comp} = \sum_{i \in E} r_i \cdot e_i$$
  يضمن هذا النهج الشمولية والسرعة، وهو قابل للتطبيق على أي مركب محدد بصيغته دون الحاجة إلى واصفات هيكلية.

• الابتكار المعماري (KAN): على عكس الشبكات العصبية متعددة الطبقات التقليدية (MLPs) التي تستخدم دوال تنشيط ثابتة (مثل ReLU)، تستبدل شبكات KAN هذه الدوال بـ دوال أحادية المتغير قابلة للتعلم.

  • يعتمد ذلك على مبرهنة تمثيل كولموغوروف-أرنولد، والتي تنص على أن أي دالة متعددة المتغيرات مستمرة يمكن تمثيلها كمزيج من دوال أحادية المتغير مستمرة.
  • يتم تمثيل دوال التنشيط باستخدام دوال B-splines (تحديداً quadratic B-splines مع $g=5$ نقاط شبكية ودرجة $k=3$).
  • تتعلم الشبكة التحويل غير الخطي الأمثل للمهمة المحددة، مما يسمح بالفحص المباشر للعلاقات الرياضية المتعلمة.

• بنية النموذج: تتكون EWKAN من طبقة تمثيل (embedding layer) تليها شبكة KAN مكونة من طبقتين بتسلسل عرض $[n, 2n+1, 1]$، ملتزمة بدقة بتعريف المبرهنة. وتكون المخرجات قيمة خاصية قياسية (مثل طاقة التكوين).

3. المساهمات الرئيسية

1. تقديم EWKAN: نموذج يعتمد على التركيب فقط يدمج شبكات KAN للتنبؤ بخصائص المواد، محققاً دقة تضاهي أحدث التقنيات (SOTA) مع بنية شديدة الإيجاز.
2. القابلية للتفسير العلمي: لا يتطلب النموذج قيوداً فيزيائية صريحة لتعلم الاتجاهات الكيميائية. ومن خلال تحليل المكونات الرئيسية (PCA) ودراسات الارتباط، أظهر المؤلفون أن التمثيلات المتعلمة ودوال التنشيط تتماشى طبيعياً مع اتجاهات الجدول الدوري والمبادئ الميكانيكية الكمومية (مثل الكهروسلبية وطاقة التأين).
3. الكفاءة مقابل الأداء: يحقق النموذج خطأ مطلق متوسط (MAE) تنافسياً مع عدد أقل بمراتب عشرية من المعلمات مقارلة بالشبكات العصبية الرسومية (GNNs) الضخمة، مما يقدم مقايضة فائقة بين الكفاءة والأداء.
4. تحليل ديناميكيات التعلم: تكشف الدراسة أن الخصائص الفيزيائية المختلفة (فجوة النطاق، دالة الشغل، طاقة التكوين) تظهر سلوكيات تشبع تعلم متباينة، مما يوفر رؤى حول التعقيد الجوهري لهذه الخصائص.

4. النتائج

تم اختبار النموذج على ثلاث مجموعات بيانات واسعة النطاق: MatBench MP Gap (فجوة النطاق)، و JARVIS-C2DB (دالة الشغل)، و JARVIS-DFT (طاقة التكوين).

• الدقة التنبؤية:
  • فجوة النطاق (Band Gap): حقق خطأ مطلق متوسط (MAE) قدره 0.35 إلكترون فولت (البنية المثلى $[7, 15, 1]$)، وهو ما يضاعف تقريباً أداء النموذج المرجعي القائم على ReLU (0.63 إلكترون فولت).
  • دالة الشغل (Work Function): حقق خطأ مطلق متوسط قدره ~0.38 إلكترون فولت (البنية المثلى $[6, 13, 1]$).
  • طاقة التكوين (Formation Energy): حقق خطأ مطلق متوسط قدره 0.155 إلكترون فولت/ذرة (البنية المثلى $[10, 21, 1]$).
• كفاءة المعلمات: باستخدام مقياس NetScore، أظهرت EWKAN كفاءة استثنائية. فبالنسبة لطاقة التكوين، حققت درجة كفاءة بلغت 4.67 مع حوالي 8 آلاف معلمة فقط، متفوقة بشكل كبير على النماذج الضخمة مثل eSEN-3M (30 مليون معلمة) و MatterSim.
• نتائج التفسير:
  • تحليل PCA: أظهر المكون الرئيسي الأول (PC1) للتمثيلات المتعلمة ارتباطاً قوياً ($r=0.686$) مع الكهروسلبية.
  • الاتجاهات الدورية: كشفت رؤية PC1 عبر الجدول الدوري عن بُعد "الكهروسلبية-المعدنية"، حيث امتلكت الفلزات القلوية قيماً سالبة بينما امتلكت الهالوجينات قيماً موجبة، مما يعكس كهروسلبية باولينج دون إشراف صريح.
  • دوال التنشيط: تقاربت دوال التنشيط المتعلمة (B-spline) نحو أشكال مستقرة وقابلة للتفسير، حيث التقطت العلاقات غير الخطية بين التركيب والخصائص.
• تشبع التعلم:
  • فجوة النطاق ودالة الشغل: وصل الأداء إلى حالة التشبع عند بنيات محددة ($[7, 15, 1]$ و $[6, 13, 1]$ على التوالي)، مما يشير إلى أن الشبكة قد استخلصت جميع المعلومات القابلة للتعلم من التركيب.
  • طاقة التكوين: أظهرت تحسناً مستمراً مع زيادة حجم النموذج، مما يشير إلى أن هذه الخاصية تنطوي على تفاعلات أكثر تعقيداً بين الأجسام وتفاعلات طويلة المدى تتطلب سعة نموذج أعلى.

5. الأهمية والآفاق المستقبلية

• تحول في النموذج الفكري: تؤسس EWKAN لنموذج جديد لـ المعلوماتية المادية القائمة على الكيمياء والشفافة. فهي تجسر الفجوة بين الأداء التنبئي والفهم العلمي، منتقلة من التنبؤ بـ "الصندوق الأسود" إلى الاكتشاف "القابل للتفسير".
• كفاءة البيانات: القدرة على تحقيق دقة عالية بأقل عدد من المعلمات تجعل هذه النماذج مناسبة للبيئات محدودة الموارد والحوسبة الطرفية (edge computing).
• القيود والعمل المستقبلي: لا يمكن للنهج الحالي المعتمد على التركيب فقط التمييز بين التماثل في الصيغة الكيميائية (مثل الجرافيت مقابل الماس، اللذين يتشاركان في الصيغة C ولكن يختلفان في الهيكل). يشير المؤلفون إلى أن هذا يمثل قصوراً في تمثيل المدخلات، وليس في بنية KAN نفسها. سيركز العمل المستقبلي على دمج الواصفات الهيكلية (مثل المجموعات الفراغية، وبيئات التنسيق) في إطار عمل KAN لحل حالات التماثل هذه وتمكين التصميم العكسي.

ختاماً، يثبت هذا العمل أن شبكات كولدوغوروف-أرنولد (KAN) هي أداة قوية لعلوم المواد، قادرة على استعادة القوانين الفيزيائية الأساسية من البيانات بشكل مستقل، مع توفير نافذة شفافة على الآليات الكيميائية التي تحكم خصائص المواد.