Natural Language Embeddings of Synthesis and Testing conditions Enhance Glass Dissolution Prediction

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "التمثيلات اللغوية الطبيعية لظروف التصنيع والاختبار تعزز التنبؤ بذوبان الزجاج".

1. بيان المشكلة

تعد المتانة الكيميائية طويلة الأمد للزجاج أمراً بالغ الأهمية لتثبيت النفايات النووية. ومع ذلك، فإن التنبؤ بمعدلات ذوبان الزجاج يمثل تحدياً معقداً بسبب التفاعل بين:

• العوامل الجوهرية: تركيب الزجاج (العناصر الكيميائية ونسبها).
• العوامل الخارجية: طرق التصنيع، وظروف الاختبار (درجة الحروا، الأس الهيدروجيني pH، الضغط، والترشيح الساكن مقابل الديناميكي)، والهندسة السطحية.

تواجه النماذج الحالية عقبتين رئيسيتين:

1. النماذج الميكانيكية/القائمة على الفيزياء (مثل نموذج GRAAL): تجد صعوبة في مراعاة مجموعة واسعة من المساحات التركيبية وظروف عدم التوازن دون ضبط تجريبي مكثف.
2. نماذج تعلم الآلة التقليدية (ML): تعتمد عادةً على البيانات الرقمية الجدولية (التركيب، الأس الهيدروجيني، درجة الحرارة) ولكنها تتجاهل البيانات النصية غير المهيكلة المتعلقة ببروتوكولات التصنيع والاختبار. يؤدي هذا إلى:
   • ضعف القدرة على التعميم: تفشل النماذج عند التنبؤ لتركيبات زجاجية تحتوي على عناصر غير موجودة في بيانات التدريب.
   • العمى عن البيانات: تفتقر هذه النماذج إلى السياق الحرج المقدم من المنهجيات التجريبية الموجودة في نصوص الأدبيات العلمية.

2. المنهجية

يقترح المؤلفون إطار عمل متكاملاً يدمج معالجة اللغات الطبيعية (NLP) مع تعلم الآلة (ML)، حيث يدمج التمثيلات اللغوية للبيانات النصية غير المهيكلة مع الميزات الرقمية للتنبؤ بمعدلات ذوبان الزجاج.

أ. تجميع مجموعة البيانات

• المصدر: حوالي 693 نقطة بيانات تم تجميعها يدوياً من أكثر من 17 بحثاً منشوراً.
• الميزات:
  • الرقمية: تركيب الزجاج (نسبة مئوية مولية لـ 53 مكوناً فريداً)، الأس الهيدروجيني (1–13)، ودرجة الحرارة (4 مئوية – 300 مئوية).
  • النصية: الإجراءات التجريبية المستخرجة من أقسام "الطرق" (Methods) في الأوراق البحثية (مثل: المعالجة الحرارية، الطحن، التنظيف، أنواع المفاعلات، ظروف الضغط).
• المعالجة المسبقة:
  • تمت معالجة البيانات الرقمية (Normalization) وإزالة القيم المتطرفة.
    គេ استخدام نموذج MatSciBERT (وهو نموذج BERT متخصص في علوم المواد) لترميز البيانات النصية، مما أنتج تمثيلات (Embeddings) بأبعاد 768.
  • تقليل الأبعاد: نظراً للأبعاد العالية للتمثيلات، تم استخدام تقنية UMAP (تقريب وإسقاط المانيفولد الموحد) لتقليل أبعاد الميزات النصية إلى بُعد أقل ($x < 768$).
  • اختيار الميزات: تم تحديد العدد الأمثل للمكونات المختزلة باستخدام درجة الموثوقية (Trustworthiness score) (الهدف $\ge 0.7$) لضمان الحفاظ على علاقات الجوار المحلية في فضاء التمثيل. وقد وُجد أن العدد الأمثل للمكونات المستبقاة هو 10.

ب. بنيات النماذج

تم تطوير ومقارنة نهجين رئيسيين للنمذجة:

1. نموذج (NLP-ML) القائم على التركيب: المدخلات = تركيب الزجاج + الأس الهيدروجيني + درجة الحرارة + التمثيلات اللغوية (NLP Embeddings).
2. نموذج (NLP-ML) القائم على الواصفات (Descriptors): المدخلات = الواصفات الفيزيائية/الكيميائية (المستمدة من التركيب) + الأس الهيدروجيني + درجة الحرارة + التمثيلات اللغية.
   • الواصفات: 12 واصفاً يدوياً يعتمد على الخصائص الذرية (الكتلة، نصف القطر، التكافؤ)، مكونات الشبكة/المعدلات، وتوزيع الشحنة. يهدف هذا التحويل إلى تمكين النموذج من الاستقراء (Extrapolation) لعناصر كيميائية غير مرئية.

ج. الخوارزميات والتدريب

• الخوارزميات: الشبكة العصبية متعددة الطبقات (MLP) وخوارزمية XGBoost. تم اختيار MLP كنموذج نهائي نظراً لقدرتها الفائقة على التقاط التفاعلات غير الخطية بين ميزات NLP عالية الأبعاد والبيانات الرقمية.
• التدريب: تقسيم 80/20 للتدريب والاختبار، تحقق تبادلي بعشر طيات (10-fold cross-validation)، وتحسين المعلمات الفائقة باستخدام Optuna (التحسين البايزي).
• القابلية للتفسير: تم استخدام SHAP (تفسيرات شابلّي المضافة) لتحليل أهمية الميزات وفهم عملية اتخاذ القرار في النموذج.

3. المساهمات الرئيسية

1. دمج البيانات غير المهيكلة: إثبات أن دمج التمثيلات اللغوية لظروف التصنيع والاختبار يعزز بشكل كبير دقة التنبؤ مقارنة بالنماذج التي تستخدم البيانات الرقمية فقط.
2. نموذج قائم على الواصفات قابل للتعميم: تطوير نموذج يحول التركيبات الكيميائية المحددة إلى واصفات فيزيائية/كيميائية أساسية، مما يسمح للنموذج بالتنبؤ بمعدلات الذوبان لتركيبات زجاجية تحتوي على عناصر غائبة تماماً عن بيانات التدريب (التعميم خارج نطاق التوزيع).
3. خط معالجة لغوية متخصص في المجال: إنشاء خط معالجة قوي يستخدم MatSciBERT و UMAP لتحويل النصوص التجريبية المعقدة إلى ميزات كمية مناسبة لتعلم الآلة.
4. القابلية للتفسير: استخدام SHAP للتحقق من أن النموذج يتعلم علاقات متسقة فيزيائياً (مثل: زيادة $SiO_2$ تؤدي إلى تقليل الذوبان) وقياس مدى مساهمة الميزات النصية.

4. النتائج

• الأداء التنبئي:
  • تفوق نموذج (NLP-ML) القائم على التركيب بشكل كبير على نموذج ML القياسي (القائم على التركيب فقط)، حيث حقق معامل تحديد ($R^2$) قدره 0.823 مقارنة بالنتائج الأقل للنموذج المرجعي.
  • أظهر نموذج (NLP-ML) أداءً فائقاً في التنبؤ بمعدلات الذوبان القصوى (المعدلات المنخفضة جداً $< 10^{-5}$ جم/م²/يوم) حيث فشلت النماذج القياسية.
  • حقق نموذج (NLP-ML) القائم على الواصفات أداءً مقارباً للنموذج القائم على التركيب، مما يثبت أن الواصفات تلتقط المعلومات الهيكلية بفعالية.
• التعميم (اختبار خارج نطاق التوزيع):
  • تم اختبار النموذج على مجموعة بيانات جديدة تماماً (32 نقطة) تشمل الزجاج البسيط الدولي (ISG) وزجاج النفايات الياباني (P0798).
  • تحليل مسافة جاكارد (Jaccard Distance): احتوى زجاج P0798 على 34 مكوناً كيميائياً، وهو ما يتجاوز أقصى تعقيد (28 مكوناً) في مجموعة التدريب، كما احتوى على عناصر لم تظهر أثناء التدريب.
  • النتيجة: نجح نموذج (NLP-ML) القائم على الواصفات في التنبؤ بمعدلات الذوبان لهذه التركيبات غير المرئية بمعامل تحديد ($R^2$) قدره 0.784، مما أظهر قدرات استقراء قوية.
• أهمية الميزات (SHAP):
  • صُنفت الميزات النصية ضمن أهم 20 ميزة، مما يؤكد دورها الحاسم.
  • الاتساق الفيزيائي: حدد النموذج بشكل صحيح أن ارتفاع نسبة $SiO_2$ (مكون الشبكة) يقلل الذوبان، بينما تزيد $Na_2O/CaO$ (المعدلات) منه. كما تم تحديد درجة الحرارة والأس الهيدروجيني كعوامل مؤثرة للغاية.

5. الأهمية

• تسريع الاكتشاف: يوفر هذا الإطار مساراً لفحص وتصميم تركيبات زجاج جديدة ذات متانة مخصصة لإدارة النفايات النووية بسرعة، مما يقلل الاعتماد على التجارب المخبرية المكلفة والمستهلكة للوقت.
• سد فجوة البيانات: يعالج هذا الإطار مشكلة "الصندوق الأسود" في تعلم الآلة التقليدي عبر الاستفادة من المعرفة الغنية وغير المهيكلة المضمنة في الأدبيات العلمية، والتي غالباً ما يتم تجاهلها في مجموعات البيانات الجدولية.
• القابلية للتوسع: يقدم النهج القائم على الواصفات حلاً لمشكلة "ندرة البيانات" في علم المواد، مما يتيح التنبؤ بخصائص المواد التي لم يتم تصنيعها أو اختبارها من قبل.
• قابلية التطبيق الواسع: لا تقتهصر منهجية العمل هذه على ذوبان الزجاج فحسب؛ بل يمكن تكييفها للتنبؤ بخصائص مواد معقدة أخرى (مثل اللزوجة، أو القدرة على تكوين الزجاج) التي تتأثر بشدة بظروف المعالجة والاختبار.