🔬 materials science

Scale-Dependent Input Representation and Confidence Estimation for LLMs in Materials Property Prediction

تُظهر هذه الدراسة أن تمثيلات المدخلات المثلى للتنبؤ بخصائص المواد تعتمد على حجم النماذج اللغوية الكبيرة، حيث تناسب التنسيقات الموجزة النماذج الأصغر بينما تستفيد الأوصاف التفصيلية من النماذج الأكبر، مع إثبات أن متوسط السلب اللوغاريتمي للاحتمالية يعد مقياساً فعالاً للثقة لا يتطلب تدريباً للنماذج التي خضعت لضبط دقيق.

المؤلفون الأصليون: Shuichiro Ozawa, Izumi Takahara, Teruyasu Mizoguchi

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shuichiro Ozawa, Izumi Takahara, Teruyasu Mizoguchi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم كمبيوتر تخمين خصائص مادة جديدة، مثل مقدار الطاقة اللازمة لبنائها أو مدى جودة توصيلها للكهرباء. هذه الورقة البحثية تشبه دليلًا إرشاديًا لكيفية فهم "الأدمغة" (نماذج الذكاء الاصطناعي) ذات الأحجام المختلفة للتعليمات التي تعطيها لها بأفضل طريقة ممكنة.

إليك قصة ما وجده الباحثون، مقسمة إلى مفاهيم بسيطة:

١. الدماغان: طفل دارج مقابل بروفيسور

اختبر الباحثون نسختين من ذكاء اصطناعي يسمى "Llama":

نموذج 1B (الطفل الدارج): دماغ أصغر وأبسط.
نموذج 8B (البروفيسور): دماغ أكبر وأكثر تعقيدًا مع معرفة أوسع.

أرادوا معرفة ما إذا كان حجم الدماغ يغير كيفية تعليمه. لقد أعطوا هذه النماذج خمس طرق مختلفة لوصف المادة (مثل البلورة):
١. بطاقة الوصفة: مجرد قائمة بالمكونات (التركيب الكيميائي).
٢. العنوان الرئيسي: ملخص قصير يتضمن المكونات و"شكل" المادة أو تناظرها (ملخص البلورة).
٣. الجولة المحلية: وصف لكيفية تلاحم الذرات مع بعضها البعض في مكان قريب (البيئة المحلية).
٤. الرواية الكاملة: قصة طويلة ومفصلة تصف الهيكل بأكمله (الوصف الكامل).
٥. المخططات الهندسية: ملف تقني خام مليء بالأرقام والإحداثيات (CIF).

٢. درس "القصير مقابل الطويل"

الاكتشاف الأكبر هو أن "المقاس الواحد لا يناسب الجميع".

بالنسبة للطفل الدارج (نموذج 1B): كان يرتبك من القصص الطويلة. عندما كنت تعطيه "الرواية الكاملة" أو "المخططات الهندسية" المعقدة، كان يتعثر. كان يعمل بشكل أفضل عندما تعطيه "بطاقة الوصفة" أو "العنوان الرئيسي". كان يحتاج إلى حقائق قصيرة وموجزة لإنجاز المهمة بشكل صحيح.
بالنسبة للبروفيسور (نموذج 8B): هذا الدماغ أحب التفاصيل. عندما كنت تعطيه "الرواية الكاملة"، كان أداؤه في الواقع أفضل مما كان عليه مع الملخصات القصيرة. كان بإمكانه قراءة الأوصاف الطويلة والمعقدة واستخراج الإشارات الدقيقة التي يحتاجها لتقديم تخمين رائع. ومع ذلك، حتى البروفيسور واجه بعض الصعوبة مع "المخططات الهندسية" (الملفات التقنية)، مما يشير إلى أن اللغة الطبيعية (الكلمات) لا تزال أسهل لهذه الأدمغة الاصطناعية من فهم الأكواد الخام.

القاعدة الذهبية: إذا كان لديك ذكاء اصطناعي صغير، فاجعل تعليماتك قصيرة. وإذا كان لديك ذكاء اصطناي كبير، فيمكنك إعطاؤه قصة مفصلة.

٣. سحر "التناظر"

تبين أن مكونًا واحدًا في التعليمات كان بمثابة قوة خارقة لكل من الطفل الدارج والبروفيسور: وهو التناظر.

تخيل أن لديك شكلين مختلفين مصنوعين من نفس قطع الليجو. إذا أخبرت الذكاء الاصطناعي فقط "إنه مصنوع من قطع حمراء وزرقاء"، فلن يستطيع التمييز بين الأشكال. ولكن إذا أضفت "العنوان الرئيسي" الذي يقول "إنه شكل مربع"، فسيعرف الذكاء الاصطناعي الفرق فجأة. وجدت الورقة أن تضمين معلومات عن تناظر المادة (شكلها/مجموعتها) ساعد كلا النموذجين على تخمين الخصائص بدقة أكبر بكثير من مجرد سرد المكونات.

٤. "مقياس الثقة" (كيف تعرف ما إذا كان الذكاء الاصطناعي يخمن)

السؤال الكبير الثاني هو: كيف نعرف ما إذا كان الذكاء الاصطناعي واثقًا في إجابته، أم أنه يختلقها فقط؟

في عالم الذكاء الاصطناعي، هناك رقم يسمى NLL (الاحتمالية السلبية اللوغاريتمية). فكر في هذا كـ "مقياس ثقة" داخلي للذكاء الاصطناعي.

NLL منخفض: الذكاء الاصطناعي متأكد جدًا من إجابته.
NLL مرتفع: الذكاء الاصطناعي غير متأكد أو يخمن.

الفخ:

قبل التدريب: عندما كان مجرد نموذج "أساسي" (لم يتم تعليمه بعد عن المواد)، كان مقياس الثقة هذا معطلًا. كان يقول "أنا متأكد تمامًا!" حتى عندما كان مخطئًا تمامًا.
بعد التدريب: بمجرد "ضبطه" (تدريبه) باستخدام طريقة خاصة تسمى LoRA، بدأ المقياس في العمل! لقد وجدوا نمطًا واضحًا: عندما يكون مقياس الثقة الخاص بالذكاء الاصطناعي مرتفعًا (NLL منخفض)، تكون إجاباته عادةً صحيحة.

هذا يعني أنه بعد التدريب، يمكنك النظر إلى درجة الثقة الداخلية للذكاء الاصطناعي لتقرر ما إذا كان يمكنك الوثوق بتوقعه. إذا كانت الدرجة منخفضة (عدم يقين مرتفع)، يمكنك تجاهل تلك الإجابة وتوفير نفسك من التخمين السيئ.

٥. المقايضة: السرعة مقابل الدقة

لاحظت الورقة أيضًا جانبًا عمليًا سلبيًا. بينما تعد نماذج الذكاء الاصطنا هذه ذكية ومرنة، إلا أنها بطيئة.

يمكن لبرنامج حاسوبي متخصص تقليدي (مثل الشبكة العصبية الرسومية) فحص 10,000 مادة في حوالي دقيقة واحدة.
استغرقت هذه النماذج من الذكاء الاصطناعي عدة ساعات للقيام بنفس المهمة.

الملخص

تعلمنا هذه الورقة أنه عند استخدام الذكاء الاصطناي للتنبؤ بخصائص المواد:

طابق المدخلات مع النموذج: لا تعطِ ذكاءً اصطناعيًا صغيرًا قصة طويلة؛ بل أعطه ملخصًا. وأعطِ الذكاء الاصطناي الكبير القصة الكاملة.
تضمين التناظر: إخبار الذكاء الاصطناعي عن شكل المادة يساعده على التخمين بشكل أفضل.
درّب أولاً، ثم ثق: يجب عليك تعليم الذكاء الاصطناعي عن المواد قبل أن تتمكن من الوثوق بـ "مقياس الثقة" الخاص به. بمجرد تدريبه، يعد هذا المقياس أداة رائعة لتصفية التخمينات السيئة.

لم يدّع الباحثون أن هذا جاهز لاستبدال جميع الأدوات الحالية فورًا (بسبب البطء في السرعة)، لكنهم أظهروا أنه مع الإعداد الصحيح، يمكن لهذه النماذج المرنة من الذكاء الاصطناعي أن تكون أدوات فعالة وواعية بذاتها للعلماء.

ملخص تقني: تمثيل المدخلات المعتمد على المقياس وتقدير الثقة للنماذج اللغوية الكبيرة في التنبؤ بخصائص المواد

بيان المشكلة

بينما يتم تطبيق النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في علم المواد لمهام مثل التنبؤ بالخصائص، لا يزال هناك تحديان حاسمان لم يتم حلهما:

تمثيل المدخلات مقابل مقياس النموذج: من غير الواضح كيف يعتمد التمثيل الأمثل للمدخلات (مثل التركيب الكيميائي، أو الأوصاف باللغة الطبيعية، أو الملفات المهيكلة) على مقياس النموذج وحالة الضبط الدقيق له. تستخدم الدراسات السابقة تنسيقات وأحجام نماذج متنوعة، مما يجعل المقارنة المنهجية أمراً صعباً.
تقدير الثقة: تفتقر الأبحاث إلى طرق موثوقة لتقييم ثقة التنبؤات التي تولدها النماذج اللغوية الكبيرة للخصائص. تتطلب طرق تقدير عدم اليقين (UQ) الحالية للشبكات العصبية الرسومية (GNNs) غالباً أعباء نمذجة إضافية. وبينما توفر النماذج اللغوية الكبيرة بشكل طبيعي احتمالات على مستوى الرمز (اللوغاريتم الطبيعي السالب - NLL)، إلا أن قابليتها كمعيار للثقة في التنبؤ بالخصائص الرقمية لم تُتحقق بعد.

المنهجية

تجري الدراسة تجارب منهجية باستخدام مجموعة بيانات LLM4Mat-Bench (المستمدة من Materials Project)، مع التركيز على خاصيتين مستهدفتين: طاقة التكوين لكل ذرة وفجوة النطاق (bandgap).

النماذج: تم استخدام نموذجي Llama بمقاييس مختلفة: Llama-3.2-1B-Instruct و Llama-3.1-8B-Instruct. تم تقييم كل منهما في حالتيته الأساسية (المدربة مسبقاً فقط) وحالة الضبط الدقيق.
الضبط الدقيق: تم ضبط النماذج باستخدام تقنية Low-Rank Adaptation (LoRA) المطبقة على طبقات الإسقاط الاستعلامي والقيمي (الرتبة $r=32$ ، عامل القياس $\alpha=64$ ). أُجري التدريب لمدة 6 حقبات (epochs) بمعدل تعلم قدره $1 \times 10^{-4}$ .
تمثيلات المدخلات: تم إنشاء خمسة أنماط مدخلات متميزة لكل عينة:
1. التركيب (Composition): الصيغة الكيميائية فقط.
2. ملخص البلورة (Crystal Summary): الجملة الاستهلالية من الوصف باللغة الطبيعية (تتضمن التركيب والمجموعة الفراغية).
3. البيئة المحلية (Local Environment): النص الوصفي المتبقي باستثناء جملة الملخص.
4. الوصف الكامل (Full Description): النص الكامل باللغة الطبيعية.
5. ملف CIF: سلاسل ملفات المعلومات البلورية الخام.
مقاييس التقييم:
- الدقة: متوسط الخطأ المطلق (MAE) وجذر متوسط مربع الخطأ (RMSE) بين القيم المتوقعة والحقيقية.
- الثقة: متوسط اللوغاريتم الطبيعي السالب (Mean NLL) للرموز (tokens) المقابلة للقيم الرقمية المتوقعة. وتحديداً، تركز الدراسة على الجزء الصحيح من السلسلة الرقمية لتجنب الضوضاء الناتجة عن تجزئة الكسور.
- التصفية (Filtering): تم اختبار استراتيجية "تصفية NLL"، حيث يتم استبعاد التنبؤات التي يتجاوز فيها متوسط NLL عتبة معينة لتحسين موثوقية المجموعة المتبقية.

النتائج الرئيسية

1. تمثيل المدخلات المعتمد على المقياس

يعتمد تمثيل المدخلات الأمثل بقوة على مقياس النموذج:

نموذج 1B (المقياس الصغير): يعمل بشكل أفضل مع التمثيلات الموجزة (التركيب وملخص البلورة). ومع زيادة طول المدخلات وتعقيدها (مثل الوصف الكامل أو البيئة المحلية)، يزدة متوسط الخطأ المطلق (MAE)، وتزداد عدم الاستقرار في التدريب (التباين عبر البذور/seeds). يعاني نموذج 1B في ربط النصوص الطويلة أو بيانات CIF المهيكلة بخصائص فيزيائية دقيقة.
نموذج 8B (المقياس الكبير): يُظهر متانة تجاه المدخلات التفصيلية. بالنسبة لطاقة التكوين، يحقق نموذج 8B أقل MAE مع الوصف الكامل، مستفيداً من فهمه المسبق للغة الطبيعية لاستخراج الميزات الهيكلية الدقيقة.
معلومات التماثل: عبر كلا مقياسي النماذج، يتفوق ملخص البلورة (الذي يتضمن معلومات المجموعة الفراغية) باستمرار على مدخلات التركيب فقط. يشير هذا إلى أن واصفات التماثل تعمل كميزات قوية تساعد في تمييز المتعددات الشكلية (polymorphs) وتنشيط المعرفة البلورية المضمنة في النموذج اللغوي.
أداء CIF: بينما يمكن لنموذج 8B تفسير بيانات CIF، فإن الأوصاف باللغة الطبيعية تعطي عموماً نتائج أكثر دقة، مما يشير إلى أن التمثيلات الداخلية للنماذج اللغوية الكبيرة أكثر توافقاً مع اللغة الطبيعية من بيانات الإحداثيات الخام.

2. تقدير الثقة عبر متوسط NLL

النماذج الأساسية: لا يوجد ارتباط واضح بين متوسط NLL وخطأ التنبؤ. تحدث أخطاء كبيرة حتى عند قيم NLL المنخفضة، مما يشيد بأن الاحتمالات المدربة مسبقاً تعكس الانحيازات بدلاً من العلاقات المتعلقة بخصائص المواد.
النماذج المضبوطة دقيقاً: يظهر اتجاه ثابت حيث يرتبط انخفاض متوسط NLL بصغر أخطاء التنبؤ. وهذا الارتباط يظل قائماً عبر مقاييس النماذج وتمثيلات المدخلات المختلفة.
تصفية NLL: من خلال تطبيق عتبة على متوسط NLL (استبعاد التنبؤات ذات NLL العالي)، ينخفض MAE للتنبؤات المتبقية بشكل كبير دون المستوى المرجعي. يثبت هذا أن متوسط NLL يعمل كمؤشر ثقة عملي لا يتطلب تدريباً إضافياً للنماذج المضبوطة دقيقاً.
نطاق الرمز (Token Scope): وجدت الدراسة أن قصر حساب NLL على الجزء الصحيح من القيمة الرقمية هو أكثر موثوقية من تضمين الكسور، لأن الأخيرة تسبب ضوضاء بسبب غموض التجزئة (tokenization).

المساهمات الرئيسية

التحليل المنهجي للمقياس والتمثيل: تؤسس الدراسة لضرورة تصميم المدخلات بما يتناسب مع سعة النموذج. فالمدخلات الموجزة هي الأمثل للنماذج الصغيرة (1B)، بينما تستفيد النماذج الأكبر (8B) من الأوصاف التفصيلية باللغة الطبيعية.
التحقق من ميزات التماثل: تثبت الدراسة أن تضمين معلومات المجموعة الفراغية في ملخصات المدخلات هو عامل حاسم لتحسين دقة التنبؤ عبر مقاييس النماذج المختلفة.
مؤشر الثقة للنماذج اللغبية الكبيرة: تقدم الورقة دليلاً على أن متوسط NLL للرموز الرقمية يمكن أن يعمل كمقياس ثقة فعال للتنبؤ بخصائص المواد، ولكن فقط بعد عملية الضبط الدقيق للمهام. يوفر هذا بديلاً فعالاً من الناحية الحسابية لطرق تقدير عدم اليقين المعقدة.

الأهمية والقيود

يزعم المؤلفون أن هذه النتائج توفر إرشادات عملية لتصميم تمثيلات المدخلات وتقييم موثوقية التنبؤ في مجال المعلوماتية المادية المعتمدة على النماذج اللغوية الكبيرة. إن القدرة على تصفية التنبؤات بناءً على درجات الثقة الداخلية (متوسط NLL) تسمح بنشر أكثر موثوقية دون أعباء تدريب إضافية.

القيود التي أقر بها المؤلفون:

نطاق النماذج: يقتصر التحليل على نماذج 1B و 8B؛ ويتطلب التعميم على مقايسات أكبر (مثل 70B) مزيداً من الاستقصاء.
نطاق الخصائص: النتائج محددة لطاقة التكوين وفجوة النطاق؛ وقد تسلك خصائص أخرى سلوكاً مختلفاً.
التكلفة الحسابية: استدلال النماذج اللغوية الكبيرة أبطأ بكثير (ساعات مقابل ثوانٍ للشبكات العصبية الرسومية مثل CGCNN) ويتطلب ذاكرة GPU كبيرة، مما يحد من قابليتها للتوسع الفوري في المسح عالي الإنتاجية مقارنة بالنماذج المتخصصة.
خصوصية البنية: النتائج خاصة بسلسلة Llama 3؛ ويجب التحقق من صحتها على بنيات أخرى.
الطبيعة الاستكشافية: تعتمد تصفية العتبة على ملاحظات مجموعة الاختبار؛ ويتطلب النشر العملي اختيار العتبة بناءً على مجموعة تحقق (validation set) مستقلة.

تخلص الدراسة إلى أنه بينما قد لا تتفوق النماذج اللغوية الكبيرة بعد على الشبكات العصبية الرسومية (GNNs) المتخصصة في الدقة الخام لمهام معينة، فإن مرونتها في تصميم المدخلات وإمكانية تطبيقها في مهام متعددة دون بنيات خاصة تمثل مزايا عملية كبيرة.