Regression with Large Language Models for Materials and Molecular Property Prediction
تُثبت هذه الورقة أن نماذج LLaMA 3 التي تم ضبطها بدقة، باستخدام سلاسل مدخلات قائمة على التركيب فقط، يمكنها التنبؤ بخصائص الجزيئات والمواد بفعالية ودقة تضاهي نماذج التعلم الآلي القياسية على مجموعة بيانات QM9 وتتفوق على GPT-3.5 وGPT-4o، مما يبرز قدرة النماذج اللغوية الكبيرة على تجاوز تطبيقاتها التقليدية ومعالجة الظواهر الفيزيائية المعقدة في علم المواد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوت أمين مكتبة فائق الذكاء يُدعى LLaMA. لسنوات، اشتهر هذا الأمين بشيء واحد فقط: قراءة الكتب، وكتابة القصص، وترجمة اللغات، والدردشة مع الناس. إنه سيد الكلمات.
ولكن ماذا لو طلبت من هذا الروبوت المحب للكلمات القيام بشيء مختلف تماماً؟ ماذا لو طلبت منه أن يعمل كـ عالم ويتنبأ بالخصائص الفيزيائية للمواد—مثل مدى قوة معدن ما، أو مدى جودة توصيل بطارية للكهرباء، أو مقدار الطاقة التي تحملها جزيئة ما؟
هذه الورقة البحثية هي قصة تجربة حاول فيها الباحثون تحويل LLaMA من "ساحر كلمات" إلى "متنبئ علمي".
التجربة الكبرى: هل يمكن للأمين أن يتقن الرياضيات؟
عادةً، للتنبؤ بكيفية سلوك المادة، يستخدم العلماء نماذج رياضية معقدة تحتاج إلى "مخطط" تفصيلي للغاية للمادة. إنهم يحتاجون لمعرفة مكان كل ذرة بالضبط، مثل خريطة ثلاثية الأبعاد لمدينة.
لكن الباحثين أرادوا معرفة ما إذا كان بإمكان LLaMA القيام بذلك باستخدام الاسم فقط.
- المدخلات: بدلاً من الخريطة ثلاثية الأبعاد، أعطوا LLaMA سلسلة نصية فقط. بالنسبة للمعدن، كانت مجرد الوصفة الكيميائية (مثلاً: "Al2O3"). وبالنسبة للجزيء، كان رمزاً نصياً يسمى SMILES (وهو بمثابة وصفة مختصرة لكيفية اتصال الذرات ببعضها).
- المهمة: طلبوا من LLaMA قراءة تلك السلسلة النصية وتخمين رقم (مثل "هذا المعدن سينصهر عند 1200 درجة").
النتائج: "الجيد، والأفضل، والأفضل على الإطلاق"
إليك كيف كان أداء LLaMA، باستخدام بعض التشبيهات البسيطة:
1. محاولة "الصفر المعرفي" (الأمين غير المدرب)
أولاً، طلبوا من LLaMA التخمين دون أي تدريب. كانت النتيجة كارثية. اكتفى الأمين بالنظر بفراغ، أو لم يقل شيئاً، أو خمن أرقاماً عشوائية مثل "-1000 درجة".
- الدرس المستفاد: لا يمكنك فقط أن تطلب من خبير كلمات أن يقوم بعلم دون تعليمه القواعد أولاً.
2. محاولة "الضبط الدقيق" (الأمين المدرب)
بعد ذلك، قاموا بـ "ضبط دقيق" لـ LLaMA. تخيل إطعامه آلاف الأمثلة: "هذه هي النص 'Al2O3'، وهذا هو الجواب الصحيح: 'درجة الانصهار هي 2072 درجة مئوية'". فعلوا ذلك لمئات الآلاف من الأمثلة.
- النتيجة: أصبح LLaMA جيداً حقاً! بدأ يتنبأ بالأرقام بدقة مذهلة.
- المقارنة:
- مقابل التخمين العشوائي: سحق LLaMA التخمين العشوائي.
- مقابل النماذج الحاسوبية القياسية (الغابات العشوائية - Random Forests): كان LLaMA منافساً. لقد كان في كثير من الأحيان بنفس جودة، أو أفضل قليلاً من، النماذج الحاسوبية القياسية التي استُخدمت لسنوات.
- مقابل "العلماء الخارقين" (أحدث تقنيات الذكاء الاصطناعي - State-of-the-Art): هنا تعثر LLaMA. أفضل نماذج الذكاء الاصطناعي في العالم (مثل PAMNet) تستخدم تلك الخرائط ثلاثية الأبعاد المفصلة للذرات. ولأن LLaMA امتلك فقط "الوصفة النصية" وليس "الخريطة ثلاثية الأبعاد"، فقد كان أقل دقة بنحو 5 إلى 10 مرات من العلماء الخارقين.
3. الجدل حول "تنسيق النص" (SMILES مقابل InChI)
حاول الباحثون إعطاء LLaMA أنواعاً مختلفة من الوصفات النصية.
- SMILES: رمز نصي قصير وبسيط.
- InChI: رمز نصي أطول وأكثر تعقيداً.
- الفائز: تعلم LLaMA بشكل أسرع وأفضل باستخدام SMILES. الأمر يشبه محاولة تعلم وصفة من قائمة مكونات قصيرة وموجزة (SMILES) مقابل فقرة قانونية طويلة ومعقدة (InChI). النص الأقصر والأبسط كان أسهل في الفهم بالنسبة للروبوت.
4. اختبار "الإحداثيات" (إعطاء الخريطة ثلاثية الأبعاد)
حاولوا إعطاء LLaMA الإحداثيات ثلاثية الأبعاد الكاملة للذرات (المخطط التفصيلي) لمعرفة ما إذا كان ذلك سيساعد.
- المفاجأة: لم يساعد كثيراً! حتى مع الخريطة ثلاثية الأبعاد الكاملة، لم يتحسن LLaMA بشكل ملحوظ. هذا يشير إلى أن LLaMA بارع حقاً في إيجاد الأنماط في النصوص، ولكنه قد لا يكون الأداة الأفضل لمعالجة الهندسة ثلاثية الأبعاد المعقدة بعد.
لماذا يهم هذا؟
فكر في الأمر كالتالي:
- الذكاء الاصطناعي التقليدي يشبه الميكانيكي المتخصص. إذا كنت تريد إصلاح محرك سيارة معين، فهم الأفضل. ولكن إذا أحضرت لهم محرك قارب، فقد لا يعرفون ماذا يفعلون. إنهم يحتاجون إلى أدوات محددة (بيانات تفصيلية) لكل مهمة.
- LLaMA (نموذج اللغة الكبير) يشبه المترجم العالمي. ليس لديه أدوات متخصة، لكنه يفهم لغة المشكلة. إذا استطعت وصف المادة نصياً، يمكن لـ LLaMA تعلم العلاقة بين الوصف والنتيجة.
الخلاصة:
تثبت هذه الورقة أن النماذج اللغوية الكبيرة (LLMs) متعددة الاستخدامات. فهي ليست مخصصة فقط لكتابة رسائل البريد الإلكتروني أو الدردشة؛ بل يمكنها فعلياً تعلم التنبؤ بالحقائق العلمية الفيزيائية بمجرد قراءة النصوص الوصفية.
- المزايا: لا تحتاج إلى بناء نماذج ثلاثية الأبعاد معقدة أو القيام بهندسة بيانات ثقيلة. أنت فقط بحاجة إلى الاسم النصي للمادة. إنه نهج "التوصيل والتشغيل" للعلوم.
- العيوب: هو حالياً أبطأ وأقل دقة من نماذج الذكاء الاصطناي المتخصصة "العلماء الخارقين" التي تستخدم بيانات ثلاثية الأبعاد مفصلة.
الخلاصة النهائية
يقول الباحثون: "لقد وجدنا طريقة جديدة لاستخدام روبوتات الدردشة هذه. إنهم ليسوا علماء مثاليين بعد، لكنهم جيدون بشكل مفاجئ في تخمين خصائص المواد بمجرد قراءة أسمائها. هذا يفتح الباب لاستخدام هذه الأدوات القوية والمرنة في الكيمياء وعلوم المواد، مما قد يسهل اكتشاف مواد جديدة في المستقبل".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.