Probing Materials Knowledge in LLMs: From Latent Embeddings to Reliable Predictions
تقيم هذه الدراسة ٢٥ نموذجاً لغوياً كبيراً في مهام علم المواد، كاشفةً أنه في حين يعزز الضبط الدقيق الاتساق الرمزي، تظل التنبؤات العددية غير موثوقة بسبب تباين الاستدلال و"عنق زجاجة رأس النموذج اللغوي الكبير" الذي يفضل استخراج التضمينات على المخرجات النصية، إلى جانب التقلبات الكبيرة في أداء نماذج GPT بمرور الوقت والتي تتحدى إمكانية إعادة الإنتاج العلمي.
تخيل أنك وظفت فريقًا من 25 متدربًا عبقريًا وسريع البديهة (هذه هي نماذج اللغات الكبيرة، أو LLMs) لمساعدتك في علم المواد. هدفك هو معرفة ما إذا كان بإمكانهم العمل كعلماء موثوقين: التنبؤ بمدى قوة مادة ما، أو لونها المحتمل، أو البحث عن حقائق عنها في مكتبة ضخمة.
قام الباحثون في معهد ماساتشوستس للتكنولوجيا (MIT) بإخضاع هؤلاء المتدربين لاختبار صارم للإجابة على سؤال بسيط: "هل يمكننا الوثوق بهؤلاء المتدربين من الذكاء الاصطناوي للقيام بعلم حقيقي؟"
إليك ما وجدوه، مشروحًا عبر بعض التشبيهات من الحياة اليومية.
1. نوعا المهام: "المعلومات العامة" مقابل "الرياضيات"
أعطى الباحثون المتدربين نوعين مختلفين تمامًا من الواجبات المنزلية:
مهام المعلومات العامة (الرمزية - Symbolic): "ما هو النظام البلوري الذي تنتمي إليه هذه المادة؟" أو "أكمل الفراغ: ثاني أكسيد التيتانيوم معروف بكونه ______."
المهام الرياضية (العددية - Numerical): "تنبأ بفجوة الطاقة الدقيقة لهذه المادة" أو "احسب ثابت العزل الكهربائي."
الاكتشاف الكبير: يتصرف الذكاء الاصطناعي بشكل مختلف تمامًا اعتمادًا على نوع الواجب الذي يقوم به.
بالنسبة للمعلومات العامة (المهام الرمزية): "الطالب المرتبك"
قبل التدريب: كانت نماذج الذكاء الاصطناعي الخام تشبه الطلاب الذين لم يدرسوا الكتاب المدرسي. كانوا يخمنون عشوائيًا. إذا سألتهم نفس السؤال 10 مرات، فسيقدمون 10 إجابات مختلفة وعشوائية. كانوا غير موثوقين وغير متسقين.
بعد التدريب (الضبط الدقيق - Fine-tuning): عندما أعطاهم الباحثون مواد دراسية محددة (الضبط الدقيق)، "فهم" الطلاب الأمر فجأة. توقفوا عن التخمين العشوائي وبدأوا في تقديم نفس الإجابة الصحيحة في كل مرة.
الدرس المستفاد: بالنسبة للحقائق والفئات، فإن التدريب يعمل مفعول السحر. فهو يحول المخمن المرتبك إلى مدقق حقائق موثوق.
بالنسبة للرياضيات (المهام العددية): "الكاذب الواثق"
قبل التدريب: هذا هو الجزء المخيف. لم تكن نماذج الذكاء الاصطناعي الخام تخمن عشوائيًا؛ بل كانت تخمن بدقة. إذا طلبت منها رقمًا، فستعطيك رقمًا محددًا جدًا (مثل "4.23 eV") وستعطيك نفس الرقم الخطأ تمامًا في كل مرة تسأل فيها.
المشكلة: كانوا مخطئين بثقة. لقد بدا عليهم كخبراء، لكنهم كانوا يهلوسون.
بعد التدريب: ساعدهم التدريب على الاقتراب من الرقم الصحيح، لكنهم ظلوا أحيانًا يعطون نفس الإجابة الخاطئة بثقة عالية.
الدرس المستفاد: لا يمكنك الوثوق بالذكاء الاصطناعي لمجرد أنه يبدو واثقًا من نفسه. في المهام الرياضية، قد تكون "الإجابة الواثقة" مجرد كذبة.
2. عقبة "الدماغ مقابل الفم"
قام الباحثون بشيء ذكي. لم يكتفوا بالاستماع إلى ما يقوله الذكاء الاصطناعي (المخرجات النصية)؛ بل نظروا داخل "دماغ" الذكاء الاصطناعي (طبقات البيانات الداخلية) أثناء تفكيره.
التشبيه: تخيل طالبًا يؤدي اختبارًا. إنه يعرف الإجابة في أعماق عقله، ولكن عندما يحاول كتابتها على الورقة (المخرجات النصية)، فإنه يخطئ في الخط أو ينسى الفاصلة العشرية.
النتيجة: بالنسبة لبعض الخصائص (مثل "فجوة النطاق" - bandgap)، كان دماغ الذكاء الاصطناعي يحمل في الواقع الإجابة الصحيحة تمامًا. ولكن عندما حاول الذكاء الاصطناعي التحدث بصوت عالٍ، تدهورت المعلومات.
الحل: بدلًا من طلب "كتابة مقال" يحتوي على الإجابة من الذكاء الاصطناعي، وجد الباحثون أنه يمكنهم ببساطة "قراءة عقل الطالب" (استخراج البيانات الداخلية) واستخدام آلة حاسبة بسيطة للحصول على الإجابة. كان هذا غالبًا أكثر دقة من ترك الذكاء الاصطناعي يتحدث.
العقبة: هذا لم ينجح مع جميع الخصائص. فبالنسبة لخصائص أخرى (مثل "ثابت العزل الكهربائي")، لم يكن دماغ الذكاء الاصطناعي يحمل الإجابة الصحيحة حتى، لذا فإن قراءة عقله لم تكن لتجدي نفعًا.
3. مشكلة "التحديث الصامت"
أخيرًا، تتبع الباحثون أداء نماذج "GPT" الشهيرة على مدار 18 شهرًا.
التشبيه: تخيل أنك استأجرت مدرسًا خصوصيًا لطفلك. تختبره اليوم، فيحصل على درجة "امتياز". تختبره مرة أخرى بعد ستة أشهر، فيحصل على درجة "جيد". أنت لم تغير المدرس، بل قامت شركة التدريس ببساطة باستبدال المدرس بهدوء، أو تغيير الكتاب المدرسي، دون إخبارك.
النتيجة: تقلب أداء هذه النماذج من الذكاء الاصطناعي بشكل حاد (بنسبة تتراوح بين 9% إلى 43%) بمرور الوقت. في يوم ما، قد يكون النموذج رائعًا في التنبؤ بقوة المواد؛ وفي اليوم التالي، بعد تحديث برمجيات صامت من قبل الشركة، قد يصبح سيئًا للغاية.
التحذير: إذا استخدم العلماء أدوات الذكاء الاصطناعي هذه لأبحاث طويلة الأمد، فقد لا تكون نتائجهم قابلة للتكرار لأن "الأداة" التي استخدموها بالأمس ليست هي نفس الأداة التي يستخدمونها اليوم.
ملخص: ما الذي يجب أن نستخلصه؟
ثق ولكن تحقق: إذا كان الذكاء الاصطناعي يقوم بمهمة "حقيقة"، فإن التدريب يجعله موثوقًا. أما إذا كان يقوم بمهمة "رياضيات"، فكن حذرًا جدًا — فحتى لو بدا واثقًا من نفسه، فقد يكون مخطئًا.
انظر داخل الصندوق: أحيانًا، أفضل طريقة للحصول على إجابة من الذكاء الاصطناعي ليست بسؤاله ليتحدث، بل بالنظر إلى بياناته الداخلية.
خطر "الهدف المتحرك": استخدام الذكاء الاصطناعي في العلوم أمر معقد لأن الذكاء الاصطناعي يتغير من تحت الغطاء. يحتاج العلماء إلى توثيق الإصدار الدقيق الذي استخدموه، وإلا فقد لا تصمد نتائجهم لاحقًا.
باختصار، نماذج الذكاء الاصطناعي هذه هي أدوات قوية، لكنها ليست سحرًا. لديها نقاط قوة محددة، ونقاط ضعف محددة، ويمكن أن تكون غير متوقعة بشكل مفاجئ. لاستخدامها بأمان في العلوم، نحتاج إلى فهم كيف تفكر، وليس فقط ماذا تقول.
إليك ملخص تقني مفصل لورقة البحث بعنوان: "سبر أغوار المعرفة بالمواد في النماذج اللغوية الكبيرة: من التضمينات الكامنة إلى التنبؤات الموثوقة."
1. بيان المشكلة
يتم اعتماد النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في علوم المواد لمهام تتراوح من تنقيب الأدبيات إلى التنبؤ بالخصائص. ومع ذلك، لا تزال الأسئلة الجوهرية المتعلقة بموثوقيتها، وطبيعة تشفير معرفتها، وسلوكها عبر أنماط المخرجات المختلفة دون حل. وتحديداً، يتناول المؤلفون ما يلي:
كيف يتم تشفير المعلومات في النماذج اللغوية الكبيرة وهل يختلف ذلك باختلاف نوع المهمة (رمزية أم عددية).
الآليات الكامنة وراء نجاح أو فشل الضبط الدقيق (Fine-tuning).
ما إذا كانت النماذج تمتلك فهماً حقيقياً أم أنها تتعلم مجرد أنماط إحصائية.
تأثير حجم النموذج وظاهرة "الهلوسة" على الموثوقية العلمية.
الاستقرار الزمني للنماذج القائمة على واجهة برمجة التطبيقات (API) من أجل البحث القابل للتكرار.
2. المنهجية
تقدم الدراسة تقييماً شاملاً لـ 25 نموذجاً لغوياً كبيراً (تغطي 10 عائلات معمارية، بما في ذلك Llama-2/3 وMistral ونسخ من GPT-3.5/4 وغيرها) عبر أربع مهام متميزة في علوم المواد. يغطي التقييم أكثر من 200 تكوين أساسي ومضبوط بدقة.
المهام التي تم تقييمها:
المهام الرمزية (Symbolic Tasks):
التنبؤ بروابط مخطط المعرفة (MatKG): إعادة صياغة الثلاثيات (مثل: BaTiO3, لديه خاصية, ثابت عزل كهربائي مرتفع) إلى أزواج أسئلة وأجوبة بلغة طبيعية.
تصنيف الأنظمة البلورية: تعيين الصيغ الكيميائية لأحد الأنظمة البلورية السبعة.
التنبؤ بثابت العزل الكهربائي: توليد آثار موتر العزل الكهربائي الساكن من التركيب.
التصميم التجريبي:
الضبط الدقيق (Fine-tuning): تم ضبط النماذج ذات الأوزان المفتوحة باستخدام تقنيات LoRA وQLoRA. بينما تم ضبط النماذج المملوكة عبر واجهة برمجة التطبيقات (API).
قياس الاتساق: تم حساب "إنتروبيا الاستجابة" (Response entropy) عبر 10 عمليات استدلال مستقلة لتحديد مدى اتساق المخرجات وثقتها.
السبر عبر الطبقات (Layer-wise Probing): لاستقصاء التمثيلات الداخلية، تم استخراج التضمينات (Embeddings) من طبقات المحولات (Transformer layers) المتوسطة للنماذج المضبوطة بدقة. وتم تدريب أدوات سبر خاضعة للإشراف (انحدار ريج، وشبكات عصبية أحادية أو ثنائية الطبقة) على هذه التضمينات للتنبؤ بالخصائص مباشرة، متجاوزةً رأس توليد النصوص.
الدراسة الطولية: تم تتبع أداء نماذج GPT على مدار 18 شهراً لتقييم الاستقرار الزمني والقابلية للتكرار.
3. المساهمات والنتائج الرئيسية
أ. نمط المخرجات يحدد السلوك (النتيجة الجوهرية)
تحدد الورقة عدم تماثل جوهري في كيفية سلوك النماذج اللغوية الكبيرة بناءً على نمط المخرجات:
المهام الرمزية (التصنيف/التنبؤ بالروابط):
النماذج الأساسية: تظهر إنتروبيا استجابة عالية مقترنة بـ دقة منخفضة، مما يشيد بنقص التقارب على مستوى الرموز (تخمين عشوائي).
الضبط الدقيق: يحسن الدقة بشكل كبير (زيادات بنسبة 30-60%) ويقلل الإنتروبيا (بنسبة 25-99%). يشير هذا إلى أن الضبط الدقيق يعلم النماذج التقارب نحو مخرجات موثقة ومتسقة من خلال بناء تمثيلات توزيعية للكيانات.
المهام العددية (الانحدار):
النماذج الأساسية: تظهر إنتروبيا منخفضة رغم ضعف الدقة، وهي ظاهرة أطلق عليها المؤلفون اسم "الهلوسة الواثقة". حيث تولد النماذج أرقاماً دقيقة ومتسقة ولكنها غالباً ما تكون غير صحيحة.
الضبط الدقيق: يحسن دقة التنبؤ بشكل ملحوظ (تقليل الخطأ التربيعي المتوسط RMSE) ولكنه لا يقلل الإنتروبيا باستمرار. تصبح بعض النماذج أكثر تباينًا في التنسيق مع تحسين الدقة. وهذا يعني أنه بالنسبة للمهام العددية، فإن الإنتروبيا المنخفضة ليست مؤشراً جيداً على الموثوقية؛ إذ يمكن للنماذج أن تكون مخطئة بثقة.
ب. "عنق زجاجة رأس النموذج اللغوي" (The LLM Head Bottleneck)
من خلال السبر عبر الطبقات، اكتشف المؤلفون أن التمثيلات الداخلية للنموذج تحتوي، في حالات معينة، على معلومات تنبؤية أكثر مما يمكن لمخرجاته النصية التعبير عنه.
التنبؤ بفجوة النطاق: حققت التضمينات من الطبقات المتوسطة خطأً تربيعياً متوسطاً (RMSE) مقارباً أو أفضل من مخرجات النص للنموذج الكامل المضبوط بدقة. يشير هذا إلى وجود "عنق زجاجة في رأس النموذج اللغوي" حيث تؤدي عملية التوليد ذاتية الانحدار (Autoregressive generation) إلى إضعاف دقة المعرفة العددية المشفرة.
التنبؤ بثابت العزل الكهربائي: لوحظ تباين صارخ؛ حيث كان أداء أدوات سبر التضمينات أسوأ بكثير (RMSE أعلى بـ 3 أضعاف) من توليد النصوص. يشير هذا إلى أنه بالنسبة للخصائص المعقدة والأقل تغطية بشكل منهجي، لا يمكن الوصول إلى المعرفة بسهولة عبر التضمينات الثابتة وتتطلب العملية التوليدية الكاملة.
الاستنتاج: فعالية استخراج التضمينات مقابل توليد النصوص تعتمد على الخاصية المدروسة.
ج. آليات اكتساب المعرفة
التعلم التوزيعي: في مهام MatKG، ارتبط الأداء بقوة مع تكرار ظهور الكيان عبر سياقات تدريب متنوعة، وليس مع الاستدلال الفيزيائي. تتعلم النماذج الارتباطات الإحصائية (على سبيل المثال، يرتبط PZT بالكهرباء الانضغاطية لأنها تظهر معاً في العديد من المطالبات) بدلاً من السببية الفيزيائية.
نقل المعرفة عبر المهام: لم يؤدِ الضبط الدقيق على المهام العددية (فجوة النطاق) إلى تحسين المهام الرمزية (تصنيف البلورات) بشكل ملحوظ، والعكس صحيح. يشير هذا إلى أن الاستدلال الرمزي والعددي يتطلبان تكيفات تمثيلية متميزة لا تنتقل جيداً عبر أنماط المخرجات.
حجم النموذج: بمجرد الوصول إلى حد أدنى من السعة (~7 مليار معلمة)، يكون لحجم النموذج تأثير محدود على أداء الضبط الدقيق. فالنماذج الأصغر (مثل Llama-3-8B) غالباً ما تضاهي أو تتفوق على النماذج الأكبر (مثل Llama-2-70B) بعد الضبط الدقيق.
د. عدم الاستقرار الزمني والقابلية للتكرار
كشفت دراسة طولية لنماذج GPT على مدار 18 شهراً عن انحراف كبير في الأداء:
التباين: تباين الأداء بنسبة 9-43% (في RMSE) عبر النقاط الزمنية.
السبب: تحديثات واجهة برمجة التطبيقات غير الموثقة، وتغييرات نقاط النهاية (Endpoints)، وتحولات التكميم (Quantization shifts) (على سبيل المثال، تسبب تحديث واحد لـ GPT-4o في تباين بنسبة 43%).
الاستنتاج: تشكل النماذج القائمة على API تحديات جسيمة للبحث العلمي القابل للتكرار. فالنتائج التي يتم الحصول عليها اليوم قد لا تكون قابلة للتكرار بعد أشهر دون استخدام سلاسل الإصدارات والطوابع الزمنية الدقيقة.
4. الأهمية والآثار المترتبة
إرشادات الموثوقية: بالنسبة للمهام الرمزية، تعد الإنتروبيا العالية إشارة موثوقة لعدم اليقين. أما بالنسبة للمهام العددية، فإن الإنتروبيا المنخفضة مضللة؛ إذ يمكن للنماذج أن تكون خاطئة بثقة.
التنبؤ الفعال: بالنسبة لخصائص مثل فجوة النطاق، قد يكون استخراج التضمينات واستخدام الانحدار الخفيف أكثر كفاءة من الناحية الحسابية ودقة من توليد النص الكامل، مما يتجنب "عنق زجاجة الرأس".
الممارسة العلمية: يجب على مجتمع المعلوماتية للمواد اعتماد بروتوكولات صارمة لتوثيق إصدارات النماذج وتواريخ التقييم. ولتحقيق الاستقرار طويل الأمد، يفضل استخدام النماذج ذات الأوزان المفتوحة ذات النقاط المرجعية المجمدة (Frozen Checkpoints) بدلاً من نماذج API الديناميكية.
طبيعة معرفة النماذج اللغوية الكبيرة: تعزز هذه الدراسة أن النماذج اللغوية الكبيرة الحالية في علوم المواد تعمل عبر مطابقة الأنماط الإحصائية والدلالات التوزيعية بدلاً من الاستدلال الفيزيائي الحقيقي. فهي تتفوق في استرجاع العلاقات المثبتة جيداً ولكنها تعاني مع التركيبات النادرة أو الاشتقاقات الفيزيائية المعقدة.
الخاتمة
يوفر هذا العمل إطاراً نقدياً لنشر النماذج اللغوية الكبيرة في علوم المواد، مؤكداً أن نمط المخرجات هو المحدد الأساسي لسلوك النموذج. كما يحذر من الاستخدام غير المدروس للنماذج اللغوية الكبيرة في التنبؤ الكمي بسبب "الهلوسة الواثقة" وعدم الاستقرار الزمني، بينما يقدم مساراً لتحسين الموثوقية من خلال الضبط الدقيق، وسبر التضمينات، ومعايير التكرار الصارمة.