Physics as the label for measuring and correcting materials reasoning in multimodal models
تقدم هذه الورقة MatPCR، وهو معيار مرجعي خالٍ من الملصقات يقيم الاتساق الفيزيائي لاستنتاج النماذج متعددة الوسائط في علم المواد باستخدام أوراكل برمجية للتحقق من الالتزام بالقوانين الفيزيائية مثل قانون براغ والاستقرار الديناميكي الحراري، مما يعالج أوجه القصور في طرق التقييم الحالية التي تعتمد على التوصيفات البشرية النادرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المختبر الحديث، يتجه العلماء بشكل متزايد نحو الذكاء الاصطناعي لفهم المواد المعقدة التي تبني عالمنا. هذه الأنظمة، المعروفة بنماذج الرؤية واللغة، يمكنها النظر إلى صور البلورات أو قراءة أوصاف الهياكل الكيميائية ومحاولة الاستنتاج المنطقي لخصائصها. يُطلب منها تحديد حجم جسيم من صورة فوتوغرافية، أو التنبؤ بما إذا كان مركب جديد سيكون مستقراً، أو تحديد مستويات طاقة الإلكترونات داخل شبكة بلورية. والأمل هو أن هؤلاء المساعدين الرقميين يمكنهم تسريع اكتشاف بطاريات جديدة، أو سبائك أقوى، أو خلايا شمسية أكثر كفاءة. ومع ذلك، ظهرت مشكلة مستمرة: غالباً ما تبدو هذه النماذج واثقة بينما هي مستحيلة فيزيائياً. فقد تدعي أن جسيماً عرضه عشرة ميكرومترات بينما تظهر الصورة بوضوح شريط مقياس يشير إلى مجال رؤية أصغر بكثير، أو قد تعلن عن استقرار مادة بينما تملي قوانين الديناميكا الحرارية أنها يجب أن تتفكك. لقد كانت الصعوبة الجوهرية تكمن في كيفية رصد هذه الأخطاء. تقليدياً، اعتمد الباحثون على الخبراء البشر للتحقق من الإجابات النهائية، لكن هذا الأمر بطيء، ومكلف، ويستحيل توسيعه ليشمل الكم الهائل من البيانات التي يتم إنتاجها. علاوة على ذلك، يمكن للنموذج أن يصل إلى الرقم النهائي الصحيح لأسباب خاطئة، أو يقدم تفسيراً يبدو منطقياً ولكنه ينتهك القوانين الأساسية للفيزياء.
قدم فريق من الباحثين طريقة جديدة لتقييم هذه النماذج تتجاوز الحاجة إلى التصحيح البشري تماماً. فبدلاً من السؤال "هل الإجابة صحيحة؟"، يسألون "هل سلسلة الاستدلال تلتزم بقوانين الفيزياء؟". لقد بنوا نظاماً يسمى MatPCR، والذي يعامل قوانين الفيزياء نفسها كنموذج للإجابة الصحيحة. أدرك الباحثون أن بيانات المواد تحمل منطقها الداخلي الذي يمكن التحقق منه برمجياً. فعلى سبيل المثال، يجب أن تتبع مواقع القمم في نمط الحيود علاقة رياضية محددة تُعرف بقانون براغ؛ ولا يمكن لحجم ميزة في صورة مجهرية أن يتجاوز الحدود التي يضعها شريط المقياس؛ كما أن استقرار البنية البلورية يتحدد من خلال طاقتها بالنسبة للحد الأدنى النظري. ومن خلال ترميز هذه القواعد الفيزيائية في برمجيات، أنشأ الفريق مجموعة من الحكام الآليين، أو "الأوراكل" (الكهنة)، الذين يمكنهم التحقق فوراً مما إذا كانت خطوات استدلال النموذج مقبولة فيزيائياً. يسمح هذا النهج بقياس "معدل الاتساق الفيزيائي"، وهو درجة تعكس عدد المرات التي تحترم فيها سلسلة تفكير النموذج القيود الصارمة للعالم الفيزيائي، بغض النظر عما إذا كانت الإجابة النهائية تطابق توقعات البشر أم لا.
اختبر الباحثون هذا النظام على تسعة نماذج مختلفة من الذكاء الاصطناعي، تتراوح من الأدوات مفتوحة المصدر إلى أكثر الأنظمة التجارية تقدماً المتاحة. قاموا بتغذية النماذج بآلاف المهام التي تتضمن صوراً لأنماط الحيود، وصور المجهر الإلكتروني، والبيانات الطيفية، والهياكل البلورية. وكشفت النتائج عن مشهد من عدم الاتساق الكبير. فبينما أدى بعض النماذج أداءً جيداً في مهام معينة، لم يكن أي منها موثوقاً بشكل موحد. كانت النماذج جيدة بشكل مفاجئ في قراءة أشرطة المقياس في صور المجهر، حيث حققت غالباً معدلات اتساق تقترب من المثالية، لكنها عانت بشدة مع البيانات الطيفية، حيث فشلت العديد من النماذج في التعرف على القيود الفيزيائية الأساسية. حقق أحد أكثر النماذج تقدماً معدل اتساق بلغ حوالي 77 بالمائة إجمالاً، مما يعني أن واحداً من كل أربعة سلاسل استدلال تقريباً يحتوي على انتهاك فيزيائي. كما سلطت الدراسة الضوء على أن مجرد مطالبة النموذج بـ "التفكير بجهد أكبر" أو استخدام نسخة أكثر تكلفة من نفس النموذج لا يضمن استدلالاً فيزيائياً أفضل. وفي بعض الحالات، لم تؤدِ النماذج الأحدث أداءً أفضل من نظيراتها الأقدم، ولم تظهر النماذج ذات "أنماط الاستدلال" الصريحة ميزة واضحة على نظيراتها القياسية.
ولمعرفة ما إذا كان بإمكان هذه النماذج التعلم من أخطائها، قدم الباحثون عملية تسمى "التحقق الذاتي القائم على القيود". في هذا الإعداد، عندما يكتشف "الأوراكل" الآلي خطأً فيزيائياً في استدلال النموذج، فإنه يغذي النموذج بهذا الانتهاك المحدد ويطلب منه مراجعة إجابته. كانت النتائج مشجعة ولكنها دقيقة؛ فقد نجحت النماذج في تصحيح أخطائها وحسنت درجات اتساقها بشكل كبير عند توجيهها بالتغذية الراجعة الفيزيائية. ومع ذلك، وجد الباحثون أن هذا التحسن جاء غالباً من تراجع النماذج إلى إجابة أكثر عمومية وأماناً، بدلاً من الوصول إلى القيمة الفيزيائية الصحيحة حقاً. لقد تعلمت النماذج تجنب الفخ المحدد الذي نصبه "الأوراكل"، لكنها لم تتعلم بالضرورة الفيزياء الكامنة وراءه. يشير هذا إلى أنه بينما يمكن توجيه النماذج بعيداً عن المستحيلات الواضحة، فإنها لم تستوعب بعد المبادئ الفيزيائية العميقة المطلوبة لتوليد استدلال صحيح من الصفر.
قام الفريق أيضاً بتدريب ذكاء اصطناعي أصغر ومتخصص ليعمل ككاشف لهذه الأخطاء، آملين أن يتمكن من التنبؤ بالانتهاكات دون الحاجة إلى القوة الحسابية الهائلة لمحاكاة الفيزياء الكاملة. عمل هذا الكاشف بشكل جيد جداً عند اختباره على نفس أنواع البيانات التي تدرب عليها، حيث نجح في تحديد التناقضات الفيزيائية في سلاسل الاستدلال. ومع ذلك، عندما اختبره الباحثون على أنواع جديدة تماماً من القيود الفيزيائية التي لم يسبق له رؤيتها، انخفض أداؤه إلى مستوى التخمين العشوائي. هذه النتيجة حاسمة: فهي تشير إلى أن القدرة على رصد الأخطاء الفيزيائية متخصصة للغاية في نوع البيانات والقواعد المعنية. فالكاشف المدرب على رصد الأخطاء في أنماط حيود الأشعة السينية لا يمكنه تلقائياً تعلم رصد الأخطاء في الخصائص المغناطيسية أو الاستقرار الكيميائي. هذا الافتقار إلى التعميم يعني أنه في الوقت الحالي، فإن الطريقة الأكثر موثوقية لضمان الاتساق الفيزيائي هي استخدام الفحوصات المحددة القائمة على الفيزياء لكل نوع من مشاكل المواد، بدلاً من الاعتماد على "قاضٍ" واحد شامل للذكاء الاصطناعي.
تخلص الدراسة إلى أنه بينما أصبح الذكاء الاصطناعي أداة قوية في علم المواد، فإنه ليس بعد شريكًا جديرًا بالثقة للاكتشافات عالية المخاطر دون تحقق خارجي. النماذج قادرة على توليد روايات تبدو منطقية، لكنها كثيراً ما تنتهك القوانين الأساسية للفيزياء في هذه العملية. يوفر الإطار الجديد طريقة لقياس وتصحيح هذه الأخطاء دون تدخل بشري، مما يفتح مساراً نحو ذكاء اصطناعي علمي أكثر موثوقية. ومن خلال معاملة الفيزياء كالمعيار النهائي، أظهر الباحثون أنه يمكننا بناء أنظمة تدقق في استدلالها مقابل قواعد الطبيعة الصارمة. هذا لا يعني أن النماذج معطلة، بل يعني أن استدلالها الحالي هو غالباً محاكاة للفهم وليس انعكاساً للحقيقة الفيزيائية. إن الطريق إلى الأمام يتضمن استخدام هذه الفحوصات القائمة على الفيزياء ليس فقط كاختبار، بل كدليل لتدريب النماذج على الاستدلال بنفس الدقة التي يتطلبها العالم المادي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.