OmniMatBench: A Human-Calibrated Multimodal Reasoning Benchmark Across 19 Materials Science Subfields

ملخص تقني لـ OmniMatBench

بيان المشكلة
بينما يُتوقع من النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) بشكل متزايد المساعدة في الأبحاث العلمية، إلا أن موثوقيتها في الاستدلال المتخصص في مجال معين لا تزال غير واضحة. ويمثل علم المواد اختبارًا صعبًا بشكل خاص نظرًا لطبيعته متعددة التخصصات، واعتماده على البيانات متعددة الوسائط (النصوص، الصور، المخططات، الصيغ)، وتركيزه القوي على التطبيقات الهندسية. وتركز المعايكات (benchmarks) الحالية في هذا المجال إلى حد كبير على التنبؤ بالخصائص، والإجابة على الأسئلة القائمة على المعرفة، والتعرف البصري، ودقة الإجابة النهائية. ومع ذلك، فإن هذه البروتوكولات غالبًا ما تفشل في تقييم عملية الاستدلال الكاملة بشكل منهجي للانتقال من معرفة المواد إلى التطبيق، بما في ذلك تفسير العلاقة بين البنية والخصائص، وفهم المعالجة، ومنطق التصنيع، واتخاذ القرار. وهناك فجوة كبيرة في تقييم كيفية تعامل النماذج مع اختيار الصيغ، والحساب الواعي للوحدات، والتنفيذ المهيكل عبر مختلف المجالات الفرعية للمواد.

المنهجية
لمعالجة هذه القيود، قدم المؤلفون OmniMatBench، وهو معيار استدلال متعدد الوسائط تمت معايرته بشريًا. تضمنت عملية بناء مجموعة البيانات مراحل متعددة بالتعاون مع متخصصين في علم المواد:

• جمع البيانات: تم استخراج وتكييف 3,171 سؤالاً منسقاً من قبل خبراء من موارد المعرفة الكلاسيكية والمعاصرة في علم المواد.
• التصنيف (Taxonomy): يمتد المعيار عبر 19 مجالًا فرعيًا متميزًا في علم المواد، منظمة ضمن أربعة مجالات شاملة: علم المواد الأساسي، والمواد الهيكلية والهندسية، ومعالجة وتصنيع المواد، والمواد الوظيفية والتطبيقية. يعكس هذا الهيكل منظور (المعرفة–البنية–المعالجة–التطبيق - KSPA)، بما في ذلك المجالات المهمشة ولكنها حرجة مثل علم الأحجار الكريمة، والمواد المسحوقية، وتكنولوجيا اللحام.
• أنواع المهام: يتكون المعيار من نوعين رئيسيين من المهام:
  1. الأسئلة والأجوبة مفتوحة النهاية (Open-ended QA): تم تدوينها باستخدام نقاط رئيسية منسقة من قبل الخبراء تغطي المفاهيم، وعناصر الاستدلال، ومعايير التقييم.
  2. الحساب (CAL): مشكلات مهيكلة تتطلب خانات إجابة محددة، وتتبع الصيغ، ومتطلبات الوحدات، وقيود الدقة العددية، ومخططات المخرجات.
• بروتوكول التقييم: يتجاوز التقييم مجرد مطابقة الإجابات البسيطة. يتم تقييم استجابات الأسئلة والأجوبة باستخدام الدقة (Precision)، والاستدعاء (Recall)، ومقياس F1 بناءً على تغطية النقاط الرئيسية. أما استجابات المهام الحسابية (CAL)، فيتم تقييمها باستخدام دقة الخانات الصارمة، وتحليل الإجابات إلى مكونات مهيكلة (أرقام، صيغ، وحدات).
• تقييم النماذج: قام المؤلفون بتقييم 13 نموذجًا من نماذج المخططات اللغوية الكبيرة متعددة الوسائط الرائدة (8 نماذج مغلقة المصدر و5 نماذج مفتوحة المصدر)، بما في ذلك نماذج مثل Claude Opus 4.7، وGPT-5.5، وGemini 3.1 Pro، تحت ظروف التفاعل الصفري (zero-shot)، والمساعدة بالصيغ، والمساعدة بالاسترجاع، وتنفيذ الكود.

المساهمات الرئيسية

1. مجموعة بيانات OmniMatBench: معيار شامل يحتوي على 3,171 مسألة تم التحقق منها من قبل خبراء عبر 19 مجالًا فرعيًا و4 مجالات، تغطي المواضيع التأسيسية والهندسية على حد سواء.
2. تصميم تقييم دقيق: بروتوكول يجمع بين تسجيل الأسئلة والأجوبة القائم على القواعد (rubric-based) والتقييم الصارم القائم على الخانات للمهام الحسابية. يسم يسمح هذا التصميم باكتشاف حالات الفشل في تحديد المفاهيم، واختيار الصيغ، والتأسيس متعدد الوسائط، والحساب الواعي للوحدات، وتنسيق الإجابات.
3. التحليل المنهجي لقدرات النماذج (MLLMs): تقييم واسع النطاق لـ 13 نموذجًا يكشف عن أنماط فشل محددة، بما في ذلك الاستدلالات الاستقرائية الثابتة، وعدم التوازن في المعرفة عبر المجالات الفرعية، والقصور في تطبيق المعرفة على التنفيذ حتى مع وجود أدوات خارجية.

النتائج
يكشف التقييم عن فجوة كبيرة بين النماذج اللغوية الكبيرة الحالية وبين الاستدلال الموثوق في علم المواد:

• الأداء العام: حقق أفضل النماذج أداءً، وهو Claude Opus 4.7، درجة إجمالية قدرها 0.372 فقط (متوسط مرجح لـ QA Macro-F1 ودقة خانات CAL). وسجل GPT-5.5 درجة 0.324، بينما سجلت معظم النماذ الأخرى أقل من 0.30.
• التباين بين المجالات الفرعية: يختلف الأداء بشكل كبير عبر الـ 19 مجالًا فرعيًا. تؤدي النماذج بشكل أفضل نسبيًا في المواضيع الأساسية (مثل المواد المعدنية، وكيمياء المواد) لكنها تعاني في السيناريوهات الهندسية المتخصصة (مثل الهندسة المعدنية، والمواد النانوية، وقوالب المركبات) التي تتطلب معرفة إجرائية وحكمًا موجهًا نحو التطبيق.
• الأسئلة والأجوبة مقابل المهام الحسابية (QA vs. CAL): بينما تحقق النماذج غالبًا "استدعاءً" (Recall) أعلى من "الدقة" (Precision) في الأسئلة والأجوبة مفتوحة النهاية (توليد محتوى واسع ولكنه غير مدعوم أحيانًا)، فإنها تواجه عقبة أكبر بكثير في المهام الحسابية (CAL). بلغت أفضل دقة للخانات في المهام الحسابية 30.10% فقط، مع سقوط معظم النماذج دون 25%، مما يشير إلى فجوة كبيرة بين الطلاقة العلمية والتنفيذ العلمي الموثوق.
• المساعدة بالأدوات: أدت المساعدة بالصيغ (سياق الأوراكل/Oracle Context) إلى تحسين الأداء ولكنها لم تصل به إلى التشبع، مما يشير إلى أن العقبة تكمن في تطبيق خطة الحل الصحيحة وليس مجرد الوصول إلى الصيغ. كما لم يؤدِ تنفيذ الكود إلى تحسين الأداء باستمرار؛ بل في بعض الحالات، أدى إلى تدهور النتائج لأن النماذج فشلت في ترجمة سياق المواد إلى الإجراء الحسابي الصحيح.

الأهمية
تزعم الورقة أن OmniMatBench يوفر رؤى حاسمة حول قدرات وحدود النماذج اللغوية الكبيرة متعددة الوسائط في علم المواد. ومن خلال تسليط الضوء على فجوة "المعرفة-إلى-التنفيذ"، يضع هذا المعيار أساسًا لتطوير مساعدات ذكاء اصطناعي أكثر موثوقية لأبحاث علم المواد. ويؤكد المؤلفون أن النماذج الحالية، رغم قدرتها على توليد تفسيرات معقولة، لا تزال تفتقر إلى الدقة المطلوبة للسيناريوهات الهندسية المتخصصة، والآليات الخاصة بالعمليات، والحساب العلمي المهيكل. ويعمل هذا المعيار كمنصة اختبار صارمة لدفع التحسينات المستقبلية في الاستدلال العلمي، والانتقال من مجرد استرجاع المعرفة إلى حل المشكلات المعقدة، متعدد الوسائط، والموجه بالتطبيقات.