MaterialFigBENCH: benchmark dataset with figures for evaluating college-level materials science problem-solving abilities of multimodal large language models
تقدم الورقة البحثية MaterialFigBench، وهي مجموعة بيانات مرجعية تضم 137 مسألة في علم المواد على المستوى الجامعي تتطلب تفسير الأشكال، والتي تكشف أنه على الرغم من التحسينات في النماذج اللغوية الكبيرة متعددة الوسائط، إلا أنها لا تزال تواجه صعوبة في الاستنتاج البصري الحقيقي والتحليل الكمي، وغالباً ما تعتمد على المعرفة المحفوظة بدلاً من القراءة الدقيقة للرسوم التوضيحية المقدمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طالباً عبقرياً يُدعى MaterialFigBench. هذا الطالب هو "نموذج لغوي كبير متعدد الوسائط" (MLLM) — وهو ببساطة ذكاء اصطناعي فائق الذكاء يمكنه قراءة النصوص وأيضاً النظر إلى الصور.
أراد الباحثون وراء هذه الورقة البحثية اختبار ما إذا كان هذا الطالب ذكياً حقاً أم أنه مجرد بارع في حفظ البطاقات التعليمية.
إليك قصة تجربتهم، مشروحة ببساطة.
1. الاختبار: "لا تخمن فقط!"
عادةً، عندما نختبر الذكاء الاصطناعي، نطرح عليه أسئلة نصية مثل: "ما هي عاصمة فرنسا؟". يعرف الذكاء الاصطناعي ذلك لأنه قرأه ملايين المرات في بيانات تدريبه.
لكن في علم المواد (دراسة مكونات الأشياء وكيفية سلوكها)، غالباً ما تكون الإجابات مخبأة داخل الصور:
- مخططات الطور (Phase Diagrams): خرائط توضح كيف تذوب المعادن وتختلط.
- منحنيات الإجهاد والانفعال (Stress-Strain Curves): رسوم بيانية توضح مقدار تمدد شريط مطاطي قبل أن ينقطع.
- المجاهر (Microscopes): صور مقربة للهياكل البلورية.
لقد أنشأ الباحثون اختباراً خاصاً يسمى MaterialFigBench. أخذوا 137 مسألة من مستوى الجامعات من الكتب الدراعية.
- الخدعة: أخذوا الصور الأصلية من الكتب، وغيروا أسماء المعادن (على سبيل المثال، تغيير "النحاس" إلى "المعدن الغامض X")، وعدّلوا الخطوط على الرسوم البيانية.
- الهدف: إجبار الذكاء الاصطناعي على النظر إلى الصورة فعلياً وإجراء العمليات الحسابية، بدلاً من مجرد استرجاع حقيقة حفظها.
2. النتائج: مشكلة "ورقة الغش"
عندما طبقوا الاختبار على أفضل نماذج الذكاء الاصطناعي (مثل GPT-4o و GPT-o1 و GPT-5)، وجدوا شيئاً مفاجئاً.
كان الذكاء الاصطناعي يغش.
- السيناريو: كان الاختبار يسأل: "انظر إلى هذا الرسم البياني لـ المعدن الغامض X وأخبرني بنقطة انصهاره".
- رد فعل الذكاء الاصطناعي: بدلاً من النظر إلى الرسم البياني، فكر الذكاء الاصطناعي: "هممم، 'المعدن الغامض X' يبدو مثل الكربون في سبيكة الحديد. لقد رأيت هذا ملايين المرات. الإجابة هي 0.76%".
- النتيجة: حصل الذكاء الاصطناعي على الإجابة الصحيحة، ولكن للسبب الخطأ. لقد تجاهل الصورة واعتمد على ذاكرته.
الأمر يشبه طالباً يؤدي اختبار رياضيات حيث قام المعلم بتغيير الأرقام في المسألة. يتجاهل الطالب الأرقام الجديدة، ويتذكر إجابة المسألة القديمة من العام الماضي، ثم يكتبها. يحصل على الدرجة، لكنه لم يتعلم أي شيء.
3. أين تعثر الذكاء الاصطناعي؟
عندما لم يستطع الذكاء الاصطناعي الغش (لأن المسألة كانت فريدة جداً أو تتطلب قياساً دقيقاً)، فقد تعثر بشكل سيء.
- مشكلة "التدقيق في البكسلات" (Pixel Peeping): الذكاء الاصطناعي سيء جداً في قراءة الأرقام الدقيقة من الرسم البياني. إذا كان الخط عند 45.3 على المخطط، فقد يخمن الذكاء الاصطناعي 45 أو 46. وفي العلوم، هذا الفرق الصغير مهم جداً.
- قضية "الأرقام المعنوية": غالباً ما يعطي الذكاء الاصطناعي إجابات إما غامضة جداً (مثل "58,000" بدلاً من "57,915") أو دقيقة للغاية (يعطي 10 أرقام عشرية بينما الرسم البياني يحتوي على رقمين فقط). الأمر يشبه طباخاً يخمن "رشة ملح" بينما تتطلب الوصفة بالضبط 3.2 جرام.
- فجوة "الهندسة": المهام التي تتطلب من الذكاء الاصطناعي قياس المسافات على الخريطة أو عد الزوايا في هيكل بلوري كانت صعبة للغاية. إنه يشبه طلب تقدير المسافة بين نجمين من خلال النظر فقط إلى صورة ضبابية.
4. الأخبار الجيدة
الذكاء الاصطناعي يتحسن، ولكن ببطء.
- النماذج الأحدث (مثل GPT-5) أدت بشكل أفضل من النماذج الأقدم (GPT-4).
- أصبحوا أفضل قليلاً في قراءة أنواع معينة من الرسوم البيانية (مثل مخططات أرينيوس، والتي تبدو كخطوط مستقيمة على مقياس لوغاريتمي).
- ومع ذلك، لم يتقنوا بعد "المهارة العامة" المتمثلة في النظر إلى رسم بياني جديد وغريب وفهمه من البداية.
5. الدرس الكبير
تخلص الورقة البحثية إلى أن الذكاء الاصطناعي الحالي لا "يرى" العالم حقاً.
إنه يشبه ببغاءً حفظ القاموس بأكمله. إذا سألته سؤالاً عن صورة، فقد يجيب بشكل صحيح عن طريق مطابقة الكلمات المفتاحية، لكنه لا يفهم فعلياً العلاقة البصرية بين الأشياء.
لماذا يهم هذا؟
إذا أردنا للذكاء الاصطناعي أن يساعد العلماء في اكتشاف مواد جديدة (مثل بطاريات أفضل أو جسور أقوى)، يجب أن يكون الذكاء الاصطناعي قادراً على النظر إلى بيانات تجربة جديدة والاستنتاج منها، وليس مجرد التخمين بناءً على بيانات قديمة.
MaterialFigBench هو بمثابة "اختبار أمانة" للذكاء الاصطناعي. فهو يسلب منه أوراق الغش ويجبر الذكاء الاصطناعي على إثبات قدرته على قراءة المخططات فعلياً. في الوقت الحالي، يجتاز الذكاء الاصطناعي الاختبار عن طريق الغش، لكن هذا المعيار يساعد الباحثين في معرفة كيفية تعليمه كيف ينظر بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.