MathScape: Benchmarking Multimodal Large Language Models in Real-World Mathematical Contexts
تقدم هذه الورقة MathScape، وهو معيار مرجعي جديد يضم 1,369 مسألة رياضية من واقع الحياة مع صور ملتقطة بشرياً لتقييم النماذج اللغوية الكبيرة متعددة الوسائط، كاشفةً أن حتى النماذج المتطورة تعاني في السيناريوهات الواقعية ومسلطةً الضوء على محدودية الاعتماد فقط على مجموعات البيانات الاصطناعية لتقييم الاستدلال الرياضي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم بتدريب طالب ليكون عبقرياً في الرياضيات. لسنوات، كنت تختبره باستخدام أوراق عمل مطبوعة بدقة من كتاب مدرسي. الخطوط واضحة، والأرقام جليّة، والإضاءة مثالية. في هذه الاختبارات، يحصل طالبك (الذكاء الاصطنا-عي) على درجة A+. تفكر قائلاً: "واو، هذا الطالب ساحر في الرياضيات!"
ولكن بعد ذلك، تأخذ نفس الطالب إلى كافتيريا حقيقية. تعطيه صورة لإيصال غير مرتب، أو صورة ضبابية قليلاً لسبورة خربش عليها معلم متعب، أو لقطة شاشة لمسألة رياضية على شاشة هاتف بها انعكاس ضوئي. فجأة، يبدأ "ساحر الرياضيات" في ارتكاب أخطاء سخيفة. لا يستطيع قراءة خط اليد، يرتبك بسبب الظلال، أو يفقد رقماً لأن الصورة مائلة.
هذا هو بالضبط موضوع ورقة البحث "MathScape".
إليك تفصيل البحث بكلمات بسيطة:
1. المشكلة: "فخ الكتاب المدرسي"
لفترة طويلة، اختبر الباحثون مهارات الرياضيات للذكاء الاصطناعي باستخدام صور رقمية مولدة بالحاسوب. الأمر يشبه اختبار سائق عبر محاكي ألعاب الفيديو فقط. يحصل الذكاء الاصطناعي على درجات ممتازة، لكنه لم يتعلم كيفية التعامل مع الفوضى الحقيقية مثل المطر، أو الضباب، أو طريق وعر.
- الطريقة القديمة: اختبار الذكاء الاصطناعي بملفات PDF نظيفة ومثالية.
- الواقع: البشر الحقيقيون يلتقطون صوراً للمسائل الرياضية. هذه الصور غالباً ما تكون غير مرتبة، أو مائلة، أو ذات إضاءة سيئة.
2. الحل: "MathScape" (النادي الرياضي للعالم الحقيقي)
أنشأ المؤلفون معياراً جديداً يسمى MathScape. فكر في هذا كأنه "نادي رياضي للعالم الحقيقي" للذكاء الاصطناعي.
- مجموعة البيانات: جمعوا 1,369 مسألة رياضية حقيقية من مستويات الابتدائية إلى الثانوية.
- التحول النوعي: بدلاً من استخدام ملفات رقمية نظيفة، التقطوا صوراً فعلية لهذه المسائل. بعضها كان صوراً لأوراق مطبوعة، والبعض الآخر كان لقطات شاشة لشاشات حاسوب.
- الهدف: معرفة ما إذا كان بإمكان الذكاء الاصطناعي حل المسائل الرياضية بالطريقة التي يواجهها بها البشر في الحياة الواقعية، وليس فقط في مختبر رقمي مثالي.
3. التجربة: من اجتاز الاختبار؟
وضع الباحثون 19 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي (سواء المجانية أو باهظة الثمن) في هذا "النادي الرياضي للعالم الحقيقي". تضمنت النماذج عمالقة مثل GPT-4o ونماذج أصغر متخصصة في الرياضيات.
كانت النتائج صادمة:
- "المحاكي" مقابل "العالم الحقيقي": عندما خاض أفضل ذكاء اصطنا์ي (GPT-4o) الاختبار باستخدام ملفات PDF نظيفة، سجل درجة عالية جداً. ولكن عندما خاض نفس الذكاء الاصطناعي الاختبار باستخدام الصور الحقيقية الفوضوية، انخفضت درجته بشكل كبير.
- الفجوة: حتى أذكى نماذج الذكاء الاصطناعي لا تزال بعيدة جداً عن الطلاب البشر. بينما قد يصيب الإنسان بنسبة 77%، فإن أفضل ذكاء اصطناًي حصل على حوالي 42% فقط في هذه الصور الواقعية.
- المفاجأة: بعض نماذج الذكاء الاصطناًي التي تم تدريبها خصيصاً لتكون "خبراء رياضيات" قدمت أداءً أسوأ من نماذج الذكاء الاصطناًي العامة. اتضح أن كونك بارعاً في الرياضيات لا يقتصر فقط على معرفة الصيغ؛ بل يتعلق بقدرتك على رؤية وتفسير الصور الفوضوية أولاً.
4. الدرس الكبير
تختتم الورقة بتحذير حاسم: لا تنخدع بدرجات الاختبار المثالية.
مجرد قدرة الذكاء الاصطناًي على حل مسألة رياضية من صورة كتاب مدرسي مثالية لا يعني أنه يمكنه مساعدتك في حل مسألة من صورة ضبابية التقطتها في متجر. "العالم الحقيقي" يضيف طبقة من الصعوبة (الضجيج، الإضاءة، الزوايا) التي تجد نماذج الذكاء الاصطناًي الحالية صعوبة بالغة في التعامل معها.
الخلاصة
MathScape هي صرخة تنبيه. إنها تخبرنا أنه لبناء ذكاء اصطناًي مفيد حقاً، نحتاج للتوقف عن تدريبهم في "الغرف النظيفة" والبدء في تدريبهم في "العالم الفوضوي". إذا أردنا للذكاء الاصطناًي أن يكون مدرساً أو مساعداً حقيقياً في الرياضيات، فعليه أن يتعلم كيف يقرأ إيصالاً مجعداً، وليس فقط ملف PDF رقمياً.
باختاً: أثبتت الورقة البحثية وجود "اختبار صور فوضوية" للرياضيات ليثبت أن أذكى نماذج الذكاء الاصطناًي اليوم لا تزال تعاني لرؤية العالم كما نراه نحن.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.