Math-Vision Diagrams: A Comprehensive Benchmark for Evaluating LLM Mathematical Diagram Generation Capabilities
تقدم هذه الورقة "مخططات Math-Vision"، وهي أول معيار شامل مصمم لتقييم قدرات النماذج اللغوية الكبيرة في توليد مخططات دقيقة رياضياً من المطالبات النصية عبر توحيد نماذج تحويل النص إلى كود وتحويل النص إلى صورة، مما يكشف عن قيود حالية كبيرة في هذه المهارة الحيوية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية رسم مخطط هندسي مثالي لمنزل. لن تكتفي بمجرد قول "ارسم منزلاً"، وتأمل أن يخرج بنتيجة ذات جدران مستقيمة وباب في مكانه الصحيح. ستحتاج إلى شرح مكان الزوايا بالضبط، وطول العوارض، وأن يجب أن يكون سقف المنزل بزاوية محددة. هذا هو عالم توليد المخططات الرياضية. إنه يقع عند نقطة التقاء قوتين خارقتين: الاستدلال الرياضي (المنطق الذهني الذي يعرف أن زوايا المثلث يجب أن تجمع 180 درجة) والابتكار البصري (القدرة الفنية على رسم الصورة فعلياً). لفترة طويلة، أصبحت الحواسيب بارعة جداً في النظر إلى الصور والإجابة عن أسئلة حولها، أو كتابة أكواد لإنشاء رسوم بيانية بسيطة. لكن مطالبة الحاسوب بالنظر إلى مسألة لفظية ثم رسم المخطط الرياضي الدقيق تماماً من الصكرة؟ يشبه ذلك مطالبة طاهٍ بقراءة وصفة ثم خبز كعكة فوراً تبدو تماماً مثل صورة، مع تزيين مثالي للكريمة وطبقات متساوية. إنه تحدٍ هائل لأن الرياضيات لا تقبل مبدأ "القريب من الصواب". فإذا انحرف خط بمقدار مليمتر واحد أو وُضع ملصق في المكان الخطأ، يصبح المخطط بأكمله عديم الفائدة، مثل خريطة تقودك نحو الهاوية.
هذا هو بالضبط التحدي الذي قرر فريق من الباحثين من شركة "Pandita AI Inc" معالجته. لقد أدركوا أنه بينما نمتلك الكثير من الاختبارات لمعرفة ما إذا كان بإمكان الروبوتات حل المسائل الرياضية باستخدام الصور، إلا أننا لم نكن نملك طريقة عادلة لاختبار ما إذا كان بإمكان الروبوتات إنشاء تلك الصور في المقام الأول. لذا، قاموا ببناء ساحة لعب جديدة تسمى مخططات Math-Vision. فكر في الأمر كفصل تعليمي صارم للفنون مخصص للذكاء الاصطناعي، حيث يعطي المعلم (المعيار المرجعي) الطالب (الذكاء الاصطناعي) وصفاً نصياً ويطالبه برسم ليس جميلاً فحسب، بل دقيق رياضياً بشكل مثالي.
بدأ الباحثون بجمع مجموعة ضخمة مكونة من 3,040 مسألة رياضية صعبة من مسابقات حقيقية، تغطي كل شيء من الهندسة إلى الإحصاء. قاموا بتصفيتها إلى 2,920 مسألة تعتمد بشكل كبير على المخططات البصرية. ثم استخدموا مزيجاً ذكياً من نماذج الذكاء الاصطنا الأخرى وخبراء الرياضيات البشريين لتحويل نصوص المسائل الأصلية، التي قد تكون غامضة أحياناً، إلى تعليمات واضحة تماماً. على سبيل المثال، بدلاً من مجرد قول "ارسم دائرة"، ستكون التعليمات الجديدة: "ارسم دائرة بقطر أفقي ورأسي يتقاطعان عند المركز، ويُسمى 'O'". كما جعلوا الخبراء البشريين يتحققون مما إذا كانت هذه التعليمات واضحة بما يكفي ليتمكن إنسان من رسم الصورة بشكل مثالي، مع تقييمهم على مقياس من 1 إلى 5.
بمجرد تجهيز "أسئلة الامتحان"، وضعوا 11 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي تحت الاختبار. بعض هذه النماذج تشبه المهندسين المعماريين الذين يكتبون مخططات تفصيلية (أكواد) يقوم الحاسوب بعد ذلك ببنائها في صورة (نص-إلى-كود)، والبعض الآخر يشبه الرسامين الرقميين الذين يحاولون رسم الصورة مباشرة من الوصف دون كتابة أي كود أولاً (نص-إلى-صورة). قام الباحثون بقياس مدى مطابقة الرسومات للمسائل الرياضية الأصلية باستخدام عدة أدوات: التحقق مما إذا كانت الخطوط والحواف متطابقة تماماً، ومدى تشابه المظهر العام مع الهدف، وما إذا كان الكود يعمل بالفعل دون توقف أو أعطال.
كانت النتائج مزيجاً من التقدم المثير للإعجاب والواقع الذي يتطلب مراجعة متواضعة. وجدت الدراسة أنه لا يوجد نموذج ذكاء اصطناعي واحد يتقن كل شيء. كانت النماذج "المعمارية" (مولدات الكود) أفضل عموماً في ضبط الرياضيات والهيكل الصحيح — مثل التأكد من أن المربع له أربعة أضلاع متساوية حقاً — لكنها غالباً ما فشلت في إتمام المهمة لأن الكود الخاص بها لم يعمل، مما أدى إلى تعطلها بنسبة تتراوح بين 10% إلى 30% من الوقت. أما النماذج "الرسامة" (مولدات الصور المباشرة) فقد كانت موثوقة للغاية، حيث تنتج صورة دائماً تقريباً، لكن رسوماتها كانت تفتقر إلى الهيكل الرياضي الدقيق، مع خطوط متموجة قليلاً أو ملصقات في أماكن خاطئة.
ومن أكثر النتائج إثارة للاهتمام هو أنه حتى أكثر النماذج تقدماً، بما في ذلك بعض الأسماء الكبيرة في مجال الذكاء الاصطناعي، عانت بشكل كبير. تمكن النموذج الأفضل أداءً، وهو Claude Opus 4.6، من جعل المظهر البصري والهيكل الرياضي قريبين جداً من المطلوب، لكنه لا يزال يرتكب أخطاءً. وفي الوقت نفسه، قدم نموذج يسمى GPT-5.4 أداءً ضعيفاً بشكل مفاجئ، حيث أنتج غالباً رسومات معقدة للغاية ولكنها خاطئة رياضياً، مما يشير إلى أن "التفكير" الزائد في المشكلة يمكن أن يربك عملية الرسم أحياناً. كما لاحظ الباحثون أنه بينما أصبح التعامل مع الهندسة البسيطة ممكناً لهذه النماذج، فإن المواضيع الأكثر تعقيداً مثل المخططات الإحصائية أو الأشكال الطوبولوجية المجردة ظلت تشكل عقبة رئيسية.
في النهاية، تشير الورقة البحثية إلى أننا لا نزال في الأيام الأولى لهذه التكنولوجيا. فبينما يمكن للذكاء الاصطناعي الآن توليد مخططات تبدو جيدة، إلا أنه لم يتقن بعد "الدقة المثالية" المطلوبة للرياضيات والعلوم الجادة. لقد جعل الفريق كل بياناتهم وأكوادهم وأدوات الاختبار الخاصة بهم متاحة للجميع، آملين أنه من خلال تسليط الضوء على مواضع فشل هذه النماذج بدقة، يمكننا المساعدة في بناء الجيل القادم من الذكاء الاصطناعي الذي يمكنه أخيراً رسم دائرة مثالية، في كل مرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.