SO-Bench: A Structural Output Evaluation of Multimodal LLMs
تقدم هذه الورقة SO-Bench، وهو معيار شامل يتكون من أكثر من 6,500 مخطط JSON متنوع و1,800 زوج من الصور والمخططات المنسقة عبر أربعة مجالات بصرية لتقييم وتحسين قدرات النماذج اللغوية الكبيرة متعددة الوسائط في إنتاج مخرجات مهيكلة متوافقة مع المخططات بشكل منهجي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً جداً وكليّ القدرة. تعرض عليه صورة لقائمة طعام مطعم وتقول له: "مهلاً، أنا جائع! ضع وجبة الـ 'ووبر' ووجبة الـ 'دبل ووپر' في قائمة التسوق الخاصة بي".
في الأيام الخوالي، كان هذا الروبوت قد يكتفي بالدردشة معك قائلاً: "حسناً، أرى وجبة الـ 'ووبر' بسعر 6.49 دولاراً ووجبة الـ 'دبل ووپر' بسعر 8.09 دولارات. يبدو هذا جيداً!"
هذا رائع للمحادثة البشرية. ولكن ماذا لو كان يحتاج روبوتك للتحدث مع برنامج كمبيوتر؟ الكمبيوتر لا يفهم الدردشة؛ بل يحتاج إلى بيانات بتنسيق محدد وصارم للغاية (مثل نموذج رقمي بفتحات دقيقة لتعبئتها). إذا قال الروبوت "ستة وأربعون" بدلاً من "6.49"، أو نسي وضع السعر في خانة "السعر" ووضعه في خانة "الاسم"، فإن الكمبيوتر سيتعطل.
هذه هي المشكلة التي تحاول ورقة أبل البحثية الجديدة، "SO-Bench"، حلها.
إليك تفصيل عملهم باستخدام تشبيهات من الحياة اليومية:
1. المشكلة: "الغرفة الفوضوية" مقابل "خزانة الملفات"
النماذج الذكية متعددة الوسائط (الروبوتات التي يمكنها الرؤية والقراءة) أصبحت جيدة جداً في النظر إلى صورة ووصفها. لكن عندما تطلب منها تنظيم تلك المعلومات في هيكل محدد مسبقاً (مثل ملف JSON، وهو مجرد طريقة تقنية لقول "خزانة ملفات رقمية")، فإنها غالباً ما تصبح فوضوية.
قد تقوم بـ:
- نسيان وضع السعر في خانة "السعر".
- اختراع خانة غير موجودة في التعليمات.
- الخطأ في التنسيق (مثل كتابة التاريخ كـ "مارس 19" بدلاً من "2026-03-19").
في العالم الحقيقي، إذا كان من المفترض أن يقوم الذكاء الاصطناعي بأتمتة تسوقك أو حجز رحلة طيرانك، فإن هذه الأخطاء الهيكلية الصغيرة تسبب إخفاقات كبيرة.
2. الحل: SO-Bench (الـ "معلم الصارم")
بنى الباحثون في أبل اختباراً جديداً يسمى SO-Bench. فكر في هذا كـ معلم صارم ومنظم للغاية يعطي الذكاء الاصطناعي صورة وورقة عمل "ملء فراغات" محددة ومعقدة للغاية.
- الاختبار: يعرض المعلم على الذكاء الاصطناعي صورة (مثل شاشة واجهة مستخدم، أو إيصال، أو رسم بياني، أو صورة طبيعية).
- القواعد: يسلم المعلم "مخططاً" (Schema)، وهو يشبه المخطط الهندسي الصارم. يقول: "يجب أن تجد الاسم، والسعر، والعملة. يجب أن يكون السعر رقماً وليس كلمة. ويجب أن تضعهم بهذا الترتيب تماماً".
- الهدف: يجب على الذكاء الاصطناعي النظر إلى الصورة وتعبئة ورقة العمل بدقة، متبعاً كل قاعدة.
لقد أنشأوا 1,800 من هذه الاختبارات تغطي أربعة عوالم مختلفة:
- واجهات المستخدم (UI Screens): مثل النظر إلى تطبيق هاتف.
- الصور الطبيعية: مثل صورة لشارع أو كلب.
- المستندات: مثل إيصال أو عقد.
- الرسوم البيانية: مثل رسم بياني يوضح بيانات المبيعات.
3. النتائج: "جيد في الدردشة، سيئ في الأرشفة"
عندما اختبروا أذكى نماذج الذكاء الاصطناعي المتاحة (بما في ذلك أسماء كبيرة مثل GPT-5 وGemini)، وجدوا بعض الأشياء المفاجئة:
- "الدردشة" رائعة: النماذج مذهلة في فهم الصورة والتحدث عنها. يمكنهم إخبارك بما يوجد في الصورة.
- "الأرشفة" ضعيفة: عندما يُطلب منهم وضع تلك المعلومات في "خزانة الملفات" الصارمة (JSON schema)، فإنهم غالباً ما يفشلون.
- حتى أفضل النماذج لم تنجح في ضبط الهيكل بالكامل إلا بنسبة 19% فقط من الوقت.
- النماذج الصغيرة (الروبوتات "المبتدئة") عانت أكثر، حيث فشلت غالباً في اتباع القواعد الأساسية لورقة العمل.
الأمر يشبه طالباً يستطيع كتابة مقال جميل ولكنه يرسب في اختبار الرياضيات لأنه نسي وضع الإجابة في المربع المخصص لها.
4. التدريب: "التدريب، ثم التدريب، ثم التدريب"
لم يتوقف الباحثون عند مجرد تصحيح الاختبارات، بل حاولوا تعليم النماذج كيف تؤدي بشكل أفضل.
- الضبط الدقيق الخاضع للإشراف (SFT): عرضوا للنماذج آلاف الأمثلة من "صورة + قواعد + إجابة مثالية". إنه يشبه إعطاء الطالب دليل دراسة يحتوي على الإجابات. ساعد هذا كثيراً! لقد أصبحت النماذج أفضل بكثير في اتباع القواعد.
- التعلم التعزيزي (RL): جربوا طريقة يحصل فيها النموذج على "مكافأة" (تصفيق رقمي) فقط عندما ينجح في ضبط الهيكل بشكل صحيح. ساعد هذا النماذج على أن تصبح أفضل في مراجعة عملها بنفسها.
الخلاصة الكبرى
تخبرنا الورقة البحثية أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً في "الرؤية" و"التحدث"، فإنه لا يزال بحاجة إلى الكثير من التدريب ليكون "موظف أرشفة بيانات" موثوقاً.
إذا أردنا للذكاء الاصطناعي أن يكون "وكيلاً" حقيقياً يمكنه فعلياً القيام بأشياء لنا (مثل حجز الرحلات، أو إدارة المخزون، أو ملء النماذج) بناءً على ما يراه، فعليه أن يتعلم كيف يكون مثالياً من الناحية الهيكلية، وليس فقط بارعاً من الناحية الدلالية. SO-Bench هو المسطرة الجديدة التي نستخدمها لنقيس مدى جاهزية الذكاء الاصطناو لهذه الوظيفة.
باختصار: الذكاء الاصطناعي بارع في وصف العالم، لكنه لا يزال يتعلم كيفية تنظيم هذا الوصف في صندوق مرتب يمكن للكمبيوتر قراءته. لقد بنت أبل اختباراً لترى مدى تقدمه، ووجدوا أن هناك مجالاً كبيراً للتحسين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.