MMTU: A Massive Multi-Task Table Understanding and Reasoning Benchmark
تقدم هذه الورقة البحثية MMTU، وهو معيار مرجعي واسع النطاق يضم أكثر من 28,000 سؤال عبر 25 مهمة جدولية واقعية على مستوى الخبراء، صُمم لتقييم وكشف القيود الكبيرة للنماذج الرائدة الحالية في فهم واستنتاج ومعالجة البيانات الجدولية المهيكلة بشكل شامل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً فائق الذكاء (ذكاء اصطناعي) يمكنه قراءة الكتب، وكتابة المقالات، وحتى حل المسائل الرياضية. قد تظن وتقول: "رائع! يمكنه التعامل مع جداول البيانات الخاصة بي أيضاً، أليس كذلك؟"
ليس تماماً. هذا هو المشكل الذي تعالجه هذه الورقة البحثية.
المشكلة: فجوة الـ "إكسل" (Excel)
فكر في نماذج اللغات الكبيرة (LLMs) كأنها أمين مكتبة عبقري قرأ كل كتاب في العالم. إنهم مذهلون في فهم النصوص. لكن الجداول (مثل أوراق عمل إكسل، أو قواعد البيانات، أو التقارير المالية) ليست مجرد نصوص؛ بل هي شبكات مهيكلة تحتوي على صفوف وأعمدة تحمل علاقات محددة.
حتى الآن، لم نختبر هؤلاء "الأمناء الذكيين" إلا في "أسئلة الجداول" البسيطة مثل: "ما هو إجمالي المبيعات لشهر يوليو؟" (هذا يشبه طلب العثور على جملة محددة في كتاب من أمين المكتبة).
لكن الخبراء في العالم الحقيقي — محللو البيانات، والمحاسبون، والمهندسون — لا يكتفون بمجرد قراءة الجداول؛ بل هم يعالجونها ويغيرون في شكلها. إنهم يحتاجون إلى:
- إصلاح البيانات المعطلة (مثل العثور على قطعة مفقودة في أحجية).
- دمج جدولين مختلفين (مثل دمج قائمتي ضيوف لحفلة واحدة).
- كتابة كود برمجي لتحويل بيانات فوضوية إلى تقرير نظيف ومنظم.
- رصد الأخطاء التي لا تبدو منطقية (مثل تسجيل عمر شخص على أنه "200").
نماذج الذكاء الاصطناعي الحالية سيئة جداً في هذه المهام "الاحترافية". فهي تضيع داخل الشبكة، وتخلط بين الصفوف والأعمدة، أو تخترع حقائق غير موجودة (الهلوسة).
الحل: MMTU (أولمبياد الجداول)
ابتكر المؤلفون معياراً جديداً يسمى MMTU (الفهم متعدد المهام للجداول الضخمة). فكر في هذا كأنه أولمبياد الذكاء الاصطناعي في الجداول.
بدلاً من طرح أسئلة بسيطة، يلقي MMTU بـ 28,000 "حدث" مختلف على الذكاء الاصطناعي. هذه الأحداث مستمدة من عقود من أبحاث علوم الحاسوب الحقيقية وتمثل الوظائف الفعلية التي يقوم بها المحترفون يومياً.
تشمل الـ 25 حدثاً ما يلي:
- المحقق في البيانات (تنظيف البيانات): العثور على القيم المفقودة أو رصد الأخطاء.
- المترجم (ربط الجداول): أخذ قائمتين منفصلتين ومعرفة كيفية ربطهما ببعضهما.
- المهندس المعماري (تحويل الجداول): أخذ قائمة فوضوية وتحويلها إلى جدول منظم ومرتب.
- المبرمج (تحويل اللغة الطبيعية إلى SQL): تحويل سؤال باللغة العادية مثل "أظهر لي أفضل 5 مبيعات" إلى كود الحاسوب الفعلي (SQL) اللازم للحصول على الإجابة.
النتائج: الذكاء الاصطناعي لا يزال مبتدئاً
اختبر الباحثون أذكى نماذج الذكاء الاصطناعي المتاحة (مثل GPT-5 من OpenAI و DeepSeek R1) في هذه "الأولمبياد".
إليك لوحة النتائج:
- أفضل ذكاء اصطناعي: حصل على حوالي 69% بشكل صحيح.
- ذكاء "الاستنتاج" (النماذج التي تفكر قبل أن تتحدث): حصل على حوالي 58% بشكل صحيح.
- المتوسط العام للذكاء الاصطناعي: عانى أكثر من ذلك بكثير.
ماذا يعني هذا؟
حتى أذكى نماذج الذكاء الاصطناعي لا تزال مثل المتدربين المبتدئين عندما يتعلق الأمر بعمل الجداول المعقد. يمكنهم قراءة الجدول، ولكن إذا طلبت منهم إعادة تنظيم جدول بيانات ضخم أو إصلاح معادلة معطلة، فإنهم غالباً ما يرتكبون الأخطاء.
الاكتشافات الرئيسية (لحظات الـ "آها!")
- التفكير يساعد، لكنه ليس كافياً: النماذج التي "تفكر" (نماذج الاستنتاج) أدت بشكل أفضل من روبوتات الدردشة القياسية، لكنها لا تزال تعاني. اتضح أن فهم الجدول يتطلب أكثر من مجرد المنطق؛ إنه يتطلب فهم هيكل الشبكة.
- مشكلة "الجدول الطويل": إذا كان الجدول قصيراً، يؤدي الذكاء الاصطناعي عملاً جيداً. ولكن إذا كان الجدول ضخماً (مثل جدول بيانات يحتوي على آلاف الصفوف)، فإن الذكاء الاصطناعي يضيع. الأمر يشبه محاولة العثور على إبرة محددة في كومة قش، لكن كومة القش بعرض 10 أميال. ينسى الذكاء الاصطناعي أين هو.
- الحساسية لـ "الخلط" (Shuffle): في جداول البيانات الحقيقية، لا يهم إذا قمت بخلط ترتيب الصفوف (ترتيب البيانات)؛ فالمعنى يظل كما هو. لكن نماذج الذكاء الاصطناعي ترتبك! إذا قمت بخلط الصفوف، غالباً ما يعتقد الذكاء الاصطناعي أن البيانات قد تغيرت. هذا يوضح أنهم لا "يفهمون" الجدول حقاً؛ بل هم فقط يطابقون الأنماط النصية.
- التنسيق مهم (أحياناً): كان الذكاء الاصطناعي في السابق يرتبك بشدة إذا أعطيته جدولاً بتنسيق غريب (مثل HTML مقابل CSV). الآن، أصبحوا أفضل في التعامل مع التنسيقات المختلفة، لكنهم لا يزالون يفضلون التخطيطات النظيفة والبسيطة.
لماذا يجب أن نهتم؟
نحن نعتمد على الجداول في كل شيء: الخدمات المصرفية، الرعاية الصحية، اللوجستيات، والعلوم. إذا أردنا أن يكون الذكاء الاصطناعي "مساعداً طياراً" حقيقياً لخبراء البيانات (يساعدنا في بناء قواعد البيانات أو تحليل الاتجاهات)، فعليه أن يجتاز اختبار MMTU.
الخلاصة:
لقد صنعنا ذكاءً اصطناعياً عبقرياً يمكنه كتابة الشعر وحل التفاضل والتكامل. ولكن عندما يتعلق الأمر بعالم جداول البيانات وقواعد البيانات الممل والمبعثر والمعقد، فإنه لا يزال متعثراً بعض الشيء. MMU هو المسطرة الجديدة التي نستخدمها لقياس مدى حاجته للنضج قبل أن يتمكن حقاً من مساعدتنا في بياناتنا.
يأمل المؤلفون أنه من خلال نشر هذا المعيار، سيقوم باحثون آخرون ببناء نماذج أفضل يمكنها أخيراً التعامل مع مستوى "الخبراء" في العمل على الجداول، مما يجعل حياتنا الرقمية أسهل بكثير.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.