TopBench: A Benchmark for Implicit Prediction and Reasoning over Tabular Question Answering
تقدم هذه الورقة TopBench، وهو معيار مرجعي جديد مصمم لتقييم النماذج اللغوية الكبيرة في الاستدلال التنبؤي الضمني على البيانات الجدولية، مما يكشف أن النماذج الحالية تعاني في التعرف على القصد وغالباً ما تلجأ إلى عمليات البحث البسيطة بدلاً من استنتاج الإجابات غير الملحوظة من الأنماط التاريخية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك سجلاً ضخماً وقديم الطراز مليئاً بسجلات فواتير التأمين الصحي للناس. في معظم الأوقات، إذا سألت الكمبيوتر: "كم دفع الرجل المدخن البالغ من العمر 37 عاماً؟"، فإنه يقوم فقط بالبحث عن هذا الاسم بدقة في الكتاب ويقرأ الرقم. هذه هي الطريقة القديمة للقيام بالأشياء.
ولكن ماذا لو سألت: "ابني يبلغ من العمر 18 عاماً، يعيش في الجنوب الشرقي، لا يدخن، ومؤشر كتلة جسمه هو 30.14. كم ستكون فاتورته؟". هنا لا يستطيع الكمبيوتر البحث عنه ببساطة؛ فهو ليس موجوداً في الكتاب بعد. يجب على الكمبيوتر أن يخمن الإجابة بناءً على الأنماط التي يراها في تاريخ الجميع الآخرين. يجب أن يتصرف كالمحقق، وليس كمجرد أمين مكتبة.
تقدم هذه الورقة اختباراً جديداً يسمى TOPBENCH ليرى ما إذا كانت أجهزة الكمبيوتر التي تعمل بالذكاء الاصطناعي الحديث (النماذج اللغوية الكبيرة) جيدة في كونها محققة أم أنها تتظاهر بذلك فقط.
المشكلة: "أمين المكتبة" مقابل "المحقق"
وجد المؤلفون أن معظم نماذج الذكاء الاصطناعي عالقة في دور أمناء المكتبة. فعندما يواجهون سؤالاً حول شخص غير موجود في البيانات، يصابون بالذعر. وبدلاً من بناء توقع، يحاولون إيجاد أقرب تطابق في الكتاب وينسخون ذلك الرقم فحسب، أو يخترعون رقماً يبدو لطيفاً ولكنه ليس مبنياً على الرياضيات. إنهم يفشلون في إدراك أن السؤال يطلب توقعاً، وليس عملية بحث.
الحل: TOPBENCH (امتحان المحقق)
لإصلاح ذلك، صمم الباحثون امتحاناً جديداً يسمى TOPBENCH. إنه بمثابة ساحة تدريب لمحققي الذكاء الاصطناعي. لقد أنشأوا 779 سؤالاً صعباً بناءً على بيانات من العالم الحقيقي (الصحة، التمويل، والحياة اليومية) تتطلب من الذكاء الاصطناعي القيام بأربعة أنواع محددة من "العمل التحقيقي":
- التنبؤ بنقطة واحدة: "إليك ملف تعريف شخص جديد. ما هي فاتورته؟" (مثل تخمين سعر منزل لم تره من قبل بناءً على اتجاهات الحي).
- اتخاذ القرار: "أي من هؤلاء الثلاثة سيدفع الأكثر؟" (مقارنة المستقبلات لاختيار الفائز).
- تأثير العلاج: "إذا انتقل هذا الشخص إلى مدينة أخرى وفقد وزنه، هل ستزيد فاتورته أم تنقص؟" (التنبؤ بنتيجة تغيير ما).
- التصنيف والفلترة: "جد أفضل 10 أشخاص سيدفعون الأكثر." (غربلة حشد كبير للعثين على أفضل المرشحين).
النتائج: الذكاء الاصطناعي لا يزال مبتدئاً
وضع الباحثون أذكى نماذج الذكاء الاصطناعي المتاحة (مثل GPT-5، وClaude، وGemini) في هذا الامتحان. وهذا ما حدث:
- يقعون في "فخ البحث": عندما يُطلب منهم التنبؤ، يحاول الذكاء الاصطناعي غالباً البحث في قاعدة البيانات عن تطابق دقيق. وإذا لم يجد، يصاب بالارتباك. الأمر يشبه نظام تحديد المواقع (GPS) الذي يحاول العثور على شارع لم يوجد بعد، بدلاً من حساب المسار بناءً على الخريطة.
- نماذج "التفكير" لم تساعد كثيراً: تمتلك بعض النماذج وضع "تفكير" خاص حيث تتحدث مع نفسها لحل المشكلات. ومن المثير للدهشة أن هذا غالباً ما جعلها أسوأ في هذه المهمة المحددة. فقد كانت تعلق في حلقة مفرغة، وتتحقق من صف بعد آخر في البيانات، محاولةً إيجاد تطابق مثالي لم يكن موجوداً، حتى تنفد ذاكرتها.
- الأدوات تساعد، ولكن فقط إذا استُخدمت بشكل صحيح: عندما سُمح للذكاء الاصطناعي بكتابة وتشغيل الأكواد (مثل الآلة الحاسبة)، تحسن أداؤه. ومع ذلك، لا تزال العديد من النماذج تستخدم رياضيات بسيطة بدلاً من بناء نموذج تنبؤ سليم. لقد حاولوا حل لغز معقد بمطرقة بدلاً من مفك براغي.
- المتخصصون مقابل العامّون: النماذج المدربة خصيصاً على الجداول (مثل "TableLLM") كانت في الواقع أسوأ من النماذج الذكية العامة. اتضح أن كون المرء خبيراً في قراءة الجداول لم يساعدهم على تعلم كيفية التنبؤ بالمستقبل.
الخلاصة الكبرى
تخلص الورقة إلى أنه بينما يبرع الذكاء الاصطناعي في إيجاد الحقائق المكتوبة بالفعل، فإنه لا يزال سيئاً جداً في تخيل المستقبل بناءً على البيانات.
ولكي يتحسن، يحتاج الذكاء الاصطناعي إلى شيئين:
- فهم القصد: يجب أن يدرك: "أوه، هذا الشخص ليس في الكتاب؛ أحتاج إلى حساب إجابة، وليس إيجاد واحدة".
- مهارات رياضية أفضل: بمجرد أن يدرك أنه بحاجة إلى الحساب، يحتاج إلى استخدام أدوات متطورة (مثل بناء نموذج إحصائي حقيقي) بدلاً من مجرد التخمين أو القيام بعمليات حسابية بسيطة.
حالياً، يشبه الذكاء الاصطناعي طالباً بارعاً في حفظ الكتاب المدرسي، لكنه يفشل في الامتحان النهائي لأنه لا يستطيع تطبيق القواعد على مشكلة جديدة. TOPBENCH هو الامتحان الجديد المصمم لتعليمهم كيف يفكرون، لا أن يتذكروا فحسب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.