💬 NLP

The Mighty ToRR: A Benchmark for Table Reasoning and Robustness

تقدم هذه الورقة ToRR، وهو معيار شامل مصمم لتقي‌م قدرات الاستنتاج والمتانة لنماذج الذكاء الاصطناعي عبر تنسيقات ونطاقات جداول متنوعة، كاشفةً أن حتى النماذج القوية تظهر سلوكاً هشاً، ومسلطةً الضوء على الأهمية البالغة لاختبار تنسيقات ومطالبات متعددة لتقدير الأداء بشكل موثوق.

المؤلفون الأصليون: Shir Ashury-Tahan, Yifan Mai, Rajmohan C, Ariel Gera, Yotam Perlitz, Asaf Yehudai, Elron Bandel, Leshem Choshen, Eyal Shnarch, Percy Liang, Michal Shmueli-Scheuer

نُشر 2026-02-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shir Ashury-Tahan, Yifan Mai, Rajmohan C, Ariel Gera, Yotam Perlitz, Asaf Yehudai, Elron Bandel, Leshem Choshen, Eyal Shnarch, Percy Liang, Michal Shmueli-Scheuer

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف مساعداً جديداً لإدارة جداول البيانات الخاصة بشركتك. لديك كومة من السير الذاتية (النماذج الذكية)، وتريد أن تعرف من هو الأفضل في قراءة الجداول، والقيام بالعمليات الحسابية، وإيجاد الحقائق.

هذه الورقة البحثية، بعنوان "The Mighty ToRR"، تشبه مقابلة عمل ضخمة وصارمة مصممة لاختبار هؤلاء المساعدين الذكيين. أدرك الباحثون من IBM وستانفورد وMIT أنه بينما نعلم أن الذكاء الاصطناعي بارع في كتابة القصائد أو الدردشة، إلا أننا لا نعرف حقاً ما إذا كان بإمكانه التعامل مع البيانات المملة والفوضوية التي نستخدمها يومياً في الواقع.

إليك تفصيل لنتائجهم، باستخدام تشبيهات من الحياة اليومية:

1. المشكلة: فخ "المقاس الواحد الذي يناسب الجميع"

تخيل أنك تسأل مساعدك: "كم أنفقنا على القهوة الشهر الماضي؟"

السيناريو (أ): تعرض عليه ورقة Excel مطبوعة ومنظمة بدقة.
السيناريو (ب): تسلمه إيصالاً مجعداً حيث كُتبت الأرقام بترتيب مختلف.
السيناريو (ج): تكتب البيانات في صندوق دردشة كقائمة بسيطة.

من المتوقع أن يعطيك المساعد نفس الإجابة في الحالات الثلاث، أليس كذلك؟ تكشف الورقة أن نماذج الذكاء الاصطناعي الحالية هشة بشكل مفاجئ. إنهم يشبهون طالباً حفظ نموذج الإجابة لاختبار معين، لكنه يفشل إذا غيرت نوع الخط أو غيرت ترتيب الأسئلة.

2. الحل: معيار "ToRR"

قام الباحثون ببناء ToRR (التفكير في الجداول والمتانة - Table Reasoning and Robustness). فكر في هذا كأنه "اختبار جهد" (Stress Test) لصالة ألعاب رياضية مخصصة للذكاء الاصطعي.

التمرين: أخذوا 10 أنواع مختلفة من مهام الجداول (مثل الحسابات المالية، البيانات العلمية، وحقائق ويكيبيديا).
العقبات: لكل سؤال، لم يكتفوا بطرحه مرة واحدة فقط، بل طرحوه بـ 35 طريقة مختلفة.
- غيروا التنسيق (مثل تحويل جدول إلى ملف CSV، أو كود HTML، أو قائمة Markdown).
- خلطوا الأوراق (عن طريق تغيير ترتيب الصفوف أو الأعمدة عشوائياً، أو حتى قلب الجدول جانبياً).

إذا كان الذكاء الاصطناعي ذكياً حقاً، فيجب أن يحصل على الإجابة الصحيحة بغض matter عن كيفية تقديم البيانات. إذا ارتبك لمجرد أن الصفوف تم تغيير ترتيبها، فهو ليس "متيناً".

3. النتائج الصادمة: "عقول هشة"

كانت النتائج بمثابة جرس إنذار لمجتمع الذكاء الاصطناعي:

تأثير "الهشاشة": حتى أكثر نماذج الذكاء الاصطناعي تقدماً وتكلفة (مثل GPT-4o أو Claude 3.5) واجهت صعوبات. كانت "هشة"، بمعنى أنها تنكسر بسهولة تحت التغييرات الصغيرة. في لحظة قد يبدو كأنه محاسب عبقري؛ وفي اللحظة التالية، مع تغيير ترتيب الصفوف، يصبح مجرد شخص يخمن.
لا يوجد تنسيق سحري: كان الباحثون يأملون في العثور على أن "Markdown" أو "JSON" هو الطريقة المثالية للتحدث مع الذكاء الاصطناعي. لكنهم كانوا مخطئين. لم يكن هناك تنسيق واحد يعمل بشكل أفضل للجميع. أحياناً يفضل النموذج صيغة CSV، وفي أحيان أخرى يفضل HTML. الأمر يشبه محاولة العثور على اللغة المثالية للتحدث مع شخص يغير رأيه كل 5 دقائق.
الحجم لا يهم دائماً: النماذج الأكبر (التي تمتلك "قدرة عقلية" أكبر) كانت أفضل بشكل عام، لكن الفجوة بين النماذج "الأذكى" والنماذج "المقبولة" لم تكن كبيرة. جميعها كانت تعاني من نفس الضعف الأساسي: لم تستطع التعامل مع فوضى البيانات الحقيقية باستمرار.

4. الدرس الكبير: لا تثق في اختبار واحد

هذا هو أهم استنتاج لأي شخص يستخدم الذكاء الاصطناعي.

كذبة "المحاولة الواحدة": معظم الاختبارات المعيارية تسأل النموذج سؤالاً مرة واحدة وتعلن الفائز. تجادل الورقة بأن هذا يشبه تقييم طباخ من خلال السماح له بطهي طبق واحد فقط. إذا كان لديه يوم سيء أو كانت المكونات مختلفة قليلاً، فستحصل على تقييم خاطئ.
حقيقة "المحاولات المتعددة": وجد الباحثون أنك إذا سألت النموذج نفس السؤال بـ طرق متعددة (مطالبات مختلفة، تنسيقات مختلفة)، فستحصل على صورة أكثر موثوقية لذكائه الحقيقي.
الخدعة السحرية: اكتشفوا أن سؤال النموذج نفسه بـ 10 طرق مختلفة فعال تماماً مثل اختبار النموذج على 100 سؤال مختلف. إنه "كود غش" للموثوقية: بدلاً من الحاجة إلى مكتبة ضخمة من أسئلة الاختبار، تحتاج فقط إلى طرح نفس الأسئلة بأصوات مختلفة.

الملخص

تخبرنا الورقة أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً، فإنه لا يزال غير موثوق عند التعامل مع الجداول. الأمر يشبه طالباً عبقرياً يصاب بالذعر إذا قام المعلم بتغيير نوع الخط في ورقة الامتحان.

ToRR هو أداة جديدة تجبر الذكاء الاصطناعي على إثبات أنه يفهم معنى البيانات، وليس فقط شكل البيانات. ويقترح المؤلفون أنه لكي نثق حقاً في الذكاء الاصطناعي في العالم الحقيقي، يجب أن نتوقف عن اختباره بطلب (Prompt) واحد مثالي، ونبدأ باختباره عبر مجموعة متنوعة وفوضوية من التنسيقات لنرى ما إذا كان بإمكانه حقاً التفكير وسط الضجيج.

إليك ملخص تقني مفصل لورقة البحث بعنوان "The Mighty ToRR: A Benchmark for Table Reasoning and Robustness in LLMs" (ToRR الجبار: معيار للاستدلال على الجداول والمتانة في النماذج اللغوية الكبيرة).

1. بيان المشكلة

على الرغم من انتشار البيانات الجدولية في التطبيقات الواقعية (التمويل، العلوم، الأخبار)، إلا أن قدرة النماذج اللغوية الكبيرة (LLMs) على الاستدلال عبر الجداول لا تزال غير مستكشفة بشكل كافٍ وغير مفهوم جيدًا. تعاني المعايير الحالية غالبًا من ثلاث قيود حرجة:

النطاق الضيق: تركز عادةً على مهام محددة (مثل الإجابة على الأسئلة فقط) أو مجالات ضيقة، مما يجعلها تفشل في استيعاب الطيف الكامل لمهارات الاستدلال على الجداول.
الافتقار إلى تقييم المتانة (Robustness): تُقيّم النماذج بناءً على تنسيق جدول واحد ثابت (مثل Markdown أو JSON)، متجاهلة حقيقة أن الجداول في العالم الحقيقي تظهر في تنسيقات متنوعة ومتكافئة دلاليًا.
هشاشة التقييم: لا تأخذ في الاعتبار كيف تؤدي التغييرات الطفيفة في بنية المطالبة (التسلسل أو الاضطراب) إلى تغيير أداء النموذج بشكل جذري، مما يؤدي إلى ترتيبات غير موثوقة.

يجادل المؤلفون بأنه بدون تقييم المتانة عبر التنسيقات المختلفة، لا يمكن للتقييمات الحالية تحديد النماذج القادرة حقًا على الاستدلال على الجداول بشكل موثوق.

2. المنهجية: معيار ToRR

لمعالجة هذه الفجوات، قدم المؤلفون ToRR (Table Reasoning and Robustness)، وهو معيار شامل مصمم لقياس كل من الأداء والاتساق.

أ. بناء مجموعة البيانات

يجمع ToRR بين 10 مجموعات بيانات تغطي 6 أنواع من المهام عبر مجالات متنوعة (التمويل، ويكيبيديا، العلوم، إلخ):

الإجابة على الأسئلة حول الجداول (Table QA): FinQA، وWikiTableQuestions (WikiTQ)، وTableBench (تحليل البيانات، التحقق من الحقائق، الاستدلال الرقمي).
التحقق من الحقائق: TabFact.
توليد النص من الجدول (Table-to-Text Generation): QTSumm، وSciGen، وNumericNLG.
التصنيف: تصنيف نوع العمود (TURL CTA).

تم تحليل مجموعات البيانات يدويًا لتحديد ثلاث مهارات استدلال أساسية مطلوبة:

استخراج المعرفة: استرجاع حقول/كيانات محددة.
الاستدلال النصي: الجمع بين النص والبيانات لاستنتاج النتائج.
الاستدلال الرقمي: إجراء العمليات الحسابية والتجميعات.

ب. تكوينات المطالبات واختبار المتانة

الابتكار الأساسي لـ ToRR هو التغيير المنهجي لمطالبات المدخلات. لكل مثال اختبار، يتم تقديم الجدول في 35 تكوينًا مختلفًا للمطالبة:

7 طرق للتسلسل (Serializations): تنسيقات نصية مختلفة تمثل نفس الجدول (HTML، CSV، JSON، Markdown، Indexed Row Major، DataFrame، Concatenation).
4 اضطرابات هيكلية: تغييرات في هيكل الجدول تحافظ على المعنى ولكن تغير التخطيط (خلط الصفوف، خلط الأعمدة، التدوير/Transposition، إضافة صفوف فارغة).
التحكم (Control): 7 تكوينات بدون اضطرابات.

يختبر هذا التصميم ما إذا كان أداء النموذج يظل متسقًا بغض النظر عن كيفية تقديم البيانات.

ج. المقاييس

الأداء ( $P$ ): متوسط الدرجة عبر جميع تكوينات المطالبات والأمثلة.
المتانة ( $R$ ): تُعرف بأنها $1 - \text{Average Range}$ . وهي تقيس التباين في درجة النموذج عبر الـ 35 تكوينًا لنفس المثال. تشير القيمة العالية لـ $R$ إلى أن النموذج غير حساس لتغيرات التنسيق؛ بينما تشير القيمة المنخفضة إلى سلوك هش.

د. الإعداد التجريبي

النماذج: 14 نموذجًا رائدًا (7 عائلات)، بما في ذلك النماذج المغلقة (GPT-4o، Claude-3.5-Sonnet، Gemini-1.5-Pro) والنماذج مفتوحة الأوزان (Llama-3.1، Qwen2، Mixtral).
البروتوكول: 100 مثال لكل مجموعة بيانات، مطالبة بـ 5 أمثلة (5-shot prompting)، وفك التشفير الجشع (greedy decoding).
الحجم الإجمالي: حوالي 110-140 مليون توكن لكل نموذج.

3. المساهمات الرئيسية

معيار شامل: يعد ToRR أول معيار يقيم استدلال الجداول بشكل منهجي عبر مهام وتنسيقات مدخلات متعددة.
قياس المتانة: قدم مقياسًا رسميًا للمتانة، كاشفًا أن النماذج الحالية حساسة للغاية لتغيرات المطالبة.
رؤية التقييم الميتا (Meta-Evaluation): تثبت الورقة أن التقييم عبر تكوينات مطالبات متعددة أكثر فعالية لضمان موثوقية الترتيب من مجرد زيادة عدد أمثلة الاختبار.
الموارد المفتوحة: أصدر المؤلفون لوحة الصدارة، ومخرجات الاستدلال الكاملة، والكود (عبر مكتبة Unitxt).

4. النتائج والتحليلات الرئيسية

أ. قدرات النماذج محدودة

أداء مطلق منخفض: حتى أفضل النماذج (مثل Claude-3.5-Sonnet، GPT-4o) تحقق درجات متوسطة فقط (بحد أقصى ~0.50 على مقياس 0-1).
فجوات ضيقة: غالبًا ما يكون الفرق في الأداء بين النماذج رفيعة المستوى والمتوسطة صغيرًا وغير ذي دلالة إحصائية من الناحية العملية (معامل Cohen's $d$ صغير).
النماذج المغلقة مقابل المفتوحة: تتفوق النماذج المملوكة والمغلقة عمومًا على النماذج مفتوحة الأوزان، لكن الفجوة ليست مطلقة عبر جميع المهام.

ب. الهشاشة الشديدة (النمط اللافت للنظر)

عدم الاتساق: تظهر النماذج درجات متفاوتة تمامًا لنفس السؤال اعتمادًا على تنسيق الجدول.
- مثال: قد يحصل نموذج على 0.9 في جدول Markdown و0.1 في جدول CSV مخلط لنفس المثال.
لا يوجد تنسيق "أفضل": لا يوجد تسلسل واحد (مثل JSON مقابل HTML) يحقق أداءً متفوقًا باستمرار عبر جميع النماذج أو المهام.
الحساسية للاضطراب: تسبب التغييرات الهيكلية مثل خلط الصفوف أو التدوير انخفاضًا كبيرًا في الأداء، مما يشير إلى أن النماذج تفتقر إلى تمثيل داخلي مستقر ومعمم للجداول.

ج. قيمة المطالبات المتعددة

تعزيز الموثوقية: تثبت الورقة أن اختبار النموذج باستخدام تكوينات مطالبات متعددة يزيد بشكل كبير من موثوقية التقييم (مقاسًا باتفاق Kendall's $W$ على الترتيب).
تأثير الاستبدال: يمكن لإضافة تنويعات المطالبة أن تعوض عن صغر حجم مجموعة الاختبار. على سبيل المثال، 50 مثالاً مع مطالبين اثنين تعطي موثوقية ترتيب مماثلة لـ 100 مثال مع مطالبة واحدة.
الاستنتاج: التقييم بمطالبة واحدة غير موثوق؛ والتقييم المتين يتطلب اختبارًا متعدد التنسيقات.

5. الأهمية والآثار المترتبة

إعادة التفكير في التقييم: تتحدى الورقة الممارسة القياسية المتمثلة في استخدام تنسيق مطالبة واحد لمعايير النماذج اللغوية الكبيرة. وتجادل بأن لوحات الصدارة الحالية قد تكون مضللة بسبب "حظ التنسيق" بدلاً من قدرة الاستدلال الحقيقية.
الصلة بالواقع: بما أن البيانات الواقعية تأتي بتنسيقات متنوعة وغير منظمة، فإن النماذج التي تفشل في اختبار متانة ToRR من المرجح أن تفشل في بيئات الإنتاج حيث لا يكون تنسيق البيانات تحت السيطرة.
الاتجاهات المستقبلية: تشير النتائج إلى أن تحسين النماذج اللغوية الكبيرة لا يتطلب استدلالًا أفضل فحسب، بل يتطلب أيضًا تعميمًا أفضل عبر الوسائط المدخلة. ويدعو المؤلفون إلى اعتماد بروتوكولات تقييم متعددة المطالبات في المعايير المستقبلية لضمان تطوير ذكاء اصطناعي موثوق.

باختصار، يكشف ToRR أنه بينما تظهر النماذج اللغوية الكبيرة وعودًا في الاستدلال على الجداول، إلا أنها تظل هشة وغير متسقة. يوفر هذا المعيار أداة ضرورية للانتقال من مجرد ترتيب الأداء البسيط نحو فهم أكثر دقة لموثوقية النماذج في مهام البيانات المهيكلة.