ملخص تقني: MulTaBench

بيان المشكلة

حققت النماذج التأسيسية للبيانات الجدولية (TFMs) مؤخرًا أداءً رائدًا في التعلم الجدولي الخاضع للإشراف من خلال الاستفادة من التدريب المسبق على البيانات الرقمية والفئوية المهيكلة. ومع ذلك، فإن هذه النماذج تظل جوهريًا أحادية النمط؛ فهي تفتقر إلى الدعم الأصيل للأنماط غير المهيكلة مثل النصوص والصور. وتعتمد النهج الحالية لتعلم الجداول متعدد الوسائط (MMTL) عادةً على تضمينات (embeddings) مُدربة مسبقًا ومجمدة (مثل تلك المستمدة من النماذج اللغوية الكبيرة LLMs أو نماذج الرؤية واللغة VLMs) لمعالجة المدخلات غير المهيكلة قبل تغذيتها في متعلمات الجداول.

تجادل الورقة بأن هذا النهج غير مثالي لسببين رئيسيين:

1. فقدان المعلومات: تم تحسين التضمينات المُدربة مسبقًا لخدمة محتوى دلالي عام وواسع (مثل التمييز بين صورة أشعة سينية وصورة ماموجرام)، وهي تعمل كملخصات تفقد الكثير من التفاصيل. وغالبًا ما تتجاهل هذه التضمينات التفاصيل الدقيقة (مثل تقديرات الحجم الدقيقة، أو الشذوذ الموضعي، أو الفروق النصية الدقيقة) التي تُعد حاسمة لمهام تنبؤية محددة لاحقة.
2. القيود المستقلة عن المهمة: تركز الاختبارات المرجعية الحالية غالبًا على مجرد التواجد المشترك للأنماط بدلاً من ضرورة وجود تمثيلات مدركة للمهمة (TAR). في العديد من مهام تعلم الجداول متعدد الوسائط (MMTL)، يعتمد التمثيل الأمثل للنمط غير المهيكل بشكل كبير على هدف التنبؤ المحدد والسياق المقدم من الأنماط الأخرى. وتفشل الاختبارات المرجعية الحالية في عزل مجموعات البيانات التي تفشل فيها التضمينات "المستقلة عن المهمة" في التقاط الإشارة التنبؤية اللازمة.

المنهجية

خط أنابيب التقييم (The Curation Pipeline)

لمعالجة الفجوة في الاختبارات المرجعية، طور المؤلفون خط أنابيب خوارزمي لتنسيق مجموعات بيانات تستوفي خاصيتين محددتين:

1. الإشارة المشتركة (Joint Signal): يجب أن يوفر النمط غير المهيكل (النص أو الصورة) معلومات تكميلية تحسن الأداء التنبئي عند دمجها مع البيانات الجدولية المهيكلة، بما يتجاوز ما يحققه كل نمط بمفرده.
2. الإدراك بالمهمة (Task-Awareness): يجب أن تُظهر مجموعة البيانات أن التمثيلات المدركة للمهمة (TAR) —وهي التضمينات التي تم ضبطها خصيصًا لهدف التنبؤ— تتفوق على التضمينات الجاهزة والمجمدة.

الظروف التجريبية:
يقيم خط الأنابيب مجموعات البيانات المرشحة باستخدام خمسة متعلمين جدوليين متنوعين (LightGBM, CatBoost, TabM, TabPFNv2, TabPFN-2.5) تحت أربعة ظروف:

• أحادية النمط - مهيكلة: الميزات الجدولية فقط.
• أحادية النمط - غير مهيكلة: الميزات غير المهيكلة فقط (عبر التضمينات).
• مشترك - مجمد (Joint Frozen): جدولي + غير مهيكل (باست استخدام تضمينات مجمدة).
• مشترك - مدرك للمهمة (Joint TAR): جدولي + غير مهيكل (باستخدام تضمينات تم ضبطها بدقة بناءً على الهدف).

تنفيذ الـ TAR:
لتوليد الـ TAR، يقوم المؤلفون بضبط الطبقات الثلاث الأخيرة من المشفر (Encoder) باستخدام تقنية (LoRA) بناءً على هدف التنبؤ كخطوة معالجة مسبقة. يتم إجراء هذا التكيف بشكل مستقل عن الميزات المهيكلة ومتعلم الجداول اللاحق. بالنسبة لمهام الانحدار (Regression)، يتم تقسيم الملصقات المستمرة إلى فئات (bins) لتثبيت عملية التدريب.

معايير القبول:
تُدرج مجموعة البيانات في الاختبار المرجعي فقط إذا حققت، لثلاثة من أصل خمسة متعلمين على الأقل، ما يلي:

• أن يتفوق شرط "المشترك - المجمد" على كلا النمطين الأحاديين (للتحقق من وجود الإشارة المشتركة).
• أن يتفوق شرط "المشترك - المدرك للمهمة" على شرط "المشترك - المجمد" (للتحقق من الإدراك بالمهمة).

مجموعة بيانات MulTaBench

باستخدام خط الأنابيب هذا، أنشأ المؤلفون MulTaBench، وهو اختبار مرجعي يتكون من 40 مجموعة بيانات:

• 20 مجموعة بيانات (صورة-جدول): تم تنسيقها من مصادر عامة وأدبيات، تغطي مجالات مثل الرعاية الصحية (مثل CheXpert، CBIS-DDSM)، والتجارة الإلكترونية، والبيولوجيا. ويمثل هذا أكبر اختبار مرجعي لبيانات (صورة-جدول) حتى الآن.
• 20 مجموعة بيانات (نص-جدول): مستمدة من اختبارات مرجعية موجودة (مثل CARTE، TextTabBench، AutoML Multimodal)، والتي تم تصفيتها لتلبية معايير التنسيق الصارمة.
• التنوع: توازن المجموعة المرجعية بين مهام التصنيف والانحدار، وتتفاوت في أحجام العينات (من 400 إلى 114,000 صف) وعدد الميزات.

النتائج الرئيسية

1. تفوق التمثيلات المدركة للمهمة (TAR)

النتيجة الجوهرية هي أن الـ TAR يتفوق باستمرار على التضمينات المجمدة عبر جميع مجموعات بيانات MulTaBench.

• التعميم: تتعمم مكاسب الأداء الناتجة عن ضبط التضمينات عبر مختلف متعلمي الجداول (من GBDTs إلى TFMs)، وأحجام المشفرات (نماذج صغيرة مقابل كبيرة)، وأبعاد التضمين (15، 30، 60، أو 384 بُعدًا خامًا).
• حجم المكسب: بينما يختلف مقدار التحسن حسب مجموعة البيانات، إلا أن هذا الاتجاه قوي. على سبيل المثال، في الجزء الخاص بـ (نص-جدول)، حسن الـ TAR الأداء مقارنة بالتضمينات المجمدة لجميع المتعلمين الذين تم اختبارهم.
• الأدلة النوعية: يكشف تحليل خرائط الانتباه (باستخدام DINO-v3) على مجموعات بيانات الصور (مثل CheXpert، PetFinder) أن الـ TAR ينقل تركيز المشفر من الميزات العالمية غير ذات الصلة إلى مناطق محددة ذات صلة بالمهمة (مثل أنسجة الرئة للكشف عن الالتهاب الرئوي، أو آذان الحيوانات للتنبؤ بالعمر)، بينما تظل التضمينات المجمدة مشتتة أو مركزة على تفاصيل غير ذات صلة بالمهمة.

2. قصور الاختبارات المرجعية الحالية

عند تطبيق خط الأنابيب الخاص بالمؤلفين على اختبارات مرجعية حالية (نص-جدول) (56 مجموعة بيانات فريدة من مصادر مثل CARTE وTextTabBench)، وجدوا أن:

• حوالي 23% فشلت في معيار "الإشارة المشتركة" (أي أن النمط غير المهيكل لم يضف أي قيمة).
• من بين المتبقي، فشل 36% في معيار "الإدراك بالمهمة" (أي أن التضمينات المجمدة كانت كافية).
• 41% فقط من المجموعة الأصلية اجتازت كلا المعيارين.
  يشير هذا إلى أن العديد من الاختبارات المرجعية الحالية لا تعزل بفعالية التحديات المحددة التي تتطلب بنى متعددة الوسائط مبتكرة، مما قد يخفي فوائد الـ TAR.

3. المتانة والتكاليف الحسابية

• حجم المشفر: أدى زيادة حجم نموذج التضمين (من صغير إلى كبير) إلى تحسين الأداء اللاحق، ومع ذلك، لا يزال الـ TAR يتفوق بشكل كبير على التضمينات المجمدة حتى عند الحجم الكبير. ومن الملاحظ أن النموذج الصغير الذي تم ضبطه غالبًا ما تفوق على النموذج الكبير المجمد.
• الأبعاد: لم تكن مكاسب الـ TAR ناتجة عن ضغط PCA؛ فقد استمرت حتى عند استخدام تضمينات خام مكونة من 384 بُعدًا.
• التكلفة: يفرض الـ TAR عبئًا حسابيًا كبيرًا، ويرجع ذلك أساسًا إلى خطوة الضبط الدقيق (fine-tuning). ويعد الـ TAR للنصوص أكثر تكلفة بشكل ملحوظ من الـ TAR للصور بسبب حجم البيانات الفعلي الأكبر (أعمدة نصية متعددة).

الأهمية والادعاءات

تضع الورقة MulTaBench كأداة ضرورية لتطوير الجيل القادم من النماذج التأسيسية للجداول متعددة الوسائط.

• سد الفجوة: يرى المؤلفون أن البنى الحالية (بما في ذلك PFNs ونهج النمذجة المشتركة مثل TabSTAR أو AutoGluon-Multimodal) لم تنجح في الحفاظ على أداء الجداول الرائد (SOTA) مع تعلم الـ TAR للنصوص والصور. يستهدف MulTaBench صراحةً مجموعات البيانات التي تتطلب هذه القدرة.
• الاتجاهات المستقبلية: تم تصميم الاختبار المرجعي لتسهيل البحث في البنى التي تجمع بين فوائد السياق للـ TAR وبين متانة وكفاءة التعلم في السياق (ICL). يقترح المؤلفون أن النماذج المستقبلية يجب أن تستفيد من أفضل ما في العالمين، ربما عن طريق ربط TFMs مع LLMs/VLMs أو توسيع المسبقات الاصطناعية لتشمل ميزات متعددة الوسائط.
• الادعاءات المتواضعة: يقر المؤلفون بأن خط الأنابيب الخاص بهم يدمج المشكلة الحسابية مع الحل الخوارزمي (انحياز الاختيار)، مما يجعل من الصعب التنبؤ مسبقًا ما إذا كانت مجموعة بيانات جديدة ستجتاز الاختبار. ومع ذلك، يؤكدون أن خط الأنابيب نجح في عزل فئة متميزة من مهام MMTL حيث تفشل التمثيلات الثابتة، مما يوفر بيئة اختبار صارمة لتقييم النماذج التأسيسية الحقيقية متعددة الوسائط.

باختصار، يثبت MulTaBench أنه بالنسبة لمهام الجداول متعددة الوسائط عالية التأثير، فإن التكيف الخاص بالمهمة للتمثيلات غير المهيكلة ليس مفيدًا فحسب، بل هو ضروري غالبًا، وهو يوفر أول اختبار مرجعي واسع النطاق ومنسق بدقة لدفع البحث في هذا الاتجاه.