High Performance, Low Reliability: Uncertainty Benchmarking for Tabular Foundation Models

ملخص تقني: أداء عالٍ، موثوقية منخفضة: قياس عدم اليقين كمعيار للنماذج التأسيسية للبيانات الجدولية

بيان المشكلة
أظهرت النماذج التأسيسية للبيانات الجدولية (TFMs) الحديثة، مثل TabPFN وTabICL، أداءً تنبؤياً متفوقاً في أعلى مستويات الحداثة (state-of-the-art) على مجموعات البيانات الجدولية الصغيرة والمتوسطة الحجم، وغالباً ما تتفوق على نماذج تعزيز التدرج القراري (GBDTs) التقليدية. ومع ذلك، فإن موثوقية هذه النماذج، وتحديداً فيما يتعلق بتقدير عدم اليقين (uncertainty quantification)، لا تزال غير مستكشفة إلى حد كبير. وبينما يظل مقياس الدقة التنبؤية (AUC) هو المقياس الأساسي لمعايير القياس الحالية، فإن موثوقية ثقة النموذج أمر بالغ الأهمية للتطبيقات ذات الحساسية العالية (safety-critical applications) في مجالات التمويل والرعاية الصحية. تركز الأدبيات الحالية بشكل حصري تقريباً على الدقة، مما يترك فجوة في فهم ما إذا كانت النماذج التأسيسية للبيانات الجدولية توفر تقديرات معيرة جيداً لعدم اليقين أم أنها تظهر ثقة مفرطة، لا سيما في ظل الظروف الصاخبة أو المعقدة.

المنهجية
يقترح المؤلفون بروتوكول تقييم شاملاً يمتد إلى ما وراء مقاييس الدقة القياسية ليشمل قياس عدم اليقين عبر "التنبؤ المطابق" (Conformal Prediction - CP). تدرس الدراسة أربع عائلات من النماذج عبر 112 مجموعة بيانات جدولية صغيرة ومتوسطة من معيار TALENT، مدعومة بـ 20 مجموعة بيانات اصطناعية مصممة لعزل حالات الضجيج العالي وضعف الفصل بين الفئات.

• النماذج التي تم تقييمها:
  • النماذج التأسيسية (TFMs): TabPFN، TabICL، PFN-v2، وMitra.
  • نماذج تعزيز التدرج القراري (GBDTs): XGBoost، LightGBM، وCatBoost.
  • النماذج المرجعية (Baselines): الطرق الكلاسيكية (k-NN، الانحدار اللوجستي) والتعلم العميق (MLP، TabM).
• إطار التنبؤ المطابق (Conformal Prediction Framework):
  • تستخدم الدراسة درجة "الفئة الأقل غموضاً" (Least Ambiguous Class - LAC)، حيث $s(x, y) = 1 - \hat{p}(y|x)$، لتحويل التنبؤات النقطية إلى مجموعات تنبؤية.
  • تُستخدم مجموعة معايرة (منفصلة عن بيانات التدريب) لحساب درجات عدم التطابق وتحديد عتبة المئينات $q_\alpha$ للوصول إلى تغطية مستهدفة قدرها $1-\alpha = 0.90$.
  • يضمن ذلك ضمانات خالية من التوزيع (distribution-free) بأن الملصق الحقيقي يقع ضمن مجموعة التنبؤ باحتمالية $\geq 1-\alpha$.
• مقاييس التقييم:
  • AUC: الأداء التنبئي القياسي.
  • معدل التغطية (CR): نسبة العينات الاختبارية التي يكون فيها الملصق الحقيقي ضمن مجموعة التنبؤ.
  • متوسط حجم المجموعة (SS): يقيس مدى إفادة المجموعات التنبؤية (المجموعات الأصغر تعني ثقة أعلى).
  • درجة التغطية الطبقية حسب الحجم (SSCS): مقياس حاسم تم تقديمه لتقييم التغطية الشرطية. يقيس التغطية التجريبية عبر مجموعات من العينات ذات أحجام المجموعات المتشابهة. تشير قيمة SSCS المنخفضة إلى أن النموذج يعاني من ثقة مفرطة (ينتج مجموعات صغيرة) عندما يكون مخطئاً بالفعل، وهو فشل في المعايرة قد تخطئه التغطية الهامشية.

النتائج الرئيسية
تكشف النتائج التجريبية، المتوسطة على 15 بذرة (seed)، عن مقايضة واضحة بين الأداء وعدم اليقين:

1. الأداء التنبئي مقابل الموثوقية: تحقق النماذج التأسيسية (TFMs) أعلى درجات AUC (على سبيل المثال، TabICL عند 0.890، وPFN-v2 عند 0.889) مقارنة بنماذج GBDTs (مثل LightGBM عند 0.864). ومع ذلك، تظهر النماذج التأسيسية درجات SSCS أقل بكثير (تتراوح بين 0.494 و0.517) مقارنة بنماذج GBDTs (التي تتراوح بين 0.532 و0.544).
2. المقايضة: هناك اتجاه عكسي بين الدقة وجودة عدم اليقين. فبينما تكون النماذج التأسيسية أكثر دقة، فإن ثقتها لا تعكس عدم اليقين التنبئي بأمانة. فهي تميل إلى إنتاج "أخطاء ذات ثقة مفرطة" — أي مجموعات تنبؤية ضيقة تفشل في تضمين الملصق الحقيقي.
3. نتائج البيانات الاصطناعية: في مجموعات البيانات الاصطناعية ذات الضجيج العالي وضعف الفصل بين الفئات، تتسع الفجوة. تنتج النماذج التأسيسية تنبؤات ذات تباين عالٍ وثقة مفرطة، بينما تظل النماذج القائمة على الأشجار (GBDTs) قوية وتحافظ على تغطية شرطية أعلى (SSCS يبلغ 0.840 لـ GBDTs مقابل 0.614 لـ TFMs في الاختبارات الاصطناعية).
4. سلوك النماذج المرجعية: أظهر الانحدار اللوجستي الكلاسيكي معايرة هامشية جيدة ولكنه عانى من ضعف التغطية الشرطية بالقرب من الحدود غير الخطية. أما نماذج التعلم العميق المرجعية (MLP، TabM) فقد كان أداؤها عموماً أسوأ من النماذج التأسيسية في كل من الدقة والمعايرة.

الأهمية والادعاءات
تخلص الورقة إلى أنه بينما تدفع النماذج التأسيسية حدود الدقة التنبئية، إلا أنها تعاني حالياً من عجز كبير في الموثوقية فيما يتعلق بتقدير عدم اليقين. يدعي المؤلفون ما يلي:

• النماذج التأسيسية ليست جاهزة بعد للنشر في المهام عالية المخاطر التي تتطلب عدم يقين مُعاير، حيث تعطي بشكل منهجي درجات تغطية طبقية حسب الحجم (SSCS) أقل من النماذج التقليدية.
• تظل نماذج GBDs هي الخيار الأكثر موثوقية لمجموعات البيانات الصغيرة إلى المتوسطة، لا سيما تلك التي تتميز بضجيج عالٍ، أو عدم تجانس، أو توزيعات سمات معقدة، حيث توفر معايرة وتماسكاً أفضل رغم انخفاض AUC قليلاً.
• العمل المستقبلي: يحدد المؤلفون أن تحقيق عدم يقين مُعاير جيداً يمثل تحدياً مفتوحاً كبيراً. ويقترحون أن الأبحاث المستقبلية يجب أن تستكشف تحولات التوزيع، وآليات عدم اليقين الخاصة بالنموذج (مثل التجميع/ensembling، أو الرؤوس البايزية)، وتوزيعات التدريب المسبق البديلة لتقليل الثقة المفرطة.

تقدم هذه الدراسة أول تقييم منهجي لعدم اليقين في النماذج التأسيسية للبيانات الجدولية، مما يثبت أن الأداء العالي لا يضمن بالضرورة موثوقية عالية في تعلم البيانات الجدولية.