📊 statistics

Benchmarking Tabular Foundation Models for Conditional Density Estimation in Regression

تقوم هذه الورقة البحثية بتقييم النماذج التأسيسية للبيانات الجدولية في تقدير الكثافة الشرطية عبر 39 مجموعة بيانات من العالم الحقيقي، مظهرةً أنها تحقق باستمرار دقة وتفوقاً في احتمالية اللوغاريتم مقارنة بالنماذج المرجعية المتنوعة، لا سيما في حالات البيانات المنخفضة، بل وتتفوق حتى على النماذج المتخصصة الأكبر حجماً في تطبيقات محددة مثل تقدير الإزاحة الحمراء الضوئية.

المؤلفون الأصليون: Rafael Izbicki, Pedro L. C. Rodrigues

نُشر 2026-03-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rafael Izbicki, Pedro L. C. Rodrigues

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك خبير أرصاد جوية.

الطريقة القديمة (التنبؤ بنقطة واحدة):
تعمل معظم نماذج تعلم الآلة التقليدية مثل تطبيق طقس بسيط يخبرك فقط: "غداً ستكون درجة الحرارة 72 فهرنهايت". إنها تعطيك رقماً واحداً فقط. ولكن ماذا لو كان هناك احتمال بنسبة 50% لحدوث عاصفة ثلجية و50% لحدوث موجة حر؟ المتوسط سيكون 72 فهرنهايت، لكن هذا الرقم لا يفيدك في شيء. أنت بحاجة لمعرفة الصورة الكاملة: خطر تساقط الثلوج، فرصة هطول الأمطار، ومدى عدم اليقين في التوقعات.

الهدف (تقدير الكثافة الشرطية):
هذه الورقة البحثية تدور حول تعليم الحواسيب التوقف عن مجرد تخمين رقم واحد، وبدلاً من ذلك، رسم "خريطة طقس" كاملة للاحتمالات. هذا ما يسمى تقدير الكثافة الشرطية (CDE). وهو يجيب على السؤال: "بالنظر إلى هذه الظروف المحددة (المتغيرات)، ما هو الشكل الكامل للنتائج المحتملة؟"

المنافسون الجدد: "نماذج التأسيس للبيانات الجدولية"

لفترة طويلة، لكي تحصل على هذه "خريطة الطقس" الكاملة، كنت بحاجة لتوظيف متخصص لكل وظيفة محددة.

هل تحتاج للتنبؤ بأسعار المنازل؟ استخدم "متخصص منازل".
هل تحتاج للتنبؤ بمواقع المجرات؟ استخدم "متخصص مجرات".
هل تحتاج للتنبؤ بتقلبات الأسهم؟ استخدم "متخصص أسهم".

هؤلاء المتخصصون رائعون، لكنهم يتطلبون الكثير من البيانات لتعلم مهنتهم المحددة.

إليك نماذج التأسيس للبيانات الجدولية (Tabular Foundation Models) (مثل TabPFN و TabICL). فكر فيهم كأنهم متدربون خارقون قرأوا كل كتاب في المكتبة قبل أن يبدأوا عملهم حتى.

لم يتم تدريبهم على بياناتك الخاصة بعد.
بدلاً من ذلك، تم تدريبهم مسبقاً على ملايين المشكلات الاصطناعية.
عندما تسلمهم بياناتك، لا يحتاجون إلى "الدراسة" (إعادة التدريب) من الصดับ. هم فقط ينظرون إلى بياناتك ويقولون: "آه، لقد رأيت أنماطاً كهذه من قبل. إليكم أفضل تخمين لدي للتوزيع الكامل".

السباق الكبير (الاختبار المعياري)

نظم مؤلفو هذه الورقة سباقاً ضخماً لمعرفة من الأفضل في رسم "خرائط الطقس" هذه.

المتسابقون: "المتدربون الخارقون" (نماذج التأسيس) مقابل "المتخصصين" (الطرق الإحصائية والشبكات العصبية التقليدية).
المضمار: 39 مجموعة بيانات من العالم الحقيقي (تتراوح من أسعار المنازل إلى مواقع المجرات).
الظروف: اختبرواهم مع بيانات قليلة جداً (50 مثالاً) ومع بيانات كثيرة (20,000 مثال).

النتائج: ماذا حدث؟

1. "المتدربون الخارقون" بارعون بشكل مذهل في البيانات الصغيرة.
عندما كانت البيانات شحيحة (50 مثالاً فقط)، سحقت نماذج التأسيس المنافسة.

تشبيه: تخيل لاعب شطرنج عالمي (نموذج التأسيس) يلعب ضد لاعب محلي في نادٍ (المتخصص). حتى لو لم يسبق للاعب العالمي رؤية (هذا التشكيل المحدد للرقعة) من قبل، فإن خبرته الواسعة تسمح له بالقيام بنقلة عبقرية فوراً، بينما يحتاج اللاعب المحلي لدراسة الرقعة لساعات ليلحق به.
النتيجة: أنتجت نماذج التأسيس أكثر "خرائط طقس" دقة في الغالبية العظمى من مجموعات البيانات، حتى مع وجود كميات ضئيلة من البيانات.

2. "المتخصصون" يلحقون بالركب عندما تمنحهم مكتبة.
عندما زاد حجم البيانات إلى 20,000 مثال، بدأ المتخصصون في اللحاق بالركب.

تشبيه: إذا أعطيت اللاعب المحلي ملايين الساعات لدراسة الرقعة، يمكنه في النهاية هزيمة اللاعب العالمي.
النتيجة: تقلصت الفجوة. كانت نماذج التأسيس لا تزال هي الأفضل عادةً، لكن المتخصصين أصبحوا منافسين أقوياء جداً.

3. خلل "المعايرة".
بينما كانت نماذج التأسيس بارعة في رسم شكل الخريطة، إلا أنها كانت أحياناً "مفرطة في الثقة" أو "ضعيفة الثقة" بشأن الاحتمالات.

تشبيه: قد ترسم نماذج التأسيس خريطة مثالية لعاصفة، لكنها قد تقول "هناك احتمال بنسبة 90% لهطول الأمطار" بينما هي في الواقع 70% فقط. كانت النماذج المتخصصة أحياناً أفضل في ضبط النسب المئوية بدقة.
الحل: تقترح الورقة أنه إذا أخذت خريطة نموذج التأسيس وقمت فقط بتعديل النسب المئوية قليلاً (عملية تسمى "إعادة المعايرة")، فستحصل على أفضل ما في العالمين.

اختبار "تلسكوب الفضاء" (دراسة حالة SDSS)

لإثبات مدى قوة هذه النماذج، أجرى المؤلفون اختباراً خاصاً باستخدام بيانات من مسح سلون الرقمي للسماء (500,000 مجرة).

التحدي: التنبؤ بمسافة المجرات بناءً على ضوئها.
الإعداد: جعلوا "المتخصصين" يتدربون على كامل مجموعة بيانات الـ 500,000 مجرة. وجعلوا "المتدرب الخارق" (TabPFN) يتدرب على 50,000 مجرة فقط (10% من البيانات).
النتيجة: تفوق "المتدرب الخارق"، باستخدام 10% فقط من البيانات، على "المتخصصين" الذين استخدموا 100% من البيانات.
لماذا هذا مهم: في العالم الحقيقي، تكون البيانات مكلفة وصعبة المنال (مثل تصنيف المجرات). هذا يثبت أن نماذج التأسيس يمكن أن توفر عليك كميات هائلة من المال والوقت لأنها تتعلم الكثير من القليل من البيانات.

الخلاصة

تخبرنا هذه الورقة أننا لم نعد بحاجة لبناء نموذج تعلم آلة مخصص ومتخصص لكل مشكلة على حدة.

لدينا الآن "متنبئات عالمية" جاهزة للاستخدام يمكنها النظر إلى جدول من البيانات وتوليد خريطة احتمالات كاملة وعالية الجودة فوراً. وهي:

أسرع في البدء: لا حاجة لأوقات تدريب طويلة.
فعالة في استخدام البيانات: تعمل ببراعة حتى مع مجموعات البيانات الصغيرة.
دقيقة: غالباً ما تتفوق على أفضل الأدوات المتخصصة.

العيب الوحيد؟ إنها تشبه سيارة رياضية فائقة السرعة؛ فهي تحتاج إلى محرك قوي (وحدة معالجة رسومية - GPU) لتعمل، وإذا كان الطريق (مجموعة البيانات) ضخماً جداً أو متعرجاً للغاية (أبعاد عالية)، فقد تنفد منها الطاقة (الذاكرة) قبل أن تنتهي. لكن بالنسبة لمعظم المشكلات اليومية، فهنّ البطلات الجديدات.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تقييم النماذج التأسيسية للبيانات الجدولية لتقدير الكثافة الشرطية في مهام الانحدار".

١. بيان المشكلة

يهدف تقدير الكثافة الشرطية (CDE) إلى استعادة التوزيع الشرطي الكامل $f(y|x)$ لمتغير الاستجابة $y$ بناءً على المتغيرات الجدولية $x$ المعطاة، بدلاً من مجرد التنبؤ بالمتوسط الشرطي أو الربيعات (quantiles). ويعد هذا أمراً بالغ الأهمية في السيناريوهات التي تنطوي على:

تباين عدم التجانس (Heteroscedasticity): حيث يتغير التباين مع المدخلات.
تعدد الأنماط (Multimodality): وجود نتائج متعددة ومتميزة لمدخل واحد.
عدم اليقين غير المتماثل (Asymmetric Uncertainty): التوزيعات التنبؤية الملتوية.

بينما أظهرت النماذج التأسيسية للبيانات الجدولية الحديثة (مثل TabPFN وTabICL) أداءً فائقاً في التنبؤ النقطي (الانحدار والتصنيف) عبر التعلم داخل السياق (in-context learning)، إلا أن فعاليتها كطرق عامة لتقدير الكثافة الشرطية (CDE) لم تخضع لتقييم منهجي. تركز الاختبارات المرجعية الحالية بشكل كبير على مقاييس النقطة (مثل RMSE وR²)، مما يترك فجوة في فهم ما إذا كانت هذه النماذج قادرة على التقاط الأشكال التوزيعية المعقدة والحفاظ على المعايرة مقارنة بطرق CDE المصممة خصيصاً لهذا الغرض.

٢. المنهجية

٢.١ النماذج التي تم تقييمها

تقوم الدراسة بتقييم ثلاثة متغيرات من النماذج التأسيسية للبيانات الجدولية مقابل مجموعة متنوعة من النماذج المرجعية عبر خمس عائلات منهجية:

النماذج التأسيسية (بدون ضبط دقيق، تعلم داخل السياق نقي):

TabPFN-2.5: يخرج توزيعاً شريطياً منفصلاً (histogram) فوق نطاق الاستجابة.
RealTabPFN-2.5: متغير تم ضبطه بدقة على بيانات جدولية واقعية، ويخرج أيضاً توزيعات شريطية.
TabICL-Quantiles: يخرج الربيعات التنبؤية مباشرة.
- المعالجة اللاحقة: يتم تحويل التوزيعات الشريطية إلى كثافات عبر الاستيفاء الخطي وإعادة التطبيع. كما يتم استيفاء الربيعات لتشكيل دالة التوزيع التراكمي (CDF)، ثم اشتقاقها عددياً للحصول على الكثافات.

النماذج المرجعية (طرق CDE مصممة خصيصاً):

النماذج البارامترية (Parametric): نماذج التوزيع الطبيعي (متجانسة وغير متجانسة التباين)، وتوزيع T (Student-t)، والتوزيع اللوغاريتمي الطبيعي، وتوزيع غاما (GLMs) مع وبدون تنظيم ريدي (ridge regularization).
النماذج القائمة على الربيعات (Quantile-based): Quantile-Tree (أشجار تعزيز التدرج عند ٤٩ مستوى ربيعي).
النماذج القائمة على الانحدار (Regression-based): FlexCode-RF (تقدير معاملات توسيع أساس جيب التمام عبر الغابات العشوائية).
النماذج الاحتمالية القائمة على الأشجار (Tree-based Probabilistic): نموذج BART (نسخ متجانسة وغير متجانسة باستخدام XBART).
مقدرات الكثافة العصبية (Neural Density Estimators): شبكات الكثافة المختلطة (MDN)، وFlow-Spline (تدفقات النورمالايزينج الشرطية)، وCatMLP (شبكة MLP مجزأة باستخدام Softmax).

٢.٢ الإعداد التجريبي

مجموعات البيانات: ٣٩ مجموعة بيانات حقيقية من الانحدار من OpenML وSDSS DR18 (الفيزياء الفلكية)، تغطي مجالات مثل العقارات، الروبوتات، المعلوماتية الحيوية، والتمويل.
أحجام العينات: تم التقييم عبر عينات فرعية متداخلة من $n \in \{50, 500, 1k, 5k, 10k, 20k\}$ . كما أُجريت دراسة توسع محددة على مجموعة بيانات SDSS حتى $n=500,000$ .
الأبعاد: تراوحت أبعاد المتغيرات المستقلة ( $d$ ) من ٥ إلى ٥٦٣.
مقاييس التقييم: تم استخدام ستة مقاييس متكاملة:
1. خسارة CDE: قاعدة تسجيل ملائمة تقلل الفرق المربع المتوقع بين الكثافة المقدرة والحقيقية.
2. الاحتمالية (Log-Likelihood): الإنتروبيا المتقاطعة للتوزيع التنبئي.
3. CRPS (درجة الاحتمالية التراكمية المستمرة): يقيس الفرق بين دالة التوزيع التراكمي التنبؤية والنتيجة الحقيقية.
4. إحصائية PIT KS: اختبار كولموغوروف-سميرنوف على قيم تحويل التكامل الاحتمالي لتقييم المعايرة.
5. التغطية بنسبة ٩٠٪: التغطية التجريبية للفترات التنبؤية.
6. وقت الحوسبة: وقت التنفيذ الفعلي للتدريب والتنبؤ.
البروتوكول: ٥ تقسيمات مستقلة للتدريب والاختبار (٥٠ تقسيماً لـ $n=50$ ). خضعت النماذج المرجعية لضبط المعلمات الفائقة عبر التحقق المتقاطع؛ بينما استخدمت النماذج التأسيسية الإعدادات المسبقة الافتراضية دون أي ضبط دقيق.

٣. المساهمات الرئيسية

١. أول تقييم مرجعي واسع لنطاق CDE الجدولي: تقدم الورقة أول تقييم منهجي للنماذج التأسيسية للبيانات الجدولية خصيصاً لتقدير الكثافة الشرطية، متجاوزةً مقاييس التنبؤ النقطي.
٢. تصميم تجريبي واسع النطاق: يغطي ٣٩ مجموعة بيانات، وأحجام عينات تصل إلى ٢٠,٠٠٠ (و٥٠٠,٠٠٠ في دراسة حالة)، وأبعاد تصل إلى ٥٦٣، باستخدام إطار تقييم متعدد المقاييس صارم.
③ التحليل التشخيصي لأنماط الفشل: تحديد سيناريوهات محددة يقل فيها أداء النماذج التأسيسية (مثل الاستجابات المنفصلة أو شبه المنفصلة) وتحليل المقايضة بين كفاءة العينة والمعايرة.
٤. دراسة حالة التوسع: توضح أن النماذج التأسيسية المدربة على جزء بسيط من البيانات يمكن أن تتفوق على الطرق الكلاسيكية المدربة على كامل مجموعة البيانات.

٤. النتائج الرئيسية

٤.١ دقة الكثافة (خسارة CDE، الاحتمالية، CRPS)

الهيمنة: حققت النماذج التأساسية باستمرار أفضل نتائج في خسارة CDE، والاحتمالية، وCRPS عبر غالبية مجموعات البيانات.
- عند $n=50$ : تفوقت النماذج التأسيسية في ٨٢٪ من مجموعات البيانات.
- عند $n=1,000$ : تفوقت النماذج التأسيسية في ٩٢٪ من مجموعات البيانات.
- عند $n=20,000$ : تفوقت النماذج التأساسية في ٧٥٪ من مجموعات البيانات.
كفاءة العينة: أظهرت النماذج التأسيسية أداءً فائقاً حتى في أحجام العينات الصغيرة جداً ( $n=50$ )، حيث نجحت غالباً في التقاط الهياكل المعقدة (مثل تعدد الأنماط) في حين تطلبت الطرق غير التأسيسية بيانات أكثر بكثير.
تفاصيل TabICL: بينما قدم TabICL-Quantiles أداءً استثنائياً في CRPS (الذي يمكن حسابه مباشرة من الربيعات)، إلا أنه تأخر قليلاً في خسارة CDE والاحتمالية. ويُعزى ذلك إلى الضوضاء الناتجة عن خطوة الاشتقاق العددي المطلوبة لتحويل الربيعات إلى كثافات.

٤.٢ المعايرة (Calibration)

العينات الصغيرة: كانت النماذج التأسيسية منافسة أو متفوقة في المعايرة عند أحجام العينات الصغيرة ( $n \le 1,000$ ).
العينات الكبيرة: مع زيادة حجم العينة ( $n \ge 5,000$ )، تدهورت رتب المعايرة للنماذج التأسيسية (إلى منتصف الجدول)، بينما حققت النماذج العصبية المخصصة للمهمة (مثل MDN) غالباً معايرة أفضل. يشير هذا إلى أن التعلم داخل السياق فعال للغاية لشكل الكثافة ولكنه ليس الأمثل للمعايرة الاحتمالية عند هذا النطاق مقارنة بالتدريب من البداية للنهاية (end-to-end).

٤.٣ الكفاءة الحسابية

السرعة: كانت النماذج التأسيسية أسرع بكثير من النماذج العصبية المعقدة (مثل Flow-Spline وMDN) لأنها لا تتطلب تدريباً (التنبؤ فقط).
قيود الذاكرة: واجهت متغيرات TabPFN أخطاء "نفاد الذاكرة" (OOM) في مجموعات البيانات عالية الأبعاد ( $d=384$ ) عند $n=20,000$ ، بينما نجح TabICL-Quantiles في التعامل مع هذه الحالات.

٤.٤ دراسة حالة: الإزاحة الحمراء الفوتومترية (SDSS)

السيناريو: تقدير توزيعات الإزاحة الحمراء لـ ٥٠٠,٠٠٠ مجرة.
النتيجة: نموذج TabPFN المدرب على ٥٠,٠٠٠ مجرة فقط (١٠٪ من البيانات) تفوق على جميع النماذج المرجعية المدربة على كامل الـ ٥٠٠,٠٠٠ مجرة عبر مقاييس CDE وCRPS والاحتمالية.
الدلالة: توفر النماذج التأسيسية ميزة هائلة في كفاءة البيانات، مما قد يقلل متطلبات البيانات بمقدار عشرة أضعاف لمهام الانحدار التي تتطلب وعياً بعدم اليقين.

٤.٥ أنماط الفشل

تفوقت النماذج المرجعية المتخصصة أحياناً في سيناريوهات محددة:

الاستجابات المنفصلة/شبه المنفصلة: في مجموعات بيانات مثل "Digits" أو "BlackFriday"، أدت نماذج مثل CatMLP (التي تجزئ المخرجات صراحة) أو النماذج البارامترية ذات الانحيازات الاستقرائية القوية أداءً أفضل، خاصة عند أحجام العينات الصغيرة.
الأبعاد العالية + N الكبيرة: حدت قيود الذاكرة من إمكانية تطبيق متغيرات TabPFN في الإعدادات عالية الأبعاد دون استخدام عينات فرعية.

٥. الأهمية والخلاصة

تثبت هذه الورقة أن النماذج التأسيسية للبيانات الجدولية هي مقدرات كثافة شرطية قوية جاهزة للاستخدام (off-the-shelf).

الأثر العملي: توفر حلاً جاهزاً للاستخدام يتفوق غالباً على مسارات CDE المعقدة والمخصصة للمهام دون الحاجة إلى ضبط المعلمات الفائقة أو التدريب الخاص بكل مجموعة بيانات.
كفاءة البيانات: قدرتها على استخراج الإشارات التنبؤية من مجموعات البيانات الصغيرة تجعلها مثالية للمجالات التي تكون فيها البيانات المصنفة باهظة الثمن أو نادرة (مثل الفيزياء الفلكية أو التصوير الطبي).
الاتجاهات المستقبلية: يقترح المؤلفون أن الجمع بين النماذج التأسيسية وتقنيات إعادة المعايرة اللاحقة (post-hoc recalibration) يمكن أن يعالج فجوات المعايرة عند أحجام العينات الكبيرة. علاوة على ذلك، فإن توسيع هذه التقييمات لتشمل المخرجات متعددة المتغيرات والهيكلية يعد الخطوة الطبيعية التالية.

باختصار، بينما لا تعد هذه النماذج حلاً لكل أنواع التوزيعات (خاصة تلك ذات الدعم المنفصل)، إلا أن النماذج التأسيسية للبيانات الجدولية تمثل قفزة نوعية في جعل تقدير الكثافة الشرطية عالي الجودة متاحاً وفعالاً للبيانات الجدولية.