Shaping the Prior: How Synthetic Task Distributions Determine Tabular Foundation Model Quality

ملخص تقني: تشكيل الأولوية - كيف تحدد توزيعات المهام الاصطناعية جودة النماذج التأسيسية للبيانات الجدولية

1. بيان المشكلة

برزت النماذج التأسيسية للبيانات الجدولية (TFMs) كفئة من الأساليب التي تعيد صياغة التعلم الخاضع للإشراف في البيانات الجدولية كاستدلال تراكمي، مما يسمح للنماذج بالتنبؤ بعلامات الاستعلام من مجموعة دعم مصنفة دون الحاجة لتدريب خاص بكل مجموعة بيانات. وخلافاً لنماذج اللغة أو الرؤية الحاسوبية، التي تكتسب انحيازات استقرائية من بيانات طبيعية المنشأ، تستمد النماذج التأسيسية للبيانات الجدولية انحيازاتها الاستقرائية بالكامل تقريباً من توزيعات التدريب المسبق الاصطناعية.

يحدد البحث فجوة حرجة: تصميم هذه الأولويات الاصطناعية غير مفهوم بشكل جيد. فالأولويات الاصطناعية الحالية غالباً ما تكون "منضبطة للغاية"، حيث تولد بيانات ذات هوامش سمات سلسة، خالية من القيم المفقودة، وتتميز بتبادلية بين صفوف الدعم والاستعلام. وهي تفشل في محاكاة حالات عدم الانتظام، والارتباطات المربكة، وآثار الاختيار، والتحولات التوزيعية المتأصلة في البيانات الجدولية الواقعية. وبناءً على ذلك، قد تفتقر النماذج المدربة مسبقاً على مهام اصطناعية مثالية إلى المتانة المطلوبة للنشر الفعلي. السؤال العلمي المركزي الذي يعالجه البحث هو: ما الذي يحدد جودة النموذج التأسيسي للبيانات الجدولية، وتحديداً كيف يؤثر تصميم الأولوية الاصطناعية على الأداء في المهام اللاحقة؟

2. المنهجية: O'PRIOR

لمعالجة ذلك، قدم المؤلفون O'PRIOR، وهو أولوية واقعية تركيبية مصممة لتوليد مهام تدريب مسبق اصطناعية تحاكي تعقيد البيانات الجدولية الحقيقية بشكل أفضل. تعتمد المنهجية على مسار توليدي تسلسلي وآمن من تسرب المعلومات، يتكون من أربعة مكونات مترابطة:

1. المولد الفائق للنماذج الهيكلية السببية (Hierarchical SCM Meta-Generator):

   • بدلاً من الاعتماد على عائلة وظيفية واحدة (مثل MLPs فقط)، يقوم O'PRIOR بالعينات من نموذج سببي هيكلي هجين (Hybrid SCM).
   • يقوم بتركيب آليات أساسية من خمس عائلات متنوعة: الشبكات العصبية متعددة الطبقات (MLPs)، أشجار القرار (بما في ذلك XGBoost، وRandom Forest، وExtra Trees)، طبقات الالتفاف أحادية الأبعاد (1D Convolutional layers)، عمليات غاوس (RBF kernels)، ونماذج المتجهات ذات الانحدار الذاتي المتأخر زمنياً (VARs).
   • تترتب هذه الآليات في رسم بيخ موجه لا حلقي (DAG) عشوائي، حيث يتم تجميع قيم العقد عبر مؤثرات مثل المتوسط، أو Softmax الموزون، أو Max. ويتم اختيار السمات والأهداف باستخدام استراتيجيات مراعية للتنوع (مثل k-means، واختيار النقطة الأبعد) لضمان تغطية المهمة لمناطق متنوعة في الفضاء التمثيلي.

2. محرك الواقعية المجزأ (Modular Realism Engine):

   • يعمل هذا المكون على تحويل مخرجات الـ SCM الخام إلى جدول رصدي عبر إدخال شوائب واقعية.
   • المعالجة المسبقة المقتصرة على مجموعة الدعم: تُحسب الإحصائيات (المتوسط، التباين) حصرياً من مجموعة الدعم لمنع تسرب المعلومات إلى صفوف الاستعلام.
   • تعزيز السمات وتحوير الهوامش: يتضمن ميزات هندسية (تفاعلات متعددة الحدود، إسقاطات منخفضة الرتبة)، ويحول الهوامش لتشمل ذيولاً ثقيلة (Student-t، Pareto)، ومتغيرات محدودة، وتوزيعات تشبه العد، وضجيج تباين غير متجانس (heteroscedastic noise).
   • القيم المفقودة المنظمة: يُدخل آليات فقدان البيانات العشوائي تماماً (MCAR)، والعشوائي (MAR)، وغير العشوائي (MNAR)، مع تخزين استراتيجيات الإكمال كبيانات وصفية (metadata).
   • تحويرات الأهداف: يطبق تحويرات الالتواء (skew)، والضجيج ثقيل الذيل، وتحويرات الحذف (censoring) لأهداف الانحدار، بالإضافة إلى التجزئة مع ضجيج العلامات لمهام التصنيف.
   • هيكل المجموعات الفرعية: يضيف اختيارياً مجموعات فرعية فئوية مع انحرافات أو تفاعلات خاصة بكل مجموعة.

3. وحدة إجهاد التحول في التوزيع والاختصارات (Distribution Shift and Shortcut Stress Module):

   • يضخ هذا المكون صراحةً ظروفاً تسبب حالات الفشل في النشر الواقعي.
   • الارتباط الخفي (Latent Confounding): يضيف متجهاً كامناً مشتركاً للسمات والأهداف لخلق ارتباطات زائفة.
     ما يسمى بـ المتنبئات الزائفة لمجموعة الدعم (Spurious Support Predictors): ينشئ سمات تكون عالية القدرة التنبؤية في مجموعة الدعم ولكنها غير موثوقة أو معكوسة في مجموعة الاستعلام.
   • تحول المتغيرات المصاحبة (Covariate Shift): يطبق اضطرابات تآلفية (affine perturbations) على صفوف الاستعلام لإزاحة التوزيعات الهامشية.
   • الانجراف الزمني/الموسمي: يُدخل عدم الاستقرار عبر إشارات دورية وتغيرات في الأنظمة (regime changes).

4. بروتوكول المنهج التعليمي الآمن من التسرب (Curriculum-Governed, Leakage-Safe Protocol):

   • يفرض المسار عقداً آمناً من تسرب المعلومات: يجب أن تكون جميع الإحصائيات التي تم قياسها قابلة للقياس من مجموعة الدعم فقط ($F_n$-measurable). يتم تحويل صفوف الاستعلام فقط بواسطة دوال تعتمد على مجموعة الدعم.
   • يتحكم منهج تعليمي (Curriculum) في درجة صعوبة الأولوية خلال التدريب المسبق، بدءاً من واقعية "منخفضة" (آليات بسيطة، شوائب طفيفة) والانتقال إلى واقعية "عالية" (آليات معقدة، تحولات شديدة) لتسهيز التقارب المستقر.

3. البروتوكول التجريبي

وضع المؤلفون بروتوكول تقييم مضبوطاً لعزل "الأولوية" كمتغير مستقل وحيد.

• القيود الثابتة: يتم تثبيت بنية النموذج (NANOTABPFN، وهي إعادة تنفيذ خفيفة لـ TABPFN V2)، والمحسن (optimizer)، وميزانية الحوسبة (40,000 مجموعة بيانات اصطناعية، 10 حقبات تدريب) عبر جميع التجارب.
• المقارنات المرجعية (Baselines): تتم المقارنة مقابل TabPFN v1 (SCM يعتمد على MLP فقط)، وTabICL-v1 (MLP + XGBoost)، وTabICL-v2 (تنوع موسع في SCM).
• مجموعات الاستبعاد (Ablation Groups): يتم اختبار تسعة متغيرات من O'PRIOR لعزل مساهمة تنوع SCM، والـ SCM الهجين، والواقعية (متوسطة/قوية)، وإجهاد التحول، والمنهج التعليمي.
• الاختبارات المعيارية: يتم التقييم باستخدام TabArena v0.1 (21 مجموعة بيانات) وOpenML-CC18 (31 مجموعة بيانات مصفاة)، مع التركيز على أنظمة العينات الصغيرة والمتوسطة.

4. النتائج الرئيسية

• الأداء اللاحق: يحقق O'PRIOR تحسينات ثابتة وجوهرية مقارنة بالنماذج المرجعية. حيث يحسن التكوين الكامل لـ O'PRIOR (G4) مقياس ROC-AUC في TabArena بمقدار 2.8 نقطة، وفي OpenML-CC18 بمقدار 10.1 نقطة مقارنة بـ TabICL-v2.
• مساهمات المكونات:
  • تنوع الآليات: تم تحديد الـ Hybrid SCM (G1b) كأكثر المكونات تأثيراً، حيث يفسر معظم الفجوة في الأداء بين أضعف نموذج مرجعي وأفضل تكوينات O'PRIOR.
  • الواقعية: يتفوق الواقع الشديد (G2b) بشكل مطرد على الواقع المتوسط، مما يشير إلى أن التعرض للشوائب (الذيول الثقيلة، القيم المفقودة) مفيد.
  • إجهاد التحول: بينما يحسن هذا المكون المتانة، فإن مساهمة وحدة التحول في دقة الـ i.i.d المتوسطة أقل من مساهمة الواقعية، حيث صُممت بشكل أساسي من أجل المتانة التوزيعية.
  • المنهج التعليمي: في ظل ميزانيات ثابتة وقصيرة، قد تتفوق الأولويات القوية الثابتة أحياناً على تكوين المنهج التعليمي لأن مرحلة التمهيد تقلل من التعرض لأصعب التوزيعات. المنهج التعليمي هو خيار يعتمد على الجدول الزمني وليس متفوقاً بشكل عالمي.
• المحاذاة الهيكلية: باستخدام مقياس TabStruct المعدل، يولد O'PRIOR جداول ذات أطياف ارتباط وانحلال في القيم الذاتية تطابق البيانات الواقعية (مثل Churn وHome Credit) بشكل وثيق أكثر من TabICL-v2، لا سيما في التقاط التبعيات بين الميزات.
• التمثيلات الداخلية: تكشف تجارب الفحص (probing) أن النماذج المدربة مسبقاً على O'PRIOR تطور تمثيلات داخلية أكثر تمييزاً عبر طبقات الـ Transformer، خاصة في مجموعات البيانات ذات التحديات الهيكلية (مثل Vehicle وIonosphere). في المقابل، تظهر النماذج المرجعية غالباً أداءً مسطحاً أو متدهوراً عبر الطبقات.

5. الأهمية والادعاءات

يزعم البحث أن بناء الأولوية الاصطناعية هو محدد من الدرجة الأولى، وغالباً ما يتم تجاهله، لجودة النماذج التأسيسية للبيانات الجدولية.

• المساهمة العلمية: من خلال عزل "الأولوية" كمتغير، يوضح العمل أن التغييرات الهيكلية ليست المحرك الوحيد لأداء نماذج TFMs؛ بل إن تصميم توزيع المهام الاصطناعية لا يقل أهمية.
• الرؤية الآلية: تثبت الدراسة أن تنوع الآلية الهيكلية (عبر الـ Hybrid SCMs) هو المحرك الرئيسي لتحسين النقل (transfer)، بينما توفر الواقعية الرصدية وإجهاد التحول مكاسب تكميلية ومستقلة.
• الإطار العملي: يوفر O'PRIOR إطاراً مبدئياً ومجزأً لتوليد بيانات تدريب مسبق اصطناعية تعكس بشكل أفضل "فوضوية" البيانات الجدولية الحقيقية، مما يؤدي إلى نماذج ليست أكثر دقة فحسب، بل تمتلك أيضاً تمثيلات داخلية أكثر عمقاً ومتانة.

يخلص المؤلفون إلى أن العمل المستقبلي يجب أن يركز على توسيع نطاق هذا الإطار لميزانيات أكبر واستكشاف وحدات واقعية متخصصة في مجالات معينة، لكن النتائج الحالية تثبت بقوة أن الأولويات الأفضل تنتج نماذج تأسيسية جدولية أفضل على مستويي توليد البيانات وتعلم التمثيل.