ملخص تقني: نماذج التأسيس الجيبية (Pocket Foundation Models)

بيان المشكلة

أظهرت نماذج التأسيس للبيانات الجدولية (TFMs) مثل TabICLv2 وTabPFNv2.6 وLimiX دقة فائقة على مجموعات البيانات الهيكلية الصغيرة من خلال استخدام التعلم في السياق (ICL) عبر محولات (Transformers) ضخمة. ومع ذلك، تواجه هذه النماذج عائقاً حرجاً عند النشر: فهي تتطلب الانتباه إلى مجموعة التدريب بأكملها عند وقت الاستعلام، مما يؤدي إلى تأخير في زمن الاستجابة (latency) يتراوح بين 151 مللي ثانية و1,275 مللي ثانية على وحدات معالجة الرسومات (GPUs). هذا التأخير لا يتوافق مع التطبيقات التي تتطلب استجابة فورية مثل كشف الاحتيال، أو تقييم الجدارة الائتمانية، أو فرز المرضى، والتي غالباً ما تتطلب استجابات أقل من 2 مللي ثانية. علاوة على ذلك، فإن تكاليف وحدة معالجة الرسومات وقيود الإنتاج التي تعتمد على وحدة المعالجة المركزية (CPU) فقط تجعل النشر المباشر لنماذج TFMs غير عملي.

بينما يوفر تقطير المعرفة (Knowledge Distillation) مساراً لضغط هذه النماذج إلى نماذج طالب من نوع الأشجار المعززة بالتدرج (GBDT) أسرع، تبرز عقبة تقنية محددة مع المعلمين القائمين على التعلم في السياق (ICL). فعندما يقوم معلم يعتمد على ICL بتسجيل درجات للأمثلة الموجودة بالفعل في سياقه (أي مجموعة تدريبه الخاصة)، تنهار تنبؤاته لتصبح متجهات قريبة من "one-hot" مع إنتروبيا تقترب من الصفر. هذا "التسرب" (leakage) يدمر البنية البينية للفئات (السمات الناعمة/soft labels) الضرورية للتقطير الفعال، مما يجعل الطالب لا يتعلم أكثر مما لو تعلم من الملصقات الصلبة (hard labels)، وغالباً ما يؤدي إلى أداء أسوأ من التدريب القياسي.

المنهجية

يقترح البحث خط معالجة للتقطير يراعي التسرب، يقوم بتحويل معلمي TFMs إلى طلاب من نوع GBDT أو MLP جاهزين للعمل على وحدة المعالجة المركزية (CPU). الابتكار الأساسي هو استخدام التوسيم خارج الطية الطبقي (Stratified Out-of-Fold - OOF) لمنع تسرب السياق.

1. التوسيم خارج الطية (OOF Labeling): يتم تقسيم مجموعة بيانات التدريب $D$ إلى $K=5$ طيات طبقية. لكل طية $k$، يتم ضبط نموذج المعلم على $D \setminus D_k$ ويُستخدم للتنبؤ باحتمالات المجموعة المستبعدة $D_k$ فقط. يضمن ذلك أن المعلم لا يرى أبداً أمثلة الاستعلام في سياقه، مما يحافظ على إشارة الملصقات الناعمة (البنية البينية للفئات) المطلوبة للتقطير.
2. متوسط المعلمين المتعددين: في حالات تعدد المعلمين، يتم حساب متوسط تنبؤات OOF من عائلات TFMs مختلفة (مثل TabPFN وTabICL وLimiX) بأوزان متساوية قبل استخدامها كأهداف.
3. هدف الطالب (Student Objective): يتم تدريب الطالب (XGBoost أو CatBoost أو LightGBM أو MLP) باستخدام دالة خسارة مختلطة من نوع "Hinton-style":
   $$\mathcal{L} = \alpha \sum_i w_i T_i^2 \text{KL}(\hat{p}_i^{T_i} \parallel q_i^{T_i}) + (1-\alpha) \sum_i w_i \ell_{\text{CE}}(y_i, q_i)$$
   حيث $\alpha=0.7$، و$T_i$ هو مقياس درجة الحرارة لكل عينة بناءً على إنتروبيا المعلم، و$w_i$ هو وزن الثقة الذي يقلل من وزن التنبؤات المفرطة في الثقة أو القريبة من العشوائية. بالنسبة للطلاب القائمين على الأشجار، تتبسط دالة KL إلى انحدار مربعات متوسط (MSE) لكل فئة على لوجيتات الملصقات الناعمة.
4. اختيار المعلم: وجد البحث أن ترتيب المعلمين حسب AUC المنفرد الخاص بهم على عينة مستبعدة ينتقل بدقة إلى ترتيب الطلاب الناتجين. وبالتالي، فإن اختيار أفضل معلم لا يتطلب بحثاً معقداً عن البنية؛ بل ببساطة يتم اختيار المعلم صاحب أعلى AUC منفرد.

المساهمات الرئيسية

1. إلزامية التوسيم خارج الطية (OOF): حدد المؤلفون أن التوسيم خارج الطية ليس خياراً إضافياً لنماذج ICL-based TFMs، بل هو ضرورة. فبدونه، تنهار إشارة الملصقات الناعمة، مما يجعل التقطير ينتج طلاباً أدنى أداءً من نماذج الملصقات الصلبة الأساسية.
2. الأداء مقابل زمن الاستجابة: يؤدي تقطير TabICLv2 إلى XGBoost إلى تحقيق متوسط ماكرو لـ AUC قدره 0.882 (96.5% من AUC المعلم) مع زمن استجابة قدره 1.9 مللي ثانية على نواة CPU واحدة. يمثل هذا تسريعاً بمقدار 38 إلى 860 ضعفاً مقارنة بالمعلم، مع تفوق إحصائي على نموذج CatBoost المضبوط في 51% من 153 مجموعة بيانات (اختبار Wilcoxon $p=0.0008$).
3. مكاسب يمكن التنبؤ بها: المكاسب الناتجة عن التقطير يمكن التنبؤ بها بدقة بناءً على أبعاد البيانات:
   • البيانات منخفضة الأبعاد ($\le$ 21 ميزة): يوفر التقطير مكسباً كبيراً (+0.011 AUC فوق CatBoost).
   • البيانات عالية الأبعاد ($>$ 21 ميزة): تكون المكاسب ضئيلة (+0.001 AUC)، وإذا كان المعلم نفسه يؤدي بشكل أسوأ من CatBoost، فقد يؤدي التقطير إلى تدهور الأداء.
4. ديناميكيات تعدد المعلمين:
   • الطلاب القائمون على الأشجار: يوفر متوسط تعدد المعلمين مكسباً يمكن رصده إحصائياً ولكنه ضئيل عملياً (+0.0006 AUC). معلم واحد قوي يكفي.
   • طلاب MLP: يعمل متوسط تعدد المعلمين كعملية "تنعيم ملصقات" (label smoothing) فعالة، مما يحقق مكسباً كبيراً (+0.006 AUC، $p=0.003$) مقارنة بالتدريب باستخدام معلم واحد.
5. خط معالجة مفتوح المصدر: تم تنفيذ المسار الكامل وإصداره كجزء من مكتبة TabTune.

النتائج

تغطي التقييمات 153 مجموعة بيانات تصنيف من TALENT وOpenML-CC18 وTabZilla وTabArena.

• الدقة: يحقق أفضل تكوين مقطر (TabICLv2 $\to$ XGBoost) قيمة AUC قدرها 0.882، محتفظاً بـ 96.5% من أداء المعلم.
• زمن الاستجابة: تعمل طلاب الأشجار المقطرون في زمن يتراوح بين 1.9 و4.0 مللي ثانية على CPU، مقارنة بـ 151-1,275 مللي ثانية للمعلمين على GPU.
• النماذج المرجعية: تفوقت النماذج المقطرة على نموذج CatBoost المضبوط في 51% من مجموعات البيانات. في المقابل، OrionMSP، وهو معلم أضعف، أنتج طلاباً فازوا بنسبة 22.6% فقط من المرات.
• الدراسة الاستقصائية (Ablation): بالنسبة لطلاب MLP في البيانات منخفضة الأبعاد، فإن استخدام الملصقات الصلبة مع OOF ($\alpha=0$) تفوق في الواقع على مسار Hinton للملصقات الناعة الكامل ($\alpha=0.7$) بمقدار 0.034 AUC، مما يشير إلى أنه بالنسبة للبيانات النظيفة ومنخفضة الأبعاد، فإن آليات الملصقات الناعمة المعقدة اختيارية، لكن التوسيم خارج الطية (OOF) يظل حاسماً.

الأهمية

يثبت هذا البحث أن "مشكلة النشر" لنماذج التأسيس الجدولية يمكن حلها دون التضحية بدقتها. من خلال معالجة مشكلة التسرب المحددة المتأصلة في معلمي ICL، يوضح المؤلفون أنه من الممكن تقطير "البنية البينية للفئات" لنموذج TFM إلى نموذج GBDT خفيف الوزن ويعمل محلياً على CPU.

تكمن الأهمية في القابلية للتنبؤ والفشل المتدرج لهذا النهج:

• إذا كان نموذج TFM قوياً، فإن التقطير ينقل تلك القوة إلى طالب سريع.
• إذا كان نموذج TFM ضعيفاً (أو البيانات عالية الأبعاد)، فإن التقطير لا يرفع الأداء بشكل اصطناعي؛ بل يفشل بشكل نظيف، وغالباً ما يؤدي إلى أداء أسوأ من GBDT القياسي، مما يعطي إشارة بأن المعلم لم يكن مرشحاً جيداً.
• لا يتطلب النهج ضبطاً معقداً للمعلمات الفائقة (hyperparameters) للطالب؛ القرار الرئيسي هو ببساطة اختيار المعلم الأفضل أداءً.

يخلص المؤلفون إلى أنه بالنسبة للبيانات الهيكلية منخفضة الأبعاد، يمكن للممارسين تحقيق دقة قريبة من المعلم عند 1% فقط من تكلفة الاستدلال، بشرط الالتزام الصارم ببروتوكول التوسيم خارج الطية (OOF) لتجنب انهيار الإشارة.