ملخص تقني: LoMETab: ما وراء التجمعات من الرتبة-1 للتعلم العميق للبيانات الجدولية

بيان المشكلة

تكشف الاختبارات المرجعية الأخيرة في مجال التعلم العميق للبيانات الجدولية عن "تكتل أداء ضيق"، حيث تقدم الأساليب الرائدة — بما في ذلك أشجار القرار المعززة بالتدرج (GBDTs)، والبنى القائمة على الانتباه (attention-based architectures)، والتجمعات الضمنية مثل TabM — كفاءة متقاربة. وبينما يعد التجميع العميق (deep ensembles) وسيلة مثبتة لتحسين أداء النموذج، فإن تدريب $K$ من الشبكات المستقلة يتناسب خطياً مع التكلفة. تعالج التجمعات الضمنية، مثل BatchEnsemble وTabM، هذه المشكلة من خلال مشاركة معظم المعلمات مع إدخال اضطرابات خاصة بكل عضو.

ومع ذلك، تعتمد التجمعات الضمنية الحالية على بنية ثابتة من الرتبة-1. في TabM، يقوم كل عضو بتعديل مصفوفة أوزان مشتركة $W$ عبر قناع رتبة-1 ($W_k = W \odot (s_k r_k^\top)$). يفتقر هذا التصميم إلى محور صريح لزيادة قدرة التعديل الخاصة بكل عضو. وبناءً على ذلك، فإن تنوع التجمع — وهو المحرك الرئيسي لمكاسب التجميع — لا يمكن التحكم فيه بشكل مباشر؛ بل يجب أن ينشأ ضمنياً من أقنعة الرتبة-1 الثابتة وديناميكيات التدريب. تشير الأعمال السابقة إلى أنه في ظل ظروف معينة، قد تتقارب أعضاء BatchEnsemble نحو وظائف متطابقة تقريباً، مما يشير إلى أن تعديل الرتبة-1 قد يفشل في تحقيق تنوع ذي معنى.

المنهجية: LoMETab

يقترح المؤلفون LoMETab، وهو تعميم من الرتبة-$r$ للتجمعات الضمنية الضربِيّة المصممة للتغلب على قيود هياكل الرتبة-1 الثابتة.

الصيغة الجوهرية

بدلاً من قناع الرتبة-1، يخصص LoMETab لكل عضو $k$ زوجاً من مصفوفات المهايئ (adapter matrices) منخفضة الرتبة، $A_k \in \mathbb{R}^{d_{out} \times r}$ و $B_k \in \mathbb{R}^{d_{in} \times r}$. وتُعرف الأوزان الفعالة للعضو $k$ كما يلي:
$$W_k = W \odot (1 + A_k B_k^\top)$$
حيث $W$ هي الوزن الأساسي المشترك، و $A_k B_k^\top$ تشكل مصفوفة متبقية (residual matrix) برتبة لا تتجاوز $r$. يعمل المصطلح $(1 + A_k B_k^\top)$ كـ اضطراب ضربي هويتي-متبقي (identity-residual multiplicative perturbation). عندما تكون المصفوفة المتبقية قريبة من الصفر، يتصرف العضو مثل الوزن المشترك؛ بينما تؤدي المتبقيات الأكبر إلى انحرافات خاصة بكل عضو.

البنية والتدريب

• البنية: يتم إدراج LoMETab في هيكل MLP للبيانات الجدولية. تقوم تمثيلات (embedding) خطية مجزأة مشتركة بمعالجة المدخلات، والتي يتم نسخها بعد ذلك عبر $K$ من الأعضاء. يتم استبدال كل طبقة خطية مخفية بطبقة LoMETab Linear، التي تجمع بين الوزن المشترك والمهايئات الخاصة بكل عضو.
• هدف التدريب: يتم تدريب النموذج باستخدام دالة خسارة لكل عضو، حيث يتم تحسين متوسط خسارة المهمة عبر جميع الأعضاء $K$. وهذا يسمح للنماذج الفرعية المتوازية بالتخصص رغم اشتراكها في الهيكل الأساسي.
• الاستدلال: يتم الحصول على التنبؤات النهائية عن طريق متوسط مخرجات جميع الأعضاء $K$ (متوسط الاحتمالات للتصنيف، والمخرجات القياسية للانحدار).

القدرة التعبيرية النظرية

يضع البحث تسلسلاً هرمياً صارماً في فئات الفرضيات. لأي رتبة $r \ge 2$، تحتوي مجموعة الأوزان الفعالة القابلة للتمثيل في LoMETab بشكل صارم على المجموعة التي يمكن تمثيلها بواسطة BatchEnsemble (الرتبة-1). وتحديداً، يمكن تمثيل أي قناع BatchEnsemble $s_k r_k^\top$ كـ $1 + A_k B_k^\top$ لأن الفرق $s_k r_k^\top - 1$ له رتبة لا تزيد عن 2. وبالتالي، فإن LoMETab يوسع مساحة التصميم بشكل صارم لـ $r \ge 2$.

المساهمات الرئيسية

1. التعميم من الرتبة-$r$: تقديم LoMETab، الذي يستبدل أقنعة الرتبة-1 الثابتة باضطرابات "هادامارد" (Hadamard) منخفضة الرتبة، هويتيّة-متبقية، يتم تحديد معاملاتها عبر رتبة المهايئ $r$ ومقياس التهيئة $\sigma_{init}$.
2. التنوع القابل للتحكم: إثبات أن القدرة التعبيرية المضافة تظهر كتنوع تنبؤي قابل للقياس. يوضح المؤلفون أن LoMETab يحافظ على تباعد "كولباك - ليبلر" (KL divergence) زوجي أعلى من التعديلات الإضافية منخفضة الرتبة. علاوة على ذلك، توفر شبكة البحث $(r, \sigma_{init})$ تحكماً واسع النطاق في التنوع، حيث تغير تباعد KL الزوجي بعدة مراتب عشرية.
3. الضبط المعتمد على البيانات: الأدلة التجريبية على أن التكوينات المثلى للرتبة ومقياس التهيئة تعتمد على مجموعة البيانات. يجادل البحث ضد بناء "الرتبة-1 الثابتة"، مقترحاً بدلاً من ذلك عائلة قابلة للتحكم من التجمعات الضمنية حيث تعمل $r$ و $\sigma_{init}$ كمحاور ضبط عملية.

النتائج التجريبية

قيم المؤلفون LoMETab على 37 مجموعة بيانات أكاديمية (بما في ذلك معيار TabM ومصادر TabZilla) و77 مهمة تقييم.

• أداء المعيار المرجعي: حقق LoMETab متوسط ترتيب قدره 2.1 ± 1.3 عبر 37 مجموعة بيانات، متفوقاً على TabM (2.3 ± 1.8) ومنافساً لأقوى نماذج GBDT (مثل XGBoost وCatBoost) والبنى العصبية الحديثة. وقد احتل المرتبة الأولى في 14 مجموعة بيانات وضمن المراكز الثلاثة الأولى في 89.2% من مجموعات البيانات.
• التحكم في التنوع:
  • الضربي مقابل الجمعي: يحافظ LoMETab على "فجوة مستمرة" في تباعد KL الزوجي مقارنة بتجمع منخفض الرتبة جمعي ($W_k = W + A_k B_k^\top$)، والذي يتقارب بسرعة نحو تنوع منخفض.
  • مسح الشبكة: يكشف مسح $r \in \{1, 2, 4, 8, 16\}$ و $\sigma_{init} \in \{0.1, \dots, 3.0\}$ أن التنوع يتم التحكم فيه بشكل مشترك بواسطة هذين المحورين. يؤدي $\sigma_{init}$ المنخفض إلى تنوع منخفض بغض النظر عن الرتبة، بينما يؤدي $\sigma_{init}$ الأعلى إلى تفعيل محور الرتبة، مما يزيد التنوع بشكل كبير.
  • مقاييس مستوى المهمة: يرتبط زيادة التنوع بزيادة عدم الاتفاق في الـ argmax في التصنيف وزيادة الغموض في الانحدار.
• المفاضلة بين الأداء والتنوع: بينما يتحسن الأداء عموماً مع زيادة التنوع، إلا أن العلاقة ليست طردية بشكل صارم. يسمح ضبط $r$ و $\sigma_{init}$ بالتحسين الخاص بكل مجموعة بيانات، وغالباً ما يتفوق على مجرد زيادة حجم التجمع $K$ في TabM.
• كفاءة المعلمات: على الرغم من زيادة القدرة التعبيرية، لا يتسبب LoMETab بالضرورة في عدد معلمات أعلى من TabM. غالباً ما تختار عملية تحسين المعلمات الفائقة (HPO) تكوينات أكثر إيجازاً (مثل أبعاد مخفية أصغر) عند استخدام رتب أعلى، مما يؤدي إلى عدد معلمات إجمالي مماثل أو حتى أقل في كثير من الحالات.

الأهمية والادعاءات

يزعم البحث أنه بالنسبة للتجمعات الضمنية للبيانات الجدولية، فإن كيفية السماح للأعضاء بالانحراف عن الهيكل الأساسي المشترك هي مسألة تصميم مركزية. من خلال تجاوز قيد الرتبة-1 الثابت، يكشف LoMETab عن رتبة المهايئ ومقياس التهيئة كمحاور عملية وقابلة للتحكم لإدارة تنوع التجمع.

يؤطر المؤلفون مساهمتهم بتواضع باعتبارها توفير "عائلة قابلة للتحكم من التجمعات الضمنية" بدلاً من كونها حلاً ثابتاً. ويؤكدون أن التكوين الأمثل يعتمد على مجموعة البيانات، وأن القيمة الأساسية لـ LoMETab تكمن في القدرة على ضبط شكل وحجم انحرافات الأعضاء لتناسب مهام محددة. يشير العمل إلى أن الأبحاث المستقبلية يمكن أن تستكشف ما إذا كان هذا التحكم في القدرة سيترجم إلى تحسين تقدير عدم اليقين أو اكتشاف البيانات خارج التوزيع (OOD)، وإن كانت هذه تم تحديدها كاتجاهات للعمل المستقبلي وليس كنتائج حالية.