ملخص تقني: الشبكات سابقة التعيين (PFNs) المفككة عبر الأولويات الاصطناعية المهيكلة

بيان المشكلة

تقدم الشبكات سابقة التعيين (PFNs) آلية قوية للتنبؤ البايزي الموزع عبر تعلم الميتا فوق أولويات المهام الاصطناعية. فهي تربط مجموعة بيانات السياق بمدخل استعلام لإنتاج توزيع تنبؤي لاحق في تمريرة أمامية واحدة، مما يلغي الحاجة إلى التحسين لكل مهمة على حدة. ومع ذلك، بالنسبة لمهام اتخاذ القرار المتسلسل مثل التعلم النشط (Active Learning) والتحسين البايزي (Bayesian Optimization - BO)، فإن مخرج الـ PFN القياسي يقدم قيداً حرجاً: فهو يوفر توزيعاً تنبؤياً لاحقاً فوق الملاحظات المشوبة بالضجيج ($p(y^*|x^*, D)$).

هذا التوزيع يخلط بين مصدرين متميزين لعدم اليقين:

1. عدم اليقين الإبستيمي (Epistemic uncertainty): عدم اليقين القابل للتقليل حول الإشارة الكامنة (الدالة الأساسية).
2. عدم اليقين الأليتوري (Aleatoric uncertainty): عدم اليقين غير القابل للتقليل الناتج عن ضجيج الملاحظة.

في مهام اتخاذ القرار المتسلسل، يجب أن تعطي دوال الاستحواذ (Acquisition functions) الأولوية لتقليل عدم اليقين الإبستيمي لاستكشاف الإشارة الكامنة. إذا لم يتمكن النموذج من التمييز بين الضجيج العالي (أليتوري) والجهل العالي (إبستيمي)، فإن قواعد الاستحواذ القائمة على إجمالي التباين التنبؤي قد تهدر الميزانية عبر الاستعلام المتكرر عن المناطق ذات الضجيج العالي بدلاً من المناطق غير المستكشفة للدالة الكامنة.

تضع الورقة حاجزاً نظرياً لحل هذه المشكلة باستخدام الـ PFNs القياسية: تثبت الفرضية 1 (Proposition 1) أن الفصل بين الإبستيمي والأليتوري ليس قابلاً للتعريف من خلال التوزيع التنبؤي الهامشي وحده. حتى لو تعلمت الـ PFN القياسية التوزيع التنبؤي الهامشي $p(y^*|x^*, D)$ بشكل مثالي، فإنه يوجد متصل من التفكيكات الجمعية لتباين الإشارة وتباين الضجيج التي تنتج نفس التوزيع الهامشي تماماً. وبناءً على ذلك، ليس لدى الـ PFN القياسية المدربة فقط على الأهداف المشوبة بالضجيج أي حافز على مستوى الهدف لتعلم تفكيك فريد.

المنهجية

للتغلب على عدم قابلية التعريف هذه، تستفيد المؤلفة من الميزة الفريدة للـ PFNs: وهي أن عملية توليد البيانات الاصطناعية تقع تحت سيطرة الباحث. يقترحون بنية PFN مفككة (Decoupled PFN) يتم تدريبها باستخدام إشراف متميز (Privileged Supervision) مستمد من أولوية مهمة اصطناعية معززة.

1. أولوية المهمة الاصطناعية المعززة

أثناء التدريب المسبق، يتم تعديل المولد الاصطناعي لتحديد تفكيك الإشارة والضجيج صراحة لكل مهمة $\tau$:

• يتم أخذ عينة من دالة إشارة كامنة خالية من الضجيج $f_\tau(x)$.
• يتم أخذ عينة من دالة ضجيج الملاحظة $\sigma^2_\tau(x)$ (تدعم كلاً من الضجيج المتجانس وغير المتجانس).
• يتم توليد الملاحظات كـ $y = f_\tau(x) + \epsilon$، حيث $\epsilon \sim \mathcal{N}(0, \sigma^2_\tau(x))$.

من الضروري أن يوفر المولد أهدافاً مساعدة متميزة أثناء التدريب: الإشارة الخالية من الضجيج $f_\tau(x^*)$ وتباين الضجيج $\sigma^2_\tau(x^*)$ لكل استعلام. في وقت الاختبار، يتلقى النموذج فقط المدخلات القياسية (السياق $D$ والاستعلام $x^*$)، مما يحافظ على واجهة الـ PFN القياسية.

2. بنية الصناديق المفككة (Decoupled Binned Architecture)

يتم تكييف النموذج للتنبؤ بمكونات الإشارة والضجيج بشكل منفصل باستخدام استراتيجية مخرجات مقسمة إلى صناديق (Bins):

• رأس الإشارة الكامنة (الإبستيمي): يتنبأ بتوزيع فئوي $\pi^{(f)}_\theta$ عبر صناديق ثابتة تمثل الإشارة الخالية من الضجيج $f^*$. يلتقط هذا التوزيع عدم اليقين الإبستيمي.
• الرأس الأليتوري: يتنبأ بتباين ضجيج الملاحظة $\hat{\sigma}^2_\theta(x^*, D)$ في مساحة التباين اللوغاريتمي.
• التنبؤ المستحث: يتم الحصول على التوزيع التنبؤي النهائي على مستوى الملاحظة $p(y)$ عن طريق إجراء عملية التفاف (Convolution) لتوزيع الإشارة الكامنة مع نموذج ضجيج غاوسي متعلم. يضمن هذا احتفاظ النموذج بواجهة الـ PFN القياسية لمهام مستوى الملاحظة مع إظهار الإشارة الكامنة لاتخاذ القرار.

3. هدف التدريب

يجمع هدف التدريب بين ثلاثة حدود (Loss terms):

1. خسارة التنبؤ (Predictive Loss): السلبية اللوغاريتمية المجمعة (Binned NLL) القياسية على توزيع الملاحظة المستحث (لضمان بقاء النموذج متنبئاً جيداً لـ $y$).
2. الخسارة الإبستيمية (Epistemic Loss): خسارة الإنتروبيا المتقاطعة (Cross-entropy) على صناديق الإشارة الكامنة، تحت إشراف $f_\tau(x^*)$ المتميز.
3. الخسارة الأليتورية (Aleatoric Loss): الخطأ التربيعي في مساحة التباين اللوغاريتمي، تحت إشراف $\sigma^2_\tau(x^*)$ المتميز.

تثبت المؤلفة (الفرضية 2) أنه تحت هذا الهدف، تستعيد الرؤوس المساعدة التوزيع الشرطي الأمثل بايزياً للإشارة المقطعة والمتوسط الهندسي الشرطي لتباين الضجيج.

4. استراتيجية الاستحواذ

بالنسبة لمهام اتخاذ القرار المتسلسل (BO, HPO, Active Learning)، تحدد المؤلفة دوال الاستحواذ باستخدام مقاييس إبستيمية فقط مشتقة من الرأس الكامن (مثل التحسين المتوقع بناءً على المتوسط الكامن والتباين الإبستيمي)، بدلاً من إجمالي التباين التنبؤي المستخدم في النماذج المرجعية القياسية.

المساهمات الرئيسية

1. عدم قابلية التعريف النظرية: توضح الورقة رسمياً أن التوزيع التنبؤي اللاحق لـ PFN قياسية لا يحدد بشكل فريد تفكيكاً إبستيمياً-أليتورياً، حتى مع التعلم المثالي للتوزيع الهامشي.
2. بنية PFN المفككة: طريقة مبتكرة تستخدم الإشراف المتميز من المولد الاصطناعي لتدريب رؤوس منفصلة للإشارات الكامنة والضجيج، مما يسمح للنموذج بإظهار إشارة إبستيمية ذات صلة بالقرار.
3. التحقق التجريبي: تم تطبيق الطريقة على نموذجين أساسيين عامين (TabICL و TabPFN v2.5) وتقييمها عبر تحسين المعلمات الفائقة (HPO)، والتحسين البايزي الاصطناعي، والتعلم النشط.

النتائج

تقرير الورقة عن النتائج عبر ثلاث مجموعات رئيسية، مقارنةً بنماذج "الضبط" (Tuned) المرجعية (التي تشترك في نفس العمود الفقري والتدريب المسبق ولكنها تفتقر إلى الرؤوس المفككة والإشراف المتميز) والمراجع الخارجية القياسية (GP, TPE, Random Search).

• تحسين المعلمات الفائقة (HPO): تظهر النماذج المفككة أوضح المكاسب هنا. في مسح شمل 8 اختبارات تتضمن تقييمات مشوبة بالضجيج وغير متجانسة (مثل LightGBM, XGBoost, Random Forest)، حقق نموذج Dec-ICL (Decoupled TabICL) أفضل متوسط رتبة (2.50)، متفوقاً بشكل كبير على نظيره المضبط (3.62). تعزو المؤلفة ذلك إلى القدرة على استخدام الاستحواذ الإبستيمي فقط لتجنب المناطق ذات الضجيج العالي في مساحة البحث.
• التحسين البايزي الاصطناعي: في الاختبارات الاصطناعية السلسة ومنخفضة الأبعاد (Branin, Hartmann, Ackley)، تظل النماذج المفككة تنافسية. حقق Dec-PFN أفضل متوسط رتبة (2.60)، متفوقاً قليلاً على نظيره المضبط (2.80) ومتفوقاً على نماذج GP و TPE القياسية. كانت المكاسب أصغر في هذه الحالة، وهو ما يتفق مع حقيقة أن الدوال السلسة ومنخفضة الضجيج تجعل إجمالي التباين والتباين الإبستيمي أكثر تقارباً.
• التعلم النشط: في مجموعات بيانات الانحدار الواقعية، تفوقت النماذج المفككة التي تستخدم التباين الإبستيمي للاستحواذ باستمرار على النماذج المضبطة التي تستخدم التباين الكلي في 7 من أصل 10 مقارنات لـ RMSE.

الأهمية والادعاءات

تدعي الورقة أن القيمة الأساسية للطريقة المقترحة تكمن في اتخاذ القرار المتسلسل وليس مجرد دقة الانحدار الصرفة.

• تخفيف أوضاع الفشل: يخفف النهج المفكك من وضع الفشل المتمثل في "استكشاف إجمالي التباين"، حيث تعلق النماذج القياسية في مناطق الضجيج العالي لأنها لا تستطيع التمييز بين الضجيج والجهل.
• نقل التحيز الاستقرائي: توضح الطريقة أن تفكيك الإشارة والضجيج الذي تم تعلمه عبر الإشراف المتميز على البيانات الاصطناعية ينتقل بفعالية إلى المهام الواقعية، ويعمل كتحيز استقرائي مفيد.
• إعادة صياغة PFNs: تقترح المؤلفة وجوب النظر إلى الـ PFNs ليس فقط كمقدرات سريعة للتنبؤات اللاحقة، بل كوسائل لتعلم تمثيلات عدم اليقين ذات الصلة بالقرار من خلال تصميم أهداف التدريب المسبق الاصطناعية.

تظل المؤلفة متواضعة بشأن النطاق، مشيرة إلى أن الفعالية تعتمد على مدى انتقال افتراضات الضجيج الاصطناعية إلى المهام الحقيقية، وأن التنفيذ الحالي يستخدم تقريبات مطابقة العزوم الغاوسية للاستحواذ، وهو تبسيط عملي. وتكون المكاسب أكثر وضوحاً في الإعدادات المهيكلة والمشوبة بالضجيج (مثل HPO) وأقل أهمية في البيئات السلسة ومنخفضة الضجيج.