📊 statistics

PFN-TS: Thompson Sampling for Contextual Bandits via Prior-Data Fitted Networks

تقترح الورقة البحثية خوارزمية PFN-TS، وهي خوارزمية عينات طومسون التي تستفيد من الشبكات الملائمة للبيانات المسبقة لتقريب التوزيعات البعدية البايزية في تمريرة أمامية واحدة عبر تحويل التوزيعات التنبؤية المشوبة بالضجيج إلى عينات مكافأة متوسطة باستخدام نظرية الحد المركزي لعينات فرعية، محققةً بذلك أداءً تجريبياً قوياً وحدود ندم نظرية عبر مختلف معايير الاختبار الخاصة بمتطلبات السياق (contextual bandit).

المؤلفون الأصليون: Yan Shuo Tan, Kenyon Ng, Ruizhe Deng, Sumetha Loganathan, Qiong Zhang, Bibhas Chakraborty

نُشر 2026-05-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yan Shuo Tan, Kenyon Ng, Ruizhe Deng, Sumetha Loganathan, Qiong Zhang, Bibhas Chakraborty

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مدير لآلة بيع ذاتي تحتوي على العديد من الأزرار المختلفة (الإجراءات). في كل مرة يقترب فيها زبون، يكون لديه مزاج أو حالة معينة (السياق)، وعليك أن تخمن أي زر سيعطيه أفضل وجبة خفيفة (المكافأة). التحدي هو أنك لا تعرف أي زر هو الأفضل لأي مزاج، ولا تكتشف ذلك إلا بعد الضغط عليه. هدفك هو إسعاد أكبر عدد ممكن من الزبائن بمرور الوقت مع تقليل عدد المرات التي تخطئ فيها في التخمين. هذه هي مشكلة "المنظم السياقي" (Contextual Bandit).

لحل هذه المشكلة، تحتاج إلى استراتيجية توازن بين الاستكشاف (تجربة أزرار جديدة للتعلم) والاستغلال (استخدام ما تعرفه بالفعل أنه يعمل). هناك استراتيجية شهيرة تسمى أخذ عينات تومسون (Thompson Sampling). إنها تشبه امتلاك كرة بلورية تعطيك "أفضل تخمين" لكل زر، ولكن مع لمسة خاصة: الكرة البلورية ضبابية قليلاً. فهي تعطيك نطاقاً من الاحتمالات، مما يجعلك تختار الزر الذي يبدو الأفضل في هذا التخمين الضبابي، وهذا يدفعك طبيعياً لتجربة الأزرار التي قد تكون رائعة ولكنك لست متأكداً منها بعد.

المشكلة: الكرة البلورية صاخبة للغاية

لسنوات، استخدم الناس نماذج بسيطة (مثل الخطوط المستقيمة) لبناء هذه الكرات البلورية؛ لكن السلوك البتري ليس خطاً مستقيماً، بل هو فوضوي ومعقد ومليء بالمفاجآت. أما النماذج الأحدث والأذكى المسمّاة شبكات الملاءمة المسبقة للبيانات (PFNs) (مثل TabPFN)، فهي مذهلة. إنها تشبه "الطهاة الخارقين المدربين مسبقاً" الذين تذوقوا ملايين الوصفات. عندما تعرض عليهم القليل من المكونات (البيانات)، يعرفون فوراً كيف سيكون طعم الطبق دون الحاجة لطهيه من جديد.

ومع ذلك، هناك عقبة: هؤلاء الطهاة الخارقون بارعون في التنبؤ بـ الطعم النهائي (المكافأة الصاخبة)، لكن "أخذ عينات تومسون" يحتاج إلى معرفة عدم اليقين بشأن الوصفة نفسها (متوسط المكافأة الأساسي). الطهاة لا يعطونك عدم اليقين في الوصفة مباشرة؛ هم فقط يعطونك الطبق النهائي. ومحاولة معرفة عدم اليقين في الوصفة عبر الطلب من الطاهي طهي الطبق مليون مرة ستكون بطيئة جداً لآلة بيع تعمل في الوقت الفعلي.

الحل: PFN-TS (الاختصار الذكي)

ابتكر المؤلفون نظام PFN-TS، وهو طريقة جديدة لاستخدام هؤلاء الطهاة الخارقين في مشكلة آلة البيع.

1. الاختصار "المأخوذ من عينات" (الشبكة الهندسية)
بدلاً من الطلب من الطاهي طهي الطبق لكل مجموعة من تركيبات المكونات (مما يستغرق وقتاً طويلاً جداً)، يستخدم PFN-TS خدعة رياضية ذكية تسمى نظرية الحد المركزي للمعاينة الجزئية (Subsampled Central Limit Theorem).

التشبيه: تخيل أنك تريد معرفة مدى تقلب مستوى مياه النهر. يمكنك قياسه كل ثانية لمدة عام (عمل شاق جداً!). بدلاً من ذلك، يقيس PFN-TS مستوى المياه في فترات محددة ومتباعدة: اليوم 1، اليوم 2، اليوم 4، اليوم 8، اليوم 16، وهكذا.
من خلال النظر إلى هذه اللقطات "الهندسية"، يمكن للخوارزمية رياضياً تقدير التقلب الإجمالي للنهر (عدم اليقين) بدقة عالية، ولكن بكسر ضئيل جداً من الجهد. هذا يسمح للنظام بالحصول على "الكرة البلورية الضبابية" التي يحتاجها "أخذ عينات تومسون" دون إبطاء العملية.

2. خدعة "الذاكرة" (التخزين المؤقت - Caching)
يستخدم البحث أيضاً ميزة في نماذج "الطاهي الخارق" الجديدة تسمى تخزين مفاتيح القيم (KV-Caching).

التشبيه: إذا سألت طباخاً: "ماذا يحدث إذا أضفت الملح؟" ثم سألته: "ماذا يحدث إذا أضفت الملح والفلفل؟"، فإن الطباخ العادي قد ينسى جزء الملح ويبدأ من جديد. لكن هذا الطاهي تحديداً يتذكر جزء "الملح" ويحسب فقط الجزء الخاص بـ "الفلفل".
يستخدم PFN-TS هذه الذاكرة لإعادة استخدام الحسابات السابقة. فعندما تتحقق آلة البيع من عدة أزرار، فهي لا تعيد حساب كل شيء من الصفر، بل تقوم فقط بتحديث الأجزاء التي تغيرت. وهذا يجعل النظام سريعاً للغاية.

3. "المتحول" (الترميز التكيفي)
أحياناً، تكون الأزرار على الآلة مختلفة تماماً عن بعضها البعض (مثل زر الصودا مقابل زر الوجبات الخفيفة). وفي أحيان أخرى، تكون متشابهة جداً (مثل وجبة خفيفة "حارة" مقابل وجبة خفيفة "معتدلة").

يمتلك PFN-TS "متحولاً" مدمجاً. فهو يجرب طريقتين مختلفتين لتنظيم البيانات في نفس الوقت. يستخدم نظام تسجيل (CRPS) ليرى أي طريقة تعمل بشكل أفضل. إذا كانت الأزرار متشابهة، فإنه يدمجها في نموذج واحد. وإذا كانت مختلفة، فإنه يبقيها منفصلة. إنه يختار الاستراتيجية الأفضل تلقائياً أثناء التعلم.

ماذا وجدوا؟

اختبر المؤلفون هذا النظام الجديد (PFN-TS) مقابل العديد من الطرق الأخرى باستخدام:

بيانات وهمية: سيناريوهات محاكاة بقواعد غير خطية معقدة (مثل وظائف "فريدمان" الشهيرة).
بيانات من العالم الحقيقي: ثماني مجموعات بيانات مختلفة من مكتبة OpenML (مثل التنبؤ بدخل البالغين أو أنواع الفطر).
تجربة صحية متنقلة حقيقية: تطبيق "اشرب أقل" (Drink Less)، الذي حاول معرفة أفضل استراتيجية للإشعارات المنبثقة لمساعدة الناس على تقليل شرب الكحول.

النتائج:

المهام غير الخطية: كان PFN-TS هو الفائز الواضح. فقد تفوق على جميع الطرق الأخرى عندما كانت القواعد معقدة وفوضوية.
المهام الخطية: عندما كانت القواعد بسيطة (خطوط مستقيمة)، كان أداؤه يضاهي الطرق الخطية القياسية.
الصحة المتنقلة: في تجربة "اشرب أقل"، حقق PFN-TS أعلى قيمة مقدرة، مما يعني أنه كان سيكون الاستراتيجية الأكثر فعالية لمساعدة الناس على تقليل الشرب.

باختصار

PFN-TS هو أداة جديدة تأخذ نموذج ذكاء اصطنا-ي قوي مدرب مسبقاً (الـ "طاهي الخارق") وتعلمه كيف يكون صانع قرار مثالي في المواقف غير اليقينية. يفعل ذلك باستخدام اختصار رياضي لتقدير عدم اليقين بسرعة وخدعة ذاكرة ليعمل بسرعة. كما يتكيف تلقائياً مع ما إذا كانت المشكلة بسيطة أم معقدة، مما يجعله متفوقاً في كل من الاختبارات الاصطناعية وتطبيقات الصحة المتنقلة في العالم الحقيقي.

ملخص تقني: PFN-TS

بيان المشكلة

تتعامل خوارزميات "المناديب السياقية" (Contextual Bandits) مع اتخاذ القرار المتسلسل تحت ظروف عدم اليقين، حيث يتعلم النموذج سياقاً ما، ثم يختار إجراءً، ويتلقى مكافأة عشوائية. والهدف هو تقليل الندم التراكمي (cumulative regret) بمرور الوقت. تُعد خوارماجية أخذ عينات تومسون (Thompson Sampling - TS) استراتيجية قياسية تحافظ على توزيع بايزي خلفي (Bayesian posterior) فوق دوال المكافأة وتأخذ عينات من الإجراءات بشكل جشع من هذا التوزيع الخلفي. ومع ذلك، فإن فعالية هذه الخوارزمية تعتمد على جودة نموذج المكافأة الأساسي.

في التطبيقات الجدولية (مثل الصحة المتنقلة أو أنظمة الترشيح)، غالباً ما تكون نماذج المكافأة الخطية غير دقيقة لأنها تفشل في التقاط السلوكيات البشرية المعقدة مثل التفاعلات، وتأثيرات العتبة (threshold effects)، والتباين (heterogeneity). وبينما توجد بدائل أكثر ثراءً (مثل طرق النواة، أو الشبكات العصبية، أو مجموعات الأشجار)، إلا أنها تعاني من مشكلات تتعلق بقابلية التوسع، أو الأعباء الحسابية العالية، أو الافتراضات الهيكلية الجامدة. علاوة على ذلك، تتطلب هذه النماذج عادةً معاملات فائقة (hyperparameters) يصعب ضبطها في البيئات عبر الإنترنت (online settings).

تقدم شبكات الملاءمة المسبقة للبيانات (Prior-Data Fitted Networks - PFNs)، مثل TabPFN وTabICL، بديلاً واعداً. هذه النماذج هي نماذج قائمة على الـ Transformer تم تدريبها لتقريب التوزيعات التنبؤية الخلفية (PPDs) عبر مجموعة واسعة من العمليات المولدة للبيانات مسبقاً. وهي تعمل عبر التعلم داخل السياق (in-context learning - ICL)، مما لا يتطلب تحديثات للمعلمات ولا ضبطاً للمعاملات الفائقة. ومع ذلك، توجد فجوة حرجة: تنتج نماذج PFN التوزيعات التنبؤية (التي تعبر عن عدم اليقين حول المكافآت المستقبلية المشوشة)، بينما تتطلب خوارزمية TS عدم اليقين حول دالة متوسط المكافأة الكامنة (latent mean reward function). إن أخذ عينات مباشرة من الـ PPD لا يعادل أخذ عينات من التوزيع الخلفي لدالة المتوسط، مما يؤدي إلى استكشاف دون المستوى الأمثل.

المنهجية: PFN-TS

يقترح المؤلفون PFN-TS، وهي خوارزمية لأخذ عينات تومسون تسد هذه الفجوة عن طريق تحويل التنبؤات المستقبلية لـ PFN إلى عينات من متوسط المكافأة الكامن. تتكون المنهجية من ثلاثة مكونات أساسية:

1. نظرية الحد المركزي الفرعية للتنبؤ (Subsampled Predictive Central Limit Theorem - SubCLT)

لاستعادة التوزيع الخلفي لمتوسط $f_0(x)$ الكامن من التسلسل التنبئي لـ PFN، يستفيد المؤلفون من نظرية الحد المركزي (CLT) التنبؤية.

الأساس النظري: تحت افتراضات محددة (التباين التقاربي، شروط شبه المارتينجال، والعزوم المحدودة)، يتقارب ذيل تسلسل المتوسط التنبئي نحو توزيع غاوسي (Gaussian) متمركز حول المتوسط الكامن.
ابتكار الكفاءة: تتطلب الطرق التقليدية لتقدير التباين الخلفي حساب المتوسط التنبئي عبر جميع البوادئ (prefixes) الـ $n$ لمجموعة البيانات، وهو أمر مكلف حسابياً للنماذج عبر الإنترنت ( $O(n)$ من عمليات التمرير الأمامي). تقدم PFN-TS مقدراً فرعياً (subsampled estimator) يحسب التباين باستخدام $O(\log n)$ فقط من البوادئ الموزعة هندسياً ( $t_0, t_1, \dots, t_J$ ).
تقدير التباين: يتم تقدير التباين باستخدام الزيادات الكتلية $D_j = m_{t_j}(x) - m_{t_{j-1}}(x)$ الموزونة توافقياً ( $w_j$ ). يثبت المؤلفون أن هذا المقدر الفرعي متسق ( $\hat{V}_{s_n} \xrightarrow{p} V(x)$ ) ويحقق نظرية الحد المركزي (CLT)، مما يسمح بتقريب غاوسي قابل للتطبيق $N(m_{s_n}(x), \hat{V}_{s_n}(x)/s_n)$ لأخذ عينات تومسون.

2. التخزين المؤقت والتحسين الحسابي

لتقليل التكلفة لكل جولة بشكل أكبر، تستغل PFN-TS بنية TabICL (وهي الـ PFN المستخدمة):

إعادة استخدام ذاكرة KV-Cache: يقوم TabICL بتخزين مصفوفات الانتباه (key-value attention matrices) لمجموعة بيانات تدريب ثابتة. تقوم PFN-TS بإعادة استخدام هذه التمثيلات المخزنة عبر الجولات.
نقاط التحديث (Refresh Points): تقوم الخوارزمية فقط بعمليات تمرير أمامي جديدة عند "نقاط التحديث" الهندسية ( $t_j$ ) المحددة بواسطة شبكة SubCLT. بين نقاط التحديث، تستخدم تقريب الغاوس المستند إلى اللقطة (snapshot) المستمدة من أحدث حالة مخزنة. هذا يقلل التعقيد من $O(n)$ إلى $O(\log n)$ من عمليات التمرير الأمامي لكل ذراع (arm) في كل جولة.

3. استراتيجية الترميز التكيفي

تعالج الورقة خيار التصميم المتعلق بكيفية تمثيل هوية الذراع في المدخلات:

الترميز المنفصل (Disjoint Encoding): يحافظ على نماذج مستقلة لكل ذراع.
الترميز المشترك (Joint Encoding): يضيف هوية الذراع كمتجه "واحد-ساخن" (one-hot vector) إلى السياق، مما يسمح بمشاركة المعلومات بين الأذرع.
الاختيار التكيفي: بما أنه لا يوجد ترميز يهيمن عالمياً، تقوم PFN-TS بتشغيل كليهما بالتوازي خلال مرحلة "الترميز المزدوج". وتختار الترميز النشط بناءً على درجة الاحتمال المستمرة المرتبة (Continuous Ranked Probability Score - CRPS)، وهي قاعدة تسجيل سليمة تماماً تقيس المعايرة. ويتم الاحتفاظ بالترميز الذي يسجل أقل إجمالي لـ CRPS، ويتم التخلص من المنافس بعد وقت تبديل محدد مسبقاً.

المساهمات الرئيسية

الجسر الخوارزمي: تعد PFN-TS أول طريقة تنجح في تطويع نماذج PFN (التي تنتج PPDs) لأخذ عينات تومسون عبر اشتقاق مقدر متسق للتباين الخلفي لمتوسط المكافأة عبر SubCLT فرعي.
الضمانات النظرية:
- الاتساق: إثبات اتساق مقدر التباين الفرعي تحت افتراضات بسيطة.
- حد الندم (Regret Bound): اشتقاق حد الندم البايزي لـ PFN-TS. ينقسم الحد إلى ندم أخذ عينات تومسون الدقيق تحت التوزيع المسبق لـ PFN بالإضافة إلى حد خطأ يعتمد على جودة تقريب PFN وعملية أخذ العينات الفرعية.
الكفاءة: إثبات أن $O(\log n)$ من عمليات التمرير الأمامي كافية لتقدير التباين المتسق، مما يجعل استخدام نماذج PFN في المناديب عبر الإنترنت أمراً ممكناً.
الأداء التجريبي:
- الاختبارات الاصطناعية: تحقق PFN-TS أفضل متوسط رتبة عبر المهام الاصطناعية غير الخطية (متغيرات Friedman) وتظل منافسة في المهام الخطية.
- اختبارات OpenML: تتفوق على النماذج المرجعية (LinTS, NeuralTS, BFTS, XGBoostTS) في ست من أصل ثمانية من مجموعات بيانات التصنيف-إلى-مناديب.
- التطبيق الواقعي: في تقييم غير متصل (offline) لتجربة "اشرب أقل" (Drink Less) للصحة المتنقلة، حققت PFN-TS أعلى قيمة سياسة مقدرة (SNIPS) عند الأفق النهائي، متفوقة على BFTS والنماذج الأخرى.

الأهمية والادعاءات

تدعي الورقة أن PFN-TS تثبت أن التعلم داخل السياق الجدولي يمكن أن يعمل كنموذج مكافأة فعال لاتخاذ القرار المتسلسل بمجرد تنفيذ استخراج فعال لعدم اليقين وترميز تكيفي.

مرونة النموذج: على عكس النماذج التقليدية، لا تتطلب PFN-TS ضبطاً للمعاملات الفائقة وتتكيف تلقائياً مع بنية البيانات (الندرة، النعومة، اللاخطية) المتأصلة في التوزيع المسبق الواسع لـ PFN.
الجدوى العملية: من خلال تقليل العبء الحسابي لتقدير عدم اليقين من خطي إلى لوغاريتمي بالنسبة لحجم مجموعة البيانات، تجعل الطريقة نشر النماذج التأسيسية في بيئات المناديب عبر الإنترنت أمراً عملياً.
القوة: أظهرت الطريقة متانة عبر عمليات توليد بيانات متنوعة، حيث أدت أداءً جيداً في المهام غير الخطية الاصطناعية وبيانات الصحة المتنقلة الواقعية.

يظل المؤلفون متواضعين بشأن القيود، مشيرين إلى أن وقت التشغيل لا يزال عائقاً بسبب تكرار تقييمات النموذج، وأن المعايرة في العينات المحدودة قد تكون ضعيفة عندما تكون سجلات الأذرع قصيرة أو ضعيفة المعلومات. ويقترحون عملاً مستقبلياً في تقدير التباين المنتظم ووضع حدود ندم أكثر دقة لتوزيعات TabPFN/TabICL المحددة.