ملخص تقني: التقييم المشروط بالنمط في التحسين البايزي متعدد السياقات

بيان المشكلة

تعاني عمليات التقييم الحالية للتحسين البايزي (BO) القابل للنقل ودوال الاستحواذ من خلل جوهري في القياس: فهي تبلغ عن متوسط التأثيرات المعالجة (ATE) عبر متغيرات النمط المخفية بدلاً من متوسط التأثيرات المعالجة الشرطي (CATE) الخاص بسياق الممارس. تجادل الورقة بأن ترتيب الأداء لدوال الاستحواذ (مثل Greedy مقابل UCB) ليس خاصية متأصلة في الخوارزمية، بل هو دالة لنمط التقييم، والذي يتم تحديده تحديداً من خلال نسبة الميزانية ($B/|A|$)، وجودة الأولوية ($\rho$)، وعدد السياقات ($K$)، ونوع المقياس.

يكشف تدقيق لـ 40 ورقة بحثية حديثة (2022–2025) أن 98% منها لا يغير نسبة الميزانية $B/|A|$ كمحور محكوم، و80% منها تبلغ عن عائلة مقاييس واحدة فقط. وبناءً على ذلك، فإن لوحات المتصدرين الحالية هي "لوحات غير محكومة بالنمط". يوضح المؤلفون أن نفس المعايير يمكن أن تؤدي إلى استنتاجات متناقضة تماماً بناءً على الميزانية فقط: ففي معيار الاستجابة للأدوية GDSC2، يتفوق Greedy على UCB بمقدار 0.050 في Hit@1 عند $B=50$، بينما يتفوق UCB على Greedy بمقدار 0.035 في Hit@1 عند $B=100$. هذه ليست تناقضات، بل هي حالات CATE مختلفة. وتفترض الورقة أنه بدون التحكم في متغيرات النمط هذه، فإن أي ترتيب يتم الإبلاغ عنه هو خاصية لإعداد القياس، وليس للخوارزمية.

المنهجية

1. درجة النمط المحمولة (PRS)

لجعل النمط قابلاً للملاحظة، عرّف المؤلفون درجة النمط المحمولة (PRS):
$$PRS = \frac{B}{|A|} (1 - \rho)$$
حيث أن:

• $B$: ميزانية السياق الواحد.
• $|A|$: حجم فضاء الإجراءات.
• $\rho$: ارتباط رتب سبيرمان بين متوسطات الأولوية وقيم الإجراءات الحقيقية (يمكن قياسه من تشغيل تجريبي).

تعمل الـ PRS كمعلم ترتيب أحادي البعد. تشير الـ PRS العالية إلى ميزانية كبيرة بالنسبة لفضاء الإجراءات و/أو أولوية ضعيفة، مما يشير إلى أن الاستكشاف من المرجح أن يؤتي ثماره. أما الـ PRS المنخفضة فتشير إلى أولوية قوية أو ميزانية محدودة، مما يفضل الاستغلال (Greedy).

2. الإطار النظري

تقدم الورقة مقترح "لا توجد لوحة متصدرين مجانية" (Proposition A.11). حيث يثبت المؤلفون أنه إذا تغيرت إشارة الـ CATE لاختيار الاستحواذ عبر متغير نمط (كما لوحظ مع PRS)، فإن الـ ATE المبلغ عنه في أي معيار يكون معلماً حراً تحدده خليط المعايير. ومن خلال اختيار ظروف التقييم بشكل مناسب، يمكن تحقيق أي ترتيب (بما في ذلك التعادل أو الانعكاس) دون تزييف. هذا يضفي صبغة رسمية على سبب كون لوحات المتصدرين غير المحكومة بالنمط أدوات غير موثوقة.

3. REGIMEPLANNER

لإثبات أن رؤية النمط يمكن استغلالها، يقترح المؤلفون REGIMEPLANNER، وهو خوارزمية تكيفية تقوم بـ:

1. تقدير $\hat{\rho}$ عبر الإنترنت ضمن كل سياق باستخدام متوسطات الأولوية المخزنة والنتائج الملحوظة.
2. حساب الـ $\hat{PRS}_t$ الديناميكي.
3. التبديل بين Greedy و UCB بناءً على عتبة $\theta = 0.10$.
   • إذا كان $\hat{PRS}_t < \theta$: الانتقال إلى Greedy (الاستغلال).
   • إذا كان $\hat{PRS}_t \ge \theta$: الانتقال إلى UCB (الاستكشاف).

يسمح هذا للمخطط بالتكيف مع تحولات النمط داخل سياق واحد، وهي قدرة تفتقر إليها السياسات الثابتة.

4. التدقيق والتحقق التجريبي

• التدقيق: مراجعة منهجية لـ 40 ورقة بحثية في مجال transfer-BO (NeurIPS, ICML, ICLR, إلخ) كمّت غياب التحكم في النمط (98% لا يمسح $B/|A|$).
• المعايير: أُجريت التجارب على ثلاثة معايير أساسية:
  • Buchwald-Hartwig: مهمة تحسين تفاعل كيميائي مع أولويات مشوشة لعزل تأثيرات جودة الأولوية.
  • GDSC2: معيار بيولوجي للاستجابة للأدوية مع ملاحظات ضوضائية.
  • HPO-B: معيار تحسين المعلمات الفائقة للمجتمع عبر 16 مساحة بحث.
• التحليل: حلل المؤلفون 79 حالة عبر هذه المعاييد، وقاسوا Hit@1 و Discovery AUC.

النتائج الرئيسية

1. قابلية التنبؤ بالنمط

تتنبأ الـ PRS بقوة بـ "ميزة الاستكشاف" (فجوة الأداء بين استراتيجيات الاستكشاف والاستغلال).

• عبر 79 حالة، ترتبط الـ PRS بميزة الاستكشاف بمعامل نموذج هرمي $\beta = 0.50$ ($p = 1.1 \times 10^{-9}$).
• الارتباطات داخل المعيار الواحد قوية: GDSC2 ($r=0.96$)، و HPO-B ($r=0.83$)، و Buchwald ($r=0.75$).
• تتفوق الـ PRS على مكوناتها الفردية ($B/|A|$ وحدها أو $1-\rho$ وحدها) كمتنبئ.

2. انعكاس التصنيفات

تؤكد الدراسة أن تصنيفات الاستحواذ تنقلب تماماً بناءً على النمط:

• انعكاس الميزانية: في GDSC2، يفوز Greedy عند الميزانيات المنخفضة ($B=50$)، بينما يفوز UCB/REIGN عند الميزانيات العالية ($B=100$).
• انعكاس جودة الأولوية: في Buchwald، مع أولوية ضعيفة، يفوز الاستكشاف؛ ومع أولوية مهيكلة قوية، يهيمن Greedy بفارق كبير (0.481 مقابل 0.389 في Hit@1)، مما يقلص قيمة اختيار الاستحواذ.
• انعكاس المقياس: في GDSC2، يهيمن Greedy على Discovery AUC عند جميع الميزانيات، بينما يتفوق UCB/REIGN على Hit@1 فقط فوق عتبة النمط.

3. أداء REGIMEPLANNER

• GDSC2: عند $B=50$، يحقق REGIMEPLANNER قيمة 0.676 في Hit@1، متفوقاً على جميع المخططات الثابتة ومتجاوزاً "أوراكل" {Greedy, UCB} لكل سياق بنسبة 18%.
• HPO-B: عند $B=100$، يفوز REGIMEPLANNER في جميع مساحات البحث الـ 16 ضد Greedy (بمتوسط +0.103 في Hit@1) ويحتل المرتبة الأولى إجمالاً، بينما يحتل Greedy المرتبة الأخيرة.
• التكيف: ينجح REGIMEPLANNER من خلال تتبع تطور $\hat{\rho}$ داخل السياق. في GDSC2، ترتفع $\hat{\rho}$ من ~0.12 إلى ~0.66 خلال الحلقة، مما يسم يسمح للمخطط بالتبديل من الاستكشاف إلى الاستغلال في منتصف المسار، وهو أمر مستحيل للسياسات الثابتة.

4. أوجه الفشل ومناطق التكافؤ

• الدقة: تتنبأ الـ PRS بالفائز التجريبي في 74.7% من أصل 79 حالة.
• منطقة التكافؤ: تقع 19% من الحالات في منطقة تكافؤ ($|advantage| < 0.01$ في Hit@1) حيث تكون الاختلافات غير قابلة للتمييز عملياً، ومع ذلك تولد هذه "الاختلافات غير الموجودة" غالباً تصنيفات قابلة للنشر.
• فشل الحدود: تتدهور التنبؤات بالقرب من العتبة ($PRS \in [0.05, 0.15)$) وفي الحالات التي يكون فيها عدد السياقات منخفضاً جداً ($K < K_{min}$) حيث لم تفرق الأولوية بعد بين المخططات.
• التحقق المسبق التسجيل: في 40 حالة محجوزة، حققت الطريقة دقة 67.5%، وهي أقل من الهدف البالغ 90%، مما يسلط الض الضوء على أن العتبة ليست عالمية بغض النظر عن السياق دون تقدير الضوضاء.

الأهمية والادعاءات

تدعي الورقة ثلاث مساهمات رئيسية:

1. القابلية للتنبؤ: النمط قابل للتنبؤ قبل أي عمليات مقارنة باستخدام الـ PRS، والتي ترتب ميزة الاستكشاف عبر مجالات متنوعة (الكيمياء، البيولوجيا، HPO).
2. القابلية للاستغلال: الـ CATE قابل للاستغلال عبر الإنترنت. يوضح REGIMEPLANNER أن قاعدة تكيفية تعتمد على كميات قابلة للملاحظة ($B/|A|$ و $\hat{\rho}$) يمكن أن تتفوق على السياسات الثابتة وحتى على "الأوراكل" لكل سياق في أنماط محددة.
3. الشفافية التشخيصية: يضفي مقترح "لا توجد لوحة متصدرين مجانية" صبغة رسمية على سبب عدم موثوقية التصنيفات غير المحكومة بالنمط. وتجادل الورقة بأن إغفال $B/|A|$ و $\rho$ و $K$ ونوع المقياس ينتج "ادعاءات قياس، وليس ادعاءات خوارزمية".

يخلص المؤلفون إلى أن المجال يجادل حول "عدم وجود فروق" (مناطق التكافؤ) وأن "أفضل" دالة استحواذ هي خاصية للنمط الذي تم تقييمها فيه. وهم يقترحون بروتوكول تقرير جديد: يجب أن تبلغ مقارنات الاستحواذ عن حالة الأولوية، ونسبة الميزانية، ونوع المقياس، وعدد السياقات لتكون قابلة للتفسير. يعمل العمل كأداة تشخيصية (PRS) وبرهان وجودي (REGIMEPLANNER) على أن التقييم المشروط بالنمط ضروري للتقييم الخوارزمي الموثوق.