Additive Control Variates Dominate Self-Normalisation in Off-Policy Evaluation

تخيل أنك قبطان سفينة فضاء تحاول الملاحة في مجرة جديدة غير مستكشفة. لديك خريطة من قبطان سابق (السياسة القديمة) توضح أين كانت النجوم في السابق، لكنك بحاجة لمعرفة أين هي الآن لتجنب الاصطدام. لا يمكنك ببساطة الطيران إلى هناك والنظر، لأن ذلك سيكون خطيراً ومكلفاً. بدلاً من ذلك، لديك سجل لرحلة القبطان القديم. تريد استخدام هذا السجل للتنبؤ بما سيحدث إذا قمت أنت بقيادة السفينة، دون أن تغادر مدارك الحالي فعلياً. هذا هو جوهر مجال يُسمى التقييم خارج السياسة (Off-Policy Evaluation). إنه يشبه إجراء محاكاة لـ "ماذا لو" باستخدام بيانات قديمة لاختبار استراتيجيات جديدة بأمان.

لإجراء هذه التنبؤات، يستخدم العلماء أداة تُسمى حساب احتمالية العكس (Inverse Propensity Scoring - IPS). فكر في هذا كطريقة لـ "إعادة وزن" مدخلات سجل القبطان القديم. إذا كان القبطان القديم قد زار قطاعاً معيناً نادراً ما زاره، ولكن خطتك الجديدة تزور هذا القطاع كثيراً، فيجب عليك حساب هذه الزيارات النادرة بشكل أكبر للحصول على صورة دقيقة. ومع ذلك، فإن إعادة الوزن هذه عملية معقدة. فأحياناً، تصبح الرياضيات جامحة جداً بحيث تتأرجح توقعاتك بعنف من رقم إلى آخر، مما يجعلها عديمة الفائدة. ولإصلاح ذلك، استخدم الباحثون تقليدياً حيلة "التطبيع الذاتي" (self-normalizing). الأمر يشبه أخذ ميزان مهتز وغير مستقر وإجباره على التوازن عن طريق قسمة الوزن الإجمالي على العدد الإجمالي للعناصر. هذا يثبت الميزان، لكنه أداة فجة تسبب خطأً طفيفاً وخفياً.

الآن، تخيل طريقة أذكى لموازنة ذلك الميزان. بدلاً من مجرد القسمة، تقوم بإضافة "خط أساس" تصحيحي (baseline correction)—وهو إزاحة محسوبة خصيصاً تلغي التذبذب قبل أن يبدأ حتى. في ورقة بحثية جديدة، يتساءل أوليفير جينون وشاشانك غوبتا سؤالاً بسيطاً ولكنه عميق: هل الطريقة القديمة "المتذبذبة ذاتية التطبيع" هي الأفضل حقاً، أم أن طريقة "الأساس المضاف" (additive baseline) هي الأفضل؟ لم يكتفوا بالتخمين؛ بل استخدموا رياضيات صارمة ليثبتوا أن طريقتهم الجديدة ليست فقط أفضل قليلاً، بل هي مهيمنة جوهرياً على الطريقة القديمة في الدقة، خاصة عندما تمتلك قدراً كافياً من البيانات.

الاكتشاف الكبير للورقة البحثية

في هذه الورقة، يتصدى المؤلفون لنقاش طويل الأمد في عالم علوم البيانات: هل نتمسك بالطريقة الكلاسيكية "ذاتية التطبيع" (Self-Normalized)، أم ننتقل إلى "متغيرات التحكم الإضافية" (Additive Control Variates)؟

لسنوات، كان "حساب احتمالية العكس ذاتي التطبيع" (SNIPS) هو المعيار الذهبي. إنه الأداة الموثوقة التي لا تتطلب معاملات (parameter-free) والتي يستخدمها الجميع لتقدير مدى جودة أداء نظام توصية أو محرك بحث جديد دون نشره فعلياً. يعمل عن طريق أخذ البيانات الخام والمشوشة وتقسيمها على مجموع الأوزان لتنعيم الأمور. الأمر يشبه أخذ صورة ضبابية وتطبيق مرشح "إصلاح تلقائي" عام عليها. يساعد ذلك، لكنه ليس مثالياً.

يقدم المؤلفون منافساً: $\beta^*$-IPS. تستخدم هذه الطريقة "متغيراً تحكمياً إضافياً"، وهي طريقة معقدة تعني إضافة رقم محسوب بدقة (خط أساس) إلى البيانات لإلغاء الضجيج. فكر في الأمر ليس كإصلاح صورة ضبابية، بل كتعديل الإضاءة قبل التقاط الصورة. تثبت الورقة أنه إذا قمت بحساب خط الأساس هذا بشكل صحيح (إيجاد $\beta^*$ المثلى)، فإن نتائجك ستكون أكثر حدة ودقة من الطريقة القديمة.

لحظة الـ "آها!" (الإدراك): لماذا كانت الطريقة القديمة دون المستوى الأمثل؟

الجزء الأكثر إثارة في الورقة هو البرهان الرياضي الذي يكشف لماذا كانت الطريقة القديمة تعيقنا. يوضح المؤلفون أن SNIPS مكافئة رياضياً لاستخدام خط أساس إضافي، ولكن مع استخدام خط أساس محدد وثابت للغاية: وهو القيمة الحقيقية للسياسة ($V(\pi)$).

هنا تكمن المشكلة: نحن لا نعرف القيمة الحقيقية للسياسة! وهذا بالضبط ما نحاول معرفته. الأمر يشبه محاولة موازنة ميزان بافتراض أنك تعرف بالفعل الوزن الدقيق للجسم الذي تزنُه. ولأن SNIPS عالقة في استخدام هذه "القيمة الحقيقية" كخط أساس لها (وهي ثابت نظري وليس قيمة محسوبة)، فإنها تضطر لاستخدام إعداد غير مثالي.

يثبت المؤلفون أن الطريقة الجديدة، $\beta^*$-IPS، تجد خط الأساس الفعلي الأمثل الذي يقلل الخطأ إلى أدنى حد. ويظهرون أن الفرق في الأداء ليس مجرد تقلب طفيف؛ بل هو تحسن مضمون في متوسط مربع الخطأ (MSE). وباللغة البسيطة، ستكون توقعات الطريقة الجديدة أقرب إلى الحقيقة، في المتوسط، من توقعات الطريقة القديمة.

"فجوة التباين": مواجهة رياضية

للتأكد تماماً، لم يكتفِ المؤلفون بالقول "إنها تبدو أفضل". بل اشتقوا صيغة دقيقة لـ فجوة التباين (variance gap) بين الطريقتين. التباين هو مقيست لمدى تذبذب نتائجك؛ والتباين المنخفض يعني إجابات أكثر اتساقاً وموثوقية.

وجدوا أن تباين طريقة SNIPS القديمة دائماً أعلى من أو يساوي تباين طريقة $\beta^*$-IPS الجديدة. وتتحدد الفجوة بينهما بصيغة بسيطة تتضمن الفرق بين القيمة الحقيقية للسياسة وخط الأساس الأمثل. وما لم تكن القيمة الحقيقية هي نفسها تماماً خط الأساس الأمثل (وهو احتمال نادر ومحدد)، فإن الطريقة الجديدة أفضل بشكل قاطع.

كما تتناول الورقة مخاوف شائعة: "هل يؤدي إضافة خط الأساس الجديد هذا إلى إدخال انحياز (Bias)؟" (الانحياز هو خطأ منهجي حيث تخمن باستمرار قيمة أعلى أو أقل من الحقيقة). يوضح المؤلفون أنه بينما يؤدي استخدام خط الأساس الأمثل المُقدّر من نفس البيانات إلى إدخال انحياز طفيف في العينات المحدودة، إلا أنه من نفس رتبة الانحياز الموجود بالفعل في طريقة SNIPS القديمة. ومع ذلك، نظرًا لأن الطريقة الجديدة تقلل التباين بشكل كبير، فإن الخطأ الإجمالي (MSE) يظل أقل. إنه مقايضة أفضل.

من العناصر الفردية إلى القوائم المرتبة

لا تتوقف الورقة عند العناصر البسيطة. فهي تتناول أيضاً عالم الترتيبات المعقدة، مثل قوائم نتائج البحث التي تراها في Google أو خلاصة "لك" (For You) في TikTok. في هذه السيناريوهات، أنت لا تختار عنصراً واحداً فحسب؛ بل تختار قائمة كاملة من العناصر بترتيب معين.

يمد المؤلفون برهانهم ليشمل هذا الإعداد، مقدمين طريقة تسمى $\beta^*$-IPM (نموذج موقع العنصر). ويثبتون أن هذه الطريقة الجديدة تهيمن على المقدر الحالي للترتيب (SNIPM) عند كل موضع في القائمة. سواء كان النتيجة الأولى أو العاشرة، توفر الطريقة الجديدة تقديراً أكثر دقة لمدى جودة ذلك الموضع. وهذا أمر بالغ الأهمية لأن الفرق بين توصية جيدة وتوصية سيئة في الحياة الواقعية قد يكون هو الفارق بين بقاء المستخدم أو مغادرته.

الخلاصة

إذاً، ماذا يعني هذا للمستقبل؟ يخلص المؤلفون إلى أن اعتماد المجتمع الكبير على التطبيع الذاتي (SNIPS) كحل افتراضي "لا يتطلب معاملات" قد يكون في غير محله. وبينما تعد طريقة SNIPS مستقرة وسهلة الاستخدام، إلا أنها غير مثالية من الناحية الرياضية.

تقدم الورقة تبريراً نظرياً حاسماً للتحول بعيداً عن التطبيع الذاتي نحو تصحيحات خط الأساس (baseline corrections). توفر الطريقة الجديدة، $\beta^*$-IPS، توازناً متفوقاً بين الانحياز والتباين. وهي لا تتطلب ضبطاً معقداً للمعاملات (hyper-parameter tuning) أو كميات هائلة من البيانات لتبدأ في العمل بشكل أفضل؛ بل تتطلب فقط حساباً أذكى لخط الأساس.

في النهاية، يقترح المؤلفون أنه بمجرد امتلاك قدر معقول من البيانات المسجلة، فإن نهج "متغير التحكم الإضافي" هو الفائز بوضوح. إنه يشبه الترقية من بوصلة قياسية إلى نظام GPS مع تحديثات حركة المرور في الوقت الفعلي: الطريقة القديمة توصلك في الاتجاه الصحيح، لكن الطريقة الجديدة توصلك بشكل أسرع، وأكثر سلاسة، وبفرصة أكبر بكثير لتجنب الحفر.