ملخص تقني: التعلم المتسلسل خارج السياسة مع التنعيم اللوغاريتمي

بيان المشكلة

يتيح التعلم خارج السياسة (Off-policy learning) تدريب السياسات من بيانات التفاعل المسجلة الناتجة عن سياسة سلوك معينة. وبينما تعد الأسس النظرية للتعلم خارج السياسة راسخة في إطار الدفعات (Batch setting) (حيث يتم تعلم سياسة واحدة من مجموعة بيانات ثابتة ناتجة عن سياسة سلوك واحدة)، إلا أن الأنظمة في العالم الحقيقي تعمل بشكل مختلف. ففي الممارسة العملية، يتم تحديث السياسات وإعادة نشرها بشكل متكرر بطريقة متسلسلة: حيث يتم تدريب السياسة على جميع البيانات التاريخية، ثم تُنشر لتوليد تفاعلات جديدة، ثم يُعاد تدريبها على مجموعة البيانات الموسعة للدورة التالية.

وعلى الرغم من شيوع هذا النموذج المتسلسل في تطبيقات مثل أنظمة التوصية ووضع الإعلانات، إلا أنه لا يزال غير مستكشف نظرياً إلى حد كبير. وتعتمد النهج المتسلسلة الحالية غالباً على افتراضات قوية، مثل التغطية الموحدة لمساحة الإجراءات أو استراتيجيات جمع بيانات غير واقعية (مثل نمو أحجام الدفعات بشكل أسي). علاوة على ذلك، فإن خوارزميات التعلم "خارج الخط" (Offline) الحديثة، التي تستخدم مبدأ التشاؤم (Pessimism principle) وأطر PAC-Bayesian، لم يتم توسيعها بنجاح لتشمل الإطار المتسلسل مع ضمانات تقارب صارمة. تعالج هذه الورقة الفجوة بين النشر المتسلسل العملي والضمانات النظرية، بهدف تطوير خوارزميات تعلم خارج السياسة تكون سليمة نظرياً وفعالة تجريبياً.

المنهجية

يقترح المؤلفون إطار عمل يعتمد على المقامر السياقي (Contextual Bandits) حيث يتفاعل وكيل مع تدفق بيانات عبر خطوات زمنية $k \geq 0$. في كل خطوة، يتم نشر سياسة سلوك جديدة $\pi_k$ لجمع دفعة من البيانات $S_k$، ويقوم الوكيل بتحديث سياسته باستخدام التاريخ التراكمي $S_{0:k}$.

تعتمد المنهجية على مساهمتين خوارزميتين رئيسيتين، كلتاهما تستفيد من أدوات تعلم Online PAC-Bayesian والتنعيم اللوغاريتمي (Logarithmic Smoothing - LS):

1. التنعيم اللوغاريتمي المتسلسل (الخوارزمية 1)

توسع المساهمة الأولى مُقدّر التنعيم اللوغاريتمي "خارج الخط" (الذي قدمه Sakhi et al., 2024) ليشمل الإطار المتسلسل.

• المُقدّر: تستخدم الخوارزمية منظم LS القياسي $h_{LS}(p, q, c) = -\frac{p}{\lambda} \log(1 - \frac{\lambda c}{q})$.
• الآلية: في كل خطوة $k$، تقلل الخوارزمية حداً علوياً لـ PAC-Bayesian على المخاطر، حيث تجمع بين مخاطر LS التجريبية عبر جميع البيانات المتراكمة $S_{0:k}$ وحد التباعد (KL-divergence) بالنسبة لـ $P$ كأولوية (Prior).
• الضمان النظري: يثبت النظر 3.2 حداً للتعميم للناتج المتسلسل $\pi_{k+1}$. وقد أظهر أن معدل التقارب هو $O(1/\sqrt{N_k})$، حيث $N_k$ هو إجمالي عدد العينات. وهذا يطابق المعدل الأمثل لإطار الدفعات ولكنه ينطبق على التراكم المتسلسل للبيانات.
• القصور: حدد المؤلفون أن حد التباين الزائف (Pseudo-variance) في حد التقارب لا يتلاشى حتى لو اقتربت سياسة السلوك من السياسة المثلى، مما يؤدي إلى معدل تقارب لا يتسارع بما يتجاوز $O(1/\sqrt{N_k})$.

2. التنعيم اللوغاريتمي المعدل المتسلسل (الخوارزمية 2)

للتغلب على بطء التقارب في الخوارزمية 1، قدم المؤلفون مُقدّراً جديداً لـ التنعيم اللوغاريتمي المعدل (Adjusted Logarithmic Smoothing - AdjLS).

• المُقدّر: تم تعريف منظم جديد: $h_{adj}(p, q, c) = -\frac{p}{\lambda} \log(1 - \frac{\lambda c}{q(1+\lambda c)})$. يعدل هذا التعديل هدف الأداء للتحكم في الفرق بين مخاطر السياسة الحالية والمتوسط المرجح للمخاطر السابقة.
• الآلية: تقلل الخوارزمية 2 مُقدّر المخاطر المعدل عبر البيانات التراكمية.
• الضمان النظري: يثبت النظر 4.4 أنه بموجب افتراضات طفيفة (تحديداً، أن الإجراءات المثلى مغطاة بواسطة فئة السياسة وأن المشكلة تمتلك درجة معينة من القابلية للفصل، والتي تُقاس بـ $\Delta_u > 0$)، تحقق الخوارزمية 2 معدل تقارب متسارع قدره $O(1/N_k^\alpha)$ لأي $\alpha \in [0.5, 1)$.
• الرؤية الجوهرية: على عكس مُقدّر LS القياسي، فإن حد الخطأ في المُقدّر المعدل $L(\pi^*, \pi_j)$ يتلاشى عندما تقترب سياسة السلوك $\pi_j$ من السياسة المثلى $\pi^*$، مما يسمح بتقارب أسرع.

المساهمات الرئيسية

1. أول خوارزميات PAC-Bayes متسلسلة: تقدم الورقة أول خوارمايات PAC-Bayesian خارج السياسة المصممة خصيصاً للإطار المتسلسل، مما يوفر ضمانات تقارب نظرية تتراوح بين نظامي الدفعات الكامل (Batch) والتدفق المتصل (Online).
2. تسريع التقارب عبر التعديل: حدد المؤلفون قصوراً جوهرياً في تطبيق مُقدّرات "خارج الخط" القياسية بشكل متسلسل، واقترحوا تعديلاً مبدئياً (AdjLS) يحقق معدلات تقارب متسارعة مثبتة تحت افتراضات معقولة.
3. تخفيف الافتراضات: يتطلب التحليل النظري فقط أن تغطي فئة السياسة الإجراءات المثلى (الافتراض 3.4)، وهو افتراض أضعف بكثير من افتراضات التغطية الموحدة المطلوبة في الأعمال المتسلسلة السابقة (مثل Zenati et al., 2023).
4. التعميم على سياقات غير متطابقة (Non-IID): أظهر أن الإطار قابل للتكيف مع البيئات غير المستقرة حيث تتطور توزيعات السياق بمرور الوقت، مما يخفف من فرضية التوزيع المتماثل والمستقل (i.i.d.) للسياقات.

النتائج التجريبية

قيم المؤلفون أساليبهم على مجموعات بيانات متعددة الفئات (MNIST, FashionMNIST, EMNIST, CIFAR100) تم تحويلها إلى مشكلات مقامر سياقي.

• المتسلسل مقابل الدفعات: تظهر التجارب أن زيادة عدد تحديثات السياسة البينية ($k$) يحسن باستمرار أداء السياسة النهائية مقارنة بتحديث دفعة واحدة ($k=1$). وهذا يؤكد فائدة الإطار المتسلسل.
• مقارنة الخوارزميات:
  • تتفوق SeqAdjLS (الخوارزمية 2) باستمرار على SeqLS (الخوارزمية 1)، مما يؤكد الميزة النظرية للمُقدّر المعدل.
  • تتفوق كلتا الطريقتين المقترحتين بشكل كبير على SCRM (تقليل المخاطر المضاد للسياق المتسلسل، Zenati et al., 2023). ويلاحظ المؤلفون أن SCRM يميل إلى أن يكون متحفظاً للغاية، خاصة في الجولات الأولى ذات أحجام الدفعات الصغيرة، ويعتمد على استراتيجيات جمع بيانات غير واقعية (نمو الدفعات بشكل أسي) تؤدي إلى التخلص من البيانات التاريخية.
• تأثير السياسة الأولية: يظهر النهج المتسلسل مكاسب كبيرة عندما تكون سياسة السلوك الأولية بعيدة عن المثالية، لا سيما في مساحات الإجراءات عالية الأبعاد (مثل CIFAR100 مع 100 إجراء).

الأهمية والادعاءات

تدعي الورقة سد الفجوة النظرية بين التعلم المتسلسل خارج السياسة العملي والضمانات الصارمة. ومن خلال الجمع بين تقنيات PAC-Bayes عبر الإنترنت مع مُقدّر تنعيم لوغاريتمي جديد، يوفر المؤلفون خوارزميات:

• تعمم أساليب "خارج الخط" الحديثة (مطابقة لأدائها في حد الدفعات).
• تسرع التعلم في الإعدادات المتسلسلة من خلال الاستفادة من التحسين التدريجي لسياسة السلوك.
• تتجنب الافتراضات غير الواقعية (مثل التغطية الموحدة) التي تعيق تطبيق الطرق المتسلسلة الحالية.

يؤكد المؤلفون أنه بينما يعتمد تحليلهم النظري على تغطية فئة السياسة للإجراءات المثلى، إلا أن هذا يعد تخفيفاً كبيراً مقارنة بالأعمال السابقة. ويخلصون إلى أن الجمع بين Online PAC-Bayes والمقامر السياقي المتسلسل يقدم اتجاهاً واعداً للتعلم القوي والفعال في الأنظمة الديناميكية في العالم الحقيقي.