ملخص تقني: البوتستراب القائم على النموذج لسلاسل ماركوف المتحكم بها

بيان المشكلة

تتناول الورقة البحثية تحدي الاستدلال الإحصائي لسلاسل ماركوف المتحكم بها (CMCs) المحدودة في الإعدادات التي قد يكون فيها سياسة السلوك (behavior policy) التي تولد البيانات غير مستقرة (nonstationary) أو تعتمد على التاريخ (history-dependent). هذا السيناريو شائع في التعلم التعزيزي خارج السياسة (offline RL)، حيث يتم جمع البيانات بواسطة سياسة مجهولة $\pi_b$ لا تستوفي بالضرورة فرضيات الاستقرار أو الماركوفية.

تعتمد طرق البوتستراب (bootstrap) الموجودة لسلاسل ماركوف غالبًا على الاستقرار أو شروط خلط (mixing conditions) محددة لا تتحقق في سلاسل CMCs العامة ذات الضوابط المعتمدة على التاريخ. علاوة على ذلك، فإن فترات الثقة (CIs) القائمة على طريقة "الاستبدال المباشر" (plug-in) التقليدية والمستندة إلى نظريات النهاية المركزية (CLTs) تتطلب تقدير التباين (covariance estimation)، مما قد يؤدي إلى تدهور الأداء في العينات المحدودة. حدد المؤلفون مشكلتين مفتوحتين:

1. هل يمكن تطوير بوتستراب قائم على النموذج لسلاسل CMCs المحدودة دون اشتراط استقرار أو ماركوفية سياسة التحكم؟
2. هل يمكن إثبات الاتساق التوزيعي لمقدر البوتستراب هذا وتوسيع نطاقه ليشمل مهام التعلم التعزيزي اللاحقة مثل تقييم خارج السياسة (OPE) واستعادة السياسة المثلى (OPR)؟

المنهجية

إعداد النموذج والبيانات

يعتبر المؤلفون سلسلة CMC محدودة $\{(X_i, A_i)\}_{i \ge 0}$ مع فضاء حالة $\mathcal{S}$ وفضاء إجراءات $\mathcal{A}$. نواة الانتقال هي $M(a)_{s,t} = P(X_{i+1}=t | X_i=s, A_i=a)$. تتكون مجموعة البيانات المتاحة $\mathcal{D}_n$ من $K$ من الحلقات (episodes) ذات طول ثابت $T$ (حيث $n=KT$)، والتي تم توليدها بواسطة سياسة سلوك مجهولة $\pi_b$. يُسمح لـ $\pi_b$ بأن تكون غير مستقرة ومعتمدة على التاريخ.

من $\mathcal{D}_n$، يحسب المؤلفون:

• مقدر الانتقال التجريبي القائم على العد: $\hat{M}(a)_{s,t} = N(a)_{s,t} / N(a)_s$.
• سياسة السلوك التجريبية: $\hat{\pi}_b(a|s) = N(a)_s / N_s$.

إجراء البوتستراب القائم على النموذج

يبني الإجراء المقترح سلسلة CMC بوتستراب $\{(X^*_i, A^*_i)\}_{i \ge 0}$ باستخدام نواة الانتقال التجريبية $\hat{M}$ وسياسة السلوك التجريبية $\hat{\pi}_b$.

1. التهيئة: لكل تكرار بوتستراب $j$، تبدأ العملية بالحالة الأولية المرصودة للحلقة الأصلية، $X^{*(k,j)}_0 = X^{(k)}_0$.
2. المحاكاة: يتم توليد الانتقالات بالتتابع عن طريق أخذ عينات من الإجراءات $A^{*(k,j)}_i \sim \hat{\pi}_b(\cdot | X^{*(k,j)}_i)$ والحالات التالية $X^{*(k,j)}_{i+1} \sim \hat{M}(A^{*(k,j)}_i)_{X^{*(k,j)}_i, \cdot}$.
3. التقدير: من مجموعة بيانات البوتستراب $\mathcal{D}^*_n$، يتم حساب مقدر انتقال البوتستراب $\hat{M}^*$.
4. التكرار: تُكرر هذه العملية $B$ من المرات للحصول على مكررات البوتستراب $\hat{M}^{*(1)}, \dots, \hat{M}^{*(B)}$.

التطبيقات اللاحقة

يُطبق البوتستراب على هدفين لاحقين:

• تقييم خارج السياسة (OPE): لتقدير دالات القيمة $V_\pi$ ودالات $Q$ (أي $Q_\pi$) لسياسة مستهدفة ثابتة $\pi$ عن طريق حل معادلات بيل مان (Bellman equations) باستخدام $\hat{M}$ و $\hat{M}^*$.
• **استعادة السياسة المثلى (OPR): لتقدير دالات القيمة المثلى $V_\star$ ودالات $Q_\star$ عن طريق حل معادلات بيل مان المثلى باستخدام $\hat{M}$ و $\hat{M}^*$.

يتم إنشاء فترات الثقة باستخدام المئينات التجريبية لمكررات البوتستراب (percentile CI) أو عبر طرق المحور (pivot methods).

المساهمات النظرية الرئيسية

1. الاتساق التوزيعي للبوتستراب

تثبت الورقة أول نتائج الاتساق التوزيعي للبوتسترابات القائمة على النماذج في سلاسل CMCs المحدودة مع سياسات قد تكون غير مستقرة أو معتمدة على التاريخ.

• نظام السلسلة الواحدة ($K=1, T \to \infty$): تثبت النظرية 1 أنه بشرط البيانات $\mathcal{D}_n$، فإن $\sqrt{n} \text{vec}(\hat{M}^* - \hat{M})$ يتقارب في التوزيع إلى حد غاوسي $N(0, \bar{\Lambda})$، وهو ما يطابق التوزيع التقاربي للمقدر الأصلي $\sqrt{n} \text{vec}(\hat{M} - M)$.
• النظام الحلقي ($T$ ثابت، $K \to \infty$): تثبت المبرهنة 1 هذا النتيجة في الإعداد الحلقي عن طريق دمج الحلقات في سلسلة واحدة عبر انتقالات وهمية (pseudo-transitions). وهي تؤكد أن البوتستراب يظل متسقًا حتى عندما تفصل بين الحلقات عمليات إعادة ضبط (resets).

الأدوات التقنية:

• قانون الأعداد الكبيرة (LLN) الجديد للبوتستراب لعدود الزيارات ($N^*_s/n \to p_s$ تقاربيًا تقريبًا).
• تطبيق جديد لـ نظرية النهاية المركزية للمارتينجال (Martingale CLT) لزيادات انتقال البوتستراب، مع استخدام شروط الخلط الضعيفة (الافتراضات 1-3) للتعامل مع بنية الاعتماد.

2. الصلاحية لـ OPE و OPR

توسع المبرهنة 2 هذا الاتساق التوزيعي ليشمل مقدرات دالة القيمة و $Q$ باستخدام طريقة دلتا (Delta Method).

• يتحقق المؤلفون من قابلية التفاضل من نوع هادامارد (Hadamard differentiability) لمؤثرات بيل مان بالنسبة لمصفوفة كتلة الانتقال.
• بالنسبة لـ OPE، تتقارب مكررات البوتستراب لـ $V_\pi$ و $Q_\pi$ إلى نفس الحدود الغاوسية للمقدرات الأصلية.
• بالنسبة لـ OPR، وتحت شرط عدم التدهور (وجود فجوة موجبة تمامًا بين الإجراءات المثلى ودون المثلى)، تحقق مكررات البوتستراب لـ $V_\star$ و $Q_\star$ أيضًا الاتساق التوزيعي.

النتائج التجريبية

قيم المؤلفون الأداء في العينات المحدودة على مسألة RiverSwim ($S=6, A=2$)، وهي معيار معروف بصعوبة الاستكشاف بسبب ترددات الزيارة غير المتوازنة والسياسات شبه المتدهورة.

• الإعداد: تمت المقارنة ضد البوتستراب الحلقي (Hao et al., 2021) وفترات الثقة لـ plug-in CLT (Zhu et al., 2024; Su et al., 2026) عبر أحجام عينات مختلفة ($n$) وأطوال حلقات ($T$).
• النتائج:
  • تفوق فترات الثقة المئينية للبوتستراب القائم على النموذج بشكل كبير على النماذج المرجعية، محققة تغطية قريبة من الاسمية (على سبيل المثال، 0.48–0.54 لـ 50%، 0.87–0.94 لـ 90%، 0.92–0.97 لـ 95%) في الأنظمة جيدة العينات ($n \ge 500$).
  • تظهر النماذج المرجعية (البوتستراب الحلقي و plug-in CLT) نقصًا منتظمًا في التغطية، خاصة عند أحجام العينات الصغيرة وأطوال الحلقات القصيرة.
  • يفشل البوتستراب الحلقي تمامًا عند $n=50$ عندما يكون $T \ge 50$ (ينهار إلى تغطية صفرية) لأن الحلقة الواحدة تلغي تباين البوتستراب.
  • يكون الأداء في أدنى مستوياته للأزواج (حالة-إجراء) نادرة الزيارة (بالقرب من الحالة 6) والآفاق القصيرة ($T=10$)، وهو ما يتوافق مع القيود النظرية للنمطية التقاربية وعدم التدهور.

الأهمية والقيود

الأهمية:
توفر هذه الورقة أساسًا نظريًا صارمًا لاستخدام البوتسترابات القائمة على النماذج في التعلم التعزيزي خارج السياسة، وتتصدى تحديدًا للفجوة حيث تكون سياسات السلوك غير مستقرة أو معتمدة على التاريخ. وتوضح أن هذه البوتسترابات تعطي فترات ثقة صالحة تقاربيًا لكل من نواة الانتقال وأهداف التعلم التعزيزي اللاحقة دون الحاجة إلى تقدير صريح للتباين.

القيود والتوجهات المستقبلية (كما ذكرها المؤلفون):

• دالة المكافأة: يفترض التحليل وجود دالة مكافأة معروفة. وبينما يشير المؤلفون إلى أن الصلاحية ستظل قائمة إذا تقارب مقدر المكافأة، إلا أن تأثيرات العينة المحدودة لخطأ تقدير المكافأة لم يتم تحليلها.
• فضاء الحالة-الإجراء: تقتصر النتائج الحالية على فضاءات الحالة-الإجراء المحدودة. ويترك التوسع إلى التقريب الوظيفي (function approximation) أو الفضاءات المستمرة للعمل المستقبلي.
• الأنظمة التقاربية: يفترض التحليل الحلقي أن $T$ ثابت و $K \to \infty$. ويظل اتساق البوتستراب في النظام الذي يكون فيه $K$ ثابتًا ($K>1$) و $T \to \infty$ سؤالاً مفتوحًا.
• السياسات غير المستقرة: بينما يستوعب النظرية السياسات غير المستقرة، إلا أن التجارب العددية استخدمت بشكل أساسي سياسات سلوك مستقرة؛ ويُقترح إجراء المزيد من التجارب مع السياسات غير المستقرة.