ملخص تقني: محاذاة بلمان أحادية الخطوة تتيح انتقالاً فعالاً بشكل مبرهن في التعلم التعزيزي عبر الإنترنت

1. بيان المشكلة

تتناول الورقة تحدي التعلم التعزيزي (RL) عبر الإنترنت للنقل (Online Transfer RL) في عمليات ماركوف لاتخاذ القرار (MDPs) الحلقية. يتضمن الإعداد تفاعل متعلم مع مهمة مستهدفة ($M^{(0)}$) مع إمكانية الوصول إلى خبرات من مهام مصدرية ذات صتلة ($M^{(m)}$). والهدف هو الاستفدا من بيانات المصدر لتسريع التعلم في المهمة المستهدفة دون المساس بضمانات الاستكشاف أو الندم (Regret).

ثمة عقبة جوهرية حددتها الورقة وهي عدم المحاذاة بين تعريفات تشابه المهام وآليات التعلم في التعلم التعزيزي عبر الإنترنت:

• تشابه المهام: يُعرّف عادةً عبر المكافآت، أو الانتقالات، أو دوال القيمة.
• آلية التعلم في التعلم التعزيزي عبر الإنترنت: تعمل خوارزميات التعلم التعزيزي عبر الإنترنت الحديثة (مثل Q-learning) عن طريق الانحدار على أهداف بلمان أحادية الخطوة (One-step Bellman targets)، والتي تعتمد بشكل مشترك على قيمة الاستمرار ($V_{h+1}$) وتوزيع الانتقال ($P_h$).

يجادل المؤلفون بأن التجميع الساذج (Naïve pooling) لتحديثات بلمان من المهام المصدرية يؤدي إلى تحيز منهجي. فحتى لو كانت المهام متقاربة جوهرياً، فإن استبدال قيمة الاستمرار للمهمة المستهدفة $V^{(0)}_{h+1}$ بقيمة مصدرية $V^{(m)}_{h+1}$ أو استخدام توزيعات انتقال مصدرية $P^{(m)}_h$ يخلق تباينًا يعتمد على دالة القيمة المتغيرة مع التكرار. هذا التحيز الهيكلي يكسر الاستكشاف القائم على التفاؤل ويبطل ضمانات الندم القياسية، حيث لا يتلاشى الخطأ مع زيادة بيانات المهمة المستهدفة.

2. المنهجية: الاستهداف بإعادة الوزن (RWT)

لحل التحيز الهيكلي، تقترح الورقة الاستهداف بإعادة الوزن (Re-Weighted Targeting - RWT)، وهو مصحح على مستوى العامل (Operator-level correction) يقوم بمحاذاة عوامل بلمان عبر المهام.

2.1 محاذاة بلمان أحادية الخطوة

تتمثل الرؤية الجوهرية في أن عدم محاذاة بلمان بين المهام يمكن اختزالها في تصحيح ثابت أحادي الخطوة إذا تم تقييم قيمة الاستمرار تحت المهمة المستهدفة بينما يتم تصحيح عدم محاذاة الانتقال عبر تغيير المقياس (Change of measure).

بفرض وجود مهمة مصدر $m$ ومهمة مستهدفة $0$، ليكن$\omega^{(m)}_h(s' | s, a) = p^{(0)}_h(s' | s, a) / p^{(m)}_h(s' | s, a)$ هو نسبة الكثافة. يتم تعريف عامل بلمان المحاذي لـ RWT كالتالي:
$$(B^{(m \to 0)}_h V^{(m)}_{h+1})(s, a) := R^{(m)}_h(s, a) + \gamma \mathbb{E}_{s' \sim P^{(m)}_h} \left[ \omega^{(m)}_h(s' | s, a) V^{(0)}_{h+1}(s') \right]$$
ومن الأهمية بمكان أن قيمة الاستمرار $V^{(0)}_{h+1}$ هي دالة القيمة المستهدفة. الفرق بين عامل بلمان المستهدف الحقيقي وعامل المصدر المحاذي لـ RWT يتبسط إلى:
$$\Delta^{(m)}_h(s, a) = (B^{(0)}_h V^{(0)}_{h+1)(s, a)} - (B^{(m \to 0)}_h V^{(m)}_{h+1})(s, a) = R^{(0)}_h(s, a) - R^{(m)}_h(s, a)$$
تظهر هذه النتيجة أن عدم تطابق المهمة يصبح فرق مكافأة أحادي الخطوة ثابت $\Delta^{(m)}_r$، وهو مستقل عن دالة القيمة $V_{h+1}$. هذا يحول مشكلة النقل إلى تعلم بقايا (Residual) مهيكلة بدلاً من تحيز معقد يعتمد على التكرار.

2.2 الإطار الخوارزمي: RWT Q-learning

تقترح الورقة إطار عمل RWT Q-learning مكون من مرحلتين (الخوارزمية 1) يفصل بين تقليل التباين وتصحيح التحيز:

1. المرحلة الأولى: خط الأساس القائم على المصدر (تقليل التباين)
   • إنشاء تسميات مستعارة (Pseudo-labels) محاذية لـ RWT باستخدام بيانات المصدر باستخدام تقدير القيمة المستهدفة الحالي $V_{h+1}$.
   • ملاءمة مُقدر خط أساس $Q^{base}_{n,h}$ باستخدام هذه التسميات المستعارة. يستفيد هذا من وفرة بيانات المصدر لتقليل تباين التقدير مع الحفاظ على اتساق بلمان مع المهمة المستهدفة وصولاً إلى فرق المكافأة.
2. المرحلة الثانية: التصحيح القائم على الهدف (تصحيح التحيز)
   • حساب تسميات البواقي باستخدام بيانات الهدف: $z_{i,h} = y^{(0)}_{i,h} - Q^{base}_{n,h}(s_{i,h}, a_{i,h})$.
   • تقدير حد التصحيح $\delta_{n,h}$ لالتقاط فرق المكافأة أحادي الخطوة المهيكل $\Delta^{(m)}_r$.
   • التقدير النهائي للنقل هو $Q^{trans}_{n,h} = Q^{base}_{n,h} + \delta_{n,h}$.
3. الاستكشاف:
   • يتم إضافة مكافأة استكشاف $b_{n,h}$ إلى $Q^{trans}_{n,h}$ لتكوين تقدير متفائل $Q^{ucb}_{n,h}$، يأخذ في الاعتبار عدم اليقين من كل من خط الأساس المصدر (بما في ذلك تقدير نسبة الكثافة) وتصحيح الهدف.

2.3 التجسيد النظري (RKHS)

يتم تجسيد الإطار تحت تقريب دالة فضاء هيلبرت لإعادة الإنتاج ذو النواة (RKHS):

• يُفترض أن عملية بلمان المستهدفة تقع في فضاء RKHS عالي التعقيد $\mathcal{K}$.
• يُفترض أن إزاحة المهمة (فرق المكافأة $\Delta^{(m)}_r$) تقع في فضاء RKHS أقل تعقيداً $\tilde{\mathcal{K}} \subseteq \mathcal{K}$.
• يُستخدم انحدار ريج (Kernel ridge regression) لكل من مرحلتي خط الأساس والتصحيح.
• تُشتق مكافآت الاستكشاف بناءً على كسب المعلومات وأعداد التغطية (Covering numbers) للنويات (Kernels) المعنية.

3. المساهمات الرئيسية

1. مفاهيمياً: تحديد محاذاة بلمان أحادية الخطوة كالتجريد الصحيح للتعلم عبر الإنترنت للنقل. توضح الورقة أن إعادة استخدام بلمان الساذجة متحيزة هيكلياً بسبب اعتمادها على قيمة الاستمرار، مما يجعلها غير متوافقة مع ضمانات الندم.
2. خوارزمياً: اقتراح الاستهداف بإعادة الوزن (RWT)، وهو تصحيح على مستوى العامل يتيح إعادة استخداماً سليماً إحصائياً لبيانات المصدر. ينتج عن ذلك إطار عمل Q-learning ذو مرحلتين يفصل بين تقليل التباين (المصدر) وتصحيح التحيز (الهدف).
3. نظرياً: وضع حدود الندم (Regret bounds) تحت تقريب RKHS تتناسب مع تعقيد إزاحة المهمة (فرق المكافأة) بدلاً من تعقيد MDP المستهدف الكامل. وهذا يوفر تحسينات صارمة على التعلم أحادي المهمة عندما تكون الإزاحة مهيكلة.
4. تجريبياً: إثبات التحسينات المتسقة على التعلم أحادي المهمة والتجميع الساذج في كل من بيئات الجداول (Tabular) والشبكات العصبية، مما يؤكد الضرورة النظرية لمحاذاة بلمان.

4. النتائج

النتائج النظرية

تحت افتراض أن إزاحة المهمة تقع في فضاء RKHS أقل تعقيداً $\tilde{\mathcal{K}}$، فإن حد الندم لخوارزمية OFU-RWT هو:
$$\text{Regret}(N) \lesssim H \sqrt{N \beta_1} \left( N^{\beta_1+1} + N^{\alpha_1+1} \right) + \text{Source Terms}$$

• يعتمد الحد المهيمن على تعقيد إزاحة المهمة ($\tilde{\mathcal{K}}$)، وليس على الـ MDP المستهدف المحيط ($\mathcal{K}$).
• عندما تكون الإزاحة أبسط من المشكلة المحيطة (على سبيل المثال، $\alpha_1 \leq \beta_1$)، يكون الندم أقل بوضوح من معدل $O(H N^{1/2+\beta_0})$ للتعلم أحادي المهمة.
• مصطلح تقدير المصدر يتناقص مع زيادة نسبة أخذ العينات من المصدر إلى الهدف $\kappa$.

النتائج التجريبية

أُجريت التجارب على RandomRewardGridEnv، حيث تكون مكافأة الهدف عبارة عن جدول Q ثابت ومكافأة المصدر نسخة مضطربة منها ($R_{source} = R_{target} + \Delta$).

• التجميع الساذج (Naïve Pooling): أدى باستمرار إلى تدهور الأداء مقارنة بالتعلم المستهدف فقط، مما أكد التحيز الهيكلي المتوقع نظرياً.
• RWT-Q: تفوق على كل من التجميع الساذج والأساسات أحادية المهمة في كل من إعدادات الجداول (Tabular) والشبكات العصبية العميقة (DQN).
• كفاءة العينات: أظهر RWT-Q مكاسب كبيرة في كفاءة العينات، خاصة عندما كانت إزاحة المكافأة مهيكلة ولكن غير تافهة.

5. الأهمية والادعاءات

تدعي الورقة أن محاذاة بلمان هي مبدأ نقل مستقل عن النموذج وضروري للتعلم التعزيزي عبر الإنترنت.

• هيكلي مقابل إحصائي: تم تحديد فشل النقل الساذج كمسألة هيكلية (عدم محاذاة العامل) وليست مسألة إحصائية (نقص البيانات).
• التفكيك: من خلال اختزال عدم تطابق المهمة إلى تصحيح ثابت أحاحي الخطوة، يسمح RWT بفصل التعلم إلى مرحلة تقليل التباين المدفوعة بالمصدر ومرحلة تصحيح التحيز المدفوعة بالهدف.
• ضمانات الندم: على عكس طرق النقل السابقة التي تعتمد على التمثيلات المشتركة أو الافتراضات غير المتصلة (Offline)، يوفر هذا العمل نقلاً فعالاً بشكل مبرهن عبر الإنترنت مع حدود ندم تتكيف مع تعقيد الإزاحة بدلاً من تعقيد المهمة.
• العمومية: الآلية مستقلة عن استراتيجية الاستكشاف المحددة (متوافقة مع $\epsilon$-greedy أو UCB) ومقرب الدالة (سواء كان جدوليًا أو عصبيًا)، مما يجعلها مبدأً عامًا للنقل في التعلم التعزيزي عبر الإنترنت.