ملخص تقني: هل تحتاج حقاً إلى التدريب المسبق لدوال Q عند الضبط الدقيق لتعلم التعزيز عبر الإنترنت؟

1. صياغة المشكلة

تبحث الورقة في مدى فعالية التدريب المسبق لدوال Q على البيانات غير المتصلة (offline data) عند الضبط الدقيق لسياسة مدربة مسبقاً باستخدام تعلم التعزيز عبر الإنترنت (online RL). تتضمن الإعدادات عملية قرار ماركوف (MDP) حيث يمتلك الوكيل مجموعة بيانات ثابتة غير متصلة $D_{offline}$ وسياسة أساسية مدربة مسبقاً $\pi_{base}$ (تُدرب عادةً عبر التعلم الخاضع للإشراف أو تعلم التقليد على $D_{offline}$). الهدف هو إجراء ضبط دقيق عبر الإنترنت لتعظيم العوائد.

السؤال المركزي هو ما إذا كان ينبغي أيضاً تدريب دالة Q ($Q_\phi$) -التي توجه اختيار السياسة للأفعال أثناء التحديثات عبر الإنترنت- مسبقاً على $D_{offline}$ جنباً إلى جنب مع السياسة، أم يجب تهيئتها عشوائياً وتعلمها بالكامل عبر الإنترنت. الحكمة التقليدية في التعلم من "غير المتصل إلى المتصل" (offline-to-online RL) تشير إلى أن التدريب المسبق المشترك للسياسة ودالة Q يكون مفيداً. ومع ذلك، أظهرت أعمال حديثة أن البدء بسياسة مدربة مسبقاً ودالة Q مهيئة عشوائياً يمكن أن يؤدي إلى نتائج عالية الأداء. تختبر هذه الورقة بشكل منهجي الحدس القائل بأن التدريب المسبق لدالة Q يوفر انطلاقة ضرورية للأداء اللاحق.

2. المنهجية

الإعداد التجريبي

يقيم المؤلفون فرضياتهم على ست مهام تحكم مستمر صعبة من Robomimic (الرفع lift، العلبة can، المربع square) و OGBench (المكعب cube، المشهد scene، اللغز puzzle). تتضمن هذه المهام مكافآت متفرقة واستدلالاً طويل الأمد.

• الخوارزمية الأساسية: تستخدم الدراسة EXPO، وهي خوارزمية تعلم تعزيز غير متصلة (off-policy) ذات كفاءة في العينات. تستخدم EXPO "سياسة تدفق أساسية" ($\pi_{base}$) و"سياسة تعديل" خفيفة الوزن ($\pi_{edit}$) تتنبأ بتصحيحات الأفعال. يتم اختيار الفعل النهائي عن طريق تعظيم قيمة Q فوق مجموعة من الأفعال الأساسية والمعدلة.
• النماذج المرجعية (Baselines):
  1. التدريب المسبق الساذج (Naive Pretraining): تدريب كل من $\pi_{base}$ و $Q_\phi$ مسبقاً على $D_{offline}$ باستخدام التعلم الخاضع للإشراف وتعلم TD غير المتصل، على التوالي، قبل الضبط الدقيق عبر الإنترنت.
  2. التهيئة العشوائية (Random Initialization): تدريب $\pi_{base}$ فقط مسبقاً على $D_{offline}$؛ وتهيئة $Q_\phi$ عشوائياً وتعلمها بالكامل خلال الضبط الدقيق عبر الإنترنت.
  3. تعظيم القيمة غير المتصلة (Offline Value Maximization): محاولة سد الفجوة بين الأهداف غير المتصلة والمتصلة عبر إجراء تعظيم للقيمة غير المتصلة (مثل تعلم سياسة تعديل أو تقطير سياسة خطوة واحدة) أثناء التدريب المسبق.

الطريقة المقترحة: التهيئة عبر مجموعة السياسات (IPE)

مدفوعين بالنتيجة التي مفادها أن التدريب المسبق الساذج يفشل، يقترح المؤلفون طريقة IPE لاستخدام البيانات غير المتصلة بشكل أفضل لتهيئة دالة Q دون مشكلات عدم التطابق الموجودة في التدريب المسبق القياسي.

• الفكرة الجوهرية: غالباً ما تنتج سياسة واحدة مدربة مسبقاً توزيع أفعال ضيقاً، مما يتسبب في انهيار دالة Q نحو دالة القيمة لتلك السياسة المحددة ($Q_{\pi_{base}} \approx V_{\pi_{base}}$) بدلاً من تعلم بنية قيم أفعال قابلة للتعميم.
• الإجراء:
  1. تدريب سياسة أساسية $\pi_{base}$ على مجموعة البيانات غير المتصلة.
  2. تدريب $N$ من السياسات المتنوعة الإضافية ($\pi_1, \dots, \pi_N$) على نفس توزيع الأفعال (باستخدام نفس المجموعة أو مجموعات فرعية ببذور مختلفة).
  3. تنفيذ (Roll out) جميع السياسات الـ $N+1$ في البيئة لجمع انتقالات متنوعة.
  4. تجميع هذه الانتقالات لتهيئة ذاكرة التخزين المؤقت (replay buffer) للضبط الدقيق عبر الإنترنت.
     يوفر هذا النهج لدالة Q تغطية لمجموعة أوسع من الأفعال عند كل حالة، مما يمكنها من تعلم دالة Q أقرب إلى الهدف الأمثل عبر الإنترنت ($Q^*_{RL}$) بدلاً من أن تكون مقيدة بتوزيع السياسة الواحدة الضيق.

3. النتائج الرئيسية والتحليل

فشل التدريب المسبق الساذج

على عكس الحدس التقليدي، يجد المؤلفون أن التدريب المسبق الساذج لدالة Q لا يقدم أي فائدة تذكر مقارنة بالتهيئة العشوائية. وفي عدة مهام، فإنه يعيق التعلم عبر الإنترنت.

• عدم التطابق (The Mismatch): تستهدف دالة Q التي تم تعلمها أثناء التدريب المسبق غير المتصل ($Q_{\pi_{base}}$) دالة القيمة للسياسة الأساسية. ومع ذلك، فإن الضبط الدقيق لتعلم التعزيز عبر الإنترنت يتقارب نحو دالة Q مثالية مختلفة ($Q^*_{RL}$).
• دقة التفضيل: حتى عندما تكون السياسة الأساسية قريبة من المثالية، فإن الناقد (critic) المدرب مسبقاً بشكل غير متصل لا يتوافق مع الناقد الذي يتعلمه التعلم عبر الإنترنت. تفشل دالة Q غير المتصلة في ترتيب الأفعال بشكل صحيح من السياسة المثلى ($\pi^*$) مقابل السياسة الأساسية ($\pi_{base}$) بالطريقة المطلوبة للتقارب عبر الإنترنت.
• عدم فعالية الحلول: المحاولات لسد هذه الفجوة عبر تعظيم القيمة غير المتصلة (مثل تدريب سياسة تعديل أو تطبيق تدرجات الأفعال أثناء التدريب المسبق) تفشل في تحسين الأداء أو دقة التفضيل، مما يشير إلى أن التفاعل عبر الإنترنت ضروري لتعلم الهدف الصحيح.

آلية عمل IPE

توضح الورقة أن فشل التدريب المسبق الساذج ينبع من نقص تنوع الأفعال. تؤدي عمليات التنفيذ (rollouts) لسياسة واحدة إلى دالة Q ذات تباين منخفض جداً، مما يجعلها فعلياً حتمية وغير قادرة على التمييز بين الأفعال البديلة.

• التنوع: من خلال استخدام مجموعة من السياسات، تولد طريقة IPE انتقالات ذات تنوع أكبر بكثير في الأفعال.
• النتيجة: يسمح هذا التنوع لدالة Q بتعلم بنى قيم أفعال ذات معنى ($Q^*_{RL}$) بدلاً من الانهيار إلى قيمة سلوك سياسة واحدة.

4. النتائج

• تحسين الأداء: عبر مجموعة اختبار التحكم المستمر، تحقق طريقة IPE تحسناً متوسطاً قدره 1.26 ضعف (حوالي 26%) في أداء الضبط الدقيق مقارنة بالتدريب المسبق الساذج لدالة Q.
• المقارنة بالتهيئة العشوائية: تتفوق IPE على كل من التدريب المسبق الساذج والتهيئة العشوائية، مما يثبت أن جودة تهيئة دالة Q أمر بالغ الأهمية، ولكن مصدر تلك التهيئة يجب أن يكون متنوعاً.
• التوسع (Scaling): يتوسع الأداء مع عدد السياسات ($N$) المستخدمة في المجموعة. في التجارب، قدمت $N=5$ أفضل النتائج، مما يشير إلى أن التغطية الأوسع لسياسات السلوك تؤدي إلى ضبط دقيق أفضل لاحقاً.
• دقة التفضيل: تُظهر دوال Q المدربة عبر IPE دقة تفضيل أعلى للأفعال المثلى مقارنة بالنماذج المرجعية، مما يؤكد أن الطريقة تنجح في جسر الفجوة نحو $Q^*_{RL}$.

5. الأهمية والادعاءات

تتحدى الورقة الافتراض السائد بأن "المزيد من التدريب المسبق هو دائماً الأفضل" في سياق التعلم من "غير المتصل إلى المتصل". وتتمثل مساهماتها الرئيسية في:

1. دليل تجريبي: توضح بشكل منهجي أن التدريب المسبق المباشر لدالة Q على البيانات غير المتصلة غالباً ما يفشل في تسريع أو تحسين الضبط الدقيق لتعلم التعزيز عبر الإنترنت عند البدء بسياسة مدربة مسبقاً.
2. رؤية نظرية: تحدد عدم تطابق جوهري بين دالة Q غير المتصلة ($Q_{\pi_{base}}$) والهدف عبر الإنترنت ($Q^*_{RL}$)، وتظهر أن تعظيم القيمة غير المتصل وحده لا يمكنه حل هذا التباين.
3. حل عملي: تقدم IPE، وهي طريقة بسيطة وفعالة تستفيد من مجموعات السياسات لتعزيز تعلم دالة Q. من خلال زيادة تنوع الأفعال في مرحلة التدريب المسبق، تمكن IPE تعلم التعزيز عبر الإنترنت من تعلم دالة القيمة الصحيحة بشكل أكثر كفاءة.

يخلص المؤلفون إلى أنه بينما يعد التدريب المسبق للسياسة أمراً ضرورياً، فإن استراتيجية تهيئة دالة Q يجب أن تأخذ في الاعتبار تنوع الأفعال المطلوبة لتعلم مشهد القيم الأمثل، بدلاً من مجرد ملاءمة توزيع البيانات غير المتصلة لسياسة واحدة. يقتصر هذا العمل على إعدادات التعلم عبر السياسات غير المتصلة (off-policy RL)، ويشير المؤلفون إلى أن تقليل عبء جمع البيانات لـ IPE يظل توجهاً للعمل المستقبلي.