When (and How) to Trust the Expert: Diagnosing Query-Time Expert-Guided Reinforcement Learning

ملخص تقني: تشخيص التعلم المعزز الموجه بالخبير في وقت الاستعلام

بيان المشكلة
تنشر العديد من مجالات التحكم المستمر (التحكم الصناعي، الحركة، تتبع المسار) وحدات تحكم كفؤة ولكنها دون المثالية، مثل حلقات PID المضبوطة، أو حركات مشي مصممة يدويًا، أو أنظمة التحكم التنبئي بالنماذج (MPC). غالبًا ما تعمل وحدات التحكم هذه كـ "أرضية" يُتوقع من وكلاء التعلم المعزز (RL) تجاوزها. ومع ذلك، فإن الأدبيات المتعلقة بالتعلم المعزز الموجه بالخبير في وقت الاستعلام — حيث يمكن للوكيل استعلام وحدة تحكم خبيرة موجودة مسبقًا أثناء التدريب — تفتقر إلى إطار تقييم موحد. لقد تم اقتراح طرق موجودة (مثل IBRL، وJSRL، وResidual SAC) بشكل منعزل على معايير مختلفة ذات جودة خبير متباينة وميزات تحسين المعلمات الفائقة (HPO) متفاوتة. وبناءً على ذلك، يفتقر الممارسون إلى فهم واضح لأي آلية دمج تستخلص القيمة القصوى من الخبير، كما لا يفهمون أوضاع الفشل المحددة التي تنشأ عندما يكون الخبراء غير مثاليين (على سبيل المثال: غير مضبوطين بدقة، أو متحيزين، أو مشوبين بالضجيج).

المنهجية وبروتوكول التجربة
يعمل المؤلفون على توحيد مقارنة خمس طرق موجهة بالخبير (IBRL، ونوعين من JSRL، وResidual SAC، وطريقة جديدة تسمى EDGE) باستخدام هيكل Soft Actor-Critic (SAC) مشترك. بروتوكول التقييم صارم ومعياري:

• المعايير (Benchmarks): أربع مهام تحكم مستمر: FourTank (تتبع نقطة الضبط متعدد المدخلات والمخرجات MIMO)، وPlane3DCircle (تتبع طائرة ثلاثية الأبعاد مع فشل كارثي)، وGlassFurnace (التحكم الحراري طويل الأمد)، وCheetahRun (الحركة). تم إصدار اثنتين من هذه المهام (Plane3DCircle وGlassFurnace) كمعايير جديدة.
• البذور والميزانية: 100 بذرة لمهام التحكم و50 للمشي، تم تدريبها لمدة مليون خطوة بيئية.
• جودة الخبير: يقوم "مسح التدهور" (degradation sweep) باختبار المتانة ضد عدم ضبط الخبير، وتحيز الفعل، وضجيج الملاحظة.
• المقياس: يتم قيال الأداء باستخدام "الميزة المعيرة للخبير" (ENA)، والتي تعير العوائد بالنسبة لأداء الخبير والسقف الفيزيائي النظري.

المساهمات الرئيسية

1. معيار ذو بروتوكول مشترك: ترسي الورقة مقارنة مباشرة لخمس طرق للتعلم المعزز الموجه بالخبير تحت ظروف HPO وتقييم متطابقة، مما يكشف أنه لا توجد طريقة واحدة تهيمن عبر جميع هياكل المهام.
2. تصنيف أوضاع الفشل (F1–F3): تبرز المقارنة الموحدة ثلاثة أوضاع محددة للفشل تغفلها التقييمات أحادية الورقة:
   • F1 (النقطة العمياء للنقد - Critic Blind Spot): في الطرق التي تستخدم اختيار الفعل بنظام argmax (مثل IBRL)، يصبح "الناقد" (critic) "مرتكزًا" على فعل الخبير في الحالات التي يتفوق فيها الخبير. هذا يمنع الناقد من تلقي أهداف بلمان (Bellman targets) جديدة لأفعال السياسة الخاصة به في تلك الحالات، مما يؤدي إلى ضعف أداء الطريقة حتى مقارنة بأساس SAC الذي لا يستخدم خبيرًا عندما يكون الخبير قويًا جدًا (بالقرب من سقف RL).
   • F2 (تشبع المتبقي - Residual Saturation): طرق التصحيح الجمعي (Residual SAC) مقيدة بمجال الفعل. في المهام ذات الخبراء الضعفاء، يتجاوز التصحيح اللازم للتغلب على الأخطاء الهيكلية للخبير هذا الحد، مما يقلل الأداء عن السقف. وعلى العكس من ذلك، في حالة الخبراء القريبين من المثالية، يسمح هذا الحد لـ Residual SAC بوراثة أداء الخبير فورًا.
   • F3 (تسمم مخزن البيانات عند البدء الدافئ - Warm-Start Buffer Poisoning): تعاني الطرق التي تستخدم تسليمًا في وقت التدريب (تشغيل الخبير لفترة بدء دافئ ثابتة قبل الانتقال للسياسة) عندما يكون الخبير غير مثالي. مخزن البيانات (replay buffer) الذي تم جمعه خلال فترة البدء الدافئ يعكس حالة الخبير المحددة (والتي قد تكون معيبة)، وتفشل السياسة في التعافي عند التشغيل على نظام مختلف أو مضطرب.
3. قاعدة القرار: يستنتج المؤلفون قاعدة قرار قابلة للاختبار تربط ثلاثة ملاحظات (جودة الخبير، إنهاء المهمة، ونوع الاضطراب المتوقع) بالطريقة الموصى بها. على سبيل المثال، إذا كان الخبير قريبًا من السقف وغير منتهي المهمة، يُتوقع أن تفشل IBRL (F1)؛ وإذا كان Residual SAC ضعيفًا والمهمة منتهية، يُتوقع أن يفشل Residual SAC (F2).
4. EDGE (الاستكشاف الموجه بالخبير - Expert-Driven Guided Exploration): تقدم الورقة طريقة EDGE، وهي مصممة لتجنب أوضاع الفشل المحددة. تستبدل EDGE بوابة argmax الحتمية بآلية خلط عشوائي مدركة للجودة ومسورة بالتشاؤم (pessimism-gated stochastic mixing). تستخدم مجموعة من النقاد لحساب الحد الأدنى للثقة (LCB) وتطبق بوابة softmax للاختيار الاحتمالي بين الخبير والسياسة. والأهم من ذلك، أنها تعزز الحالة بحالة التحكم الداخلية للخبير (مثل حالة التكامل في PID) لضمان رؤية كاملة للناقد.

النتائج

• لا توجد طريقة مهيمنة: تتفوق كل طريقة في نظام معين ولكنها تفشل بشكل متوقع في أنظمة أخرى. على سبيل المثال، تتساوى Residual SAC مع المركز الأول في FourTank (خبير قريب من السقف) ولكنها تنهار في Plane3DCircle (خبير ضعيف). وتتفوق عليها طريقة no-expert SAC في FourTank بسبب F1.
• المتانة: تحت اضطرابات الخبير (عدم الضبط، التحيز، الضجيج)، تنعكس التصنيفات الصافية. الطرق التي تحافظ على العودة إلى الخبير في كل خطوة (JSRL-curriculum، وEDGE) هي أكثر متانة تجاه تدهور الخبير أثناء التدريب، بينما تعد Residual SAC أكثر متانة تجاه تحيز الفعل أثناء التشغيل بسبب تصحيحها المحدود.
• أداء EDGE: تتميز EDGE بالتنافسية عبر جميع المهام. في Plane3DCircle، تتفوق بشكل كبير على عينات Thompson sampling الحرفية وغيرها من الخطوط المرجعية، مما يثبت أن الجمع بين البوابة العشوائية وتسجيل LCB فعال.
• "جدار القرب من سقف RL": في المهام التي يكون فيها الخبير بالفعل قريبًا جدًا من أداء وكيل RL بدون خبير (مثل FourTank عند 98% من عائد RL بدون خبير)، لا تستطيع أي طريقة استعلام بالخبير تجاوز الخبير ضمن ميزانية 1 مليون خطوة. يشير المؤلفون إلى أن هذا قد يكون قيدًا أساسيًا أو تأثيرًا للميزانية، لكنه يشير أيضًا إلى أنه بالنسبة للخبراء الأكفاء للغاية، فإن عبء الخلط في وقت الاستعلام قد لا يحقق مكاسب ضمن آفاق التدريب القياسية.

الأهمية والادعاءات
المساهمة الأساسية للورقة هي المعيار، والتصنيف، وقاعدة القرار، والتي توفر للممارسين إطارًا لاختيار طريقة توجيه الخبير بناءً على خصائص الخبير والمهمة المحددة. يصرح المؤلفون صراحةً أن EDGE تُقدم كـ "مسبار تصميم" (design probe) لإثبات أن المحاور المحددة (شكل البوابة وقاعدة التسجيل) قابلة للاستغلال بشكل فردي، وليس كادعاء بالهيمنة على أحدث ما توصل إليه العلم (SOTA).

تسلط الورقة الضوء على أن آلية التكامل أمر بالغ الأهمية: الطريقة التي تعمل جيدًا مع خبير مثالي قد تفشل كارثيًا مع خبير أقل مثالية قليلاً. من خلال تحديد F1 وF2 وF3، تنقل الورقة المجال من اقتراح طرق منعزلة إلى فهم منهجي لسبب نجاح أو فشل التعلم المعزز الموجه بالخبير. ويخلص المؤلفون إلى أنه بالنسبة للخبراء الذين هم بالفعل قريبون من السقف الفيزيائي أو سقف RL، فإن الحل الأكثر عملية ضمن الميزانيات الحالية هو نشر الخبير مباشرة، حيث أن المكاسب الهامشية من دمج RL حاليًا ضئيلة للغاية.