A Contractive Feedback Semantics for Reinforcement Learning

ملخص تقني: دلالات التغذية الراجعة الانكماشية للتعلم التعزيزي

بيان المشكلة
يتم صياغة التعلم التعزيزي (RL) القياسي عادةً كبرمجة ديناميكية على عمليات ماركوف لاتخاذ القرار (MDPs) مغلقة. في هذا المنظور، تكون السياسة ثابتة، ويتم تعريف مؤثر بلمان (Bellman operator)، وتُدرس دالة القيمة باعتبارها النقطة الثابتة لذلك المؤثر. ورغم فعالية هذا النهج، إلا أنه يحجب الواقع الهيكلي المتمثل في أن الانتقال ذو الخطوة الواحدة هو مكون مفتوح ذو واجهات إدخال/إخراج، وقناة مكافأة، واستمرارية. وتظهر القيمة ذات الأفق اللانهائي فقط عندما يتم تغذية الاستمرارية مرة أخرى في المكون. تفتقر النظريات الحالية إلى لغة تركيبية لتحليل ما إذا كانت الاستبدالات المحلية (مثل الأنظمة النمطية، أو مرشحات حالة الاعتقاد، أو تقييمات السياسات خارج السياسة) تظل صالحة ضمن الأنظمة المحيطة التعسفية. يعالج هذا البحث الحاجة إلى دلالات تعامل مكونات التعلم التعزيزي ككائنات مفتوحة ومصنفة حيث تكون التغذية الراجعة صريحة وتركيبية.

المنهجية
يقترح البحث رؤية تركيبية حيث تُعامل عملية اتخاذ القرار ذات الخطوة الواحدة كمكون عشوائي مفتوح، ويتم الحصول على تقييم السياسة ذات الأفق اللانهائي عن طريق إغلاق حلقة تغذية راجعة انكماشية. تعتمد المنهجية على ثلاثة مبادئ دلالية:

1. مبدأ التغذية الراجعة: القيمة ذات الأفق اللانهائي هي نتيجة تغذية مخرج الاستمرارية مرة أخرى في مكون الخطوة الواحدة. يعمل الخصم (discounting) على جعل هذه التغذية الراجعة "محروسة" (انكماشية)، مما يضمن أن قيمة الحلقة المغلقة محددة بشكل فريد بواسطة نظرية النقطة الثقة لـ "باناخ" (Banach's fixed-point theorem).
2. المبدأ السياقي: يتم مقارنة المكونات عند واجهاتها. إذا أدت مكونان إلى محولات نمطية متقاربة، فإن الفرق بينهما يجب أن يظل محكوماً بعد إدراجهما في دائرة قرار أكبر.
3. مبدأ العقد (Contract Principle): متطلبات الصحة (safety)، والمخاطر، والموارد هي حدود عليا في جبر مرتب. يجب أن تتشكل هذه الحدود محلياً، وتنتقل من المكونات الفرعية إلى الأنظمة الموصولة الأكبر عبر محولات رتيبة (monotone transformers) ونقاط ثابتة دنيا.

يستخدم التطوير التقني ما يلي:

• الطبقة العشوائية: نوى ماركوف (Markov kernels) كمتجانسات (morphisms) في الفئة Stoch.
• طبقة القيمة (المقياس): فضاءات باناخ للدوال القابلة للقياس المحدودة ($B(S)$) للعوائد المضافة المخصومة، باستخدام الانكماش $\gamma$.
• طبقة القيمة (الترتيب): شبكات كاملة معززة بـ "كوانتال" (quantale-enriched) للضمانات المرتبة (المخاطر، الصحة)، باستخدام خرائط رتيبة مستمرة-$\omega$.
• دلالات الأثر (Trace Semantics): "أثر باناخ المحروس" حيث يتم تعريف عملية الأثر فقط للخرائط التي يكون سلك التغذية الراجعة الخاص بها انكماشياً منتظماً، ويتحقق ذلك كنقطة ثابتة فريدة.

المساهمات والنتائج الرئيسية

1. دلالات بلمان للأثر المحروس (Guarded Traced Bellman Semantics):
   يصيغ البحث مكونات قرار مخصومة مفتوحة (ODDCs) ويثبت أن تقييم السياسة هو "أثر باناخ المحروس" لدائرة تغذية راجعة مقبولة. هو لا يفترض عملية أثر عالمية على أي خرائط عشوائية؛ بل يقصر الأثر على فئة الدوائر المحروسة المقبولة حيث يضمن عامل الخصم الانكماش.

2. التركيبية المصنفة (Typed Compositionality):
   يثبت المؤلفون أن عمليات التوصيل (wiring) تقابل العمليات الهيكلية على محولات بلمان:

• التوصيل على التوالي (Series Wiring): يقابل تركيب الدوال لمحولات الاستمرارية، مع تسجيل صريح للخصم (حيث يتم خصم المكافآت من المراحل اللاحقة بشكل أعمق).
• التوصيل على التوازي (Parallel Wiring): يقابل ضرب (tensoring) المحولات، مما يحافظ على هياكل القيمة الجمعية/المنفصلة تحت شرط الاستقلال.
• التغذية الراجعة: تقابل أثر النقطة الثابتة المحروس.

3. التكافؤ السياقي (Congruence):
   يعرف البحث مقياس مؤثر على كرات القيمة الثابتة ويثبت أن التكافؤ التقريبي محفوظ بواسطة السياقات الخطية المقبولة جيدة النوع (السياقات التي يُستخدم فيها "الفراغ" مرة واحدة بالضبط).

• النتيجة: إذا كان لمكونين خطأ محلي في المؤثر قدره $\epsilon$، فإن الخطأ في قيمة النقطة الثابتة النهائية للدائرة المكونة يكون محدوداً بـ $L(C) \cdot \frac{1}{1-\kappa(C)} \cdot \epsilon$، حيث $L(C)$ هو ربح السياق و $\kappa(C)$ هو معامل الانكماش. يوفر هذا ثوابت حساسية قابلة للحساب صراحةً لانتشار الخطأ.

4. التجريد الكوجبراوي (Coalgebraic Abstraction):
   يربط الإطار إلى نظرية التمثيل من خلال معاملة عمليات ماركوف لاتخاذ القرار (MDPs) كـ "كوجبرا" (coalgebras).

• التجريد الدقيق: يثبت أن المتجانسات التبادلية (commuting homomorphisms) (التي تحفظ المكافآت ونوى الانتقال) تؤدي إلى حفظ القيمة الدقيق عبر تداخل المؤثرات.
• التجريد التقريبي: يحدد تشوه القيمة تحت التبادل التقريبي (عدم تطابق المكافأة المحدود وعدم تطابق الانتقال في المجموع الكلي)، مما يوفر حدودات "سوب-نورم" (sup-norm) صريحة تنتشر عبر سياقات الدائرة.

5. عقود الكوانتال (Quantale Contracts):
   يقدم البحث طبقة للمواصفات المتعلقة بالسلامة والمخاطر والموارد باستخدام عقود ذات قيم "كوانتال".

• النتيجة: تحت دلالات محولات العقود المستمرة-$\omega$ والرتبية، ترتفع الحدود الاستقرائية المحلية (النقاط قبل الثابتة) عبر التوصيل على التوالي، والتوازي، والتغذية الراجعة لتصبح ضمانات عالمية عبر الاستدلال بالنقطة الثابتة الدنيا. وهذا يفصل بين الاستدلال بنقطة باناخ الثابتة (للمكافآت) والاستدلال بالترتيب (للقيود).

6. التوسعات وفحوصات السلامة (Sanity Checks):
   يُظهر الإطار قدرته على تغطية:

• رفع حالة الاعتقاد (Belief-state lifting): تُعامل عمليات ماركوف لاتخاذ القرار جزئية الملاحظة (POMDPs) كعملية رفع لحالة الاعتقاد إلى فضاء الاعتقاد، مع تطبيق نفس دلالات النقطة الثابتة.
• التقييم خارج السياسة (Off-policy evaluation): يتم تحليل تغيرات مقاييس المسارات كتغيرات تركيبية في القياس، مع تحليل عوامل "رادون-نيكوديم" تحت تفكيكات دوائر محددة.
• عدم الاستقرار (Nonstationarity): يتم تتبع المؤثرات المتغيرة زمنياً عبر مقاييس انجراف المؤثر، مما يعطي حدوداً لخطأ تتبع النقطة الثابتة.

الأهمية والادعاءات
يدعي البحث صراحةً أنه ليس خوارزمية تعلم جديدة، ولا دراسة تجريبية، ولا مقترحاً لفئة مونويدال (monoidal category) عالمية لجميع مورفزمات التعلم التعزيزي. بدلاً من ذلك، تكمن أهميته في إعادة صياغة نظرية لدلالات التعلم التعزيزي حول التغذية الراجعة الانكماشية.

الادعاء المركزي هو أن تقييم بلمان المخصوم يقبل دلالات تغذية راجعة انكماشية على فئة الدوائر المحروسة المقبولة. يوفر هذا المنظور:

• التطابق السياقي: تظل أخطاء المؤثر المحلية محكومة في الدوائر المحيطة، مع حدود صريحة.
• حدود التجريد الصريحة: يتم اشتقاق حفظ القيمة وتشوهها عبر خصائص التبادل الكوجبراوي.
• السلامة التركيبية: يمكن التحقق من مواصفات السلامة والمخاطر محلياً ورفعها تركيبياً.

يجادل البحث بأن هذا المنظور يكشف عن البنية التركيبية التي يتم إخفاؤها بواسطة تمثيل الـ MDP المغلق القياسي، مما يوفر أساساً صارماً للأنظمة القرارية النمطية، وتصفية حالة الاعتقاد، وتقييم السياسات خارج السياسة حيث يجب التحقق من صحة الاستبدالات المحلية ضمن سياقات تعسفية.