ملخص تقني: الفاعل-الناقد ذو حجم القطع المتكيف مع محول سببي لتقدير قيمة Q (ACSAC)

بيان المشكلة

تمثل المهام طويلة الأمد ذات المكافآت الشحيحة تحديًا جوهريًا لتعلم التعزيز (RL). يعاني تعلم فرق الزمان (TD) القياسي أحادي الخطوة من تراكم خطأ التقدير (bootstrapping error)، حيث تتراكم الأخطاء الصغيرة عبر تحديثات بلمان (Bellman) المتتالية. وبينما يمكن للعوائد متعددة الخطوات تسريع انتشار القيمة، إلا أنها غالبًا ما تُدخل انحيازًا ناتجًا عن السياسة السلوكية (off-policy bias) لأن المكافآت المتوسطة يتم جمعها تحت سياسة سلوكية بدلاً من السياسة الحالية.

لقد برز تقسيم الأفعال إلى قطع (Action chunking) كحل، حيث يتم تدريب النقاد والسياسات على تسلسلات من الأفعال بدلاً من أفعال فردية. يسمح هذا بعمليات نسخ احتياطي للقيمة متعددة الخطوات دون انحياز السياسة، ويعزز الاستكشاف المتسق زمنيًا. ومع ذلك، تعتمد طرق تقسيم الأفعال الحالية على حجم قطع ثابت يتم ضبطه يدويًا لكل مهمة. تفرض هذه الصلابة مقايضة ثابتة بين القدرة على الاستجابة والاتساق الزمني:

• القطع الثابتة الكبيرة: تقلل من سرعة الاستجابة للملاحظات الجديدة، مما قد يتسبب في جعل الوكلاء "يلتزمون بشكل مفرط" بمسار معين في الحالات الحساسة (مثل المنعطفات)، مما يدفعهم بعيدًا عن المسار الأمثل.
• القطع الثابتة الصغيرة: تنتج حركات غير متسقة وتفشل في الاستفادة من مزايا التخطيط طويل الأمد.

إن التوازن الأمثل بين الاستجابة والاتساق هو بطبيعته مرتبط بالحالة، ومع ذلك لا تستطيع الطرق الحالية تكييف أفق التنفيذ ديناميكيًا.

المنهجية: ACSAC

يقترح المؤلفون الفاعل-الناقد ذو حجم القطع المتكيف (ACSAC)، وهو إطار عمل يختار حجم القطعة بشكل متكيف عند كل حالة إعادة تخطيط لتعظيم العائد المتوقع.

1. الناقد باستخدام المحول السببي (Causal Transformer Critic)

يستخدم ACSAC ناقدًا يعتمد على المحول السببي لتقييم قطع الأفعال ذات الأطوال المتفاوتة. على عكس نقاد MLP القياسيين الذين يتطلبون مدخلات ثابتة الطول (مما يؤدي إلى تسرب سببي عند إعادة استخدام الأوزان على البوادئ الجزئية)، يقوم المحول باستقبال الحالة وقطعة مرشحة كاملة الطول $(s_t, a_{t:t+H})$ كتسلسل من الرموز (tokens).

• المخرجات المشروطة بالبادئة: تخرج الشبكة $H$ من القيم في آن واحد: $\{Q_\phi(s_t, a_{t:t+h})\}_{h \in [H]}$، حيث تقابل كل قيمة العائد المتوقع لتنفيذ أول $h$ من الأفعال من القطعة بالضبط.
• القناع السببي (Causal Masking): يضمن قناع الانتباه السببي أن يعتمد المخرج رقم $h$ فقط على البادئة $a_{t:t+h}$، مما يلغي الاعتماد على الأفعال المستقبلية في القطعة.
• قابلية المقارنة عبر الآفاق: نظرًا لأن جميع قيم $H$ تشترك في هيكل خلفي واحد ويتم تدريبها مقابل أهداف لكل طول أفق على مقياس عائد مخصوم مشترك، فإن قيم Q للأطوال المختلفة للبادئات تكون قابلة للمقارنة مباشرة.

2. هدف TD متعدد الخطوات

يتم تدريب الناقد باستخدام خسارة TD متعددة الخطوات التي تحسب متوسط مربعات الأخطاء عبر جميع أطوال البوادئ $h \in [H]$.

• تعريف الهدف: لكل طول بادئة $h$، يكون الهدف هو مجموع $h$ من المكافآت الواقعية (on-policy) من مجموعة البيانات بالإضافة إلى قيمة النسخ الاحتياطي (bootstrap value) من الناقد المستهدف عند الحالة $s_{t+h}$.
• آلية النسخ الاحتياطي (Bootstrap Mechanism): يتم حساب قيمة النسخ الاحتياطي $Q_{\bar{\phi}}(s_{t+h}, \pi^*(s_{t+h}))$ عن طريق أخذ عينات من $N$ من القطع المرشحة عند الحالة التالية واختيار البادئة التي تعظم قيمة Q عبر جميع المرشحات $N \times H$. هذا يعمم عامل EMaQ ليكون عملية بحث عن القيمة القصوى المشتركة عبر مؤشرات المرشحين وأطوال البوادئ.
• الضمان النظري: يثبت المؤلفون أن عامل بلمان هذا هو تقليص $\gamma$ ( $\gamma$-contraction) مع نقطة ثابتة فريدة تقابل دالة قيمة السياسة المتكيفة.

3. استخراج السياسة المتكيفة

يستخدم الفاعل سياسة مطابقة التدفق (Flow Matching) لنسخ السلوك (BC) لتوليد قطع أفعال تعبيرية ومتعددة الأنماط.

• توليد المرشحين: عند كل حالة إعادة تخطيط $s_t$، تقوم السياسة بأخذ عينات من $N$ من القطع المرشحة ذات الطول الأقصى $H$.
• أخذ العينات بالرفض المشترك (Joint Rejection Sampling): بدلاً من تثبيت حجم القطعة، يقوم ACSAC بعملية بحث عن القيمة القصوى المشتركة (argmax) عبر جميع المرشحين $N$ وجميع أطوال البوادئ $H$:
  $$(n^*, h^*) = \arg\max_{n \in [N], h \in [H]} Q_\phi(s_t, a^{(n)}_{t:t+h})$$
• التنفيذ: ينفذ الوكيل البادئة المثلى $a^{(n^*)}_{t:t+h^*}$ ويعيد التخطيط عند الحد التالي. يسمح هذا للوكيل بتنفيذ قطع طويلة خلال المراحل المستقرة (مثل المسارات المستقيمة) وقطع قصيرة خلال المراحل الحساسة (مثل المنعطفات أو الإمساك بالأشياء)، مما يوازن بين الاستجابة والاتساق دون ضبط يدوي.

المساهمات الرئيسية

1. اختيار حجم القطع المتكيف: تقديم ACSAC، وهو أول فاعل-ناقد لتقسيم الأفعال يختار أحجام القطع بشكل متكيف لكل حالة باستخدام ناقد محول سببي وأخذ عينات رفض مشترك.
2. الأسس النظرية: إثبات أن قيم Q المشروطة بالبادئة قابلة للمقارنة عبر الآفاق، وأن عامل بلمان ACSAC هو عامل تقليص ذو نقطة ثابتة فريدة تمثل دالة القيمة للسياسة المتكيفة.
3. الأداء التجريبي: إثبات أن ACSAC يحقق أداءً رائدًا في المهام طويلة الأمد ذات المكافآت الشحيحة (OGBench) في كل من الإعدادات غير المتصلة (offline) والإعدادات من غير المتصلة إلى المتصلة (offline-to-online).

النتائج التجريبية

تم تقييم الطريقة على مجموعة OGBench، التي تضم 25 مهمة عبر خمسة مجالات (scene-sparse, puzzle-3x3-sparse, cube-double, cube-triple, cube-quadruple).

• الأداء العام: تفوق ACSAC باستمرار على جميع النماذج المرجعية (بما في ذلك IQL, ReBRAC, FQL, BFN، وطرق القطع الثابت مثل QC و DEAS) في كل من مراحل التدريب المسبق غير المتصل وفي مرحلة الضبط الدقيق المتصل عبر الإنترنت.
• المهام طويلة الأمد: كانت التحسينات أكثر أهمية في المجالات التي تتطلب مزيجًا من النقل الخشن والتحكم الدقيق (مثل cube-triple و scene-sparse)، حيث سمح التقسيم المتكيف للوكيل بالتبديل بين آفاق التنفيذ بناءً على مراحل المهمة.
• التحليل النوعي: أظهرت التصورات لأحجام القطع المنفذة أن ACSAC تتماشى طبيعيًا مع دلالات المهمة: حيث اختارت قطعًا أطول لمراحل الاقتراب الخشنة وقطعًا أقصر تدريجيًا لمراحل الوضع الدقيق.
• المعايرة: أكدت التجارب أن قيم Q المشروطة بالبادئة تمت معايرتها جيدًا مقابل العوائد المحققة وهي قابلة للمقارنة عبر أطوال الآفاق المختلفة، مما يؤكد صحة استراتيجية البحث عن القيمة القصوى المشتركة.
• دراسات الاستبعاد (Ablation Studies):
  • حجم القطعة ($H$): فشل التنفيذ أحادي الخطوة ($H=1$) في المهام ذات المكافآت الشحيحة، بينما أدى استخدام قطع قصوى طويلة جدًا ($H=7$) إلى تدهور الأداء في بعض المجالات.
  • حجم العينات ($N$): أدى زيادة حجم أخذ العينات بالرفض إلى ما بعد $N=4$ إلى عوائد متناقصة.
  • البنية الهيكلية: استبدال ناقد MLP في النماذج المرجعية بالمحول السببي وحده أدى إلى تحسين الأداء ولكنه لم يضاهِ ACSAC، مما يؤكد أن آلية الاختيار المتكيف وهدف تعدد الآفاق هما أمران حاسمان.

الأهمية والادعاءات

يزعم البحث أن ACSAC يعالج القصور الجوهري في أحجام القطع الثابتة في تعلم التعزيز لتقسيم الأفعال. من خلال الاستفادة من محول سببي لتعلم قيم Q قابلة للمقارنة عبر الآفاق، يتيح ACSAC آفاق تنفيذ تعتمد على الحالة. وهذا يسمح للوكلاء بالاحتفاظ بعمليات النسخ الاحتياطي السريعة للقيمة والاتساق الزمني للقطع الطويلة، مع الحفاظ على القدرة على الاستجابة المطلوبة للتحكم الدقيق في الحالات الحساسة.

يضع المؤلفون ACSAC كخطوة نحو تعلم تعزيز أكثر قوة للتطبيقات الواقعية، مشيرين إلى أن العمل المستقبلي يمكن أن يدمج أحجام القطع المعتمدة على الحالة هذه مع نماذج الرؤية واللغة والأفعال (VLA) الكبيرة، بناءً على التوجهات الحديثة حيث يتوسع تعلم القيمة المقطع إلى إعدادات متعددة الوسائط معقدة. تُقدم الطريقة كنهج موحد لكل من التعلم غير المتصل والتعلم من غير المتصل إلى المتصل، دون الحاجة إلى تقنيات متخصصة بخلاف إضافة الانتقالات المتصلة إلى مجموعة البيانات.