🤖 machine learning

Preserve Support, Not Correspondence: Dynamic Routing for Offline Reinforcement Learning

يعمل DROL (التوجيه الديناميكي للتعلم المعزز غير المتصل) على تحسين الممثلين في التعلم المعزز غير المتصل أحادي الخطوة باستخدام آلية توجيه ديناميكي من النوع "الأعلى في المرتبة الأولى" (top-1) تقوم بتعيين أفعال مجموعة البيانات لأقرب مرشح من بين $K$ من المرشحين المشروطين بكوامن، مما يسمح للنموذج بإجراء تحسينات سياسة محلية دون التدرجات المتضاربة الناتجة عن الاستخراج النقطي التقليدي.

المؤلفون الأصليون: Zhancun Mu, Guangyu Zhao, Yiwu Zhong, Chi Zhang

نُشر 2026-04-27

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhancun Mu, Guangyu Zhao, Yiwu Zhong, Chi Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

المشكلة: معضلة "الطالب العنيد"

تخيل أنك طالب تحاول تعلم كيفية التنقل في مدينة معقدة ومزدحمة. لديك معلم (جهاز GPS فائق الذكاء) يمكنه إخبارك بالضبط أي مسار يجب أن تسلكه. ومع ذلك، تريد أن تكون "طالباً من خطوة واحدة": لا تريد أن تضطر لاستشارة جهاز الـ GPS في كل ثانية؛ بل تريد أن تكون قادراً على النظر إلى زاوية شارع ومعرفة وجهتك فوراً.

في الذكاء الاصطنا الحالي (التعلم المعزز غير المتصل - Offline Reinforcement Learning)، يتعلم الطلاب من خلال محاولة تقليد المعلم. ولكن هناك عقبة: المعلم غالباً ما يعطي تعليمات محددة للحظة معينة (على سبيل المثال: "عند هذا التقاطع بالضبط، انعطف يساراً").

المشكلة هي أن الطالب يصبح مهووساً جداً بالتعليمات المحددة. إذا قال المعلم "انعطف يساراً"، وأدرك الطالب أن "الانعطاف يساراً قليلاً" سيكون في الواقع أسرع وأكثر أماناً، فإن الطالب غالباً ما يرفض التغيير. يشعرون بأنهم "مقيدون" بكلمات المعلم بدقة. ينتهي بهم الأمر إلى تقديم حل وسط—أي اتخاذ مسار متوسط سيء—بدلاً من إيجاد أفضل مسار محلي. إنهم يحافظون على "المطابقة" (التعليمات الدقيقة) بدلاً من "الدعم" (حقيقة أن الطريق قابل للقيادة بالفعل).

الحل: DROL (استراتيجية "الشريك السكني الديناميكي")

اقترح الباحثون طريقة جديدة تسمى DROL. بدلاً من طالب واحد يحاول حفظ كل تعليمات محددة، تمنح DROL الطالب فريقاً من "المرشحين" (تخيلهم كمجموعة من رفقاء السكن) أثناء التدريب.

1. تعيين رفقاء السكن (التوجيه الديناميكي)

بدلاً من وجود طالب واحد يحاول أن يكون كل شيء لكل شخص، تقول DROL: "لكل زاوية شارع في المدينة، سنرسل $K$ من رفقاء السكن المختلفين. سيحاول كل رفيق 'الاستحواذ' على جزء مختلف من الحي".

عندما تأتي قطعة من البيانات (على سبيل المثال: "عند هذه الزاوية، انعطف السائق يميناً")، لا تجبر DROL طالباً محدداً على حفظ هذه المعلومة. بدلاً من ذلك، تنظر إلى رفقاء السكن وتسأل: "أي رفيق يقف حالياً في أقرب نقطة إلى ذلك الانعطاف يميناً؟"

الرفيق الأقرب هو "الفائز". هذا الفائز وحده هو من يتلقى التعليمات بـ "تعلم كيفية الانعطاف يميناً".

2. "التسليم والتسلم" (نقل المسؤولية)

هذا هو الجزء السحري. نظرًا لأن رفقاء السكن يتحركون ويتعلمون باستمرار، يمكنهم تبادل المسؤوليات.

تخيل أن الرفيق (أ) مسؤول حالياً عن "الجانب الشمالي" من الحديقة. ومع تعلم الرفيق (أ) كيف يكون ملاحة أفضل، قد يدرك: "مهلاً، أنا في الواقع أصبح بارعاً جداً في طريق الطريق السريع السريع!". وبينما يتحرك الرفيق (أ) نحو الطريق السريع، قد يأتي الرفيق (ب) ويقول: "سأتولى أنا الجانب الشمالي من الحديقة؛ فأنا أقرب إليها الآن".

في الطرق القديمة، كانت "الملكية" مرتبطة بكود كامن محدد (طالب محدد). في DROL، الملكية مرنة. وهذا يسمح لطالب واحد بالتحرك نحو "إجراء أفضل" (قيمة Q أعلى) دون ترك "فجوة" في الخريطة، لأن طالباً آخر يمكنه فوراً التدخل لتغطية ذلك المكان.

لماذا يهم هذا الأمر (الخلاسة)

الطريقة القديمة (المطابقة النقطية): الطالب هو شخص مثالي يخشى الانحراف عن كلمات المعلم الدقيقة، حتى لو كان مسار المعلم غير فعال قليلاً.
طريقة DROL (التوجيه الديناميكي): الطالب هو فريق منسق. إنهم يركزون على تغطية الخريطة (الحفاظ على الدعم) بدلاً من تقليد الكلمات (الحفاظ على المطابقة).

النتيجة:
يصبح الذكاء الاصطناዊ أفضل بكثير في المهام المعقدة "متعددة الأنماط" (المواقف التي توجد فيها طرق عديدة مختلفة للقيام بشيء ما، مثل التنقل في متاهة). يظل سريعاً ومنخفض التكلفة في الاستخدام (الاستدلال بخطوة واحدة)، لكنه أكثر ذكاءً لأنه تعلم تخصيص "رفقاء السكن" لديه لتغطية المنطقة بأكملة بكفاءة.

ملخص تقني: الحفاظ على الدعم لا المراسلة: التوجيه الديناميكي للتعلم المعزز خارج الخط (DROL)

1. بيان المشكلة

في التعلم المعزز خارج الخط (Offline RL)، يبرز تحدٍ رئيسي يتمثل في تحسين السياسة (الممثل/actor) لتعظيم العائد المتوقع مع ضمان بقاء السياسة ضمن "دعم" (support) مجموعة البيانات الثابتة (لتجنب انزياح التوزيع). ويصبح هذا الأمر صعباً بشكل خاص في البيئات متعددة الأنماط (مثل OGBench)، حيث قد تتطلب حالة واحدة عدة إجراءات مختلفة وصحيحة.

تستخدم نماذج "الخطوة الواحدة" (one-step actors) المتطورة حالياً (والتي تتميز بكفاءة حسابية عند الاستنتاج) طريقة استخراج نقطي (pointwise extraction). في هذا الإعداد، يوفر نموذج "معلم" (teacher) قوي تكراري هدفاً لإجراء محدد لكود كامن (latent code) معين. بعد ذلك، يتم تدريب "الطالب" (student actor) للتحرك في اتجاه قيم Q الأعلى وفي الوقت نفسه البقاء قريباً من نهاية المعلم تلك.

المشكلة الجوهرية: إذا اختلف اتجاه قيمة Q الأعلى عن اتجاه نهاية المعلم، فإن دالة الخسارة تفرض "تسوية" (compromise) على تلك العينة المحددة. وهذا يمنع "الطالب" من التحرك نحو إجراء محلي أفضل حتى لو كان هذا الإجراء مدعوماً جيداً بالبيانات، لأن "الطالب" يظل "مقيداً" (tethered) بمراسلة محددة بين المعلم والكود الكامن، وهي مراسلة قد تكون دون المستوى الأمثل.

2. المنهجية: التوجيه الديناميكي (DROL)

يقترح المؤلفون DROL (التوجيه الديناميكي للتعلم المعزز خارج الخط)، والذي ينقل التركيز من الحفاظ على المراسلة النقطية (الكود الكامن $\to$ المعلم) إلى الحفاظ على دعم الإجراء المحلي (مجموعة الإجراءات الصالحة).

المكونات الرئيسية لآلية DROL:

توليد مجموعة المرشحين: بدلاً من التدريب على مخرج واحد، يقوم "الممثل" لكل حالة $s$ بأخذ عينات من $K$ إجراء مرشح $\{\hat{a}_1, \dots, \hat{a}_K\}$ من توزيع سابق (prior) كامن محدود.
التوجيه العلوي الواحد (Top-1 Dynamic Routing): لكل إجراء في مجموعة البيانات $(s, a)$ ، يحدد DROL "الفائز"—وهو المرشح $\hat{a}_k$ الأقرب إلى إجراء مجموعة البيانات $a$ في الفضاء الإقليدي:
$k^*(s, a) = \arg \min_{k \in [K]} \|\hat{a}_k - a\|_2^2$
تحديث الفائز فقط: يتلقى الفائز الموجه فقط عملية تحديث التدرج (gradient update). دالة خسارة الممثل هي:
$\mathcal{L}_{\text{actor}}(\theta) = \mathbb{E}_{(s,a), z_{1:K}} \left[ \|\hat{a}_{k^*(s,a)} - a\|_2^2 - \alpha Q_\phi(s, \hat{a}_{k^*(s,a)}) \right]$
وهذا يجمع بين التقليد السلوكي (BC) (لترسيخ الفائز في البيانات) وتوجيه الناقد (Critic Guidance) (لدفع الفائز نحو قيم Q أعلى).
نقل المسؤولية: نظرًا لأن التوجيه يُعاد حسابه عند كل خطوة تدرج بناءً على الهندسة الحالية للمرشحين، فإن "ملكية" منطقة البيانات يمكن أن تتغير. فإذا تحرك أحد المرشحين نحو قيمة Q أعلى، يمكن لمرشح آخر أن "يتولى" مسؤولية تغطية منطقة البيانات الأصلية.

3. المساهمات الرئيسية

التحول المفاهيمي: تحديد أن المراسلة النقطية بين الكود الكامن والمعلم هي قيد غير ضروري. الهدف يجب أن يكون الحفاظ على الدعم المحلي لمساحة الإجراءات.
خوارزمية DROL: تقديم ممثل (actor) يعتمد على مجموعة مرشحين موجهة، مما يسمح بـ "نقل المسؤولية"، وهو ما يتيح تحسين السياسة محلياً دون فقدان دعم البيانات.
الرؤى النظرية:
- إثبات أن التوجيه القائم على الفائز فقط يتجنب "انهيار النمط" (mode collapse) في التوزيعات متعددة الأنماط.
- إثبات أن التوجيه يستبدل "القيد المستمر" (الذي يحيز السياسة نحو نهايات المعلم دون المستوى الأمثل) بـ "مرساة قابلة للنقل".
- إظهار أن زيادة ميزانية التوجيه $K$ تحسن احتمالية تغطية جميع الأنماط المحلية (الغطاء/coverage).

4. النتائج التجريبية

قام المؤلفون بتقييم DROL على OGBenc (معيار متعدد الأنماط) و D4RL.

الأداء: يتميز DROL بقدرة تنافسية عالية مع السياسات التكرارية الأثقل (متعددة الخطوات). في OGBench، تضاهف أو تتفوق تهيئة DROL(16) الافتراضية على نموذج FQL ذي الخطوة الواحدة في 6 من أصل 10 مجموعات مهام.
الكفاءة: من الأهمية بمكان أن DROL يحافظ على ميزة الاستنتاج في خطوة واحدة. فبينما يستخدم $K$ من المرشحين أثناء التدريب لبناء هيكل أفضل، فإنه في وقت الاختبار يتطلب سحباً واحداً فقط للكود الكامن، مما يجعله بنفس سرعة ممثلي الخطوة الواحدة القياسيين.
التوسع: تظهر النتائج أن زيادة ميزانية التوجح $K$ تحسن الأداء بشكل عام في المهام المعقدة وعالية تعدد الأنماط (مثل antmaze-giant)، حيث توفر "تكميماً" (quantization) أدق لمساحة الإجراء المدعومة.
التحقق من الآلية: تؤكد التصورات والمقاييس أن مجموعة المرشحين لا تنهار؛ بل تتخصص المرشحات في أنماط محلية متميزة.

5. الأهمية

يمثل DROL خطوة هامة للأمام نحو التعلم المعزز خارج الخط عالي الأداء وذو كفاءة عالية. فهو يسد الفجوة بين الأداء العالي للنماذج التكرارية البطيئة (مثل نماذج الانتشار أو النماذج القائمة على التدفق) وكفاءة النشر للنماذج سريعة الخطوة الواحدة. ومن خلال معاملة الممثل كمجموعة ديناميكية من المرشحين بدلاً من خارطة جامدة، يسمح DROL للسياسات بأن تكون "طموحة" (تتبع الناقد) و"آمنة" (تبقى ضمن دعم البيانات) في آن واحد.