🤖 AI

Long-Horizon Q-Learning: Accurate Value Learning via n-Step Inequalities

تقدم هذه الورقة البحثية تعلم كيو طويل الأمد (LQL)، وهو أسلوب يعمل على تثبيت تعلم القيمة خارج السياسة عبر معاقبة انتهاكات متباينات الأمثلية لـ n-خطوة من خلال دالة خسارة مفصلية، مما يقلل من أخطاء التمهيد التراكمية ويتفوق على مناهج الفرق الزمني (TD) القياسية دون الحاجة إلى عبء حسابي إضافي.

المؤلفون الأصليون: Armaan A. Abraham, Lucy Xiaoyang Shi, Chelsea Finn

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Armaan A. Abraham, Lucy Xiaoyang Shi, Chelsea Finn

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية التنقل في متاهة عملاقة ومعقدة للعثور على كنز واحد مخفي. يتعلم الروبوت من خلال النظر في دفتر قصاصات ضخم لمحاولات سابقة قام بها روبوتات أخرى (بعضها كان خبراء، وبعضها كان خرقاء، وبعضها كان يتجول بلا هدف).

الطريقة القياسية لتعليم الروبوت تسمى Q-learning. وهي تعمل مثل لعبة "الهاتف المكسور" (الهمس). ينظر الروبوت إلى خطوة اتخذها للتو، ويسأل: "ما مدى جودة هذه الخطوة؟"، ثم ينظر إلى الخطوة التالية للحصول على إجابة. هو يفترض أن الخطوة التالية مثالية. إذا كانت الخطوة التالية في الواقع خطأً (لأن دفتر القصاصات كان يحتوي على روبوت خرقاء هناك)، فإن هذا الخطأ ينتقل إلى الخطوة الحالية. وعلى مدار رحلة طويلة، تتراكم هذه الأخطاء الصغيرة، وتتضخم، وفي النهاية تجعل خريطة الروبوت للعالم بأكمله خاطئة تماماً. وهذا ما يسمى الخطأ التراكمي (compounding error).

لإصلاح ذلك، يحاول الناس عادةً النظر إلى الأمام لمسافة أبعد في دفتر القصاصات (النظر إلى 4 خطوات، أو 8 خطوات، أو 16 خطوة في كل مرة). ولكن هذا يسبب مشكلة جديدة: إذا رأى الروبوت تسلسلاً من 16 خطوة حيث كانت الـ 15 خطوة الأولى سيئة للغاية، فقد يقرر أن الخطوة الأولى نفسها كانت سيئة أيضاً، حتى لو كانت في الواقع حركة جيدة. إنه يعلق في فخ لوم السلسلة بأكملها بسبب الأجزاء السيئة فيها.

الحل الجديد: تعلم Q للمدى الطويل (LQL)

يقترح المؤلفون طريقة جديدة تسمى تعلم Q للمدى الطويل (Long-Horizon Q-Learning - LQL). فكر في الأمر كمنح الروبوت "فحصاً للواقع" أو شبكة أمان تمنعه من أن يصبح مبالغاً في تقديراته بشكل جنوني.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. "متباينة المثالية" (القاعدة الذهبية)

الفكرة الجوهرية تعتمد على حقيقة منطقية بسيطة: إذا كنت ستتصرف بشكل مثالي من الآن فصاعداً، فلا ينبغي أبداً أن تكون أسوأ حالاً مما لو تصرفت بشكل مثالي لاحقاً ولكن قمت بشيء عشوائي في هذه الأثناء.

تخيل أنك تقود سيارتك إلى وجهة ما.

السيناريو أ: تقود بشكل مثالي من البداية.
السيناريو ب: تقود بشكل مثالي لمدة 10 أميال، ثم تأخذ منعطفاً خاطئاً لمدة 5 أميال، ثم تقود بشكل مثالي مرة أخرى.

المنطق يقتضي أن السيناريو (أ) يجب أن يكون أفضل من (أو مساوياً لـ) السيناريو (ب). إذا كانت خريطتك تقول إن السيناريو (أ) أسوأ من السيناريو (ب)، فإن خريطتك معطلة.

2. "دالة الخسارة المفصلية" (شبكة الأمان)

يستخدم LQL هذا المنطق لإنشاء شبكة أمان. فهو يتحقق باستمرار من خريطة الروبوت مقابل هذه القاعدة الذهبية.

إذا قالت الخريطة إن حركة جيدة هي أسوأ من تسلسل سيء: فإن شبكة الأمان تدفع قيمة تلك الحركة الجيدة إلى الأعلى.
إذا قالت الخريطة إن حركة سيئة هي أفضل من بداية مثالية: فإن شبكة الأمان تدفع قيمة تلك الحركة السيئة إلى الأسفل.

يتم ذلك باستخدام أداة رياضية تسمى دالة الخسارة المفصلية (hinge loss). فكر فيها كباب يعمل بالزنبرك. إذا كان تقدير الروبوت ضمن "المنطقة الآمنة" (يتبع القاعدة الذهبية)، يظل الباب مغلقاً، ولا يتم تطبيق أي عقوبة. ولكن إذا حاول التقدير كسر القاعدة، يغلق الباب بقوة بفعل الزنبرك، مما يدفع التقدير للعودة إلى المنطقة الآمنة.

3. لماذا هو فعال (لا يوجد عمل إضافي)

عادةً، للتحقق من هذه القواعد، قد تحتاج إلى تشغيل عمليات محاكاة إضافية أو استخدام أجهزة كمبيوتر إضافية. لكن LQL ذكي: فهو يستخدم نفس البيانات التي ينظر إليها الروبوت بالفعل للتعلم. هو لا يحتاج إلى دماغ ثانٍ أو رحلات إضافية إلى دفتر القصاصات. إنه فقط يعيد استخدام الأرقام التي يحسبها بالفعل لإضافة فحص "شبكة الأمان" هذا.

النتائج: ماذا حدث؟

اختبر المؤلفون هذا على مهام صعبة للغاية، مثل روبوت بشري بـ 21 مفصلاً يحاول المشي عبر متاهة ضخمة ("humanoidmaze-giant").

التعلم القياسي (خطوة واحدة): ارتبك الروبوت بسبب المسافة الطويلة وفشل تماماً (نسبة نجاح 0%). الأخطاء تراكمت بسرعة كبيرة.
النظر إلى الأمام لمسافة أبعد (n-step): تحسن الروبوت قليلاً ولكنه اصطدم بحائط مسدود. إذا نظر إلى الأمام لمسافة بعيدة جداً (مثلاً 64 خطوة)، فقد أصبح في الواقع أسوأ لأنه ارتبك بسبب الحركات السيئة في منتصف التسلسل الطويل.
LQL (الطريقة الجديدة): نجح الروبوت بنسبة 75.7% من الوقت. لقد تمكن من استخدام تسلسلات البيانات الطويلة دون أن يرتبك من الأجزاء السيئة. لقد تعلم أنه حتى لو كان منتصف الطريق فوضوياً، فإن البداية يمكن أن تكون حركة رائعة.

الخلاصة الكبرى

LQL يشبه إعطاء طالب معلم لا يكتفي بتصحيح واجباته خطوة بخطوة فحسب، بل يتحقق أيضاً مما إذا كان منطقه العام منطقياً. إنه يمنع الطالب من الشعور بالإحباط بسبب بعض الإجابات السيئة في منتصف اختبار طويل، ويضمن عدم المبالغة في تقدير مهاراته بناءً على طفرة حظ.

إنه يسمح للروبات بالتعلم من تواريخ طويلة وفوضوية من البيانات دون أن تؤدي "لعبة الهاتف المكسور" من الأخطاء إلى إفساد فهمهم للعالم. والأفضل من ذلك؟ أنه يفعل ذلك دون إبطاء سرعتهم أو الحاجة إلى معدات إضافية.

ملخص تقني: تعلم Q طويل الأمد (LQL)

بيان المشكلة

يعد التعلم القائم على القيمة (Value-based) خارج السياسة (Off-policy)، وتحديداً تعلم Q (Q-learning)، جذاباً من الناحية النظرية لأنه يمكنه التعلم من أي خبرة، بما في ذلك البيانات التي جمعتها سياسات قديمة أو وكلاء آخرون. ومع ذلك، في الممارسة العملية، يكون التعلم طويل الأمد عبر عملية الارتكاز (Bootstrapping) هشاً. حيث تنتشر أخطاء التقدير في الحالات اللاحقة إلى الخلف عبر تحديثات فرق زمن الفروق (TD)، مما يؤدي إلى تراكم الأخطاء بمرور الوقت وزعزعة استقرار التعلم.

تتمثل إحدى استراتيجيات التخفيف الشائعة في الأهداف متعددة الخطوات (مثل عوائد $n$ -step أو عوائد $\lambda$ -return)، والتي تقلل من الاعتماد على الارتكاز أحادي الخطوة من خلال دمج المكافآت المرصودة عبر أفق زمني أطول. ومع ذلك، في الإعدادات خارج السياسة، تفرض أهداف $n$ -step توتراً جديداً: فهي تفترض ضمناً أن الوكيل سيستمر في اتباع سياسة السلوك (التي ولدت المسار المسجل) للخطوات $n$ التالية. وإذا كانت الأفعال المسجلة غير مثالية، فإن العائد الناتج قد يكون متشائماً أو منحازاً، مما يفشل في التقاط إمكانات السياسة التي يتم تحسينها. غالباً ما يتسبب هذا الانحياز خارج السياسة في تدهور أداء $n$ -step TD مع زيادة $n$ ، خاصة في المهام ذات المكافآت المتفرقة والآفاق الطويلة.

المنهجية: تعلم Q طويل الأمد (LQL)

يقترح المؤلفون تعلم Q طويل الأمد (LQL)، وهو منهج مصمم لتوفم بـ "سد منيع" مبدئي ضد أخطاء TD المتراكمة دون إدخال الانحياز خارج السياسة المتأصل في أهداف $n$ -step القياسية.

الرؤية الجوهرية: متباينات الأمثلية

يرتكز LQL على خاصية أساسية لدوال القيمة المثلى: أي تسلسل مرصود من الأفعال يوفر حداً أدنى لما يمكن أن تحققه السياسة المثلى في التوقع من نفس الحالة الابتدية. وتحديداً، الفعل الأمثل فوراً لا ينبغي أن يكون أسوأ (في العائد المتوقع) من الالتزام بتسلسل عشوائي من الأفعال المرصودة لمدة معينة ثم التصرف بشكل أمثل بعد ذلك.

صاغ المؤلفون ذلك كـ متباينات أمثلية عبر المسارات. بالنسبة لقطعة مسار من الحالة $s_i$ إلى $s_j$ (حيث $j > i$ ):

الحد الأدنى (Lower Bound): يجب أن يكون قيمة الفعل المرصود عند $s_i$ على الأقل هو مجموع المكافآت المرصودة من $i$ إلى $j$ بالإضافة إلى القيمة المخصومة للفعل الأمثل عند $s_j$ .
الحد الأعلى (Upper Bound): يجب أن تكون قيمة الفعل الأمثل عند حالة سابقة $s_i$ على الأقل هي مجموع المكافآت المرصودة من $i$ إلى $j$ بالإضافة إلى القيمة المخصومة للفعل المرصود عند $s_j$ .

التنفيذ الخوارزمي

يعزز LQL خسارة TD أحادية الخطوة بـ عقوبات مفصلية غير متماثلة (asymmetric hinge penalties) مشتقة من هذه المتباينات.

عقوبات الحد الأدنى (LB Penalties): إذا كان التقدير الحالي $Q_\theta(s_k, a_k)$ أقل من العائد الفعلي لقطعة المسار $G_{k:\ell}$ مضافاً إليه القيمة المرتكزة (bootstrapped) عند حالة مستقبلية $s_\ell$ ، يتم تطبيق عقوبة لرفع $Q_\theta(s_k, a_k)$ للأعلى.
عقوبات الحد الأعلى (UB Penalties): إذا كان الجمع بين التقدير الحالي $Q_\theta(s_k, a_k)$ والمكافآت السابقة ينطوي على عائد أعلى مما يمكن تحقيقه من خلال التصرف بشكل أمثل عند حالة سابقة $s_i$ ، يتم تطبيق عقوبة لخفض $Q_\theta(s_k, a_k)$ للأسفل.

ميزة الكفاءة الرئيسية: من المهم ملاحظة أن LQL يحسب هذه العقوبات باستخدام فقط مخرجات الشبكة التي تم إنتاجها بالفعل أثناء تحديث TD قياسي (أي $Q_\theta(s, a)$ وقيم شبكة الهدف $Q_{\bar{\theta}}(s, a^*)$ ). فهو لا يتطلب أي شبكات إضافية ولا يتطلب عمليات تمرير أمامي (forward passes) إضافية مقارنة بتعلم Q القياسي. يقوم المنهج بأخذ عينات من المسارات من مخزن الخبرات (replay buffer) وتجميع خسائر المفصل (hinge losses) هذه عبر المسار.

المساهمات الرئيسية

سد منيع مبدئي: يقدم LQL آلية لاكتشاف وتصحيح عدم اتساق القيم عبر الحالات المتباعدة زمنياً، مما يعالج مباشرة مشكلة الخطأ المتراكم في التعلم خارج السياسة.
الكفاءة الحسابية: على عكس الطرق السابقة التي تعتمد على متباينات الأمثلية (مثل Optimality Tightening)، يتجنب LQL العبء الحسابي لعمليات التمرير الأمامي الإضافية أو الشبكات المساعدة من خلال إعادة استخدام مخرجات شبكة TD الموجودة.
القابلية للتوسع مع طول المسار: يعامل المنهج طول المسار كمحور للتوسع. وعلى عكس توسيع حجم الدفعة (batch size) في TD، والذي قد يؤدي إلى الإفراط في التخصيص (overfitting) وتدهور الأداء، فإن زيادة طول المسار في LQL يحسن الأداء باستمرار.
التوافق: منهج LQL محايد تجاه آلية استخراج السياسة ويمكن دمجه مع مختلف بنيات الفاعل (Gaussian، Flow-based، Action Chunking).

النتائج التجريبية

قيم المؤلفون LQL على مجموعة من الاختبارات عبر الإنترنت (online) وخارج الإنترنت-إلى-الإنترنت (offline-to-online)، بما في ذلك OGBench (الملاحة الروبوتية والتلاعب طويل الأمد) و RoboMimic (التلاعب البشري).

الأداء مقابل الخطوط المرجعية: عبر أربع عائلات مختلفة لاستخراج السياسة (Best-of-N، Flow Q-Learning، Gaussian، و Action Chunking)، تفوق LQL باستمرار على كل من 1-step TD و $n$ -step TD المتوافق في الطول.
النجاح طويل الأمد: في المهمة الأكثر تحدياً، humanoidmaze-giant (مكافآت متفرقة، آلاف الخطوات)، فشل 1-step TD في حل أي مهام (0% نجاح). أظهر $n$ -step TD القياسي تحسناً جزئياً ولكنه تدهور بشكل كبير مع زيادة $n$ عن 4. في المقابل، حقق LQL مع طول مسار $L=64$ معدل نجاح متوسط قدره 75.7%، وحل مهمتين بنجاح شبه كامل (>97%).
الاستقرار: أظهر LCL استقراراً فائقاً في تقدير القيمة. بينما عانى 1-step TD غالباً من المبالغة في التقدير "الجامحة" (انحراف قيم Q إلى مستويات قصوى)، حافظ LQL على قيم Q ضمن نطاقات صالحة تحليلياً، مما منع التباعد.
المتانة: حافظ LCL على الأداء في البيئات العشوائية حيث قد تؤدي الانحيازات النظرية من متباينات التوقع إلى مشا-كل.
العبء: لم يتسبب المنهج في تكلفة وقت تشغيل تذكر (متوسط تباطؤ 4.7% لكل تحديث) مقارنة بـ TD القياسي.

الأهمية والادعاءات

يزعم البحث أن LQL يقدم حلاً عملياً لـ "الثالوث المميت" (deadly triad) المتمثل في التعلم خارج السياسة، والارتكاز، وتقريب الدوال، من خلال توفير فحص اتساق طويل الأمد لا يرث انحياز $n$ -step متعدد الخطوات.

يسلط المؤلفون الضوء على تأثيرين أوسع نطاقاً:

امتصاص المعلومات: يوفر LQL مساراً لامتصاص المعلومات من المسارات الطويلة جداً دون الانحياز خارج السياسة الذي يحد من أهداف $n$ -step.
محور التوسع: يبرز طول المسار كمحور توسع قابل للتطبيق لتعلم القيمة العميق القائم على TD، والذي يتجنب التدهور المرضي الملاحظ عند توسيع أحجام الدفعات في تعلم TD القياسي.

يتسم العمل بالتواضع فيما يتعلق بالقيود النظرية، حيث يقر بأن متباينات الأمثلية هي عبارات "في التوقع"، مما يدخل انحيازاً نظرياً في البيئات العشوائية عند تقريبها عبر عينات فردية. ومع ذلك، تشير النتائج التجريبية والحدود النظرية إلى أن هذا الانحياز محدود ولا يضر بالأداء مادياً في الممارسة العملية.