🤖 machine learning

BiTrajDiff: Bidirectional Trajectory Generation with Diffusion Models for Offline Reinforcement Learning

يُعدّ BitrajDiff إطار عمل جديد لتعزيز البيانات في التعلم المعزز غير المتصل، حيث يستخدم نماذج الانتشار ثنائية الاتجاه لتوليد مسارات مستقبلية وماضية من حالات وسيطة، مما يتغلب على انحياز توزيع مجموعة البيانات ويعزز قدرة السياسة على التعميم من خلال استكشاف أنماط سلوكية متنوعة.

المؤلفون الأصليون: Yunpeng Qing, Yixiao Chi, Shuo Chen, Shunyu Liu, Kexuan Zhou, Sixu Lin, Litao Liu, Changqing Zou

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yunpeng Qing, Yixiao Chi, Shuo Chen, Shunyu Liu, Kexuan Zhou, Sixu Lin, Litao Liu, Changqing Zou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث BiTrajDiff، مقسمة إلى مفاهيم بسيطة مع تشبيهات إبداعية.

المشكلة الكبرى: "الشارع ذو الاتجاه الواحد" في تعلم الروبوتات

تخيل أنك تحاول تعليم روبوت كيفية التنقل في متاهة. لديك فقط تسجيل فيديو لإنسان يمشي عبر المتاهة. لكن العائق هو أن الإنسان في الفيديو يسير دائمًا إما في الممر الأيس_ي أو الممر الأيمن، لكنه لا يمشي أبدًا عبر الباب الواصل بينهما في المنتصف.

في عالم التعلم المعزز من البيانات المتاحة فقط (Offline Reinforcement Learning)، هذه مشكلة شائعة. يتعلم الروبوت من مجموعة بيانات ثابتة (الفيديو)، ويكون خائفًا من تجربة أي شيء جديد لأنه قد يرتكب خطأً (خطأ "خارج التوزيع" أو out-of-distribution). لذا، يظل عالقًا في الممر الأيس_ي أو الأيمن، ولا يكتشف أبدًا أنه يمكنه عبور الباب للوصول إلى مكافأة أفضل.

تحاول الطرق الحالية المساعدة باستخدام الذكاء الاصطناعي لـ "تخيل" مسارات جديدة. ومع ذلك، فإن معظم هذه الطرق تشبه مولدات الشوارع ذات الاتجاه الواحد:

إذا بدأت من اليسار، فهي تتخيل فقط المزيد من المسارات التي تسير جهة اليسار.
إذا بدأت من اليمين، فهي تتخيل فقط المزيد من المسارات التي تسير جهة اليمين.
نادرًا ما تنجح في حياكة مسار ينتقل من اليسار $\leftarrow$ الباب $\leftarrow$ اليمين. إنها تحافظ على "الاتصال" الموجود في البيانات السيئة الأصلية.

الحل: BiTrajDiff (الخياط ذو الاتجاهين)

يقترح المؤلفون طريقة جديدة تسمى BiTrajDiff. بدلاً من مجرد النظر للأمام أو للخلف، تنظر هذه الطريقة في كلا الاتجاهين في نفس الوقت لبناء جسر بين المسارات المنفصلة.

فكر في الأمر مثل خياط يحيك فستانًا جديدًا باستخدام قطعتين مختلفتين من القماش:

نقطة الارتكاز (الإبرة): يختار الذكاء الاصطناعي نقطة محددة في منتصف الغرفة (حالة/state) من الفيديو الأصلي. لنسمِّ هذه النقطة "المرتكز" (Anchor).
خيط المستقبل (الأمامي): يسأل الذكاء الاصطناعي: "إذا كنت واقفًا عند هذا المرتكز، كيف سيبدو المستقبل الجيد؟". ثم يقوم بتوليد مسار يتحرك للأمام من تلك النقطة.
خيط الماضي (الخلفي): يسأل الذكاء الاصطناعي: "إذا كنت واقفًا عند هذا المرتكز، كيف وصلت إلى هنا؟". ثم يقوم بتوليد مسار يتحرك للخلف من تلك النقطة.
الحياكة (الخياطة): يحدث السحر عندما يقوم الذكاء الاصطناعي بحياكة هذين الخيطين معًا عند نقطة المرتكز. فجأة، يكون قد صنع مسارًا جديدًا وكاملًا يربط بين "الممر الأيس_ي" و"الممر الأيمن" عبر الباب—وهو مسار لم يكن موجودًا في الفيديو الأصلي.

كيف يعمل (خطوة بخطوة)

تدريب الخياطين: يقوم النظام بتدريب اثنين من "خياطي الذكاء الاصطناعي" (نماذج الانتشار/Diffusion Models). أحدهما خبير في التنبؤ بالمستقبل، والآخر خبير في إعادة بناء الماضي.
توليد القطع: يختار النظام نقطة عشوائية من البيانات القديمة. يطلب من "خياط المستقبل" رسم مسار للأمام، ومن "خياط الماضي" رسم مسار للخلف.
ملء الفجوات: يستخدم الذكاء الاصطناعي بعد ذلك أداة "الديناميكا العكسية" (Reverse Dynamics) لمعرفة ما هي الأفعال (الحركات) والمكافآت (النقاط) التي ستكون مطلوبة لجعل تلك المسارات المرسومة حقيقية.
ضبط الجودة (الحارس): ليست كل المسارات المحاكة جيدة. بعضها قد يبدو غريبًا أو مستحيلاً. لذا، يوجد في النظام "حارس" (فلتر) يتحقق من شيئين:
- هل هو واقعي؟ (هل يبدو كشيء يمكن أن يحدث فعليًا في المتاهة؟)
- هل هو جيد؟ (هل يؤدي إلى درجة عالية؟)
- إذا كانت الإجابة "لا"، يتم استبعاد المسار. إذا كانت "نعم"، يتم إضافته إلى مجموعة بيانات التدريب.

لماذا هو أفضل؟

اختبرت الورقة البحثية هذا الأسلوب على معيار D4RL (مجموعة قياسية من مهام التحكم في الروبوتات مثل المشي، الجري، والتنقل في المتاهات).

النتيجة: من خلال حياكة المسارات الأمامية والخلفية معًا، نجح BiTrajDiff في إنشاء "جسور" بين السلوكيات التي كانت منفصلة سابقًا.
التشبيه: إذا كانت البيانات القديمة عبارة عن مكتبة بها غرفتان منفصلتان من الكتب لا تتواصل مع بعضها البعض، فقد بنى BiTrajDiff ممرًا يربط بينهما. الآن، يمكن للروبوت قراءة كتاب من الغرفة اليسرى، والمشي عبر الممر الجديد، وقراءة كتاب من الغرفة اليمنى.
النتيجة النهائية: الروبوتات التي تدربت باستخدام هذه البيانات "المحاكة" الجديدة تعلمت بشكل أسرع وأدت بشكل أفضل من الروبوتات التي تدربت على البيانات القديمة فقط أو على طرق الاتجاه الواحد. لقد تمكنت من حل مهام (مثل عبور باب في متاهة) كانت البيانات الأصلية تقول إنها مستحيلة.

الملخص

BiTrajDiff هو طريقة جديدة لتعليم الروبوتات من خلال "تخيل" تجارب جديدة. بدلاً من مجرد تخمين ما سيحدث بعد ذلك، فإنه يخمن ما حدث قبل ذلك وما سيحدث بعد ذلك، ثم يحيكهما معًا لإنشاء قصة كاملة وعالية الجودة. يتيح ذلك للروبوتات التعلم من سيناريوهات "ماذا لو" التي كانت مفقودة في فيديوهات التدريب الأصلية، مما يساعدها على التغلب على قيود تجاربها الماضية.

ملخص تقني: BiTrajDiff

بيان المشكلة

يهدف التعلم المعزز (RL) غير المتصل (Offline) إلى تعلم سياسات فعالة من مجموعات بيانات ثابتة تم جمعها مسبقًا دون تفاعل إضافي مع البيئة. ويتمثل التحدي الرئيسي في هذا المجال في مشكلة "خارج التوزيع" (OOD)، حيث تواجه السياسة المتعلمة أزواج (حالة-فعل) غير موجودة في البيانات المسجلة، مما يؤدي إلى أخطاء في الاستقراء والمبالغة في تقدير القيمة. وللتخفيف من ذلك، تفرض الطرق الحالية قيودًا تحفظية، مما يحد بشكل غير مباشر من التعلم ضمن التحيزات الهيكلية للبيانات، ويقلل من تنوع السلوك والقدرة على التعميم.

تحاول مناهج "تعزيز البيانات" (DA) الحديثة معالجة ذلك باستخدام النماذج التوليدية (خاصة نماذج الانتشار/Diffusion Models) لتخليق انتقالات جديدة. ومع ذلك، تعمل معظم طرق تعزيز البيانات الحالية ضمن نموذج التدحرج أحادي الاتجاه (إما مستقبلي-أمامي أو تاريخي-خلفي) مشروط بحالات موجودة في البيانات. ونتيجة لذلك، تميل هذه الطرق إلى الحفاظ على الاتصال على مستوى المسار الأصلي للبيانات؛ فهي تولد تنوعات محلية ضمن أنماط السلوك الموجودة، لكنها تفشل في استعادة الروابط بين أنماط السلوك المتميزة والمنفصلة (مثل الربط بين غرفتين منفصلتين في مهمة ملاحة حيث لا توجد مسارات عابرة للأبواب في البيانات الأصلية).

المنهجية

يقترح المؤلفون BiTrajDiff (انتشار المسار ثنائي الاتجاه)، وهو إطار عمل جديد لتعزيز البيانات مصمم لاستعادة الاتصال العالمي على مستوى المسار صراحةً عبر تخليق مسارات تربط بين أنماط السلوك التي كانت منفصلة سابقًا.

الإطار الأساسي

يقوم BiTrajDiff بتفكيك تخليق المسار إلى عمليتين للانتشار مستقلتين ومتكاملتين:

انتشار المستقبل-الأمامي (Forward-Future Diffusion): ينمذج توليد تسلسلات الحالات المستقبلية بدءًا من حالة متوسطة.
انتشار التاريخ-الخلفي (Backward-History Diffusion): ينمذج إعادة بناء تسلسلات الحالات الماضية التي تنتهي عند نفس الحالة المتوسطة.

تعتمد كلتا العمليتين على حالات مرساة متوسطة ( $s_t$ ) يتم أخذ عينات منها من مجموعة البيانات غير المتصلة، بالإضافة إلى إشارة العائد التراكمي المستهدفة.

المكونات الرئيسية

تدريب الانتشار ثنائي الاتجاه:
- يتم تدريب نموذجين منفصلين للانتشار ( $\epsilon_{\theta_f}$ للأمامي، و $\epsilon_{\theta_b}$ للخلفي) على مجموعة البيانات غير المتصلة.
- يولد النموذج الأمامي مسارات $\{s_t, \dots, s_{t+H-1}\}$ مشروطة بالحالة الأولية $s_t$ والعائد المستهدف $R_f$ .
- يولد النموذج الخلفي مسارات $\{s_{t-H+1}, \dots, s_t\}$ مشروطة بالحالة النهائية $s_t$ والعائد المستهدف $R_b$ .
- يستخدم التدريب "التوجيه خالي التصنيف" (Classifier-Free Guidance - CFG) للتعامل مع التوليد المشروط وغير المشروط، حيث يعمل العائد التراكمي كشرط أساسي.
توليد المسارات ثنائية الاتجاه والربط (Stitching):
- أثناء الاستنتاج، يتم أخذ عينة من حالة مرساة $s_t$ من مجموعة البيانات.
- يولد النموذج الأمامي مقطعًا مستقبليًا، ويولد النموذج الخلفي مقطعًا تاريخيًا.
- يتم ربط هذه المقاطع عند الحالة المرساة المشتركة $s_t$ لتشكيل مسار كامل ثنائي الاتجاه: $\hat{\tau}_s(s_t) = \{ \hat{s}_{t-H+1}, \dots, \hat{s}_{t-1}, s_t, \hat{s}_{t+1}, \dots, \hat{s}_{t+H-1} \}$ .
- تسمح آلية الربط هذه بتخليق مسارات تربط بين حالات كانت غير قابلة للوص {أو منفصلة} في مجموعة البيانات الأصلية.
إكمال المسار:
- نظرًا لأن نماذج الانتشار تولد تسلسلات حالات، يتم استخدام نموذج الديناميكا العكسية (IDM) للتنبؤ بالأفعال ( $a_t$ ) بناءً على انتقالات الحالة ( $s_t, s_{t+1}$ ).
- يتنبأ نموذج المكافأة (RM) بالمكافآت ( $r_t$ ) لأزواج (الحالة-الفعل).
- يؤدي هذا إلى إكمال المسار بإشارات الفعل والمكافأة، مما يشكل تسلسل انتقال كامل.
تصفية المسارات ثنائية الاتجاه:
لضمان جودة البيانات المعززة، يتم تطبيق آلية تصفية من مرحلتين:
- مرشح خارج التوزيع (OOD Filter): يستخدم "غابة العزل" (Isolation Forest) لاكتشاف وإزالة المسارات التي تنحرف بشكل كبير عن توزيع البيانات الأصلي (كشف الجدة).
- المرشح الجشع (Greedy Filter): يختار أفضل المسارات بناءً على أعلى مكافأة تراكمية، مما يضمن توجيه البيانات المعززة نحو سلوكيات عالية الأداء.

المساهمات الرئيسية

تحديد أوجه القصور: حدد المؤلفون أن طرق تعزيز البيانات أحادية التدحرج تحافظ على الاتصال الأصلي للمسار، وتفشل في استكشاف الروابط بين أنماط السلوك المتميزة.
التخليق ثنائي الاتجاه: اقتراح BiTrajDiff، الذي يفكك التوليد صراحةً إلى عمليات أمامية وخلفية مشروطة بمرساة مشتركة، مما يسمح بتخليق مسارات تربط بين أنماض السلوك المنفصلة.
التحقق التجريبي: تُظهر التجارب المكثفة على معيار D4RL أن BiTrajDiff يتفوق باستمرار على النماذج المتقدمة لتعزيز البيانات (بما في ذلك Synther و DiffStitch و RTDiff) عبر مختلف ركائز التعلم المعزز غير المتصل (IQL, TD3BC, CQL, DT).

النتائج التجريبية

يتم تقييم BiTrajDiff على معيار D4RL، والذي يغطي مهام الحركة (locomotion)، والملاحة (Maze2D, AntMaze)، والتلاعب (Kitchen).

مكاسب الأداء: يحقق BiTrajDiff أعلى متوسط عوائد عبر معظم المهام والخوارزميات. على سبيل المثال، في مهام الحركة، يتفوق باستمرار على النماذج أحادية الاتجاه. وفي البيئات ذات المكافأة المتفرقة مثل Maze و Kitchen، حيث تكون جودة البيانات بالغة الأهمية، يُظهر BiTrajDiff تحسنًا ملحوظًا في الاستقرار والأداء.
دراسات الاستئصال (Ablation Studies):
- الاتجاهية (Directionality): يتفوق BiTrajDiff (ثنائي الاتجاه) باستمرار على كل من النسخ الأمامية فقط والنسخ الخلفية فقط، مما يؤكد ضرورة ربط كل من المقاطع التاريخية والمستقبلية لاستعادة الاتصال العالمي.
- التصفية (Filtering): تبين أن الجمع بين مرشحي OOD و Greedy هو الأفضل مقارنة باستخدام كل منهما بمفرده أو عدم استخدام أي منهما، مما يوازن بين التنوع والموثوقية.
- نسبة التعزيز (Augmentation Ratio): تحقق نسبة 30% من البيانات المعززة إلى البيانات الأصلية ( $\sigma=30\%$ ) الاستقرار والأداء الأمثل؛ حيث تؤدي الزيادة المفرطة في التعزيز (100%) إلى إدخال ضوضاء تقلل من الأداء.
مُقدّر TD متعدد الخطوات (n-step TD Estimator): يحافظ BiTrajDiff على ميزة الأداء على النماذج الأخرى حتى مع زيادة أفق الخطوات (n-step)، مما يشير إلى أن المسارات المولدة ذات جودة أعلى وتوافق أكبر مع الديناميكيات الأساسية مقارنة بطرق تعزيز البيانات الأخرى.
التنوع مقابل الدقة: تُظهر مقاييس التصور (الخطأ الديناميكي ومسافة L2) أن BiTrajDiff يولد مسارات ذات تنوع أعلى بكثير (مسافة L2 أكبر من البيانات الأصلية) مع الحفاظ على دقة ديناميكية تنافسية، على عكس الطرق أحادية الاتجاه التي تميل إلى الإفراط في التلاؤم (overfitting) مع التوزيع الأصلي.

الأهمية والادعاءات

يزعم البحث أن BiTrajDiff يعالج قصورًا جوهريًا في تعزيز البيانات للتعلم المعزز غير المتصل: وهو عدم قدرة التدحرجات أحادية العملية على ربط أنماط السلوك المنفصلة. ومن خلال نمذجة وربط المسارات المستقبلية-الأمامية والتاريخية-الخلفية حول حالات مرساة مشتركة صراحةً، يستعيد BiTrajDiff الاتصال العالمي على مستوى المسار الغائب عن مجموعة البيانات الأصلية.

ويؤكد المؤلفون أن هذا النهج يسمح لخوارواتزميات التعلم المعزز غير المتصل بالتعلم من مجموعة أكثر تنوعًا من أنماط السلوك دون التضحية بالاتساق الفيزيائي، مما يؤدي إلى تحسينات كبيرة في الأداء عبر مجموعة واسعة من المهام والخوارزميات. ويُلاحظ أن العمل المستقبلي سيستكشف التوليد ثنائي الاتجاه في بيئات متعددة المهام ذات أنماط سلوكية أوسع.