🤖 machine learning

Latent Representation Alignment for Offline Goal-Conditioned Reinforcement Learning

تقدم هذه الورقة البحثية خوارزمية "تعلم القيمة المحاذية للتمثيل الكامن" (LAVL)، وهي خوارزمية لتعلم التعزيز الموجه بالأهداف في وضع عدم الاتصال، تدمج تعميم القيمة القائم على التمثيل الكامن مع التخطيط الهرمي للتغلب على التعميم الخاطئ في المهام طويلة الأمد، محققةً أداءً هو الأفضل حالياً في منصة (OGBench).

المؤلفون الأصليون: Hyungkyu Kang, Byeongchan Kim, Min-hwan Oh

نُشر 2026-05-26

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Hyungkyu Kang, Byeongchan Kim, Min-hwan Oh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية التنقل في متاهة ضخمة ومعقدة أو تكويم المكعبات لتشكيل برج. أنت لا تريد للروبوت أن يتعلم عن طريق التجربة والخطأ (لأن ذلك يستغرق وقتاً طويلاً وقد يكون خطيراً)؛ بل تريد تعليمه باستخدام مكتبة فيديو ضخمة لمحاولات سابقة قام بها شخص آخر. هذا ما يسمى التعلم المعزز غير المتصل بشرط الهدف (Offline Goal-Conditioned Reinforcement Learning).

يقدم البحث طريقة جديدة تسمى LAVL (تعلم القيمة المحاذي الكامن - Latent-Aligned Value Learning) والتي تحل مشكلة رئيسية تواجه الروبوتات حالياً عند التعلم من مكتبات الفيديو هذه.

إليك تفصيل للمشكلة والحل، باستخدام تشبيهات بسيية.

المشكلة: الارتباك بين "الخريطة والواقع"

تخيل أنك تعلم روبوتاً كيفية الانتقال من النقطة (أ) إلى النقطة (ب) في متاهة. تعرض عليه فيديو لشخص يمشي داخل المتاهة.

الطريقة القديمة (الخريطة المعيبة):
تحاول معظم الأساليب الحالية تخمين مدى "جودة" موقع معين في المتاهة بناءً على مدى قربه من الهدف من الناحية البصرية.

التشبيه: تخيل أن الروبوت لديه خريطة تُقاس فيها المسافة بخط مستقيم (مثل طيران الطائر). إذا كان الهدف على بُعد 10 أقدام، ولكن يوجد جدار سميك بين الروبوت والهدف، سيعتقد الروبوت: "أوه، إنه على بُعد 10 أقدام فقط! يمكنني الوصول إليه!".
النتيجة: يصاب الروبوت بالارتباك. يعتقد أنه قريب من الهدف لأنه "يبدو" قريباً بصرياً، رغم أنه بعيد جداً من الناحية الزمنية (أي سيستغرق 100 خطوة للوصول). يُسمى هذا التعميم الخاطئ (erroneous generalization). يتعلم الروبوت "خريطة مكسورة" حيث لا وجود للجدران، مما يؤدي إلى قرارات سيئة.

حل الـ "Quasimetric" (كتاب القواعد الصارم):
حاول بعض الباحثين إصلاح ذلك عبر إجبار عقل الروبوت على اتباع قواعد رياضية صارمة (تسمى "quasimetrics") تنص على أن "لا يمكنك اختراق الجدر walls".

التشبيه: هذا يشبه إعطاء الروبوت كتاب قواعد صارم يقول له: "احسب المسافة دائماً باستخدام هذه الصيغة الرياضية المعقدة والمحددة".
النتيجة: يعمل هذا بشكل رائع في المتاهات البسيطة، ولكن عندما تعطي الروبوت مهمة معقدة مثل التقاط مكعب بذراع آلية، ينهار "كتاب القواعد الصارم". يصاب الروبوت بالارتباك ويفشل تماماً؛ لأنه شديد الصلابة ولا يستطيع التكيف مع أنواع المهام المختلفة.

الحل: LAVL (نظام تحديد المواقع الذكي - GPS)

يقترح المؤلفون LAVL، الذي يستخدم طريقة جديدة للتفكير في المسافة. فبدلاً من قياس مدى قرب الأشياء من الناحية البصرية، أو اتباع كتاب قواعد جامد، يعلم LAVL الروبوت فهم "الهندسة الخفية" للمهمة.

1. "المحاذاة الكامنة" (اللغة السرية):
بدلاً من النظر إلى بكسلات المتاهة الخام أو حركة الذراع، يقوم LAVL بترجمة حالة الروبوت الحالية والهدف إلى "لغة سرية" (فضاء كامن - latent space).

التشبيه: تخيل أن الروبوت والهدف يتحدثان لهجات مختلفة. حاولت الأساليب القديمة ترجمتهما كلمة بكلمة (المسافة الإقليدية). أما LAVL فيترجم كلاهما إلى لغة عالمية حيث يتم الحفاظ على "معنى" المسافة.
كيف يعمل: يتعلم الروبوت أن "الحالة أ" و"الهدف ب" متباعدان في هذه اللغة السرية، حتى لو بدوا قريبين على الشاشة. هذا يمنع خطأ "تسرب الجدران". الأمر يشبه امتلاك نظام GPS يفهم حركة المرور والالتفافات، وليس مجرد المسافة بخط مستقيم.

2. غراء "الاستمرارية" (Continuity):
عندما يحاول الروبوت تعلم مسار طويل، يمكن لخريطته الداخلية أن تصبح مهتزة وغير مستقرة.

التشبيه: تخيل أن خريطة الروبوت عبارة عن ورقة تتجعد باستمرار. في ثانية يكون الهدف على بُعد 5 خطوات، وفي الثانية التالية يصبح على بُعد 500 خطوة، لمجرد حدوث خلل بسيط.
الإصلاح: يضيف LAVL "غراء تنعيم" (تنظيم الاستمرارية - continuity regularization). هو يخبر الروبوت: "إذا كنت في مكان مشابه جداً للمكان الذي كنت فيه قبل قليل، فإن تقديرك للمسافة إلى الهدف لا ينبغي أن يتغير بشكل جنوني". هذا يحافظ على استقرار ونعومة الخريطة.

3. نظام "المدير والعامل" الهرمي:
بالنسبة للمهام الطويلة جداً (مثل متاهة عملاقة)، يحتاج الروبوت إلى خطة.

التشبيه: يستخدم LAVL نظاماً من مستويين:
- المدير (المستوى العالي): ينظر إلى الصورة الكبيرة. "نحن بحاجة للوصول إلى المخرج. لنستهدف الزاوية أولاً".
- العامل (المستوى المنخفض): يتولى التفاصيل. "حسناً، أنا الآن عند الزاوية. الآن سألتف يساراً وأمشي للأمام".
يضمن LAVL أن المدير والعامل يتحدثان نفس "اللغة السرية" (المحاذاة الكامنة)، حتى لا يحدث ارتباك بينهما.

النتائج: لماذا هذا مهم؟

اختبر المؤلفون هذا النظام على OGBench، وهو معيار ضخم يحتوي على 22 تحدياً مختلفاً، تتراوح بين التنقل في متاهات عملاقة وتكويم المكعبات بذراع آلية.

النتيجة: فاز LAVL في 20 من أصل 22 مجموعة بيانات.
المدى الطويل: في المتاهات "العملاقة" (حيث يصل المسار إلى آلاف الخطوات)، فشلت الأساليب الأخرى أو علقت، بينما حافظ LAVL على أدائه الجيد.
الربط (Stitching): تم إنشاء بعض مجموعات البيانات من مقاطع فيديو قصيرة ومتقطعة كان على الروبوت "ربطها" معاً لتكوين مسار كامل. كان LAVL أفضل بكثير في ربط هذه النقاط مقارنة بالأساليب السابقة.

الملخص

يجادل البحث بأن أكبر عقبة في تعليم الروبوتات من البيانات القديمة هي أنها تستخدم نوعاً خاطئاً من "المسافة" لقياس التقدم؛ فهي تقيس كيف "تبدو" الأشياء بدلاً من مدى "صعوبة الوصول" إليها.

يعالج LAVL هذا الأمر من خلال:

تعلم "لغة سرية" (المحاذاة الكامنة) لقياس الصعوبة الحقيقية.
تنعيم خريطة الروبوت الداخلية حتى لا تصبح مهتزة.
استخدام نظام "المدير والعامل" للتعامل مع المهام الطويلة والمعقدة.

النتيجة هي روبوت يمكنه التعلم من مكتبة فيديو وفهم كيفية الوصول إلى أهداف معقدة دون أن يرتبك بسبب الجدران أو المسافات الطويلة.

ملخص تقني: محاذاة التمثيل الكامن لتعلم التعزيز المشروط بالهدف في البيئات غير المتصلة (Offline)

1. بيان المشكلة

يهدف تعلم التعزيز المشروط بالهدف (GCL) في البيئات غير المتصلة (Offline) إلى تعلم سياسات للوصول إلى أهداف عشوائية باستخدام مجموعات بيانات ثابتة تم جمعها مسبقًا دون تفاعل إضافي مع البيئة. ورغم ما يوفره هذا النهج من وعود، إلا أن تعلم دالات القيمة المشروطة بالهدف الموثوقة في المهام ذات الأفق الطويل يظل تحديًا كبيرًا. وتتمثل العقبة الرئيسية التي حددها هذا العمل في التعميم الخاطئ في دالات القيمة المشروطة بالهدف.

تميل دالات القيمة القياسية، لا سيما تلك التي يتم تمثيلها بواسطة الشبكات العصبية متعددة الطبقات (MLPs)، إلى التعميم بناءً على القرب الإقليدي في فضاء الحالة بدلاً من المسافة الزمنية. وفي البيئات التي تحتوي على عوائق (مثل المتاهات) أو مكافآت متفرقة، يؤدي ذلك إلى "تسرب القيمة" (Value Leakage)، حيث تُمنح حالات قريبة فيزيائيًا من الهدف قيمًا عالية بشكل خاطئ رغم كونها بعيدة زمنيًا (يفصل بينها جدران أو ديناميكيات معقدة). ينتج عن ذلك تقديرات قيمة مشوشة وسياسات تحكم هشة. علاوة على ذلك، فإن الطرق الحالية التي تحاول معالجة ذلك عبر بنيات شبه المسافة (Quasimetric architectures) مثل (IQE, MRN) غالبًا ما تعاني من أداء غير متسق عبر المجالات المختلفة (مثل الأداء الجيد في الملاحة داخل المتاهات مقابل الفشل في التحكم الروبوتي) أو تسبب عدم استقرار في التدريب.

2. المنهجية: تعلم القيمة المحاذي للكامن (LAVL)

يقترح المؤلفون خوارزمية تعلم القيمة المحاذي للكامن (LAVL)، وهي خوارمة لتعلم التعزيز المشروط بالهدف في البيئات غير المتصلة، تدمج بنية جديدة لدالة القيمة مع إطار عمل للتخطيط الهرمي.

2.1. شبكة محاذاة الكامن (LAN)

الابتكار الجوهري هو شبكة محاذاة الكامن (LAN)، وهي بنية لدالة القيمة مصممة لفرض انحياز استقرائي مناسب لتعميم القيمة.

البنية: على عكس الـ MLPs القياسية أو نماذج شبه المسافة الصارمة، تقوم LAN بتمثيل القيمة المشروطة بالهدف $V(s, g)$ كمسافة إقليدية سالبة بين التمثيلات الكامنة المتعلمة للحالة والهدف:
$V(s, g) = -\|\phi_S(s) - \phi_G(g)\|^2$
حيث أن $\phi_S: \mathcal{S} \to \mathbb{R}^d$ و $\phi_G: \mathcal{G} \to \mathbb{R}^d$ هما شبكتان لتمثيل الحالة والهدف بشكل غير متماثل.
الآلية: من خلال كسر هيكل المسافة الصارم (السماح بأن $\phi_S \neq \phi_G$ )، تضفي LAN مرونة تسم تسمح لدالة القيمة بالتعميم بناءً على هندسة الفضاء الكامن المتعلم بدلاً من القرب الإقليدي الخام للحالة. وهذا يقلل من مشكلة "التعميم المفرط" حيث تنتشر القيمة عبر العوائق.
المزايا: تتجنب LAN عدم الاستقرار في التدريب وانخفاض الأداء المرتبط بالمجالات المحددة الذي يصاحب قيود شبه المسافة الصارمة (مثل IQE)، مع الحفاظ على الانحياز الهيكلي اللازم لتقدير المسافة الزمنية بدقة.

2.2. تعلم القيمة مع تنظيم الاستمرارية

لتحقيق استقرار التعلم في الإعدادات ذات الأفق الطويل، تعزز LAVL هدف تعلم القيمة الضمني (IVL) القياسي بحد تنظيم الاستمرارية المحلية.

الهدف: يجمع إجمالي الخسارة بين هدف TD ( $L_{TD}$ ) وحد التنظيم ( $L_{Reg}$ ) الذي يعاقب التقلبات المحلية الحادة في دالة القيمة بين الحالات المتجاورة:
$L(V) = L_{TD}(V) + w_c L_{Reg}(V)$
الوظيفة: يعمل $L_{Reg}$ على كبح الضوضاء عالية التردد في مشهد القيمة دون المساس باتساق بلمان (Bellman consistency) العالمي، مما يضمن انتشارًا مستقرًا للمكافآت المتفرقة عبر الآفاق الطويلة.

2.3. إطار السياسة الهرمي

تعتمد LAVL إطار سياسة هرمي مشابه لـ HIQL، يتكون من:

السياسة عالية المستوى ( $\pi_h$ ): تولد تمثيلًا للهدف الفرعي $w$ مشروطًا بالحالة الحالية $s$ والهدف النهائي $g$ . في LAVL، يتم تعريف الهدف الفرعي كخريطة تعتمد على الهدف فقط $w = \phi(g)$ ، مما يتوافق طبيعيًا مع تمثيل LAN.
السياسة منخفضة المستوى ( $\pi_l$ ): تخرج أفعالًا مشروطة بالحالة $s$ والهدف الفرعي $w$ .
التدريب: يتم تدريب كلتا السياستين باستخدام انحدار الميزة المرجح (Advantage-Weighted Regression - AWR)، مع الاستفادة من تقديرات القيمة المستقرة التي توفرها LAN.

3. المساهمات الرئيسية

يوضح البحث ثلاث مساهمات رئيسية:

تحديد التعميم الخاطئ: حدد المؤلفون أن فشل GCRL في البيئات غير المتصلة في المهام ذات الأفق الطويل مدفوع أساسًا بتعميم دالات القيمة عبر القرب الإقليدي بدلاً من المسافة الزمنية. وأثبتوا أن الانحياز الاستقرائي في بنية دالة القيمة هو العامل الحاسم لحل هذه المشكلة، وليس هدف التعلم وحده.
اقتراح LAVL: قدموا LAVL، وهو إطار موحد يجمع بين شبكة محاذاة الكامن (LAN) لتعميم القيمة الموثوق، وتنظيم الاستمرارية لتعلم مستقر، وسياسة هرمية للتخطيط طويل الأمد.
التفوق التجريبي: أظهرت التجارونات المكثفة على معيار OGBench أن LAVL يتفوق باستمرار على الطرق الحالية المتطورة في GCRL غير المتصل.

4. النتائج التجريبية

قيم المؤلفون LAVL على 22 مجموعة بيانات من OGBench، تغطي مهام الملاحة في المتاهات (Point, Ant, Humanoid) والتحكم الروبوتي (Cube, Scene) مع آفاق زمنية واستراتيجيات جمع بيانات متنوعة (ملاحة مقابل خياطة/Stitch).

الأداء العام: حققت LAVL أعلى أداء في 20 من أصل 22 مجموعة بيانات، متفوقة بشكل كبير على النماذج المرجعية مثل GCIVL و QRL و HIQL و CGCIVL.
الاستقرار في الأفق الطويل: في بيئات المتاهات "العملاقة"، حافظت LAVL على معدل نجاح بنسبة 85% مع انخفاض نسبي قدره 9.6% فقط مقار بالمتاهات متوسطة الحجم. في المقابل، عانت النماذج المرجعية مثل HIQL و QRL من انخفاض حاد في الأداء (انخفاض نسبي قدره 75.4% و 61.7% على التوالي).
خياطة المسارات (Trajectory Stitching): في مجموعات البيانات من نوع "الخياطة" (المكونة من مسارات قصيرة ومجزأة)، أظهرت LAVL انخفاضًا طفيفًا في الأداء (1.1%) مقار بمجموعات بيانات الملاحة، بينما تدهورت الطرق الأخرى بشكل كبير (على سبيل المثال، انخفاض بنسبة 36.9% لـ HIQL).
التحكم الروبوتي: على عكس طرق شبه المسافة (مثل QRL) التي فشلت في مهام التحكم، حققت LAVL معدلات نجاح عالية (مثل 88% في Scene-play)، مما يثبت قوة LAN عبر المجالات المتنوعة.
دراسات الاستئصال (Ablation Studies): أكدت التجارب أن:
- تتفوق LAN على بنيات شبه المسافة (IQE, MRN) والنهج القائم على المسافة (Hilbert) ضمن نفس الإطار الهرمي.
- الجمع بين LAN والسياسات الهرمية يعطي نتائج متفوقة مقارنة بالسياسات المسطحة أو استخدام LAN مع السياسات المسطحة وحدها.
- يوفر تنظيم الاستمرارية مكاسب كبيرة في المهام الصعبة (مثل زيادة معدل النجاح في Pointmaze-giant-stitch من 35% إلى 95% في بعض الإعدادات).

5. الأهمية والادعاءات

يزعم البحث أن LAVL يمثل تقدمًا كبيرًا في GCRL غير المتصل من خلال معالجة العقبة الأساسية المتمثلة في تعميم القيمة.

الرؤية البنيوية: يسلط العمل الضوء على أن اختيار بنية دالة القيمة أكثر أهمية من هدف التعلم لتحقيق تعميم موثوق؛ ويجادل بأنه بينما تكون دالات القيمة المثلى هي "شبه مسافة"، فإن فرض قيود شبه المسافة الصارمة أثناء التدريب قد يكون مقيدًا للغاية؛ وبدلاً من ذلك، فإن المحاذاة الكامنة المتعلمة توفر انحيازًا استقرائيًا أكثر فعالية.
إطار عمل موحد: نجحت LAVL في توحيد التعميم الفعال، وتعلم القيمة المستقر، والتخطيط الهرمي، مما مكن من أداء قوي في المهام التي تتطلب تفكيرًا طويل الأمد وخياطة المسارات.
الأثر العملي: تحقق الطريقة نتائج رائدة (State-of-the-art) دون الحاجة إلى ضبط واسع للمعلمات (Hyperparameters) أو تمثيلات مثالية (Oracle representations)، مما يجعلها حلاً عمليًا لمشكلات اتخاذ القرار المعقدة في البيئات غير المتصلة.

يخلص المؤلفون إلى أنه بينما يركز عملهم على تعلم القيمة والاستخراج الهرمي، فإن النتائج المتعلقة بالانحياز الاستقرائي للبنية قد تمتد إلى خوارزميات التعلم القائمة على القيمة بشكل أوسع، وقد تستكشف الأعمال المستقبلية توسيع هذه الأساليب لتشمل التحكم الروبوتي عالي الأبعاد في العالم الحقيقي.