🤖 machine learning

Unifying Value Alignment and Assignment in Cross-Domain Offline Reinforcement Learning with Heterogeneous Datasets

تقدم هذه الورقة البحثية V2A، وهو إطار عمل مبتكر للتعلم التعزيزي غير المتصل عبر النطاقات غير المتجانسة، يعالج المشكلة الحرجة المتمثلة في سوء تعيين القيمة من خلال دمج تعلم تمثيل الأنماط المتسق زمنياً، وتعلم الميزة المدرك للأنماط، وتصفية البيانات لتوحيد محاذاة وتعيين القيمة من أجل نقل فعال للسياسة.

المؤلفون الأصليون: Zhongjian Qiao, Jiafei Lyu, Chenjia Bai, Peisong Wang, Siyang Gao, Shuang Qiu

نُشر 2026-05-26

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Zhongjian Qiao, Jiafei Lyu, Chenjia Bai, Peisong Wang, Siyang Gao, Shuang Qiu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "توحيد محاذاة القيمة وتعيينها في التعلم المعزز غير المتصل عبر النطاقات باستخدام مجموعات بيانات متباينة" (V2A)، مقسمة إلى مفاهيم بسيطة مع تشبيهات إبداعية.

الصورة الكبيرة: مشكلة "السيارة المستعملة"

تخيل أنك تريد تعليم روبوت كيفية قيادة سيارة معينة (النطاق المستهدف - Target Domain). لديك فقط كمية ضئيلة جداً من البيانات الخاصة بتلك السيارة المحددة. ومع ذلك، لديك مكتبة ضخمة من بيانات القيادة من سيارات أخرى (النطاق المصدر - Source Domain).

المشكلة هي أن هذه السيارات مختلفة. بعضها لديه محركات مختلفة، وبعضها لديه نظام تعليق مكسور، وبعضها كان يقوده أشخاص مختلفون (بعضهم خبراء، وبعضهم مبتدئون). هذا ما يسمى التعلم المعزز غير المتصل عبر النطاقات (Cross-Domain Offline Reinforcement Learning).

إذا قمت بمجرد خلط كل تلك البيانات معاً وحاولت تعليم الروبوت، فسيصاب بالارتباك ويفشل. قد يحاول الروبوت القيادة كما لو كان في شاحنة بينما هو في الواقع يقود سيارة رياضية، أو قد يتعلم عادات سيئة من سائق مبتدئ.

الطريقة القديمة: التصفية حسب "نوع المحرك"

حاولت الطرق السابقة (مثل IGDF أو OTDF) حل هذه المشكلة من خلال النظر إلى المحرك (الديناميكيات - Dynamics). كانت تسأل: "هل تتعامل هذه السيارة مثل السيارة المستهدفة؟"

إذا كان نظام التعليق متشابهاً، فإنهم يحتفظون بالبيانات.
إذا كان المحرك مختلفاً تماماً، فإنهم يتخلصون من البيانات.

العيب: هذا يشبه شراء سيارة مستعملة بناءً على حجم المحرك فقط. قد تجد سيارة بالمحرك المثالي، ولكن إذا كان المالك السابق سائقاً سيئاً تسبب في حوادث باستمرار، فإن تلك البيانات لا فائدة منها. أنت بحاجة لمعرفة ما إذا كان السائق جيداً أم لا، وليس فقط ما إذا كانت السيارة متشابهة.

الطريقة الجديدة: محاولة "محاذاة القيمة"

حاولت طريقة أحدث تسمى DVDF إصلاح ذلك. فقد نظرت إلى كل من المحرك (الديناميكيات) ومهارة السائق (القيمة). حاولت اختيار البيانات التي كانت متشابهة وعالية الجودة في آن واحد.

اكتشاف الورقة: وجد المؤلفون فخاً خفياً في DVDF يسمى سوء تعيين القيمة (Value Misassignment).

التشبيه: تخيل أن لديك مكتبة من فيديوهات القيادة من ثلاث دول مختلفة: فرنسا، اليابان، والبرازيل.
- في فرنسا، "القيادة بسرعة" آمنة وقانونية.
- في اليابان، "القيادة بسرعة" خطيرة وغير قانونية.
- في البرازيل، "القيادة بسرعة" فوضوية.
إذا نظرت فقط إلى عداد السرعة ("القيمة") دون معرفة من أي بلد جاء الفيديو، فقد تعتقد أن السائق الياباني عبقري لأنه سريع، أو أن السائق الفرنسي متهور. أنت تقوم بـ سوء تعيين لقيمة الحركة لأنك لا تفهم السياق (الديناميكيات).
بالمنطق المستخدم في الورقة، حاولت الطريقة القديمة إعطاء "درجة" لحركة القيادة دون إدراك أن هذه الحركة تحدث في عالم فيزيائي مختلف تماماً. أدى هذا إلى جعل الروبوت يتعلم من بيانات "تبدو جيدة" ولكنها في الواقع سيئة لموقفه المحدد.

الحل: V2A (محاذاة القيمة + تعيين القيمة)

يقترح المؤلفون نظاماً جديداً يسمى V2A. فكر في V2A كأمين مكتبة ذكي لا يقوم فقط بتصنيف الكتب حسب النوع، بل أيضاً حسب سياق القصة.

يقوم V2A بثلاث عمليات متتالية:

اكتشاف "الجو العام" (تمثيل النمط - Modality Representation):
بدلاً من النظر إلى كل حركة قيادة بشكل فردي، ينظر V2A إلى "الرحلة" بأكملها (المسار/Trajectory). يستخدم ذكاءً اصطناعياً خاصاً لتحديد: "هل هذه الرحلة من الروبوت ذو 'الرجل المكسورة'، أم الروبوت ذو 'الجذع الطويل'، أم الروبوت 'الطبيعي'؟"
- التشبيه: الأمر يشبه وضع ملصق على كل مقطع فيديو يقول "هذا طريق فرنسي" أو "هذا طريق ياباني".
إعادة حساب الدرجة (تعيين القيمة - Value Assignment):
الآن بعد أن عرف النظام من أي "عالم" تأتي البيانات، فإنه يعيد تقييم مهارة السائق.
- التشبيه: يدرك النظام: "أوه، كان ذلك السائق سريعاً، لكنه كان في اليابان حيث السرعة خطيرة. لذا، هذه في الواقع درجة سيئة بالنسبة لسيارتنا المستهدفة". إنه يصلح "سوء التعيين" عبر إعطاء الدرجة الصحيحة للسياق الصحيح.
اختيار أفضل البيانات (تصفية البيانات - Data Filtering):
أخيراً، يقوم بتصفية البيانات. فهو يحتفظ فقط بالمقاطع التي تكون:
- من "عالم" مشابه (محاذاة الديناميكيات).
- من سائق ماهر في ذلك العالم المحدد (محاذاة القيمة).
- تم تقييمها بشكل صحيح (تعيين القيمة).

لماذا يهم هذا الأمر؟

تظهر الورقة أنه عندما يكون لديك مزيج فوضوي من البيانات من روبوتات مختلفة وعدة سائقين مختلفين، فإن الطرق القديمة تصاب بالارتباك. فهي تختار بيانات "جيدة" لكنها في الواقع "سيئة" للروبوت المستهدف.

يعمل V2A كمترجم ومفتش جودة في آن واحد. فهو يفهم أن "الحركة الجيدة" في بيئة ما قد تكون "حركة سيئة" في بيئة أخرى. ومن خلال إصلاح نظام التقييم، فإنه يساعد الروبوت على التعلم بشكل أسرع وأفضل من ذي قبل.

النتائج

اختبر المؤلفون ذلك في محاكاة الروبوتات (مثل روبوت "half-cheetah" وهو يركض أو "hopper" وهو يقفز).

قاموا بخلط بيانات من روبوتات ذات مفاصل مكسورة وأشكال أجسام مختلفة.
خلطوا بيانات من سائقين "خبراء" وسائقين "متوسطي المستوى".
النتيجة: تفوق V2A باستمرار على أفضل الطرق السابقة. لقد تعلم قيادة الروبوت المستهدف بشكل أفضل بكثير لأنه لم يقع في فخ المزيج المربك من البيانات.

الملخص

المشكلة: تعليم الروبوت باستخدام بيانات من روبوتات أخرى مختلفة أمر صعب لأن البيانات "الجيدة" في عالم ما قد تكون "سيئة" في عالم آخر.
الخطأ: حاولت الأدوات السابقة مطابقة الروبوتات لكنها نسيت التحقق مما إذا كانت "جودة" البيانات منطقية حقاً في السياق الجديد.
الإصلاح: يقوم V2A أولاً بتحديد "العالم" الذي تأتي منه البيانات، ثم يعيد تقييم البيانات بناءً على ذلك العالم، وأخيراً يختار أفضل البيانات للتعلم منها.
النتيجة: يتعلم الروبوت بشكل أسرع ويؤدي بشكل أفضل في المواقف المعقدة ذات البيانات المختلطة.

ملخص تقني: توحيد محاذاة القيمة وتعيينها في التعلم المعزز غير المتصل عبر المجالات باستخدام مجموعات بيانات متباينة

1. بيان المشكلة

يهدف التعلم المعزز غير المتصل (Offline RL) عبر المجالات إلى تعلم سياسة في مجال مستهدف باستخدام مجموعة بيانات مستهدفة محدودة ومجموعة بيانات مصدرية وفيرة تظهر تحولاً في الديناميكيات (أي اختلاف ديناميكيات الانتقال $P_{src}$ مقابل $P_{tar}$ ). وبينما حاولت الأساليب الحديثة معالجة مشكلة ديناميكيات خارج التوزيع (OOD) من خلال تصفية البيانات بناءً على محاذاة الديناميكيات (مثل IGDF وOTDF) أو محاذاة القيمة (مثل DVDF)، فإن هذه الأساليب تفترض عادةً أن مجموعة البيانات المصدرية تم جمعها من بيئة واحدة بسياسة سلوك واحدة.

تعالج هذه الورقة إعداداً أكثر عمومية وواقعية: التعلم المعزز غير المتصل عبر المجالات المتباينة (Heterogeneous Cross-Domain Offline RL). في هذا الإعداد، يتم تجميع مجموعة البيانات المصدرية من مجالات مصدرية متعددة ذات ديناميكيات انتقال متميزة، وتم جمعها بواسطة سياسات سلوك متنوعة. وقد حدد المؤلفون مشكلة حرجة تم التغافل عنها سابقاً وهي سوء تعيين القيمة (Value Misassignment).

يحدث سوء تعيين القيمة عندما يتم تدريب دالة قيمة واحدة (أو دالة ميزة) على كامل مجموعة البيانات المصدرية المتباينة دون التمييز بين أنماط الديناميكيات الأساسية. يؤدي هذا إلى:

تقدير غير صحيح للميزة: قيم الميزة المخصصة للعينات لا تعكس مثاليتها الحقيقية بالنسبة لنمط الديناميكيات الفرعي الخاص بها.
تصفية غير مثالية للبيانات: آليات تصفية البيانات التي تعتمد على هذه القيم المخصผิด تعطي نتائج مضللة، حيث تختار عينات دون المستوى (على سبيل المثال، بيانات متوسطة الجودة من نمط ديناميكي معين) بينما تستبعد عينات مثالية.
فجوة دون المثالية المتسعة: يظهر التحليل النظري أن سوء تعيين القيمة يمنع التقييد الوثيق لفجوة دون المثالية (suboptimality gap) في المجال المستهدف، مما يؤدي إلى تدهور أداء الوكيل.

2. المنهجية: V2A

لحل مشكلة سوء تعيين القيمة، يقترح المؤلفون إطار عمل V2A (محاذاة وتعيين القيمة)، وهو إطار يوحد محاذاة الديناميكيات، ومحاذاة القيمة، وتعيين القيمة. تتبع الطريقة ثلاث مراحل رئيسية:

2.1. تعلم تمثيل النمط المتسق زمنياً

الخطوة الأولى هي فصل أنماط الديناميكيات المختلفة داخل مجموعة البيانات المصدرية.

النهج: يستخدم المؤلفون إطار عمل توقع-تعظيم (EM) لتعلم تمثيل كامن $z$ لكل مسار.
الابتكار: على عكس المشفرات التلقائية التباينية القياسية التي تشفر الانتقالات بشكل فردي (مما يؤدي إلى عدم اتساق زمني)، يستخدم V2A حد ELBO متسق زمنياً. يقوم بتشفير المسار الكامل $\tau$ في متغير كامن واحد $z$ باستخدام شبكة عصبية متكررة (RNN/LSTM)، بينما يقوم بفك التشفير للانتقالات على مستوى الخطوة.
الهدف: يضمن ذلك أن تشترك جميع الانتقالات داخل المسار في نفس تمثيل الدينماكيات $z$ ، مما يؤدي فعلياً إلى تجميع المسارات حسب ديناميكياتها الأساسية.

2.2. تعلم الميزة المدرك للنمط

بمجرد استنتاج أنماط الديناميكيات ( $z$ )، يتم إعادة تسمية مجموعة البيانات المصدرية لتصبح $D'_{src} = \{(s, a, r, s', z)\}$ .

النهج: يقترح المؤلفون تعلم الميزة المدرك للنمط. بدلاً من تدريب دالة ميزة قياسية $A(s, a)$ ، يقومون بتدريب دالة ميزة مشروطة بالنمط $A(s, a, z)$ .
الآلية: يتم تغذية التمثيل الكامن $z$ كمدخل لدالتي $Q$ و $V$ أثناء التدريب المسبق (باستخدام مخطط Sparse-QL).
النتيجة: يسمح هذا لدالة الميزة بالتمييز بين أنماط الديناميكيات المختلفة، وتعيين قيم الميزة الصحيحة لأزواج الحالة-الفعل بناءً على سياق الديناميكيات الخاص بها، وبالتالي تصحيح سوء تعيين القيمة.

2.3. تصفية البيانات الموحدة وتعلم السياسة

تدمج المرحلة النهائية هذه المكونات في نموذج لتصفية البيانات لتعلم السياسة المستهدفة.

دالة الدرجة: يتم تعريف دالة درجة جديدة $f(s, a, s', z)$ لتصفية البيانات المصدرية:
$f(s, a, s', z) = \lambda \cdot h(s, a, s') + (1 - \lambda) \cdot \text{Norm}(A(s, a, z))$
حيث تقيس $h(\cdot)$ محاذاة الديناميكيات (عبر التعلم التبايني أو النقل الأمثل) وتقيس $A(s, a, z)$ محاذاة القيمة المدركة للنمط.
التصفية: يتم اختيار العينات المصدرية بناءً على أعلى شريحة $\xi$ من هذه الدرجة.
تحسين السياسة: يتم تدريب السياسة المستهدفة على البيانات المصدرية المصفاة مدمجة مع البيانات المستهدفة المحدودة باستخدام التعلم $Q$ الضمني (IQL).

3. المساهمات الرئيسية

صياغة المشكلة: تصيغ الورقة إعداد التعلم المعزز غير المتصل عبر المجالات المتباينة، حيث تأتي البيانات المصدرية من مجالات وسياسات سلوك متعددة، وتحدد سوء تعيين القيمة كقصور جوهري في الأساليب الحالية.
الرؤية النظرية: يقدم المؤلفون حداً نظرياً لفجوة دون المثالية، موضحين أن سوء تعيين القيمة يؤدي إلى توسيع هذا الحد. كما يثبتون أن فصل أنماط الديناميكيات ضروري لتحقيق حد أكثر إحكاماً.
الخوارزمية (V2A): يقترحون V2A، الذي يدمج:
- تعلم تمثيل النمط المتسق زمنياً (عبر EM).
- تعلم الميزة المدرك للنمط.
- نموذج تصفية بيانات موحد.
التحقق التجريبي: تظهر التجار𝓷 الواسعة على مهام MuJoCo (HalfCheetah, Hopper, Walker2d, Ant) مع مجموعات بيانات مصدرية متباينة أن V2A يتفوق بشكل كبير على الأساليب المرجعية القوية (IGDF, OTDF, DVDF, BOSA, DARA).

4. النتائج التجريبية

الأداء: يحقق V2A تحسينات كبيرة في الأداء مقارنة بالنماذج المرجعية. على سبيل المثال، عند بنائه على IGDF، حقق V2A تحسيناً في إجمالي الدرجة المعيارية بنسبة 21.4% مقارنة بالنموذج المرجعي IGDF، وبنسبة 21.4% فوق DVDF (الذي تحسن بنسبة 6.8% فقط فوق IGDF). لوحظت مكاسب مماثلة مع OTDF.
دراسات الاستئصال (Ablation Studies):
- ELBO المتسق زمنياً: أدى إزالة الاتساق على مستوى المسار (باستخدام sample-level ELBO بدلاً من ذلك) إلى انخفاض الأداء، مما يؤكد ضرورة الاتساق الزمني لاستخراج الأنماط بدقة.
- إدراك النمط: تظهر عمليات التصوير البياني لتوزيعات الميزة المتعلمة أن V2A ينتج توزيعات ميزة أكثر حدة وتميزاً مقارنة بالتوزيعات الأكثر تسطحاً وأقل تمييزاً لـ DVDF، مما يشير إلى تقدير أفضل لمثالية العينات.
- حساسية المعلمات: الطريقة قوية تجاه معامل التوازن $\lambda$ (الأمثل حوالي 0.6) ونسبة اختيار البيانات $\xi$ (الأمثل حوالي 0.5).

5. الأهمية والادعاءات

تدعي الورقة أن V2A هو أول إطار عمل يعالج بفعالية مشكلة سوء تعيين القيمة المتأصلة في التعلم المعزز غير المتصل عبر المجالات المتباينة. من خلال توحيد محاذاة الديناميكيات، ومحاذاة القيمة، وتعيين القيمة، يتيح V2A نقل السياسة بكفاءة حتى عندما تكون البيانات المصدرية خليطاً معقداً من ديناميكيات وسلوكيات متنوعة.

يؤكد المؤلفون أنه بينما ركزت الأعمال السابقة على محاذاة الديناميكيات أو القيمة بشكل منفصل (أو افترضت بيانات مصدرية متجانسة)، فإن عملهم يسلط الضيد على أن تجاهل الطبيعة متعددة الأنماط لديناميكيات المصدر يؤدي إلى تقدير غير صحيح للقيمة، والذي بدوره يقوض عملية تصفية البيانات. تقدم الطريقة المقترحة حلاً بسيطاً وفعالاً يسد الفجوة بشكل كبير بين الإعدادات النظرية وسيناريوهات البيانات المتباينة الواقعية في الروبوتات والذكاء الاصطعي المتجسد.

القيود المعترف بها:

يتطلب تعلم تمثيل النمط المتسق زمنياً وقتاً إضافياً للتدريب (رغم أنه يمكن حسابه مسبقاً).
يعتمد التحليل النظري على افتراضات مخففة (مثل شروط الكفاية من الدرجة الثانية للتحدب في جوار السياسة المثلى).