🤖 machine learning

DADP: Domain Adaptive Diffusion Policy

تقترح الورقة البحثية سياسة الانتشار التكيفية مع النطاق (DADP)، والتي تحقق تكيفاً قوياً من نوع "الصفر-خطوة" (zero-shot) مع ديناميكيات الانتقال غير المرئية عبر توظيف التنبؤ الديناميكي المتأخر للسياق لفصل تمثيلات النطاق الساكنة عن الخصائص العابرة بشكل غير مُشرف، ودمج هذه التمثيلات مباشرة في عملية توليد الانتشار.

المؤلفون الأصليون: Pengcheng Wang, Qinghang Liu, Haotian Lin, Yiheng Li, Guojian Zhan, Masayoshi Tomizuka, Yixiao Wang

نُشر 2026-03-31

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Pengcheng Wang, Qinghang Liu, Haotian Lin, Yiheng Li, Guojian Zhan, Masayoshi Tomizuka, Yixiao Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث DADP (سياسة الانتشار التكيفي مع النطاق - Domain Adaptive Diffusion Policy)، مترجمة إلى لغة بسيطة وعملية مع بعض التشبيهات الإبداعية.

المشكلة الكبرى: الروبوت الذي "لا يناسب أي حال"

تخيل أنك قمت بتدريب روبوت على المشي على أرضية صالة رياضية ملساء ومستوية. لقد تعلم المشي بشكل مثالي. ولكن بمجرد أن تأخذ هذا الروبوت نفسه إلى شاطئ رملي أو طريق جليدي زلق، فإنه يسقط فوراً.

هذه هي المشكلة الكلاسيكية في الروبوتات والذكاء الاصطناعي: التكيف مع النطاق (Domain Adaptation). معظم سياسات الذكاء الاصطناعي "هشة". فهي بارعة فيما تدربت عليه، لكنها تفشل عندما تتغير البيئة قليلاً (مثل تغير الجاذبية، أو زيادة وزن أرجل الروبوت).

تحاول الطرق الحالية إصلاح ذلك عبر إعطاء الروبوت "ورقة غش" (تمثيل) للبيئة. لكن الورقة البحثية تجادل بأن معظم هذه الأوراق "فوضوية". فهي تخلط بين الحقائق الدائمة (مثل "هذا الروبوت لديه أرجل ثقيلة") وبين الضجيج المؤقت (مثل "الروبوت يميل لليسار الآن لأنه تعثر"). عندما يحاول الروبوت استخدام ورقة الغش الفوضوية هذه، فإنه يصاب بالارتباك.

الحل: DADP

يقترح المؤلفون DADP، وهي طريقة جديدة لتعليم الروبوتات التكيف فورياً مع البيئات الجديدة دون الحاجة إلى تدريب إضافي. يفعلون ذلك عبر خطوتين ذكيتين:

1. خدعة "السفر عبر الزمن" (السياق المتأخر - Lagged Context)

المشكلة: إذا سألت الروبوت: "في أي نوع من العوالم نحن؟" بناءً على ما حدث الآن، فسيصاب الروبوت بالارتباك. سيرى الروبوت وهو يتعثر وسيفكر: "أوه، العالم غير مستقر!" لكن العالم ليس غير مستقر؛ الروبوت فقط ارتكب خطأً. إنه يخلط بين الحقائق الثابتة (العالم) وبين الضجيج الديناميكي (التعثر).

حل DADP: قدم المؤلفون مفهوم "السياق المتأخر" (Lagged Context).

تشبيه: تخيل أنك تحاول معرفة نوع السيارة التي تقودها.
- الطريقة العادية: تنظر إلى لوحة القيادة الآن. إذا كانت السيارة تنحرف، ستظن: "هذه سيارة مهتزة".
- طريقة DADP: تنظر إلى لوحة القيادة من 10 ثوانٍ مضت. إذا كانت السيارة تسير في خط مستقيم قبل 10 ثوانٍ، لكنها تنحرف الآن، فستدرك: "آه، السيارة في الواقع مستقرة؛ أنا فقط اصطدمت بمطب".
كيف يعمل: من خلال إجبار الذكاء الاصطناعي على التنبؤ بالمستقبل بناءً على تاريخ من الماضي البعيد (فجوة زمنية كبيرة)، لا يمكنه استخدام "الضجيج اللحظي" للغش. هو مجبر على تعلم القواعد الدائمة وغير المتغيرة للبيئة فقط (مثل الجاذبية أو الاحتكاك). هذا يخلق "بطاقة هوية" نظيفة ونقية للبيئة.

2. خدعة "الرسم باستخدام دليل" (حقن الانتشار - Diffusion Injection)

المشكلة: بمجرد حصول الروبوت على بطاقة هوية نظيفة للبيئة، كيف يستخدمها؟ معظم الطرق تقوم فقط بلصق بطاقة الهوية في عقل الروبوت كمدخل إضافي.

تشبيه: تخيل رساماً (الذكاء الاصطناٍ) يحاول رسم صورة لقطة. إذا أعطيتهم صورة لقطة (بطاقة الهوية) وقلت لهم: "ارسم هذه"، فقد يعانون. عليهم البدء من لوحة بيضاء (ضجيج نقي) ومحاولة تخمين شكل القطة أثناء النظر إلى الصورة. إنها عملية فوضوية ومربكة.

حل DADP: بدلاً من مجرد عرض الصورة، يقوم DADP بخلط الصورة داخل الطلاء نفسه.

تشبيه: تخيل أن الرسام يقوم بخلط الطلاء الخاص به. بدلاً من البدء بطلاء أبيض (ضجيج)، يبدأ بدلو من الطلاء ملون بالفعل بلون القطة بشكل طفيف.
كيف يعمل: في رياضيات "نماذج الانتشار" (التي تولد الأفعال مثلما ينشئ الرسام صورة)، يغير DADP نقطة البداية. هو يجعل الضجيج الابتدائي يميل بالفعل نحو السلوك الصحيح لتلك البيئة المحددة.
- هو لا يكتفي بإخبار الروبوت "أنت على الجليد".
- بل يبدأ عملية اتخاذ القرار لدى الروبوت بوجود ميل "انزلاقي" مدمج فيه.
- هذا يجعل مهمة الروبوت أسهل بكثير. ليس عليه التخمين؛ بل عليه فقط تحسين مسار هو بالفعل في الاتجاه الصحيح.

لماذا يعد هذا أمراً هاماً؟

اختبرت الورقة البحثية هذا على روبوتات تمشي (مثل حيوان التشيتا أو الروبوتات التي تمشي) وروبوتات تقوم بمهام دقيقة (مثل فتح باب باليد).

النتيجة: لم يعمل DADP بشكل أفضل قليلاً فحسب؛ بل عمل بشكل أفضل بكثير من الطرق المتطورة الحالية.
مقياس "الإتقان": قدم المؤلفون مفهوماً رائعاً يسمى "الإتقان" (Mastery). الروبوت ذو الإتقان العالي لا يكتفي بالبقاء على قيد الحياة؛ بل يركض بسرعة وثقة. حققت روبوتات DADP "إتقاناً خبيراً" في بيئات كانت فيها الروبوتات الأخرى بالكاد تزحف أو تسقط.

ملخص في سطور

الطريقة القديمة: ينظر الروبوت إلى الماضي المباشر لتخمين البيئة، فيصاب بالارتباك بسبب أخطائه الخاصة. ثم يحاول تخمين الحركة الصحيحة من الصفر.
طريقة DADP:
- الخطوة 1: ينظر الروبوت إلى الماضي البعيد لفهم البيئة، متجاهلاً أخطاءه الأخيرة. هذا يعطيه "بطاقة هوية" نظيفة ودقيقة للعالم.
- الخطوة 2: يستخدم الروبوت بطاقة الهوية هذه لـ تلوين نقطة بدايته مسبقاً. هو لا يخمن من الصفر؛ بل يبدأ بتقدم بسيط، عالماً تماماً نوع العالم الذي يتواجد فيه.

الأمر يشبه تعليم الطالب ليس فقط حفظ نموذج الإجابة، بل فهم مبادئ الاختبار بحيث يمكنه دخول غرفة امتحان مختلفة تماماً ومع ذلك يتفوق فيها.

إليك ملخص تقني مفصل لورقة البحث "DADP: سياسة الانتشار التكيفية مع النطاق" (DADP: Domain Adaptive Diffusion Policy).

1. بيان المشكلة

تتناول الورقة تحدي تعلم السياسات التكيفية مع النطاق (Domain Adaptive Policy Learning) في التعلم المعزز (RL). وبينما حققت السياسات القائمة على التعلم نجاحاً في بيئات محددة، إلا أنها غالباً ما تفشل في التعميم إلى نطاقات غير مرئية (خارج التوزيع أو OOD) حيث تتغير ديناميكيات الانتقال (مثل الاحتكاك، الجاذبية، أو التغيرات المورفولوجية).

تعتمد الأساليب الحالية عادةً على تعلم تمثيل النطاق لالتقاط المعلومات الخاصة بالنطاق. ومع ذلك، حدد المؤلفون خللاً حرجاً في الطرق الحالية:

تشابك المعلومات الساكنة والديناميكية: تستخدم معظم الطرق التاريخ الأخير (السياق) للتنبؤ بالحالة التالية. يتسبب هذا في تشابك التمثيل المتعلم بين عوامل النطاق الساكنة (مثل الجاذبية، طول الأطراف) والخصائص الديناميكية المتغيرة زمنياً (مثل السرعة اللحظية، والمشتقات العليا).
النتيجة: هذا المزيج يربك السياسة المشروطة، مما يؤدي إلى انحراف التمثيل داخل نفس النطاق ويحد من قدرات التكيف الصفري (Zero-shot adaptation).
الاستخدام غير الفعال: حتى عند تعلم التمثيلات، غالباً ما تستخدم الطرق القياسية هذه التمثيلات مجرد عملية دمج إضافية للمدخلات (Concatenation)، وتفشل في الاستفادة الكاملة من بنية العملية التوليدية لنماذج الانتشار (Diffusion Models).

2. المنهجية: DADP

يقترح المؤلفون DADP (سياسة الانتشار التكيفية مع النطاق)، والتي تحقق تكيفاً قوياً من خلال ابتكارين أساسيين: فك الارتباط غير الخاضع للإشراف وحقن الانتشار المدرك للنطاق.

أ. فك الارتباط غير الخاضع للإشراف: التنبؤ الديناميكي بالسياق المتأخر

لاستخراج تمثيلات نطاق ساكنة نقية ( $\xi$ ) مع تصفية المعلومات المتغيرة زمنياً ( $\omega_t$ )، قدم المؤلفون التنبؤ الديناميكي بالسياق المتأخر (Lagged Context Dynamical Prediction).

الآلية: بدلاً من استخدام التاريخ الماضي المباشر ( $\tau_t$ ) للتنبؤ بالحالة التالية ( $s_{t+1}$ )، يستخدم النموذج سياقاً بفرق زمني $\Delta t$ ( $\tau_{t-\Delta t}$ ).
المنطق:
- عندما يكون $\Delta t$ صغيراً (مثلاً 1)، يحتوي السياق على إشارات لحظية (السرعة) تساعد في التنبؤ بالحالة التالية مباشرة، مما يجعل التمثيل يشفر هذه الخصائص العابرة.
- عندما تقترب $\Delta t$ من اللانهاية (مثلاً باستخدام سياق من حلقة/إبيد مختلفة في نفس النطاق)، تصبح إشارات السرعة اللحظية غير ذات صلة بالتنبؤ بالحالة الحالية.
- يُجبر النموذج بذلك على الاعتماد فقط على عوامل النطاق الساكنة (مثل الجاذبية أو الكتلة) لتقليل خسارة التنبؤ.
النتيجة: تنجح هذه الاستراتيجية غير الخاضعة للإشراف في فك ارتباط تمثيل النطاق الساكن عن الديناميكيات المتغيرة زمنياً دون الحاجة إلى تسميات (Labels) حقيقية.

ب. حقن الانتشار المدرك للنطاق

بمجرد تعلم تمثيلات ساكنة عالية الجودة ( $z$ )، يقوم DADP بدمجها مباشرة في العملية التوليدية لسياسة الانتشار، بدلاً من مجرد اشتراطها على الشبكة.

توزيع أولي منحاز (Biased Prior Distribution): بدلاً من بدء عملية إزالة الضجيج (Denoising) من توزيع غاوسي قياسي، يبدأ DADP العملية من مزيج غاوسي (Gaussian Mixture) ممركز حول تمثيل النطاق المتعلم $z$ $z$ .
- الصيغة: $a_t = \sqrt{\bar{\alpha}_t}(a_0 - z) + z + \sqrt{1-\bar{\alpha}_t}\epsilon$ .
- هذا يوجه التوزيع الأولي نحو أنماط الحركة (Action Modalities) الخاصة بالنطاق.
هدف الانتشار المعاد صياغته: يتم تدريب النموذج على التنبؤ بمصطلح مركب $\hat{\epsilon}_\theta$ $\overset{ϵ}{^}_{θ}$ يتضمن كلاً من الضجيج وإزاحة التمثيل.
- يوفر هذا إشرافاً إضافياً في كل خطوة من خطوات إزالة الضجيء، مما يوجه المسار نحو "منطو التوزيع" (Manifold) الصحيح للنطاق بشكل أكثر كفاءة.

3. المساهمات الرئيسية

التنبؤ الديناميكي بالسياق المتأخر: طريقة جديدة، بسيطة، وفعالة غير خاضعة للإشراف لتعلم تمثيلات النطاق الساكنة عن طريق كسر الارتباطات الزمنية بين السياق والحالة الحالية.
حقن التمثيل-التنبؤ: نموذج جديد لاستخدام تمثيلات النطاق في سياسات الانتشار عبر توجيه التوزيع الأولي وإعادة صياغة هدف الانتشار، بدلاً من مجرد الدمج البسيط.
أداء متفوق في التكيف الصفري (Zero-Shot): أظهر أداءً هو الأفضل حالياً (SOTA) في التكيف مع النطاقات خارج التوزيع (OOD) عبر مهام متنوعة للحركة والتحكم.
إطلاق المصدر المفتوح: أصدر المؤلفون كوداً برمجياً كاملاً، ومجموعات بيانات، وخط إنتاج لتوليد البيانات لتسهيل أبحاث المجتمع العلمي.

4. النتائج التجريبية

قيم المؤلفون DADP على اختبارات تحدي تشمل MuJoCo (HalfCheetah, Walker2d, Ant, Hopper) و Adroit (مهام التحكم).

الأداء: تفوق DADP باستمرار على النماذج المرجعية (CORRO, Prompt-DT, Meta-DT) في كل من حالات داخل التوزيع (IID) وخارج التوزيع (OOD).
- مثال: في حالة Walker2d OOD، حقق DADP عائداً معيارياً قدره 2834، وهو أعلى بكثير من Meta-DT (889) و CORRO (66).
- مثال: في حالة HalfCheetah OOD، حقق DADP قيمة 3001، مقارنة بـ 3174 لـ Meta-DT (ملاحظة: أظهر DADP استقراراً أعلى مع انحراف معياري أقل).
دراسات الاستئصال (Ablation Studies):
- تأثير $\Delta t$ : أدى زيادة التأخير $\Delta t$ إلى تحسين جودة التمثيل بشكل كبير (مقاساً بدقة الاختبار الخطي وخسارة إعادة البناء)، مما يؤكد فرضية فك الارتباط.
- استراتيجية الاستخدام: حققت استراتيجية "w/ Predict" (توجيه التوزيع الأولي + إعادة صياغة الهدف) أعلى أداء، متفوقة على مجرد الاشتراط البسيط أو توجيه التوزيع الأولي وحده.
مقياس الإتقان (Mastery Metric): حقق DADP أعلى "إتقان" (نسبة النطاقات التي تصل فيها السياسة إلى 60% من أداء الخبير)، مما يشير إلى قدرته على التحكم القوي في نماذج جسدية متنوعة.

5. الأهمية

الرؤية النظرية: تقدم الورقة رؤية حاسمة مفادها أن الإشارات المحلية زمنياً في السياق ضارة بتعلم تمثيلات النطاق الساكنة. ومن خلال إدخال تأخير زمني، يوضح المؤلفون كيفية تصفيتها دون إشراف.
النمذجة التوليدية: تعزز الورقة تطبيق نماذج الانتشار في التعلم المعزز من خلال إثبات أن حقن معرفة النطاق في التوزيع الأولي وهدف إزالة الضجيج أكثر فعالية من الاشتراط القياسي.
الأثر العملي: تمكن هذه الطريقة سياسة واحدة من التكيف مع البيئات الفيزيائية غير المرئية (مثل اختلاف مورفولوجيا الروبوت أو معاملات الاحتكاك) دون الحاجة إلى ضبط دقيق (Fine-tuning)، مما يعالج عقبة رئيسية في نشر وكلاء التعلم المعزز في العالم الحقيقي.
القابلية للتوسع: النهج فعال من حيث البيانات (غير خاضع للإشراف) ولا يتطلب أهداف تعلم تبايني (Contrastive Learning) معقدة أو نماذج إضافية لتوليد البيانات.

في الختام، يمثل DADP خطوة كبيرة للأمام في جعل سياسات التعلم المعزز قوية تجاه التغيرات الديناميكية من خلال إعادة التفكير جذرياً في كيفية استخراج واستخدام معلومات النطاق داخل النماذج التوليدية.