🤖 machine learning

Entropy-Regularized Adjoint Matching for Offline RL

تقترح هذه الورقة إطار عمل "مطابقة الملحق ذات الحد الأقصى من الإنتروبيا" (ME-AM)، وهو إطار موحد يدمج تعظيم إنتروبيا الهبوط المرآتي مع سلف سلوك مختلط في التعلم التعزيزي غير المتصل القائم على مطابقة التدفق للتغلب على انحياز الشعبية وتقييد الدعم، مما يتيح استخراجاً قوياً للسياسات المثلى من مجموعات البيانات ذات المكافآت الشحيحة.

المؤلفون الأصليون: Abdelghani Ghanem, Mounir Ghogho

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Abdelghani Ghanem, Mounir Ghogho

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت حل لغز معقد، مثل ترتيب المكعبات أو حل لعبة بلاطات منزلقة. ليس لديك معلم يوضح للروبوت كيفية القيام بذلك خطوة بخطية. بدلاً من ذلك، لديك فقط مكتبة فيديو ضخمة لشخص آخر يحاول حل اللغز. أحياناً يرتكب الشخص في الفيديو أخطاءً؛ وأحياناً أخرى يحالفه الحظ ويحلها بشكل مثالي.

هذا هو عالم التعلم المعزز غير المتصل (Offline Reinforcement Learning - RL). يتعين على الروبوت أن يتعلم حصرياً من مكتبة الفيديو "غير المتصلة" هذه دون أن يلمس اللغز الحقيقي أبداً.

المشكلة: "فخ الشعبية" و"الغرفة الفارغة"

تحدد الورقة البحثية مشكلتين رئيسيتين لكيفية تعلم الروبوتات حالياً من مكتبات الفيديو هذه:

1. فخ الشعبية (تحيز الكثافة - Density Bias):
تخيل أن مكتبة الفيديو مليئة في الغالب بالروبوت وهو يرتكب نفس الأخطاء الشائعة مراراً وتكراراً. هناك بضع مقاطع نادرة تظهر الروبوت وهو يقوم بالحركة المثالية.

المشكلة: خوارزميات التعلم القياسية "تتعلق" بالحركات الشائعة. هي تعتقد: "الجميع في الفيديو يفعل الأمر بهذه الطريقة، لذا لا بد أن هذا هو الصحيح". إنها تتجاهل الحركات المثالية النادرة لأنها تظهر بشكل غير متكرر. الأمر يشبه مطعماً يقدم دائماً الطبق الأكثر شعبية، رغم أن الطبق السري المذهل للطاهي موجود في الجزء الخلفي من المطبخ، ونادراً ما يُطلب.
مصطلح الورقة البحثية: يُسمى هذا "تحيز الشعبية" (Popularity Bias).

2. الغرفة الفارغة (فخ انعدام الدعم - Zero-Support Trap):
تخيل أن الحل المثالي يتطلب من الروبوت تحريك مكعب إلى مكان لم يسبق لأحد في مكتبة الفيديو أن حرك فيه مكعباً.

المشكلة: الطرق الحالية تخشى الخطو في هذه "الغرفة الفارغة". فهي مقيدة رياضياً بالتحرك فقط حيث توجد بيانات الفيديو. إذا كانت الحركة المثالية خارج حدود الفيديو، فإن الروبوت ممنوع رياضياً من تجربتها أبداً. الأمر يشبه نظام GPS يرفض توجيهك إلى وجهة لأن أحداً لم يسبق له القيادة في ذلك الطريق المحدد، حتى لو كان الطريق يؤدي إلى الجنة.
مصطلح الورقة البحثية: هذا هو "معضلة تقييد الدعم" (Support-Binding Dilemma).

الحل القديم: نهج "الضمادة" (Band-Aid)

تضمنت المحاولات السابقة لإصلاح ذلك نوعاً من "الرقعة". كانوا يسمحون للروبوت بالتعلم من الفيديو، ثم في اللحظة الأخيرة تماماً، يضيفون القليل من "الارتجاج" العشوائي (مثل الضجيج الغاوسي) لمحاولة دفع الروبوت نحو الغرفة الفارغة.

العيب: تجادل الورقة البحثية بأن هذا الأسلوب فوضوي. إنه يشبه محاولة إصلاح قارب مسرب عن طريق إلقاء دلاء من الماء خارج القارب في نهاية الرحلة. هذا يكسر التدفق السلس لتعلم الروبوت وغالباً ما يفشل في سد الفجوة بين مكان وجود البيانات ومكان وجود الحل الفعلي.

الحل الجديد: ME-AM (مطابقة الـ Adjoint ذات الإنتروبيا القصوى)

يقترح المؤلفون إطار عمل جديد يسمى ME-AM. بدلاً من معالجة المشكلة في النهاية، يعيدون تصميم عملية التعلم بأكملها لتكون سلسة ومستمرة. يستخدمون خدعتين رئيسيتين:

1. توسيع "فريق الأحلام" (التوسع الهندسي - Geometric Expansion)

بدلاً من استخدام بيانات الفيديو الخام فقط، يقوم ME-AM بإنشاء "خليط مسبق" (Mixture Prior).

كيف يعمل: ينظر الروبوت إلى بيانات الفيديو، ولكنه يسأل أيضاً "ناقداً" ذكياً (حكماً) ليتخيل: "إذا كنت سأجرب حركة مختلفة قليلاً قد تكون أفضل، فكيف ستبدو؟"
التشبيه: تخيل أن مكتبة الفيديو هي خريطة لمدينة. الطرق القديمة لا تسمح لك إلا بالمشي على الطرق المعبدة الموضحة على الخريطة. يأخذ ME-AM الخريطة، ويجد الفجوات بين الطرق، ويرسم "طرق أحلام" تربط بينها بناءً على مكان احتمال اختباء الكنز (المكافأة العالية). إنه يعلم الروبوت كيف يمشي على هذه المسارات الجديدة "المتخيلة" أثناء تعلمه، حتى لا يشعر بالخوف عندما يخطو هناك بالفعل.

2. تسوية الحشود (تعظيم الإنتروبيا - Entropy Maximization)

لإصلاح "فخ الشعبية"، يستخدم ME-AM تقنية تُعرف بـ "النزول المرآتي" (Mirror Descent).

كيف يعمل: يجبر الروبوت على معاملة الحركات المثالية النادرة بنفس أهمية الحركات الشائعة والمملة. إنه "يسوي" الحشود.
التشبيه: تخيل حفلاً موسيقياً حيث يهتف الجمهور للأغنية القديمة نفسها. "الدي جي" (خوارزمية التعلم) عادة ما يشغل تلك الأغنية لأنها شعبية. يعمل ME-AM كـ "دي جي" يخفض صوت الأغنية الشعبية عمداً ويرفع صوت الأغنية النادرة والمذهلة، مما يضمن أن الروبوت يسمع ويتعلم من أفضل أجزاء المكتبة، وليس فقط من أجزدت الأطول صوتاً.

النتيجة: رحلة سلسة ومستمرة

تزعم الورقة البحثية أنه من خلال الجمع بين هاتين الخدعتين، يسمح ME-AM للروبوت بـ:

الاستكشاف بأمان: يمكنه الخطو في "الغرف الفارغة" (المناطق التي لا توجد بها بيانات) لأنه تعلم بالفعل كيفية التنقل فيها باستخدام "طرق الأحلام".
تجاهل الضجيج: يتوقف عن الهوس بالأخطاء الأكثر شيوعاً في الفيديو ويركز على الأفعال ذات المكافأة العالية، حتى لو كانت نادرة.
البقاء في حالة انسيابية: على عكس طرق "الضمادة" القديمة، يحدث هذا في حركة واحدة مستمرة وسلسة، مثل راقص يتحرك عبر روتين بدلاً من روبوت يحرك ذراعه بحركات مفاجئة في النهاية.

الإثبات

اختبر المؤلفون هذا على ألغاز صعبة (مثل لغز البلاطات المنزلقة 4x4 وترتيب ثلاثة مكعبات).

النتيجة: حل ME-AM هذه الألغاز بشكل أفضل بكثير من جميع الطرق السابقة "الأحدث في المجال" (State-of-the-Art).
السرعة: لقد حلها بنفس سرعة الطرق الأخرى، مما يثبت أن إضافة هذه الميزات الذكية لم تبطئ الروبوت.

باختصار، يعلم ME-AM الروبوت كيف يكون شجاعاً بما يكفي لاستكشاف مسارات جديدة، وذكياً بما يكفي لتجاهل الحشد، كل ذلك مع الحفاظ على حركاته سلسة وطبيعية.

ملخص تقني: مطابقة الـ Adjoint المنظمة بالإنتروبيا للتعلم التعزيزي غير المتصل (Offline RL)

بيان المشكلة

تتناول الورقة البحثية معضلة الارتباط بالدعم (Support-Binding Dilemma - SBD) المتأصلة في التعلم التعزيزي غير المتصل (Offline RL) عند استخدام سياسات توليدية تعبيرية، مثل نماذج مطابقة التدفق (flow-matching models). وبينما تعمل الأطر المستمرة زمنياً مثل مطابقة الـ Adjoint (المعروفة بـ QAM) على استقرار تحسين السياسة من خلال تجاوز الانتشار الخلفي (backpropagation) غير المستقر للمحلل (solver)، إلا أنها تظل مرتبطة ارتباطاً وثيقاً بتوزيع السلوك الثابت ( $\pi_\beta$ ) للبيانات غير المتصلة. ويخلق هذا الاعتماد عائقين حرجين:

تحيز الشعبية (جبهة الكثافة - Popularity Bias): يعتمد التحسين على علاقة ضربية بالسابقة السلوكية ( $\pi^* \propto \pi_\beta \exp(Q/\tau)$ ). فإذا كان الإجراء الأمثل نادراً في مجموعة البيانات، فإن حد $\pi_\beta$ المتلاشي يثبط إشارة المكافأة. ويتطلب التغلب على ذلك قياس درجة حرارة (temperature scaling) عدواني، مما يضخم أخطاء تقريب الناقد (critic) ويجبر الوكيل على قبول إجراءات دون المستوى ولكنها عالية التكرار للحفاظ على الاستقرار.
فخ الدعم الصفري (الجبهة الهندسية - Zero-Support Trap): إذا وقع إجراء أمثل خارج نطاق دعم بيانات السلوك، فإن $\pi_\beta = 0$ . هذا القيد الهيكلي يمنع الوكيل من الوصول أبداً إلى هذه المناطق، مما يوقف اكتشاف سلوكيات جديدة بغض النظر عن إشارة المكافأة.

إن الحلول البديلة الحالية، مثل إضافة سياسات غاوسية متبقية (مثل QAM-Edit) لإجبار الوكيل على الخروج عن نطاق البيانات، غالباً ما تكسر صياغة المعادلات التفاضلية العادية (ODE) المستمرة. تعمل هذه الحلول كترقيعات هيكلية تعطل مسار الحقل المتجه المتماسك وتعيد إدخال اختناقات التعبير المرتبطة بالتوزيعات أحادية المنوال.

المنهجية: مطابقة الـ Adjoint ذات الإنتروبيا القصوى (ME-AM)

يقترح المؤلفون مطابقة الـ Adjoint ذات الإنتروبيا القصوى (ME-AM)، وهو إطار موحد يحل معضلة SBD بالكامل ضمن صياغة التدفق المستمر. يدمج ME-AM آليتين رئيسيتين:

1. السابقة الخليطية الموجهة بالمكافأة (التوسع الهندسي)

لسد الفجوة الهندسية بين مجموعات البيانات المعزولة دون كسر الـ ODE المستمر، يقوم ME-AM بتعزيز مجموعة بيانات السلوك أثناء التدريب.

الآلية: يتم استبدال جزء $\epsilon$ من إجراءات مجموعة البيانات بأهداف اصطناعية يتم توليدها بواسطة ممثل (actor) غاوسي مساعد ( $\pi_\omega$ ). يتم تدريب هذا الممثل عبر هدف يشبه (Soft Actor-Critic - SAC) للتنبؤ بالإجراءات ذات المكافأة العالية مشروطة بالحالة وإجراء تجريبي.
الأثر: يتم تدريب التدفق الأساسي مقابل توزيع خليط $\pi_{mix} = (1-\epsilon)\pi_\beta + \epsilon\pi_\omega$ . وهذا يوسع طبيعياً الدعم الهندسي الصالح، مما يسمح للنموذج بتعلم نقل الضجيج إلى أنماط خارج التوزيع (OOD) مع الحفاظ على ODE مستمر وسليم هيكلياً.

2. تسطيح الكثافة عبر نزول المرآة (تعظيم الإنتروبيا)

لتخفيف تحيز الشعبية، يقوم ME-AM بتعظيم الإنتروبيا التفاضلية للسياسة التي يتم ضبطها بدقة مباشرة داخل نظام الـ Adjoint.

الآلية: بدلاً من التقييم الصريح للكثافة (وهو أمر مكلف حوسبياً)، تستخدم الطريقة نزول المرآة الوظيفي (Functional Mirror Descent). يتبسط التدرج الوظيفي لتعظيم الإنتروبيا إلى دالة الـ score السالبة ( $-\nabla \log \pi$ ).
التنفيذ: يتم حقن الـ score السالب مباشرة في الشرط الحدودي النهائي لـ Adjoint ODE جنباً إلى جنب مع تدرج القيمة. ولتجنب عدم الاستقرار العددي عند الحد النهائي ( $t \to 1$ )، يتم تدريب شبكة score مساعدة خفيفة ( $S_\psi$ ) عبر هدف إزالة ضجيج (denoising) مرجح بالتباين.
الأثر: تعمل هذه العملية على تسطيح كثافة السلوك المرتفعة عبر الدعم الموسع، مما يسمح للوكيل بالتركيز على الإجراءات ذات المكافأة العالية دون الحاجة إلى التباين الشديد الذي يضخم الخطأ والناتج عن قياس درجة الحرارة الصارم.

الصياغة النظرية

تُحاذي الصياغة الموحدة الحقل المتجه المضبوط بدقة مع تدفق مرجعي مست interpol (interpolated reference flow) يوازن بين القاعدة الخليطية الثابتة ومرساة الهدف بطيئة الحركة. يثبت المؤلفون (النظرية 2) أن السياسة المستقرة المثلى تتقارب إلى:
$\pi^*(a|s) \propto (\pi_{mix}(a|s))^{\delta(s)} \exp\left( \frac{1}{\kappa(s)} Q_\phi(s, a) \right)$
حيث $\delta(s) \in (0, 1)$ هو أس يعتمد على الحالة يضمن رياضياً تسطيح كثافة السابقة، مما يفصل الاستكشاف عن ترددات البيانات التجريبية.

المساهمات الرئيسية

إطار موحد: يعد ME-AM أول طريقة تحل معضلة الارتباط بالدعم (SBD) بالكامل ضمن صياغة تدفق مستمر، مما يلغي الحاجة إلى التعديلات المنفصلة أو حلول المعالجة اللاحقة التي تكسر بنية الـ ODE.
حل هندسي وكثافي: يعالج في آن واحد فخ الدعم الصفري عبر سابقة خليطية قابلة للتعلم وموجهة بالناقد، وتحيز الشعبية عبر تعظيم الإنتروبيا باستخدام نزول المرآة الوظيفي.
ضمانات نظرية: تقدم الورقة البراهين التي تثبت أن الهدف المستمر في الزمن يتقارب تماماً إلى سياسة ثابتة ذات كثافة مسطحة.
تنفيذ قوي: يستخدم ME-AM بارامترياً (parameterization) لـ score مساعد منفصل لتجاوز الانفجار العددي للـ scores التحليلية عند الحد النهائي، مما يضمن تدريباً مستقراً.

النتالئج التجريبية

قيم المؤلفون ME-AM في مجالين تحديين من OGBench (puzzle-4x4 و cube-triple) اللذين يتميزان بمكافآت متفرقة وسلوكيات متعددة الأنماط ومعقدة.

الأداء غير المتصل (Offline Performance): أظهر ME-AM أداءً تنافسياً أو متفوقاً مقارنة بمجموعة متنوعة من الأساليب الحديثة (SOTA)، بما في ذلك QAM و FEdit و CGQL و ReBRAC. في مجال puzzle-4x4، حقق ME-AM معدل نجاح عالمي قدره 56% (إجمالي)، متفوقاً بشكل كبير على أفضل طريقة تالية (QAM-E بنسبة 37%).
دراسات الاستئصال (Ablation Studies):
- التوسع الهندسي: الاعتماد فقط على دعم السلوك ( $\epsilon=0$ ) تسبب في انهيار كامل للأداء، مما يؤكد ضرورة السابقة الخليطية.
- تنظيم KL: وُجد أن قيود مسار KL الصريحة أساسية لاستقرار التدريب عند إدخال العشوائية أثناء التوسع الهندسي.
- أرضية الضجيج (Noise Floor): أدى استخدام أرضية ضجيج تقييم أكبر ( $\sigma_{min} = 0.3$ ) إلى تحسين الأداء في مهام معينة، حيث عمل كعامل تنعيم مكاني.
الضبط الدقيق عبر الإنترنت (Offline-to-Online Fine-Tuning): حسن ME-AM الأداء عبر الإنترنت بشكل كبير مقارنة بـ vanilla QAM، محققاً نتائج تضاهي QAM-edit مع إلغاء الحاجة إلى سياسة تعديل إضافية للاستكشاف عبر الإنترنت.
الكفاءة: رغم أن وقت التدريب أعلى قليلاً بسبب الشبكات المساعدة، إلا أن سرعة الاستدلال (0.14 ms/step) تطابق سياسات مطابقة التدفق القياسية، حيث يتم فصل المكونات المساعدة عن الرسم البياني الحسابي قبل النشر.

الأهمية والادعاءات

تدعي الورقة أن ME-AM يمثل تقدماً هيكلياً في التعلم التعزيزي غير المتصل من خلال حل التوتر الجوهري بين تعظيم المكافأة وتجنب الاستقراء خارج التوزيع. ومن خلال توسيع نطاق المانيفولد (manifold) الصالح لتصرفات الإجراء وتسطيح كثافة السلوك التجريبية ضمن إطار زمني مستمر واحد ومتماسك، يُمكّن ME-A الوكلاء من استخراج سياسات مثلى قوية من مجموعات بيانات غير متصلة متفرقة دون عدم الاستقرار أو قيود التعبير المرتبطة بالنهجات التجريبية السابقة. ويؤكد المؤلفون أن هذا النهج يسمح باكتشاف سلوكيات جديدة في المناطق الخالية من دعم البيانات مع الحفاظ على الضمانات الرياضية للتحكم الأمثل في الزمن المستمر.