🤖 AI

Flowing Through States: Neural ODE Regularization for Reinforcement Learning

تقترح هذه الورقة طريقة تنظيم تعتمد على المعادلات التفاضلية العادية العصبية (neural ODE) تعمل على نمذجة الديناميكيات الكامنة بشكل صريح لمواءمة تعلم التمثيل مع تطور البيئة، مما يحسن بشكل كبير أداء خوارزميات التعلم التعزيزي من نوع "الممثل-الناقد" (Actor-Critic) في اختبارات أتاري وعالم الشبكة (gridworld).

المؤلفون الأصليون: Mohamed Ghanem, Bernd Finkbeiner

نُشر 2026-08-10

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mohamed Ghanem, Bernd Finkbeiner

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية التنقل في متاهة. في عالم تعلم الآلة، لا يرى هذا الروبوت المتاهة كجدران وأرضيات؛ بل يراها كسحابة من الأرقام، "فضاء كامن" (latent space)، حيث كل موقع هو نقطة في خريطة شاسعة وغير مرئية. التحدي يكمن في أنه بينما يتحرك العالم الحقيقي بخطوات سلسة ومنطقية — مثل سيارة تنعطف عند زاوية أو كرة تتدحرج أسفل تلة — فإن خريطة الروبوت الداخلية غالبًا ما تتنقل بشكل فوضوي. قد يعامل مكانين متشابهين جدًا كأنهما مختلفان تمامًا، أو مكانين مختلفين تمامًا كأنهما متطابقان، ببساطة لأن الرياضيات التي يستخدمها للتعلم لا تحترم بطبيعتها تدفق الوقت والسبب والنتيجة. هذه مشكلة كبيرة، لأنه إذا كانت خريطة الروبوت الداخلية فوضوية، فسيصاب بالارتباك ويتعلم ببطء. يسعى العلماء لإصلاح ذلك عبر إجبار عقل الروبوت على فهم أن العالم يتحرك كتدفق مستمر، وليس مجرد سلسلة من اللقطات المنفصلة.

تقترح هذه الورقة البحثية، التي تحمل عنوان "التدفق عبر الحالات" (Flowing Through States)، طريقة ذكية لإصلاح تلك الخريطة الفوضوية. يقترح المؤلفون التعامل مع رحلة الروبوت عبر المتاهة ليس كقفزات عشوائية، بل كنهر سلس يتدفق عبر مشهد طبيعي. لقد استخدموا أداة رياضية تسمى "المعادلة التفاضلية العادية العصبية" (Neural Ordinary Differential Equation - Neural ODE)، وهي في الأساس وسيلة متطورة لوصف مسار سلس وغير منقطع. فكر في الأمر كالتالي: إذا ألقيت ورقة شجر في مجرى مائي، فإن مسارها يتحدد بتيار الماء؛ لا يمكنها فجأة الانتقال إلى أعلى المنبع أو القفز جانبًا. وتجادل الورقة بأن فهم الروبوت الداخلي للعالم يجب أن يتصرف بنفس الطريقة. ومن خلال إضافة قاعدة "تنظيم" خاصة (regularization) — وهي نوع من عقوبة التدريب — أجبر المؤلفون الروبوت على جعل خريطته الداخلية تتماشى مع هذه التدفقات السلسة التي تشبه النهر. وقد اختبروا ذلك في ألعاب الفيديو مثل "أتاري" (Atari) والألغاز القائمة على الشبكات، ووجدوا أن الروبوتات تعلمت بشكل أسرع ولعبت بشكل أفضل عندما تدفقت خرائطها الداخلية بسلاسة، تمامًا مثل النهر، بدلًا من القفز حول مثل ضفدع على وسادة زنبق.

المشكلة: خريطة الروبوت الفوضوية

لفهم سبب أهمية ذلك، تخيل روبوتًا يتعلم لعب لعبة فيديو مثل Breakot. في كل مرة تتغير فيها شاشة اللعبة، يلتقط الروبوت صورة ويحولها إلى قائمة من الأرقام (تمثيل رقمي أو embedding) لفهم ما يحدث. في العالم المثالي، إذا تحركت الكرة قليلًا جهة اليمين، يجب أن تتغير قائمة الأرقام الخاصة بالروبوت قليلًا أيضًا. لكن في الواقع، وبدون توجيه خاص، يمكن للشبكات العصبية أن تكون متذبذبة. تغيير طفيف في اللعبة قد يتسبب في تذبذب أرقام الروبوت الداخلية بجنون، كما لو أن الكرة قد انتقلت آنيًا إلى الجانب الآخر من الشاشة.

يحدث هذا لأن الروبوت يتعلم من لقطات معزولة. هو يرى الحالة (أ)، ثم الحالة (ب)، لكنه لا "يعرف" بطبيعته أن (ب) هي مجرد استمرار سلس لـ (أ). الأمر يشبه محاولة تعلم قيادة السيارة من خلال النظر إلى مجموعة من الصور المنفصلة؛ قد تعرف شكل السيارة، لكنك لن تفهم كيف يدور مقود السيارة لتدوير العجلات بسلاسة بمرور الوقت. وتشير الورقة إلى أنه بينما قد تكون بعض أجزاء دماغ الروبوت جيدة في التعرف على الأشياء (مثل رؤية طوبة)، إلا أنها ليست بالضرضية جيدة في فهم "الديناميكيات" الخاصة بكيفية حركة تلك الأشياء وتغيرها معًا.

الحل: نهر الأفكار

قدم المؤلفان، محمد غانم وبرندت فينكباينر، تقنية أسمياها FlowReg. فكرتهما الكبرى هي استعارة مفهوم من الفيزياء: فكرة أنه إذا كنت تعرف أين يوجد شيء ما الآن، وتعرف قواعد حركته، يمكنك التنبؤ بدقة بمكانه التالي. في الرياضيات، يوصف هذا بـ "المعادلة التفاضلية العادية" (ODE).

تخيل خريطة الروبوت الداخلية كمشهد طبيعي. بدون FlowReg، قد يمشي الروبوت من النقطة (أ) إلى النقطة (ب) عبر اتخاذ قفزة عملاقة ومربكة. أما مع FlowReg، فقد أجبر المؤلفون الروبوت على تخيل وجود نهر سريان سلس وغير مرئي يتدفق عبر ذلك المشهد. يتم بعد ذلك تدريب الروبوت على السير مع تيار هذا النهر.

إليكم كيف فعلوا ذلك:

نموذج النهر: قاموا ببناء شبكة عصبية منفصلة وصغيرة (نموذج التدفق) تعمل كخريطة لهذا النهر غير المرئي. تم تصميم هذا النهر ليكون سلسًا ومستمرًا.
المحاذاة: بينما يتعلم الروبوت لعب اللعبة، فإنه يولد مسارًا من النقاط (مساره) في خريطته الداخلية. تقوم تقنية FlowReg بمقارنة هذا المسار المتعرج بالنهر السلس.
العقوبة: إذا حاول مسار الروبوت القفز عبر النهر أو التعرج بجنون، فإن النظام يعطيه "عقوبة" (دالة خسارة). وهذا يجبر الروبوت على تعديل خريطته الداخلية بحيث يتدفق مساره بسلاسة، تمامًا مثل النهر.

من المهم ملاحظة أن الروبوت لا يستخدم "النهر" فعليًا لاتخاذ القرارات أثناء اللعب. يُستخدم النهر فقط أثناء التدريب كدليل، أو "منظم" (regularizer)، لتشكيل عقل الروبوت. وبمجرد تدريب الروبوت، فإنه يلعب مثل أي روبوت عادي، لكن عقله الآن أكثر تنظيمًا بكافية.

النتائج: مسارات أكثر سلاسة، درجات أعلى

اختبر الفريق هذه الفكرة على 11 لعبة مختلفة من ألعاب أتاري (مثل Qbert و River Raid و Beam Rider) وبعض ألغاز العالم الشبكي. وقارنوا روبوتات FlowReg بروبوتات قياسية لا تمتلك هذا التدريب القائم على التدفق السلس.

كانت النتائج مبهرة. سجلت روبوتات FlowReg باستمرار درجات أعلى من الروبوتات القياسية. على سبيل المثال، في لعبة Qbert، سجل الروبوت القياسي متوسط درجات بلغ حوالي 4,374 نقطة، بينما قفز روبوت FlowReg، باستخدام طريقة أخذ عينات زمنية محددة تسمى "Index"، إلى متوسط قدره 8,306 نقطة. وفي لعبة River Raid، ارتفعت الدرجة من حوالي 1,862 إلى 2,947.

لكن الأمر لم يكن يتعلق بالفوز فحسب؛ بل كان يتعلق بـ كيفية فوزهم. نظر المؤلفون في "المسارات الكامنة" (latent paths) — وهي الخطوط الفعلية التي رسمتها الروبوتات في خرائطها الداخلية. ووجدوا أن روبوتات FlowReg رسمت خطوطًا أكثر سلاسة ومباشرة.

طول المسار: كان مسار الروبوت القياسي طويلًا ومتعرجًا (مثل مشية السكران)، بينما كان مسار روبوت FlowReg قصيرًا وفعالاً.
التسارع: قام الروبوت القياسي بتغييرات مفاجئة ومتشنجة في الاتجاه (طاقة تسارع عالية)، بينما تحرك روبوت FlowReg بمنحنيات ثابتة ولطيفة.

ومن المثير للاهتمام أنهم اختبروا أيضًا طريقة مختلفة تسمى TACO، والتي تحاول تنعيم المسارات من خلال التنبؤ بالمستقبل. وبينما جعلت TACO المسارات أكثر سلاسة، إلا أنها جعلت الروبوتات تلعب بشكل أسوأ في بعض الألعاب. وهذا يشير إلى أن مجرد جعل المسار سلسًا ليس كافيًا؛ بل يجب أن يكون المسار سلسًا بالطريقة الصحيحة، بحيث يحترم القواعد الفعلية للعبة. نجحت تقنية FlowReg لأنها استخدمت الخصائص الفريدة للمعادلات التفاضلية العادية (ODEs) لضمان أن السلاسة تتوافق مع ديناميكيات اللعبة.

لماذا يهم هذا وما الخطوة التالية؟

تشير الورقة إلى أن هذا النهج فعال لأنه يمنح الروبوت فهمًا "كليًا" للعالم. فبدلاً من مجرد حفظ أن "الحالة أ تؤدي إلى الحالة ب"، يتعلم الروبوت "التدفق" الأساسي الذي يربط بين جميع الحالات. وهذا مفيد بشكل خاص في الألعاب التي تكون فيها مساحة الحالة منفصلة (مثل شبكة من المربعات)، حيث لا يوجد "سلاسة" طبيعية في اللعبة نفسها — لذا يجب على الروبوت ابتكار تلك السلاسة في عقله الخاص.

أشار المؤلفون إلى بعض القيود. على سبيل المثال، "النهر" الذي ينشئونه لا يمكنه أن يتقاطع مع نفسه. في متاهة حقيقية، قد تضطر للمرور عبر نفس الممر الضيق من اتجاهين مختلفين. وإذا كان النهر لا يمكنه تقاطع نفسه، فقد يواجه صعوبة في نمذجة هذا السيناريو المحدد. ومع ذلك، بالنسبة لعوالم ألعاب أتاري المعقدة وعالية الأبعاد، لم تكن هذه مشكلة.

كما أشاروا إلى أن هذا يعمل بشكل رائع لتعلم "السياسة الواحدة" (on-policy) (حيث يتعلم الروبوت من أفعاله الحالية)، لكنه لم يُختبر بعد على الخوارزميات القائمة على "السياسة المختلفة" (off-policy) (حيث يتعلم الروبوت من بيانات قديمة) أو الخوارزميات القائمة على النماذج (model-based). ولكن في الوقت الحالي، تشير الأدلة إلى أن تعليم الروبوتات "التدفق" عبر حالاتها الداخلية هو وسيلة قوية لجعلها أكثر ذكاءً، وأسرع، وأكثر اتساقًا في التعلم. إنه يحول القفزة الفوضوية للضفدع إلى التيار الثابت والقوي للنهر.

ملخص تقني: التدفق عبر الحالات: تنظيم المعادلات التفاضلية العادية العصبية للتعلم المعزز

بيان المشكلة

في مهام اتخاذ القرار المتسلسلة، تعتمد الشبكات العصبية عادةً على التمثيلات الكامنة لحالات البيئة. وبينما تملي ديناميكيات البيئة كيفية تطور الحالات الدلالية، فإن الانتقالات المقابلة في الفضاء الكامن غالباً ما تُترك ضمنية. وهذا يخلق عدم توافق محتملاً بين المسار الدلالي (تطور الحالة الفعلي) والمسار الكامن (التضمينات المتعلمة).

في البيئات ذات الحالات المستمرة، غالباً ما يؤدي الاستمرار المتأصل في فضاء الحالة إلى إيجاد نعومة في التمثيلات الكامنة بشكل طبيعي. ومع ذلك، في النطاقات ذات الحالات المنفصلة (مثل عمليات ماركوف لاتخاذ القرار MDPs القياسية)، يتكون الفضاء الدلالي من حالات معزولة دون وجود مفهوم مسبق للتقارب. وبناءً على ذلك، يجب فرض الاستمرارية صراحة في الفضاء الكامن لاستعادة الانتظامات الهيكلية التي قد تكون غائبة لولا ذلك. وتفترض الورقة أنه بدون مثل هذه القيود، قد تفشل التضمينات الكامنة في التقاط الاتساق العالمي المطلوب للاستدلال القوي وتعلم السياسة.

المنهجية: FlowReg

يقترح المؤلفون FlowReg، وهو تقنية تنظيم غير خاضعة للإشراف تعمل على محاذاة حقل التمثيل الكامن للوكيل مع ديناميكيات البيئة الدلالية الأساسية. والحدس الجوهري هو أن المسارات الدلالية يمكن فهمها كعمليات تقطيع لتدفقات كامنة مستمرة، على غرار كيفية تحديد تدفقات المعادلات التفاضلية العادية (ODE) للحالات المستقبلية من حالة أولية.

المكونات الأساسية

يتضمن الإطار نموذجين أساسيين:

نموذج الوكيل المستهدف ( $\theta$ ): وكيل تعلم معزز قياسي (مثل Actor-Critic) يتكون من مدمج حالة $h_\theta$ ورأس مهمة لاحق $F_\theta$ . يقوم برسم خرائط للحالات الدلالية $s$ إلى متجهات كامنة $h_\theta(s)$ .
نموذج منظم التدفق ( $\phi$ ): شبكة معادلة تفاضلية عادية عصبية (Neural ODE) تحدد حقل متجه مستمر $f_\phi$ في الفضاء الكامن. تقوم بحل مسألة القيمة الأولية بدءاً من الحالة الأولية المدمجة $h_\theta(s_0)$ لتوليد مسار كامن مستمر $H_\phi$ .

آلية المحاذاة

بدلاً من استخدام المعادلات التفاضلية العادية العصبية لأغراض الاستدلال (وهو أمر مكلف حسابياً بسبب التكامل العددي)، يستخدم FlowReg المعادلة التفاضلية العصبية فقط كـ منظم أثناء التدريب. تفرض الطريقة أن النقاط الكامنة المنفصلة التي ينتجها مدمج الوكيل ( $H_\theta$ ) تتماشى مع المسار السلس الذي تولده المعادلة التفاضلية العادية ( $H_\phi$ ).

يُعرَّف فقدان تنظيم التدفق كمتوسط مربع الخطأ (MSE) بين المسار الكامن للوكيل والمسار المأخوذ من المعادلة التفاضلية العصبية:
$\mathcal{L}_{flow}(s) := \frac{1}{N} \| H_\theta(s) - H_\phi(s) \|_2^2$

يُضاف هذا الفقد إلى فقد المهمة القياسي (مثل فقد تدرج السياسة أو فقد القيمة) مع عامل وزن $\lambda$ . يتم تمثيل المعادلة التفاضلية العصبية بواسطة $\phi$ والوكيل بواسطة $\theta$ ؛ ويعمل التحسين المشترك على تشجيع $\theta$ لإنتاج تضمينات تتبع تدفقاً سلساً ومتسقاً، بينما يتكيف $\phi$ لنمذجة الديناميكيات الكامنة للمهمة.

أخذ عينات الوقت

بما أن حالات MDP تفتقر إلى طوابع زمنية جوهرية، فقد قدم المؤلفون مخططاً لأخذ عينات الوقت لربط كل حالة في المسار بمؤشر زمني $\tau_i$ . وقد جربوا مخططين:

المعتمد على المؤشر: $\tau_i = i$ (مؤشر الخطوة).
الاضمحلال الأسي: $\tau_i = \gamma^i$ (باستاستخدام عامل الخصم الخاص بالوكيل).
ويؤثر اختيار المخطط على سلوك المعادلة التفاضلية العادية وأدائها.

المساهمات الرئيسية

إطار عمل FlowReg: تقديم طريقة تنظيم قائمة على المعادلات التفاضلية العادية العصبية تفرض على التضمينات الكامنة اتباع تدفقات معادلات تفاضلية عادية متسقة، مما يؤدي إلى محاذاة تعلم التمثيل مع ديناميكيات البيئة.
المحاذاة غير الخاضعة للإشراف: تعمل الطريقة كمنظم غير خاضع للإشراف يتعلم بديلاً كامناً للنموذج الديناميكي، مما يوفر توجيهاً عالمياً دون الحاجة إلى تسميات صريحة للديناميكيات.
الكفاءة: من خلال فصل المعادلة التفاضلية عن الاستدناء واستخدامها فقط للتنظيم، تحتفظ الطريقة بكفاءة البنى العصبية القياسية مع وراثة البنية الطوبولوجية للتدفقات السلسة.
التحقق التجريبي: إثبات فعالية الطريقة في التعلم المعزز (RL) من خلال دمجها في خوارزميات Actor-Critic (مثل A2C و PPO).

النتائج التجريبية

قيم المؤلفون FlowReg على 11 بيئة من بيئات Atari باستخدام خوارزمية Advantage Actor-Critic (A2C)، وعلى بيئات Minigrid باستخدام Proximal Policy Optimization (PPO).

مكاسب الأداء: حقق FlowReg مكاسب كبيرة في الأداء عبر جميع بيئات Atari المختبرة. على سبيل المثال، في Qbert، حقق نموذج A2C الأساسي متوسط مكافأة قدره ~4,374، بينما حقق FlowReg (Index) حوالي ~8,306. لوحظت تحسينات كبيرة مماثلة في RiverRaid و BeamRider.
المتانة: كانت مكاسب الأداء متينة عبر مختلف أوضاع أخذ عينات الوقت (Index مقابل Exponential Decay) وترددات التحديث. ظلت الطريقة فعالة حتى عندما تم تحديث فقد FlowReg بشكل أقل تكراراً من تحديثات سياسة الوكيل (مثلاً كل 10 أو 20 خطوة)، مما يشير إلى أنها إضافة منخفضة التكلفة.
نعومة المسار الكامن: كشف تحليل المسارات الكامنة أن FlowReg قلل بشكل كبير من خشونة المسار. كانت مقاييس مثل طول المسار، والإزاحة الصافية، وطاقة التسارع أقل بكثير للوكلاء الذين يستخدمون FlowReg مقارنة بالنماذج الأساسية وحتى مقارنة بطرق الاتساق الزمني الأخرى مثل TACO.
التعميم: نجحت الطريقة في الانتقال إلى PPO في بيئات Minigrid، حيث أظهرت مزايا واضحة في FourRooms و Dynamic-Obstacles.

الأهمية والادعاءات

تدعي الورقة أن FlowReg يسد الفجوة بين الخصائص المحلية للأجسام وديناميكيات الانتقال العالمية. ومن خلال معاملة المسارات الكامنة كعمليات تقطيع لتدفقات مستمرة، تفرض الطريقة "بنية ديفيمورفية" (diffeomorphic structure) على الفضاء الكامن. هذه البنية:

تقلل التباين: من خلال معاقبة القفزات المفاجئة والتقاطعات التي تنتهك تفرد المعادلات التفاضلية العادية، تصبح عملية التدريب أكثر استقراراً.
تعزز الفهم العالمي: فهي تجبر الوكيل على تعلم تمثيلات تحترم قيود الانتقال لعملية MDP الأساسية، بدلاً من مجرد خصائص الحالة المحلية.
القابلية للتطبيق: رغم استعراضها في RL، يلاحظ المؤلفون أن الطريقة قابلة للتطبيق على نطاق واسع في الوكلاء ذوي التعلم العميق في اتخاذ القرار المتسلسل، خاصة في النطاقات المنفصلة حيث لا يكون الاستمرار الكامن متأصلاً.

يقر المؤلفون بوجود قيود، وتحديداً أن الطريقة تتطلب معلومات المسار (معرفات الحلقات/Episodes)، وأن تفرد تدفقات المعادلات التفاضلية العادية (المسارات غير المتقاطعة) قد يمثل عبئاً في البيئات التي تحتوي على حالات اختناق وسيطة (مثل المتاهات ذات المخارج الوحيدة). ومع ذلك، يجادلون بأن هذا أقل إشكالية في بيئات مساحة الحالة الكبيرة مثل Atari. ويُقترح العمل المستقبى للخوارزميات خارج السياسة (off-policy) مثل DQN، والنهج القائم على النموذج مثل Dreamer.