🤖 machine learning

Analytic Planning under Uncertainty with Moment Closure

تقترح هذه الورقة إطارًا مبدئيًا للتعلم المعزز التحليلي القائم على النماذج، والذي يستخدم مبدأ التوافق بين نماذج الانتقال الغاوسية ودوال القيمة ذات القواعد الشعاعية لاستخلاص عمليات تحديث "بيلمان" (Bellman backups) ذات صيغ مغلقة، مما يتيح تخطيطًا فعالًا في ظل عدم اليقين دون الاعتماد على هياكل سياسات تقييدية أو أخذ عينات عشوائية.

المؤلفون الأصليون: Shishir Sharma, Doina Precup

نُشر 2026-08-04

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Shishir Sharma, Doina Precup

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيف يمشي، أو يلاعب الكرات، أو يوازن عمودًا. للقيام بذلك بشكل جيد، يحتاج الروبوت إلى "دماغ" يمكنه النظر إلى العالم، وتخمين ما سيحدث بعد ذلك، واتخاذ القرار الأفضل. هذا المجال يسمى التعلم المعزز (Reinforcement Learning)، حيث يتعلم العميل من خلال التجربة والخطأ. لكن العالم الحقيقي فوضوي وغير متوقع. إذا دفعت عربة، فقد تنزلق بشكل مختلف قليلاً اعتمادًا على نتوء صغير في الأرض. هذا عدم القدرة على التنبؤ يسمى عدم اليقين (Uncertainty).

تحاول معظم أدمغة الروبوتات الحديثة التعامل مع عدم اليقين هذا عن طريق تجربة آلاف السيناريوهات لـ "ماذا لو" في مخيلتها، مثل لاعب يحاول تجربة حركات مختلفة في محاكاة. إنهم يرمون النرد، ويرون ما سيحدث، ويحسبون المتوسط للنتائج. هذا يعمل، ولكنه بطيء ومليء بالضجيج، مثل محاولة تخمين متوسط طول حشد من الناس عبر سؤال عدد قليل فقط من الأشخاص. تحاول روبوتات أخرى أن تكون واثقة للغاية وتتجاهل الفوضى، مفترضة أن كل شيء سيسير تمامًا كما هو متوقع. هذا سريع، ولكن بمجرد أن تفاجئها الدنيا، فإنها تصطدم. السؤال الكبير الذي يطرحه الباحثون هو: هل يمكننا بناء دماغ روبوت يفهم عدم اليقين بشكل مثالي دون الحاجة إلى تشغيل آلاف عمليات المحاكاة الفوضوية؟

هذه الورقة البحثية، بعنوان "التخطيط التحليلي تحت عدم اليقين باستخدام إغلاق العزوم" (Analytic Planning under Uncertainty with Moment Closure)، تقول نعم. لقد وجد المؤلفان، شيشير شارما ودوينا بريسب، اختصارًا رياضيًا ذكيًا يسم يسمح للروبوت بحساب "المتوسط المستقبلي" لموقف ما باستخدام صيغة دقيقة، دون الحاجة إلى رمي النرد آلاف المرات.

المشكلة: ضجيج التخمين

تخيل أنك تقف على حافة منحدر. تريد أن تعرف ما إذا كان من الآمن القفز.

الطريقة القديمة (مونت كارلو - Monte Carlo): تغمض عينيك وتتخيل القفز 100 مرة. أحيانًا تهبط بسلام؛ وأحيانًا تسقط. تعد كم مرة نجوت وتقسم الناتج على 100. إذا تخيلت 5 قفزات فقط، فقد تكون إجابتك خاطئة تمامًا لمجرد سوء الحظ في خيالك. هذا ما تفعله معظم أنظمة الذكاء الاصطناعي الحالية: إنها تأخذ عينات، وتخمن، وتحسب المتوسط. وهي عرضة لـ "الضجيج"، مما يعني أن الروبوت قد يتخذ قرارًا سيئًا لمجرد أن تخمينه العشوائي كان غير محظوظ.
طريقة "الثقة المفرطة": يتجاهل الروبوت الرياح والصخور الزلقة. يفترض أن المنحدر مسطح تمامًا. يضع خطة مثالية، ولكن في اللحظة التي تهب فيها ريح حقيقية، تفشل الخطة.

أراد المؤلفون معرفة: هل يمكننا حساب سلامة القفزة بالضبط باستخدام الرياضيات، بحيث لا نحتاج أبدًا إلى التخمين أو رمي الن dice؟

الحل: صيغة سحرية

طور الفريق طريقة يسمونها MoCA (التخطيط التحليلي المتوافق مع العزوم). بدلاً من محاكاة آلاف المستقبلات، يستخدمون نوعًا خاصًا من الرياضيات يعامل عدم يقين الروبوت كأنه سحابة سلسة وقابلة للتنبؤ (توزيع غاوسي - Gaussian distribution).

إليك الحيلة التي استخدموها، مشروحة بتشبيه بسيط:

"المكافأة متغيرة الشكل": عادةً ما يكون تحديد أفضل حركة أمرًا صعبًا لأن "أفضل حركة" تتغير اعتمادًا على مكان هبوطك بالضبط. الأمر يشبه محاولة العثور على أعلى نقطة في منظر طبيعي متعرج ومتغير. قام المؤلفون بتغيير هذا المنظر. صمموا "دماغ" الروبوت (تحديدًا الجزء الذي يقيم الأفعال) ليكون له شكل محدد وسلس للغاية (منحنى تربيعي). هذا الشكل متوقع جدًا لدرجة أن العثيد على "أفضل حركة" يصبح سهلاً مثل العثور على مركز الدائرة. لست بحاجة لمسح الخريطة بأكملها؛ أنت فقط تنظر إلى المركز.
"مطابقة العزم": بمجرد أن يصبح العثور على "أفضل حركة" سهلاً، يحتاج الروبوت فقط إلى معرفة القيمة المتوسطة للمستقبل. ربط المؤلفون هذا المنظر السلس بـ "سحابة" من المواقع المستقبلية المحتملة. واكتشفوا قاعدة خاصة: إذا تطابق شكل المنظر مع شكل السحابة بطريقة معينة (وهو ما يسمونه "توافق العزوم")، يمكنك حساب القيمة المتوسطة باستخدام صيغة بسيطة.
- التشبيه: تخيل أن لديك دلوًا من الماء (عدم اليقين) وكوبًا ذا شكل محدد (دالة القيمة). إذا كان الكوب يناسب الدلو تمامًا، فلست بحاجة لغرف الماء قطرة بقطرة لمعرفة كم يسع. أنت فقط تستخدم صيغة تعتمد على حجم وشكل الدلو. لقد وجد المؤلفون "الكوب والدلو المثاليين".

ما وجدوه

اختبر الباحثون هذه الطريقة في محاكاة حاسوبية لروبوت يوازن عمودًا (Cartpole) وبندولاً متأرجحًا. أضافوا "ضجيجًا" إلى رؤية الروبوت، مما جعله يرى العالم كما لو كان ينظر من خلال نافذة ضبابية.

النتائج: تعلمت الطريقة الجديدة (MoCA) موازنة العمود بشكل أفضل وأسرع من الطرق القديمة.
- مقارنة بروبوتات "التخمين" (مونت كارلو)، كانت MoCA أكثر استقرارًا. لم ترتبك بسبب الرؤية الضبابية.
- مقارنة بالروبوتات "الواثقة للغاية" (التي تجاهلت الضباب)، عرفت MoCA متى يجب أن تكون حذرة.
- حتى عندما كان الضجيج مرتفعًا جدًا، استمرت MoCA في الأداء الجيد، بينما بدأت الأنظمة الأخرى في الفشل أو التحرك بشكل غير منتظم.

تحققوا أيضًا مما إذا كانت "تخمينات" الروبوت بشأن عدم اليقين الخاص به دقيقة. وجدوا أن شعوره الداخلي بـ "مدى عدم تأكدي؟" كان متوافقًا جيدًا (well-calibrated). إذا قال إنه متأكد بنسبة 68%، فقد كان محقًا في 68% من المرات، وظل قريبًا جدًا من ذلك المستوى طوال فترة التدريب.

لماذا يهم هذا الأمر

لا تقول هذه الورقة البحثية "ربما ينجح هذا الأمر" فحسب. في عمليات المحاكاة الخاصة بهم، أظهروا أنه من خلال استخدام هذا الاختصار الرياضي، يمكن للروبوتات التخطيط بدقة عالية فيما يتعلق بعدم اليقين، دون التكلفة الباهظة لتشغيل آلاف عمليات المحاكاة.

يعترف المؤلفون بأن هذه الحيلة الرياضية المحددة تعمل بشكل أفضل في حالات معينة (مثل الحالات التي يمكن وصف عالم الروبوت فيها بمنحنيات وسحب سلسة). ويشيرون إلى أنه إذا أصبح العالم معقدًا للغاية أو عالي الأبعاد، فقد تصبح الرياضيات ثقيلة مرة أخرى. ومع ذلك، بالنسبة للعديد من مهام التحكم المستمر — مثل قيادة السيارة، أو طيران طائرة بدون طيار، أو موازنة روبوت — فإن هذا النهج يوفر طريقة لتكون ذكية وآمنة في آن واحد، دون الحاجة إلى سوبر كمبيوتر لتشغيل محاكاة لا تنتهي. إنها تثبت أنه يمكننا تعليم الآلات فهم "ضباب" المستقبل دون أن تضيع فيه.

ملخص تقني: التخطيط التحليلي تحت ظروف عدم اليقين باستخدام إغلاق العزوم (Moment Closure)

بيان المشكلة

يتطلب التعلم المعزز القائم على النماذج (MBRL) الفعال في البيئات العشوائية تخطيطاً يأخذ في الاعتبار عدم اليقين التنبؤي. تواجه النهج التقليدية مقايضة بين:

أخذ العينات العشوائي (Stochastic Sampling): تعتمد معظم نماذج التعلم المعزز العميق الحديثة على أخذ عينات من المسارات المتخيلة (Monte Carlo) لنشر عدم اليقين. ورغم قابليتها للتوسع، إلا أنها تسبب تبايناً كبيراً في الهدف، مما يجعل تقدير القيمة حساساً لميزانيات أخذ العينات ومن المحتمل أن يكون غير مستقر.
التقريبات الحتمية (Deterministic Approximations): الطرق التي تختزل النماذج العشوائية إلى متوسطها أو تتعلم ديناميكيات حتمية تتجاهل التباين التنبؤي. يؤدي هذا إلى تحيز منهجي عندما تكون دوال القيمة غير خطية.
النشر التحليلي (Analytic Propagation): بينما يعد نشر توزيعات الحالة بالكامل تحليلياً أمراً مبدئياً، إلا أنه تطلب تاريخياً هياكل سياسة أو مكافأة مقيدة (مثل الإعدادات الخطية التربيعية) ليبقى قابلاً للتطبيق.

السؤال الجوهري الذي يتم معالجته هو: هل التخطيط المدرك للتوزيع (distribution-aware planning) ممكن دون هذه القيود، وتحديداً عبر حساب توقع بيل مان (Bellman expectation) تحليلياً تحت ديناميكيات عشوائية متعلمة؟

المنهجية: التخطيط التحليلي المتوافق مع العزوم (MoCA)

يقترح المؤلفون إطار عمل يفصل بين قابلية اختيار الإجراء الأمثل (greedy action selection) وقابلية التوقع التنبؤي. تعتمد الطريقة على مكونين هيكليين رئيسيين:

1. بارامتريّة قيمة الفعل التربيعية (فك الارتباط في التعظيم)

لتجنب عدم قابلية الحل لعملية التعظيم ( $\max_{a'} Q(s', a')$ ) عبر توزيع عشوائي، يستخدم المؤلفون بارامتريّة قيمة فعل تربيعية (مستوحاة من NAF و BNAF).

الهيكل: يتم تفكيك دالة $Q$ كالتالي:
$Q(s, a) = V(s) - \frac{1}{2}(a - \tilde{\mu}(s))^\top P(s) (a - \tilde{\mu}(s))$
حيث $V(s)$ هي قيمة الحالة، و $\tilde{\mu}(s)$ هو الفعل الأمثل غير المقيد، و $P(s)$ هي مصفوفة انحناء موجبة محددة.
الأثر: يسمح هذا الهيكل باختيار الفعل الأمثل في شكل مغلق ( $\arg\max_a Q(s,a) = \tilde{\mu}(s)$ ) ويجعل القيمة القصوى تساوي $V(s)$ تماماً. وبناءً عليه، يتقلص تحديث بيل مان (Bellman backup) من توقع لدالة $Q$ المعظمة إلى مجرد توقع بسيط لدالة قيمة الحالة وحدها:
$y(s, a) = r(s, a) + \gamma \mathbb{E}_{s' \sim p(\cdot|s,a)}[V(s')]$
هذا يزيل عملية التعظيم الداخلية من التوقع، تاركاً فقط متطلب حساب $\mathbb{E}[V(s')]$ تحليلياً.

2. مبدأ التوافق مع العزوم (Moment-Compatibility Principle)

تعتمد قابلية حساب التوقع المتبقي $\mathbb{E}[V(s')]$ على التوافق بين توزيع الانتقال التنبؤي وفئة دالة القيمة.

نموذج الديناميكيات: يتم تعلم ديناميكيات البيئة كخليط غاوسي متباين التباين (ensemble of $K$ models). ولتجنب أخذ العينات أثناء التخطيط، يتم تقريب المجموعة (ensemble) بواسطة توزيع غاوسي واحد يتوافق متوسطه وتباينه مع أول عزمين للمزيج (مما يلتقط كلاً من عدم اليقين العشوائي/الخوارزمي واليقين المعرفي/الإبستمي).
تمثيل القيمة: يتم تمثيل دالة قيمة الحالة $V(s)$ كخليط من دوال القاعدة الشعاعية الغاوسية (Gaussian RBFs).
الإغلاق التحليلي: نظراً لأن التوزيع التنبؤي هو توزيع غاوسي ودالة القيمة هي خليط من التوزيعات الغاوسية، فإن التوقع $\mathbb{E}[V(s')]$ يقبل حلاً في شكل مغلق بدلالة عزوم التوزيع (المتوسط والتباين). وهذا يسمح بحساب هدف بيل مان بدقة دون الحاجة لأخذ عينات مونت كارلو.

إجراء التعلم

تدمج الخوارزمية (MoCA) هذه المكونات في حلقة تعلم خارج السياسة (off-policy):

تعلم الديناميكيات: يتم تدريب مجموعة من نماذج الديناميكيات الغاوسية عبر الاحتمالية القصوى (maximum likelihood) باستخدام عينات من الذاكرة (bootstrap resamples) من مخزن الخبرات.
بناء الهدف: لكل انتقال، يتم تجميع تنبؤات المجموعة عبر مطابقة العزوم لتشكيل توزيع غاوسي تنبؤي $\mathcal{N}(\bar{\mu}, \bar{\Sigma})$ . يتم حساب هدف بيل مان تحليلياً باستخدام التوقع ذو الشكل المغلق لدالة القيمة RBF تحت هذا التوزيع الغاوسي.
تحديث الناقد (Critic Update): يتم تحديث ناقدين توأمين (لتقليل تحيز المبالغة في التقدير) باستخدام التقدير المزدوج المقطوع (clipped double estimation) على الأهداف التحليلية.

المساهمات الرئيسية

تحديث بيل مان التحليلي: يثبت البحث أن التوقعات التحليلية لبيل مان ممكنة تحت ديناميكيات نموذج متعلمة عبر فصل عملية التعظيم (عبر بارامتريّة $Q$ التربيعية) عن عملية التوقع.
إطار التوافق مع العزوم: يقدم مبدأ تصميمي حيث يتم اختيار تمثيل القيمة خصيصاً ليكون متوافقاً مع عزوم التوزيع التنبؤي، مما يسمح بنشر عدم اليقين تحليلياً دون تقييد فئة السياسة.
التخطيط المدرك لعدم اليقين: تقوم الطريقة بنشر كل من المتوسط التنبؤي والتباين بشكل حتمي، مما يزيل تباين مونت كارلو من بناء الهدف مع الحفاظ على فوائد النمذجة العشوائية.

النتائج التجريبية

أُجريت التجارب على مهام التحكم المستمر (Cartpole Balance و Pendulum Swingup) تحت ضوضاء ملاحظة غاوسية محكومة (سواء كانت متجانسة التباين أو متباينة التباين).

المتانة تجاه الضوضاء: تفوقت MoCA باستمرار على النماذج المرجعية (SAC، BNAF، ونسخة من MoCA تعتمد على "تكافؤ اليقين" تتجاهل التباين) مع زيادة ضوضاء الملاحظة. فقد حافظت على عوائد نهائية أعلى وديناميكيات تعلم أكثر استقراراً.
التحليلي مقابل مونت كارلو: عند مقارنتها بنماذج مونت كارلو لنفس البنية (MoCA-MC) مع أعداد عينات متفاوتة ( $K=4, 16$ )، حققت الطريقة التحليلية (MoCA) سرعة تقارب أعلى وأداءً نهائياً متفوقاً. عانت طرق مونت كارلو من تباين عالٍ، خاصة مع العينات المحدودة، مما أدى إلى اختيار إجراءات دون المستوى.
المعايرة (Calibration): قدم النهج التحليلي عدم يقين تنبؤي مُعاير جيداً (ظل التغطية التجريبية لـ $1\sigma$ قريباً من المستوى الاسمي 68%) وانحرافاً معيارياً معرفياً مستقراً.

الأهمية والادعاءات

يدعي البحث تقديم إطار عمل مبدئي للتخطيط باستخدام نماذج توزيع متعلمة يتجنب تباين أخذ العينات وتحيز استبدال المتوسط.

الاستقرار: من خلال إزالة ضوضاء مونت كارلو من بناء الهدف، توفر الطريقة تخطيطاً مستقراً حتى مع زيادة ضوضاء الملاحظة.
العمومية: مبدأ التوافق مع العزوم ليس مرتبطاً بصيغة وظيفية واحدة؛ حيث يُقدم اقتران (Gaussian-RBF) كنموذج ملموس يوازن بين القابلية للحساب والقدرة التعبيرية.
العملية: تقدم الطريقة بديلاً فعالاً من الناحية الحسابية للتخطيط القائم على أخذ العينات في التحكم المستمر، مما يثبت أن نشر العزوم التحليلي يمكن أن يعمل كبديل عملي للمسارات العشوائية.

يقر المؤلفون بوجود قيود، مشيرين إلى أن تطبيق RBF يواجه "لعنة الأبعاد" فيما يتعلق بعدد القواعد المطلوبة في فضاءات الحالة عالية الأبعاد، وأن التنفيذ الحالي يعتمد على افتراضات التباين القطري (diagonal covariance) من أجل الكفاءة الحسابية. ويُقترح كعمل مستقبلي استكشاف تمثيلات الفضاء الكامن (latent space) لتوسيع نطاق الطريقة.