🤖 machine learning

Do It for HER: First-Order Temporal Logic Reward Specification in Reinforcement Learning (Extended Version)

المؤلفون الأصليون: Pierriccardo Olivieri, Fausto Lasca, Alessandro Gianola, Matteo Papini

نُشر 2026-02-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

المؤلفون الأصليون: Pierriccardo Olivieri, Fausto Lasca, Alessandro Gianola, Matteo Papini

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت قيادة سيارة أو تحريك صندوق في مستودع. في عالم الذكاء الاصطناعي، يسمى هذا التعلم التعزيزي (Reinforcement Learning). يتعلم الروبوت من خلال التجربة والحصول على "مكافآت" (مثل تصفيق رقمي أو "هاي فايف") عندما يفعل شيئًا صحيحًا، و"عدم الحصول على مكافآت" عندما يفعل شيئًا خاطئًا.

المشكلة الكبيرة هي إخبار الروبوت بما يعنيه "الصحيح" فعليًا.

الطريقة القديمة: عنق زجاجة "التوسيم" (Labeling)

تقليديًا، لتعليم روبوت مهمة معقدة، يتعين على البشر كتابة قواعد محددة وصارمة للغاية.

التشبيه: تخيل أنك تعلم طفلًا كيفية خبز كعكة. في الطريقة القديمة، لا يمكنك الاكتفاء بالقول: "اصنع كعكة". بل يجب عليك تسليم الطفل قائمة مرجعية تحتوي على 50 مكونًا محددًا وتقول له: "إذا كان وزن الدقيق 200 جرام بالضبط، فضع علامة على المربع (أ). إذا كان السكر 100 جرام، فضع علامة على المربع (ب)".
المشكلة: إذا أردت من الروبوت التقاط صندوق أحمر بدلاً من صندوق أزرق، أو الانتقال إلى مكان مختلف، فغالبًا ما ستحتاج إلى إعادة كتابة القائمة المرجعية بأكملها أو بناء "مترجم" جديد (يسمى دالة التوسيم) لشرح القواعد الجديدة. هذه العملية مملة، وعرضة للخطأ، ويصعب إعادة استخدامها.

الطريقة الجديدة: "افعلها لأجل HER" (حل الورقة البحثية)

تقترح هذه الورقة إطار عمل جديدًا يسمى LTLfMT. دعنا نفكك معنى ذلك باستخدام استعارة بسيطة.

1. المترجم العالمي (SMT Solvers)
بدلاً من إجبار الإنسان على بناء مترجم مخصص لكل قاعدة، يستخدم هذا الإطار "مترجمًا عالميًا" (أداة رياضية تسمى SMT solver).

التشبيه: بدلاً من كتابة قاموس جديد لكل لغة تتحدثها، أنت فقط تتحدث بشكل طبيعي إلى مترجم فائق الذكاء. يمكنك القول: "التقط الصندوق الذي يزن أقل من 10 كجم ويحمل المعرف 'H123'". سيفهم المترجم فورًا المنطق والرياضيات دون الحاجة لأن تكتب كودًا برمجيًا للتحقق من الوزن أو المعرف.
الفائدة: يمكنك وصف مهام معقدة باستخدام منطق طبيعي (مثل "افعل أ أولاً، ثم ب، ولكن لا تقترب أبدًا من المنطقة الحمراء") دون الحاجة لبرمجة التفاصيل يدويًا حول كيفية قياس المسافة أو التحقق من المعرفات.

2. منطق "السفر عبر الزمن"
يستخدم إطار العمل نوعًا خاصًا من المنطق يفهم الوقت.

التشبيه: الأمر يشبه إعطاء الروبوت نصًا لمسرحية. النص لا يقول فقط "قف هنا". بل يقول: "أولاً، امشِ نحو الباب. ثم، انتظر الجرس. بعد ذلك، افتح الباب". الروبوت يفهم تسلسل الأحداث، وليس مجرد لقطة واحدة ثابتة.

مشكلة "الندرة" (Sparsity): الغرفة الصامتة

هناك عقبة. نظرًا لأن هذه القواعد المنطقية دقيقة للغاية، فإن الروبوت غالبًا ما يقضي وقتًا طويلاً دون الحصول على "تصفيق" (مكافأة).

التشبيه: تخيل أنك تلعب لعبة فيديو حيث لا تحصل على نقاط إلا عند الوصول إلى المستوى الأخير تمامًا. إذا خسرت 100 مرة وأنت تحاول الوصول إلى هناك، فلن تحصل على أي رد فعل. أنت لا تعرف لماذا فشلت، لذا لا تعرف كيف تتحسن. وهذا ما يسمى ندرة المكافأة (Reward Sparsity).

الحل: "النظر إلى الوراء" و"ماذا لو"

لحل مشكلة الصمت، يجمع المؤلفون بين حيلتين ذكيتين:

أ. إعادة تشغيل الخبرة من منظور الماضي (Hindsight Experience Replay - HER)

التشبيه: تخيل أن الروبوت فشل في الوصول إلى "الصندوق الأحمر". بدلاً من مجرد قول "فشل"، ينظر الروبوت إلى الوراء ويقول: "حسنًا، لقد نجحت بالفعل في الوصول إلى 'الصندوق الأزرق' الذي كنت أهدف إليه بالصدفة. لنفترض أن هذا كان هو الهدف الذي أريده طوال الوقت".
كيف يساعد ذلك: يتعلم الروبوت من أخطائه عن طريق إعادة تفسيرها كنجاحات لأهداف مختلفة. إنه يحول الفشل إلى فرصة للتعلم.

ب. التجارب الافتراضية المضادة (Counterfactual Experiences - CRM)

التشبيه: هذا يشبه محاكي "ماذا لو". يفكر الروبوت: "كنت عند الباب، ولكن ماذا لو اتجهت يسارًا بدلًا من اليمين؟ كنت سأحصل على مكافأة". إنه ينشئ سيناريوهات وهمية وتخيلية للتدرب عليها.

مزيج "افعلها لأجل HER":
ابتكار الورقة البحثية الرئيسي هو الجمع بين هذين الأمرين. يأخذون سيناريوهات "ماذا لو" (CRM) ويطبقون عليها حيلة "النظر إلى الوراء" (HER).

النتيجة: يحصل الروبوت على كمية هائلة من بيانات التدريب. إنه لا يتعلم فقط مما فعله بالفعل، بل يتعلم أيضًا مما كان بإمكانه فعله، ويتعلم أن يعامل تلك "الاحتمالات" كأهداف صالحة.

ما الذي اختبروه؟

اختبروا ذلك في مهمة ركن سيارة افتراضية.

التحدي: كان على السيارة التنقل إلى أماكن محددة، وتجنب العوائق، واتباع تسلسل من الخطوات.
النتيجة:
- الطرق القديمة (والروبوت الذي يحاول بمفرده) فشلت في الغالب أو تعلمت ببطء شديد.
- الطريقة الجديدة (التي تجمع بين القواعد المنطقية وحيلتي "النظر إلى الوراء" و"ماذا لو") تعلمت بشكل أسرع واستطاعت حل مهام ركن معقدة لم تستطع الطرق الأخرى فهمها على الإطلاق.

الملخص

تقدم هذه الورقة طريقة أفضل للروبوتات لفهم التعليمات. بدلاً من كتابة البشر لأكواد معقدة لترجمة القواعد، يستخدم الروبوت أداة رياضية عالمية لفهم الجمل المنطقية مثل "اذهب إلى س، ثم ص". ولضمان تعلم الروبوت بسرعة رغم قلة المكافآت، يعلم المؤلفون الروبوت كيف يتعلم من إخفاقاته عبر التظاهر بأن تلك الإخفاقات كانت في الواقع نجاحات لأهداف مختلفة. الأمر يشبه منح الروبوت آلة زمن ليتدرب على نسخ مختلفة من الواقع حتى يتمكن من إتقان الواقع الحقيقي.

ملخص تقني: افعل ذلك لأجلها (Do It for HER): توصيف مكافأة المنطق الزمني من الدرجة الأولى في التعلم المعزز

بيان المشكلة

يعتمد التعلم المعزز (RL) على إشارات المكافأة لتوجيه سلوك الوكيل، ومع ذلك لا تزال هندسة المكافأة عملية تجريبية وتتطلب جهداً مكثفاً. يبرز تحدٍ كبير عندما تكون المهام بطبيعتها غير ماركوفية (non-Markovian)، مما يتطلب مكافآت تعتمد على التاريخ، وهو ما لا تستطيع دالات المكافأة الماركوفية القياسية التقاطه بفعالية. وبينما تم استخدام المنطق الزمني الخطي مع المسارات المحدودة (LTLf) بنجاح لتوصيف مثل هذه المهام، إلا أنه يظل محدوداً بالمواد (predicates) البوليانية. هذا القيد يستلزم وجود "دالات تسمية" (labeling functions) يدوية لربط فضاءات الحالة المستمرة أو غير المتجانسة (مثل الإحداثيات ذات القيم الحقيقية، معرفات الكائنات، الأوزان) بالرموز القضائية المنفصلة. وفي السيناريوهات المعقدة في العالم الحقيقي مثل الروبوتات أو إدارة عمليات الأعمال، يكون هذا الترميز اليدوي هشاً، وغير قابل لإعادة الاستخدام، ويفشل في الاستفواذ من البنية الغنية للبيانات المستمرة. علاوة على ذلك، تؤدي التوصيفات القائمة على المنطق غالباً إلى مكافآت متفرقة (sparse rewards)، مما يجعل التعلم صعباً دون آليات إضافية مثل تشكيل المكافأة (reward shaping) أو إعادة تشغيل الخبرة بالنظر إلى الماضي (hindsight experience replay).

المنهجية

يقترح المؤلفون إطار عمل يستخدم المنطق الزمني الخطي بمقاييس النظريات عبر المسارات المحدودة (LTLfMT) للتغلب على قيود التعبير الخاصة بـ LTLf.

1. الإطار النظري: LTLfMT

بدلاً من الذرات البوليانية، يستخدم LTLfMT صيغ الدرجة الأولى التي تُفسر فوق نظريات عشوائية (على سبيل المثال، الحساب الحقيقي غير الخطي، أو قواعد البيانات العلاقاتية).

بناء الجملة (Syntax): يُعرف الإطار قواعد نحوية حيث تُستبدل القضايا الذرية بمصطلحات الدرجة الأولى ومحمولات ( $\alpha$ ) تتضمن متغيرات وثوابت ودوال. يتم دمج هذه العناصر عبر منطق الدرجة الأولى ( $\lambda$ ) ثم تغليفها في مؤثرات زمنية ( $\phi$ ) بشكل مشابه لـ L Lf القياسي.
الجزء القابل للحوسبة (Tractable Fragment): إدراكاً منهم أن LTLfMT الكامل غير قابل للتقرير (undecidable)، حدد المؤلفون جزءاً معيناً مناسباً للتعلم المعزز. لقد قاموا بإزالة مؤثرات "التطلع للأمام" ( $\bigcirc, \sim\bigcirc$ ) من طبقة المصطلح، بحجة أن القيود الزمنية على جمع البيانات غير ضرورية لتوصيف المكافأة. هذا يترك قابلية التقرير معتمدة فقط على النظرية الأساسية.
الترجمة إلى الآلات (Automata): لتمكين التعلم المعزز القياسي، يقترح المؤلفون استراتيجية "التمثيل القضائي" (propositionalization). يتم ترجمة صيغة $\phi$ في جزء LTLfMT إلى صيغة LTLf قياسية $\phi'$ عن طريق استبدال الصيغ الفرعية للدرجة الأولى بحروف قضائية متميزة. يعمل حلّال إرضاء النموذج (SMT solver) كدالة تسمية عالمية، حيث يقوم بتقييم هذه الصيغ الفرعية عند كل خطوة زمنية لتحديد القيم الحقيقية للحروف القضوية.
نموذج ماركوف للمنتج (Product MDP): يتم تحويل الصيغة الممثلة قضائياً إلى أتمتة حتمية محدودة (DFA). يتم دمج هذه الأتمتة مع البيئة الأصلية لتكوين نموذج ماركوف للمنتج (Product MDP)، حيث تكون مساحة الحالة هي حاصل الضرب الديكارتي لحالة البيئة وحالة الأتمتة. هذا يحول مشكلة المكافأة غير الماركوفية إلى مشكلة ماركوفية يمكن حلها باستخدام خوارزميات التعلم المعزز القياسية.

2. معالجة تفرع المكافأة: CRM-HER

لمعالجة التفرع المتأصل في الأهداف القائمة على المنطق، يجمع البحث بين تقنيتين ضمن إطار عمل نموذج ماركوف للمنتج:

الخبرات المضادة للآلات المكافئة (Counterfactual Experiences for Reward Machines - CRM): تولد هذه التقنية انتقالات اصطناعية عن طريق استبدال حالة DFA الحالية بحالات أخرى يمكن الوصول إليها في الأتمتة، مما يخلق فعلياً سيناريوهات "ماذا لو" لتكثيف إشارة المكافأة.
إعادة تشغيل الخبرة بالنظر إلى الماضي (Hindsight Experience Replay - HER): تعمل HER على تحسين كفاءة العينات عن طريق إعادة تسمية المسارات الفاشلة بأهداف تم تحقيقها بالفعل خلال تلك الحلقات.
التكامل: يكيف المؤلفون تقنية HER مع نموذج ماركوف للمنتج من خلال تعريف "الهدف" كحالة محددة في فضاء المنتج (وهي حالة تحفز الانتقال إلى حالة قبول). يقترحون نهجاً مشتركاً (CRM-HER) حيث يتم تطبيق HER على كل من المسارات الحقيقية والمسارات المضادة للواقع التي تولدها CRM. هذا يستفيد من الطبيعة المهيكلة للأهداف من الدرجة الأولى لتوليد مواصفات الأهداف تلقائياً دون تدخل يدوي.

المساهمات الرئيسية

استخدام LTLfMT لتوصيف المكافأة: يقدم البحث إطار عمل يوسع LTLf إلى LTLfMT، مما يسمح بتوصيف المكافآت مباشرة فوق مجالات البيانات المستمرة أو غير المتجانسة باستخدام نظريات الدرجة الأولى، مما يلغي الحاجة إلى دالات التسمية اليدوية.
تحديد جزء قابل للحوسبة: حدد المؤلفون جزءاً معيناً من LTLfMT خالياً من مشاكل قابلية التقرير (بافتراض أن النظرية الأساسية قابلة للتقرير) ويسمح بالترجمة الفعالة إلى آلات عبر حلّالات SMT.
نهج CRM-HER الموحد: يقدم البحث طريقة مبتكرة للجمع بين الخبرات المضادة للواقع وإعادة تشغيل الخبرة بالنظر إلى الماضي ضمن سياق المكافآت المحددة منطقياً، وهي مصممة خصيصاً لهيكل نموذج ماركوف للمنتج المشتق من LTLfMT.
التحقق التجريبي: تم تقييم إطار العمل في بيئات التحكم المستمر (Parking و Reacher) باستخدام الحساب الحقيقي غير الخطي (NRA). تُظهر التجارب أن النهج المقترح، وخاصة مزيج CRM-HER، يتفوق على النماذج المرجعية (DDPG القياسي، و CRM-only، و HER-only) في المهام ذات الأهداف المعقدة والمتفرقة.

النتائج

أُجريت التجارب باستخدام خوارزمية التدرجات العميقة المحددة حتمياً (DDPG) على بيئة Parking معدلة وبيئة Reacher.

أداء النماذج المرجعية: واجهت خوارزمية DDPG القياسية المطبقة على نموذج ماركوف للمنتج صعوبة كبيرة، حيث فشلت غالباً في تعلم سياسة ناجحة في المهام المعقدة (مثل parking_1 و parking_2) بسبب تفرع المكافأة.
CRM مقابل HER: أدت تقنية CRM وحدها إلى تحسين الأداء في المهام التي كانت فيها بنية الأتمتة هي العائق الأساسي، لكنها قدمت فوائد محدودة عندما كان الهدف نفسه صعب الاكتشاف. أما تقنية HER وحدها فقد عملت بشكل جيد في سيناريوهات اكتشاف الأهداف ولكنها لم تستغل بنية الأتمتة بشكل كامل.
تفوق CRM-HER: حقق النهج المشترك CRM-HER باستمرار أفضل أو أقرب أداء للقمة عبر جميع المهام. والجدير بالذكر أنه في المهام الأكثر تعقيداً (parking_2)، كانت طريقة CRM-HER هي الطريقة الوحيدة القادرة على تعلم سياسة ناجحة. تشير النتائج إلى أن التآزر بين الاستدلال المضاد للواقع (استغلال بنية الأتمتة) والخبرة بالنظر إلى الماضي (استغلال تعميم الهدف) هو أمر جوهري لحل مهام التحكم المستمر ذات المكافآت المتفرقة والمعقدة.

الأهمية والادعاءات

يزعم البحث أن LTLfMT يوفر بديلاً أكثر تعبيراً وقابلية لإعادة الاستخدام لـ LTLf لتوصيف المكافأة، خاصة في المجالات ذات البيانات المستمرة أو غير المتجانسة. ومن خلال نقل التعقيد في الترميز من دالات التسمية اليدوية إلى حلّالات SMT الجاهزة، يقلل إطار العمل من التدخل البشري ويزيد من سرعة تعريف المهام الجديدة.

يؤكد المؤلفون أن نهجهم يسهل بشكل طبيعي تطبيق HER في التعلم المعزز القائم على المنطق. ولأن مواصفات المكافأة تعتمد على صيغ الدرجة الأولى، فإن المتغيرات المستخدمة في الصيغة يمكن أن تعمل مباشرة كأساس لتعريفات الأهداف في HER، مما يتجنب الحاجة إلى هندسة الأهداف اليدوية. ويخلص البحث إلى أن هذا التكامل بين المنطق الرمزي، وحل SMT، وتقنيات التعلم المعزز الحديثة (CRM و HER) يوفر مساراً قوياً لتحديد وتعلم السلوكيات المعقدة غير الماركوفية في سياقات التحكم المستمر، مما يمهد الطريق للعمل المستقبلي في قيود السلامة والتعلم متعدد المهام.