💻 computer science

Active Reward Machine Inference From Raw State Trajectories

تقترح هذه الورقة طريقة لتعلم آلات المكافأة مباشرة من مسارات الحالة والسياسة الخام دون الوصول إلى المكافآت أو الملصقات، مع تقديم إطار عمل للتعلم النشط لاستعلام امتدادات المسار بشكل تدريجي لتحسين كفاءة البيانات والحوسبة.

المؤلفون الأصليون: Mohamad Louai Shehab, Antoine Aspeel, Necmiye Ozay

نُشر 2026-04-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mohamad Louai Shehab, Antoine Aspeel, Necmiye Ozay

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية القيام بمهمة معقدة، مثل تنظيف منزل فوضوي. لا تكتفي بمجرد قول "نظف المنزل"، بل عليك تقسيم المهمة: "التقط الألعاب، ثم استخدم المكنسة الكهربائية على السجادة، ثم امسح الطاولة".

في عالم الروبوتات، يُطلق على هذه "الوصفة" غالباً اسم آلة المكافأة (Reward Machine). وهي تشبه المخطط الانسيابي الذي يقول: "إذا رأيت لعبة، انتقل إلى مرحلة 'الالتقاط'. إذا رأيت سجادة نظيفة، انتقل إلى مرحلة 'التنظيف بالمكنسة'".

المشكلة: لغز "الصندوق الأسود"

عادةً ما يقوم خبير بشري برسم هذا المخطط يدوياً. يتعين عليه تحديد ما الذي يُعتبر "لعبة" بالضبط (تسمية/Label)، وما هي الخطوة التالية. ولكن في عالم حقيقي وفوضوي، يكون هذا الأمر صعباً للغاية. ماذا لو رأى الروبوت كرة حمراء؟ هل هي لعبة؟ أم أنها قطعة زينة؟ إذا أخطأ الإنسان في رسم المخطط، فقد يرتبك الروبوت أو يفعل الشيء الخاطئ.

السؤال الكبير الذي تطرحه هذه الورقة البحثية هو: هل يمكننا تعليم الروبوت كيف يستنتج المخطط الانسيابي بنفسه، فقط من خلال مراقبة عمله، دون أن نخبره ما هي الخطوات أو كيف تبدو "الألعاب"؟

الحل: المحقق ولعبة "ماذا لو"

يقترح المؤلفون طريقة ذكية تعمل كالمحقق. إليكم كيف يفعلون ذلك، باستخدام تشبيهات بسيطة:

1. "ذاكرة" الروبوت

تخيل أن الروبوت يسير عبر متاهة. هو لا يرى فقط بلاطة الأرض التي يقف عليها؛ بل يتذكر المسار الذي سلكه للوصول إلى هناك.

الطريقة القديمة: كان الباحثون يحتاجون عادةً إلى "ورقة غش" (تسميات) تخبرهم: "هذه البلاطة هي جدار"، "ذلك الباب هو باب".
الطريقة الجديدة: تقول هذه الورقة: "لا حاجة لأوراق الغش!" نحن نحتاج فقط إلى مسار الروبوت (البيانات الخام لمكانه). وعلينا تخمين قواعد المتاهة فقط من خلال مراقبة أين ذهب.

2. "المثال السلبي" (لحظة "مهلاً، هذا خطأ!")

يعتمد جوهر طريقتهم على إيجال التناقضات.
تخيل أنك تحاول تخمين رمز سري. تجرب مساراً، ويتصرف الروبوت بطريقة معينة. ثم تجرب مساراً مختلفاً قليلاً، ويتصرف الروبوت بشكل مختلف.

الاستنتاج: إذا تصرف الروبوت بشكل مختلف، فلا بد أنه في "حالة ذهنية" أو "مرحلة" مختلفة من المهمة.
التشبيه: فكر في لعبة فيديو. إذا ضغطت على زر "قفز" وأنت تقف على أرض مستوية، فستقفز. أما إذا ضغطت على "قفز" وأنت تقف على سلم، فقد تتسلق. رد فعل الروبوت يخبرك أن "الأرض" و"السلم" شيئان مختلفان في منطق اللعبة، حتى لو بدا كلاهما متشابهاً أمام الكاميرا.

تستخدم الورقة البحثية "حلال ألغاز رياضياً" (يسمى SAT) لإيجاد مخطط انسيابي يشرح لماذا تصرف الروبوت بشكل مختلف في هاتين الحالتين.

3. خدعة "التعلم النشط" (الاختبار الذكي)

إليك الاختراق الأكبر. إذا حاولت مراقبة الروبوت وهو يسلك كل المسارات الممكنة في المتاهة، فسينفد منك الوقت والذاكرة. عدد المسارات ينمو بشكل أسي (مثل شجرة تتفرع إلى ما لا نهاية).

أدرك المؤلفون أنك لست بحاجة لرؤية كل مسار. أنت تحتاج فقط لرؤية المسارات الصحيحة.

التشبيه: تخيل أنك تحاول تخمين الفيلم المفضل لصديقك.
- الطريقة الشاملة: تسأله: "هل تحب كل فيلم صُنع على الإطلاق؟" (هذا يستغرق وقتاً طويلاً وهو أمر مستحيل).
- الطريقة النشطة: تسأله: "هل تحب أفلام الأكشن؟" إذا قال نعم، فأنت تعرف فوراً أن تتوقف عن السؤال عن أفلام الرعب. أنت تطرح السؤال المحدد الذي يقسم الاحتمالات إلى النصف.

تقوم خوارزمية الورقة البحثية بهذا بالضبط. فهي تنظر إلى آلاف المسارات التي يمكن للروبوت اتخاذها، وتختار المسارين الأكثر احتمالاً لإرباك التخمينات الحالية، وتسأل: "مهلاً، إذا سلك الروبوت المسار (أ) مقابل المسار (ب)، هل سيتصرف بشكل مختلف؟"

إذا كانت الإجابة نعم، فهذه إشارة ضخمة! فهي تستبعد نصف النظريات الخاطئة فوراً.
إذا كانت الإجابة لا، فهي لا تزال مفيدة، لكنها أقل دراماتيكية.

لماذا يهم هذا الأمر؟

هذه خطوة هائلة للأمام لأنها:

لا وجود للانحياز البشري: لا نحتاج لتخمين ما يجب أن يبحث عنه الروبوت. الروبوت يستنتج "مفرداته" الخاصة (ما الذي يُعد "التقاط" وما الذي يُعد "إفلات").
الكفاءة: من خلال طرح "الأسئلة الذكية" فقط (التعلم النشط)، لا يتعطل الكمبيوتر بسبب محاولة معالجة الكثير من البيانات. إنه يوفر كميات هائلة من الذاكرة والوقت.
جاهز للعالم الحقيقي: إنها تقربنا من روبوتات يمكنها تعلم مهام متعددة الخطوات ومعقدة بمجرد مشاهدة خبير يقوم بها مرة واحدة، دون الحاجة إلى دليل مكتوب بلغة بشرية.

باختصار

تتعلق الورقة البحثية بتعليم الروبوت كيف يكتب دليل تعليمات خاص به. بدلاً من إعطائه الدليل، نحن نراقبه وهو يعمل، ونرصد اللحظات التي يتغير فيها سلوكه، ونستخدم "اختباراً ذكياً" لمعرفة القواعد الخفية للعبة. الأمر يشبه الهندسة العكسية لوصفة سرية بمجرد تذوق الطبق النهائي والسؤال: "ماذا سيحدث لو أضفت الملح بدلاً من السكر؟"

إليك ملخص تقني مفصل للورقة البحثية بعنوان "استنتاج آلات المكافأة النشطة من مسارات الحالة الخام" (Active Reward Machine Inference From Raw State Trajectories) من تأليف شهاب، وأسبيل، وأوزاي.

1. بيان المشكلة

تتناول الورقة البحثية تحدي تعلم آلات المكافأة (Reward Machines - RMs) مباشرة من مسارات الحالة الخام في نظام يفتقر إلى المعلومات.

السياق: آلات المكافأة هي أجهزة ذات حالات محدودة (finite-state automata) تُستخدم لتمثيل المهام متعددة المراحل في الروبوتات. وهي تشفر تقدم المهمة عبر انتقالات يتم تحفيزها بواسطة أحداث عالية المستوى (قضايا ذرية). عادةً، تتطلب آلات المكافأة من خبير بشري تحديد هيكل الأوتوماتون ودالة التسمية (labeling function) التي تربط الحالات منخفضة المستوى بالقضايا عالية المستوى.
الفجوة: تفترض الطرق الحالية لتعلم آلات المكافأة عادةً إمكانية الوصول إلى تسميات حقيقية (ground-truth labels)، أو إشارات مكافأة، أو "أوراكل" (oracle). بعض الطرق تتعلم من العروض التوضيحية (demonstrations) ولكنها لا تزال تعتمد على دالة تسمية محددة مسبقاً.
المشكلة الجوهرية: يهدف المؤلفون إلى تعلم كل من هيكل آلة المكافأة (الانتقالات) ودالة التسمية في آن واحد، باستخدام فقط:
1. نموذج عملية ماركوف لاتخاذ القرار (MDP) (الحالات وديناميكيات الانتقال).
2. سياسة التاريخ ( $\pi_h$ )، التي تلتقط سلوك الوكيل بناءً على تسلسل الحالات الملحوظة (دون الوصول إلى المكافآت، أو التسميات، أو عقد آلة المكافأة الداخلية).
التحدحدي: هذه المشكلة غير محددة جيداً (ill-posed) لأن العديد من أزواج (آلة المكافأة/دالة التسمية) يمكن أن تستحث نفس السياسة المثلى. الهدف هو إيجال آلة مكافأة أدنى (minimal) تكون مكافئة للسياسة (policy-equivalent) للحقيقة.

2. المنهجية

يتكون الإطار المقترح من ثلاثة مكونات رئيسية: تعريف رسمي للمشكلة، ومحرك استنتاج قائم على حل مشكلات القابلية للتحقق من الأقمار الصناعية (SAT)، واستراتيجية تعلم نشط للتعامل مع قابلية التوسع.

أ. الصياغة الرسمية: سياسة التاريخ والتكافؤ

سياسة التاريخ ( $\pi_h$ ): تُعرف بأنها السياسة المشروطة بالحالة الحالية $s$ وتاريخ الحالات $\tau$ . وهي تمثل سلوك الوكيل دون معرفة صريحة بحالة آلة المكافأة.
تكافؤ السياسة: تُعتبر آلات المكافأة المسمّاة متكافئة إذا استحثت نفس سياسة التاريخ. والهدف هو إيجاد أصغر آلة مكافأة ضمن هذه الفئة المتكافئة.
الأمثلة السلبية: يمثل "الأمثلة السلبية" القيد الأساسي للتعلم. إذا أدت مسارات حالتان $\tau$ و $\tau'$ إلى أفعال مختلفة في سياسة التاريخ لنفس الحالة $s$ (أي أن $\pi_h(a|s, \tau) \neq \pi_h(a|s, \tau')$ )، فإن آلة المكافأة الكامنة يجب أن تكون قد انتقلت إلى عقد مختلفة بعد معالجة هذه المسارات.

ب. الاستنتاج القائم على SAT (التعلم السلبي)

صاغ المؤلفون تعلم دالة الانتقال ( $\delta_u$ ) ودالة التسمية ( $L$ ) كمسألة إرضاء بوليني (Boolean Satisfiability - SAT).

الترميز: يتم ترميز دالة الانتقال ودالة التسمية كمتغيرات ثنائية.
القيود:
1. الوظيفية (Functionality): تضمن أن $\delta_u$ و $L$ هما دالتان صالحتان (مخرج واحد لكل مدخل).
2. التثبيت (Anchoring): تثبيت العقدة الأولية وتسمية الحالة الأولية لكسر التماثل (permutation invariance).
3. التوافق (Compatibility): تفرض أنه لكل زوج من الأمثلة السلبية $\{\tau, \tau'\}$ ، يجب أن تكون عقد آلة المكافأة الناتجة متميزة ( $\delta^*_u(u_I, L(\tau)) \neq \delta^*_u(u_I, L(\tau'))$ ).
العمق الكافي ( $l^*$ ): تثبت الورقة الخاصية 1، حيث تؤكد وجود عمق كافٍ $l^* = |S| \cdot u_{max}^2$ . إذا كانت مسألة SAT قابلة للتحقق عند هذا العمق، فهي قابلة للتحقق لجميع الأعماق الأكبر. وهذا يضمن أن سياسة التاريخ تحتوي على معلومات كافية لتحديد الهيكل الأدنى لآلة المكافأة بشكل فريد (حتى إعادة التسمية).

ج. خوارزمية التمديد النشط

هناك عقبة رئيسية تتمثل في النمو الأسي لمسارات الحالة، مما يجعل تخزين جميع الأمثلة السلبية أمراً غير ممكن (عقبة الذاكرة). يقترح المؤلفون نهج التعلم النشط للتخفيف من ذلك:

الاستراتيجية: بدلاً من تعداد جميع المسارات، تقوم الخوارزمية بالاستعلام عن تمديدات مسارات محددة بشكل تكراري.
إزالة الحجم (Volume Removal): تختار الخوارزمية أزواج المسارات $\{\tau, \tau'\}$ ${τ, τ^{'}}$ الأكثر احتمالاً لتقسيم مجموعة الحلول المتاحة الحالية (المرشحة لآلات المكافأة) إلى نصفين.
- تقوم بأخذ عينة من مجموعة فرعية من حلول SAT المتاحة حالياً.
- تبحث عن أزواج المسارات حيث يتنبأ نصف المرشحين بنفس العقدة (انهيار/collapse) ويتنبأ النصف الآخر بعقد مختلفة (انفصال/separation).
الاستعلام: يستعلم النظام عن سياسة التاريخ لهذه الأزوات المحددة. إذا تم تأكيدها كأمثلة سلبية، يتم إضافتها إلى قيود SAT، مما يؤدي إلى تقليص فضاء الفرضيات بشكل كبير.
الكفاءة: يتجنب هذا النهج تخزين ملايين المسارات، ويركز فقط على المسارات "المعلوماتية" اللازمة لاستبعاد الفرضيات الخاطئة.

3. المساهمات الرئيسية

الاستنتاج في بيئة تفتقر للمعلومات: أول إطار عمل لتعلم كل من هيكل آلة المكافأة ودالة التسمية من الصفر باستخدام فقط مسارات الحالة الخام وسياسة التاريخ، دون الحاجة لمكافآت أو تسميات أو ملاحظات للعقد.
ضمانات نظرية: إثبات وجود عمق كافٍ ( $l^*$ ) للتعلم، مما يضمن أن المشكلة قابلة للحل إذا توفر تاريخ كافٍ للمسارات.
التعلم النشط لآلة المكافأة: تقديم خوارزمية تمديد نشطة تستخدم استراتيجية "إزالة الحجم" لاختيار أزواج المسارات المعلوماتية، مما يقلل بشكل كبير من المتطلبات الذاكرية والحسابية مقارنة بالتعداد الشامل.
التعلم المشترك: صياغة مسألة SAT موحدة تحل انتقالات الأوتوماتون ودالة تسمية الحالة في آن واحد.

4. النتائج التجريبية

تم اختبار الإطار في مهمتين في عالم الشبكة (grid-world): الالتقاط والإسقاط (Pick-and-Drop) و الدورية (Patrol (A→B→C→D)).

دقة الاستعادة:
- في مهمة الالتقاط والإسقاط، استعادت الخوارزمية آلة المكافأة الأصلية ودالة التسمية (حتى إعادة التسمية) باستخدام سياسة تاريخ بعمق 9.
- في مهمة الدورية، نجحت في استعادة الهيكل الصحيح وتجميع خلايا الشبكة في قضايا.
أداء التعلم النشط:
- التقارب: حققت الطريقة النشطة التقارب نحو مجموعة الحلول الحقيقية بنسبة 100% (عند $N_{active}=100$ ) بعمق 12، بينما فشل خط الأساس العشوائي في إيجاد قيود مقيدة حتى العمق 20.
- كفاءة الذاكرة: تطلب النهج الشامل 24.76 جيجابايت لتخزين حوالي 414 مليون مثال سلبي عند العمق 9. قللت الطريقة النشطة هذا الرقم إلى 0.147 جيجابايت (تقليل بمقدار ~168 ضعف) من خلال تخزين حوالي 0.29 مليون مثال فقط عند أفق أعمق (العمق 13).
- وقت التشغيل: حققت الطريقة النشطة تسريعاً بمقدار ضعفين (2x) في إجمالي وقت التشغيل (3544 ثانية مقابل 7185 ثانية) مقارنة بالأساس الشامل، وذلك أساساً من خلال تقليل الوقت المستغرق في حل حالات SAT كبيرة.

5. الأهمية والعمل المستقبلي

القابلية للتوسع: يثبت هذا العمل أن تعلم هياكل المهام المعقدة متعددة المراحل أمر ممكن دون معرفة رمزية مقدمة من البشر أو إشارات مكافأة، بشرما توفرت إمكانية ملاحظة سياسة الوكيل.
الذاكرة في التعلم التعزيزي: تساهم الورقة في الفهم النظري للذاكرة في اتخاذ القرار التسلسلي، حيث تميز بين الذاكرة المطلوبة للإدراك الجزئي والذاكرة المطلوبة لهيكل المهمة (المنطق الزمني).
القيود والتوجهات المستقبلية:
- تفترض الصياغة الحالية مساحات حالة منفصلة وإمكانية الوصول إلى سياسة التاريخ المثلى.
- يهدف العمل المستقبلي إلى التعامل مع أخطاء التقدير في سياسة التاريخ (الناتجة عن البيانات المحدودة) وتوسيع الإطار ليشمل المجالات المستمرة/الإدراكية (مثل تعلم التسميات من الصور).
- التحقيق في معايير الإنهاء بناءً على تكافؤ السياسة بدلاً من مجرد الحد الأدنى للهيكل.

باخت مختص، توفر هذه الورقة طريقة صارمة وقابلة للتوسع وتلقائية للهندسة العكسية للهيكل المنطقي للمهام الروبوتية المعقدة مباشرة من السلوك الملحوظ، مما يزيل عائقاً كبيراً أمام نشر التعلم القائم على المكافأة في البيئات الواقعية.