Neurosymbolic Reasoning with Incremental Knowledge for Sample Efficient Hierarchical Reinforcement Learning
تقترح هذه الورقة إطار عمل للتعلم التعزيزي الهرمي العصبي الرمزي يدمج المعرفة التزايدية (InK) والبحث في شجرة عالم الاعتقاد لتمكين التخطيط الرمزي القابل للتحديث والتعلم العصبي المشكل بالمكافأة، مما يؤدي إلى تحسين كفاءة العينة بشكل كبير في مهام الملاحة ذات الأفق الطويل والمكافآت الشحيحة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا كيفية التنقل في متاهة عملاقة ومتغيرة. في عالم الذكاء الاصطناائي، يعد هذا تحديًا كلاسيكيًا يُعرف باسم "التعلم التعزيزي" (Reinforcement Learning - RL). فكر في الأمر كتدريب كلب؛ أنت تعطيه مكافأة عندما يفعل شيئًا صحيحًا، وهو يتعلم تكرار ذلك الفعل. ولكن إليك العقبة: إذا كانت المتاهة ضخمة والمكافآت مخبأة بعيدًا جدًا، فقد يظل الكلب يتجول لمليون سنة قبل أن يعثر بالصدفة على الطريق. هذه هي مشكلة "كفاءة العينات" (sample efficiency)—كم عدد المحاولات التي يحتاجها الذكاء الاصطناعي للتعلم؟
لحل هذه المشكلة، غالبًا ما يستخدم العلماء "التعلم التعزيزي الهرمي" (Hierarchical Reinforcement Learning - HRL). فبدلاً من محاولة جعل الروبوت يفهم كل خطوة بمفردها دفعة واحدة، تعطي له "رئيسًا" و"عاملاً". يقرر "الرئيس" (المخطط عالي المستوى) الأهداف الكبيرة، مثل "اذهب إلى المطبخ"، بينما يكتشف "العامل" (المتحكم منخفض المستوى) الحركات العضلية الدقيقة للوصول إلى هناك. عادةً ما يكون الرئيس عبارة عن خريطة جامدة مبرمجة مسبقًا ولا تتغير أبدًا. ولكن ماذا لو كانت المتاهة تحتوي على جدران سرية لا تظهر إلا عند الاصطدام بها؟ سيستمر الرئيس الجامد في محاولة المشي عبر جدار ظهر للتو، مما يهدر الوقت. يستكشف هذا البحث طريقة أكثر ذكاءً: روبوت يتعلم الخريطة أثناء حركته، ويقوم بتحديث خريطة رئيسه في الوقت الفعلي بناءً على ما يكتشفه العامل.
فكرة البحث الكبرى: روبوت يتعلم أثناء المسير
يقترح المؤلفون، سوبرات بريساد باندا وفريقه، نظامًا جديدًا يسمى التعلم التعزيزي الهرمي العصبي الرمزي ذو المعرفة المتزايدة (Neurosymbolic HRL with Incremental Knowledge - InK). دعونا نفكك الاسم: "عصبي رمزي" (Neurosymbolic) تعني أنهم يمزجون بين نوعين من الأدمغة. الجزء "العصبي" هو دماغ مرن وقابل للتعلم (مثل الشبكة العصبية للتعلم العميق) الذي يتعامل مع الحركات الفيزيائية. أما الجزء "الرمزي" فهو دماغ منطقي قائم على القواعد، يتعامل مع التخطيط، مثل لاعب شطرنج يفكر مسبقًا.
في الأنظمة التقليدية، يبني الدماغ المنطقي خريطة مثالية للعالم قبل أن يبدأ الروبوت في التحرك. الأمر يشبه محاولة حفظ خريطة مترو لندن بالكامل قبل مغادرة منزلك. إذا كان خط قطار مغلقًا أو افتتحت محطة جديدة، فستصبح خريطتك عديمة الفائدة حتى تبدأ من جديد. يجادل المؤلفون بأن هذا غير فعال. بدلاً من ذلك، يستخدم الروبوت الخاص بهم المعرفة المتزايدة (InK). يبدأ بصفحة بيضاء أو تخمين تقريبي. وبينما يحاول الروبوت "العامل" التحرك ويصطدم بجدار، فإنه يخبر "الرئيس": "مهل، هناك جدار هنا!". يقوم الرئيس فورًا بتحديث خريطة ويُعيد حساب المسار الأفضل. إنه يشبه امتلاك نظام GPS يحدث مسارك في اللحظة التي تصطدم فيها بازدحام مروري، بدلاً من أن يظل عالقًا في انتظار طباعة خريطة جديدة.
"عالم الاعتقاد" والبحث في الشجرة
يقدم البحث حيلة ذكية للتعامل مع عدم اليقين. تخيل أنك في غرفة مظلمة وتعلم أن هناك جدارًا واحدًا بالضبط في مكان ما، لكنك لا تعرف أين. يمكنك التخمين بأنه على اليسار، أو اليمين، أو المنتصف. الروبوت لا يختار مجرد تخمين واحد؛ بل يحتفظ بـ "مجموعة اعتقاد" (belief set)—وهي قائمة ذهنية لجميع العوالم الممكنة التي يمكن أن يكون الجدار موجودًا فيها.
لاتخاذ القرارات في ضباب عدم اليقين هذا، طور المؤلفون خوارزمية تسمى البحث في شجرة عالم الاعتقاد (Belief World Tree Search - BWTS). تخيل شجرة ضخمة تنمو في عقلك. الجذع هو موقعك الحالي. في كل مرة تضطر فيها لاختيار اتجاه، تتفرع الشجرة. ولكن المفاجأة هي: بدلًا من مجرد تخمين مسار واحد، تقوم BWTS بمحاكاة آلاف المستقبلات الممكنة في وقت واحد. تسأل: "إذا كان الجدار هنا، فما هي أفضل حركة؟ إذا كان الجدار هناك، فما هي أفضل حركة؟". ثم تختار الحركة التي تعمل بشكل أفضل في المتوسط عبر كل تلك الاحتمالات.
يجادل البحث صراحةً ضد استخدام طرق التخمين "العشوائي" القياسية (مثل بعض الخوارزميات القديمة التي تكتفي برمي النرد لترى ما سيحدث). وجد المؤلفون أن التخمين العشوائي في المتاهة غالبًا ما يجعل الروبوت يدور في دوائر، مما يهدر الوقت. بدلاً من ذلك، تستخدم BWTS "عمليات تشغيل استراتيجية" (strategic rollouts)—فهي تحاكي مسارات باستخدام استراتيجيات ذكية ومخطط لها مسبقًا (مثل "دائمًا امسح جهة اليسار إذا اصطدمت بجدار") لتحديد المسار الأفضل بسرعة دون أن تضيع.
ما وجدوه: السرعة والذكاء
اختبر الفريق فكرتهم في محاكاة حاسوبية للمتاهات، تتراوح من الشبكات البسيطة إلى البيئات ثلاثية الأبعاد المعقدة مع روبوت "نملة" افتراضي لديه العديد من المفاصل.
- مكاسب هائلة في السرعة: عند مقارنتها بالطريقة القديمة "ابنِ الخريطة أولاً" (والتي تسمى RGL في البحث)، كانت طريقة InK الجديدة أسرع بكثير في التعلم. في متاهة "الغرف الأربع" (Four Rooms)، احتاجت الطريقة القديمة إلى حوالي 2,080 خطوة للوصول إلى الهدف لأول مرة من الصفر. بينما احتاجت طريقة InK الجديدة إلى 64.9 خطوة فقط. هذا يعني حوالي 30 إلى 100 ضعف أقل من المحاولات.
- توفير الوقت: كان الفرق في الوقت أكثر وضوحًا. استغرقت الطريقة القديمة أكثر من 96 ثانية لمجرد اكتشاف المسار الأول. بينما حققت الطريقة الجديدة ذلك في 0.02 ثانية.
- قوة المعرفة المسبقة: عندما أُعطي الروبوت تلميحًا عن العالم (مثل "هناك جدار في مكان ما، لكني لا أعرف أين")، تألقت خوارزمية BWTS. في هذه الحالات، استخدمت نصف عدد العينات (المحاولات) مقارنة بالمخطط القياسي، رغم أنها استغرقت وقتًا أطول قليلاً في الحسابات الحاسوبية المعقدة.
- البيئات المعقدة: عمل النظام حتى في "متاهة النملة - غرفة U" (Ant-Maze U-Room)، وهي تحدٍ عالي الأبعاد يحتوي على 29 بُعدًا من الحركة. احتاجت الطريقة القديمة إلى حوالي 10,000 خطوة لبناء خريطتها، بينما وصل المنهج الجديد إلى الهدف في حوالي 1,507 خطوة (أو حتى 1,134 خطوة باستخدام مخطط BWTS).
ما لم يجدوه (وما رفضوه)
يحرص البحث على توضيح ما لا يعمل جيدًا في هذا الإعداد المحدد. لقد اختبروا خوارزمية شائعة تسمى BAMCP، والتي تحاول التعامل مع عدم اليقين بافتراض أن كل جزء من المتاهة مستقل (مثل افتراض أن الجدار في المطبخ ليس له علاقة بالجدار في غرفة النوم). وجد المؤلفون أن هذا النهج فشل فشلاً ذريعًا في اختبارات المتاهة الخاصة بهم. نظرًا لأن الجدران كانت مرتبطة هيكليًا (إذا كان هناك جدار هنا، فلا يمكن أن يكون هناك جدار هناك)، فإن افتراض الاستقلال أدى إلى قرارات سيئة وإضاعة للوقت. استغرقت BAMCP ما معدله 28 إلى 40 خطوة حيث استغرقت الطريقة الجديدة 21 إلى 23 خطوة، كما كانت أبطأ بكثير في التشغيل.
يشير المؤلفون أيضًا إلى أنه على الرغم من أن طريقتهم أسرع، إلا أن خوارزمية BWTS ثقيلة حاسوبيًا. إذا لم يكن لديك أي معرفة مسبقة عن العالم، فإن مخطط "D*" الأبسط (وهو مخطط تراكمي قياسي) يكون في الواقع أسرع وكافيًا. أنت تحتاج فقط إلى بحث الشجرة المتطور BWTS إذا كان لديك تلميحات هيكلية محددة حول العالم لاستغلالها.
الخلاصة
يشير هذا البحث إلى أنه من خلال دمج دماغ تعلم مرن مع مخطط منطقي يحدث خريطته في الوقت الفيد، يمكن للروبوتات تعلم التنقل في عوالم معقدة وغير معروفة بشكل أسرع بكثير من ذي قبل. لم يكتفوا بمحاكاة روبوت فحسب، بل أظهروا أنه في سيناريوهات المتاهة هذه، تتفوق الطريقة الجديدة باستمرار على نهج "تعلم كل شيء أولاً"، مما يوفر كميات هائلة من الوقت والجهد. إنها خطوة نحو روبوتات يمكنها استكشاف منزل جديد، ومعرفة مكان الأثاث، والعثور على المطبخ دون الحاجة إلى دليل لكل غرفة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.