Learning to Search and Searching to Learn for Generalization in Planning
تقترح هذه الورقة إطار عمل ذاتي التحسين يدمج بين الشبكة العصبية الرسومية العلاقاتية وبحث لتمكين وكلاء التعلم التعزيزي العميق من تحقيق تعميم قوي في حالة الصفر (zero-shot generalization) في مجالات التخطيط ذات المكافآت الشحيحة، مما يحل حالات مشكلات أكبر بكثير دون الحاجة إلى بحث أو عروض توضيحية من خبراء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية حل لغز معقد، مثل لعبة Sokoban ضخمة (حيث تقوم بدفع الصناديق إلى أماكن محددة) أو Blocksworld (تراكم الكتل بترتيب معين).
التحدي الكبير ليس مجرد حل لغز واحد؛ بل هو تعليم الروبوت كيفية حل أي نسخة من هذا اللغز، حتى لو كانت تحتوي على صناديق أكثر، أو مواقع بداية مختلفة، أو أهداف أكبر. وهذا ما يسمى التعميم (Generalization).
إليك كيف يتناول بحث "التعلم للبحث والبحث للتعلم" هذه المشكلة، مشروحاً ببساطة:
1. المشكلة: الضياع في المتاهة
في التعلم المعزز العميق القياسي (Deep Reinforcement Learning)، يتعلم الروبوت عادةً عبر اتخاذ خطوة واحدة، ورؤية ما سيحدث، ثم اتخاذ خطوة أخرى. هذا يشبه المشي عبر متاهة مظلمة عن طريق تحسس الجدار بيدك.
- المشكلة: في ألغاز التخطيط هذه، تكون "المكافآت" (إيجاد الحل) نادرة جداً. إذا ظل الروبوت يتجول عشوائياً، فقد يستغرق مليون سنة للعثور على المخرج. إنه يعلق في طرق مسدودة أو حلقات مفرغة.
- الطريقة القديمة: تحاول بعض الطرق إظهار الحل للروبوت أولاً (مثل المعلم الذي يظهر نموذج الإجابة)، لكن هذا يعتبر غشاً. وتحاول طرق أخرى التعلم عبر المشي من الهدف إلى الخلف، وهو ما لا ينجح دائماً في هذه الأنواع المحددة من الألغاز المنطقية.
2. الحل: "الخريطة الذكية" و"حلقة التحسين الذاتي"
يقترح المؤلفون طريقة جديدة تسمى GSP (البحث المعمم للتخطيط). بدلاً من المشي بعشوائية، يمنحون الروبوت قوتين خارقتين تساعد كل منهما الأخرى:
أ. "الخريطة الذكية" (الدالة الكشفية - Heuristic)
تخيل أن الروبوت يمتلك خريطة سحرية (شبكة عصبية) تنظر إلى اللغز الحالي وتخمن: "إذا دفعت هذا الصندوق هنا، فإلى أي مدى سأقترب من خط النهاية؟"
- هذه الخريطة لا تخمن فحسب؛ بل تتعلم من الخبرة.
- والأهم من ذلك، أن هذه الخريطة مبنية باستخدام الشبكات العصبية الرسومية العلاقاتية (Relational Graph Neural Networks). تخيل قطع اللغز (الكتل، الصناديذ) كشخصيات في قصة. الخريطة تفهم العلاقات بينها (مثلاً: "الصندوق أ فوق الصندوق ب") بدلاً من رؤيتها كمجرد بكسلات. وهذا يسمح للخريطة بفهم القواعد حتى لو أصبح اللغز ضخماً.
ب. "البحث الذكي" (المستكشف)
بدلاً من اتخاذ خطوة واحدة في كل مرة، يستخدم الروبوت بحثاً يعتمد على الأفضل أولاً (Best-First Search) (تحديداً خوارزمية تسمى WA*).
- التشبيه: تخيل أنك تبحث عن كلب مفقود في غابة.
- التعلم المعزز القياسي (البحث في الوقت الفعلي): تختار مساراً عشوائياً، تمشي 10 خطوات، ثم تتحقق مما إذا كان الكلب هناك. إذا لم يكن كذلك، تعود وتجرب مساراً عشوائياً آخر. أنت تهدر الكثير من الطاقة.
- طريقة GSP (البحث بالأفضل أولاً): تنظر إلى خريطتك الذكية. هي تشير لك إلى أكثر 5 مسارات واعدة. أنت تستكشف هذه المسارات جميعها دفعة واحدة في عقلك، لتتحقق من أي منها يبدو الأفضل. أنت لا تلتزم بالمسار إلا عندما تؤكد لك الخريطة أنه الأكثر احتمالاً للوصة إلى الكلب.
3. الحلقة السحرية: "التعلم للبحث، والبحث للتعلم"
هذا هو الابتكار الجوهري. الجزءان أعلاه يغذيان بعضهما البعض في دورة:
- البحث للتعلم: يستخدم الربوت خريطته الذكية الحالية (التي قد تكون غير كاملة) لإجراء بحث ذكي على لغز ما. فيجد حلاً (أو يقترب منه).
- البيانات: عملية البحث تولد كنزاً من البيانات: "عندما كنت في هذا الموقف، فإن اتخاذ ذلك الإجراء أدى إلى حل".
- التعلم للبحث: يستخدم الروبوت هذه البيانات الجديدة لـ تحديث وتحسين الخريطة الذكية. تصبح الخريطة أفضل في تخمين الحركات الجيدة.
- التكرار: الآن، مع خريطة أفضل، يمكن للروبوت البحث في ألغاز أصعب بكما هو أكثر كفاءة. البحث يجد بيانات أفضل، مما يجعل الخريطة أكثر ذكاءً.
إنها دورة تحسين ذاتي: البحث يعلم الخريطة، والخريطة توجه البحث.
4. النتائج: حل المستحيل
اختبر البحث هذه الطريقة على بعض الاختبارات الصعبة للغاية:
- Blocksworld: تم تدريب الروبوت على ألغاز تحتوي على أقل من 30 كتلة. وعند اختباره على لغز يحتوي على 488 كتلة (قفزة هائلة في الحجم)، قام بحله دون الحاجة إلى البحث أصلاً. لقد نظر إلى الخريطة وعرف تماماً ما يجب فعله. وهذا ما يسمى "التعميم الصفري" (Zero-shot generalization).
- Sokoban & The Witness: حل ما يقرب من 100% من هذه الألغاز المعقدة، وغالباً ما وجد الحلول بشكل أسرع (بخطوات أقل) من أفضل طرق الذكاء الاصطناعي الأخرى.
- PushWorld: تعامل مع مستويات جديدة وأكثر صعوبة لم يسبق له رؤيتها، متفوقاً على الذكاء الاصطناعي القياسي الذي يعتمد على الاستكشاف العشوائي.
الملخص
يقدم البحث نظاماً حيث يتعلم الذكاء الاصطناعي حل الألغاز المنطقية باستخدام خريطة ذكية قائمة على التعلم لتوجيه بحث منهجي.
- بدلاً من التخبط عشوائياً، يستخدم الخريطة لاختيار أفضل المسارات.
- بدلاً من مجرد حفظ لغز واحد، يتعلم العلاقات بين الأشياء بحيث يمكنه حل ألغاز بأي حجم.
- البحث والتعلم يعززان بعضهما البعض، مما يخلق روبوتاً يصبح أفضل في حل المشكلات الجديدة وغير المرئية ببساه عبر التدرب على المشكلات القديمة.
باختصار: لقد علموا الذكاء الاصطناعي التوقف عن التخمين والبدء في التخطيط، ثم علموا المخطط كيف يتعلم من تخطيطه الخاص.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.