Hierarchical Deep Counterfactual Regret Minimization
تقدم هذه الورقة خوارزمية تقليل الندم المضاد العميق الهرمي (HDCFR)، وهي خوارزمية مبتكرة تدمج تعلم الاستراتيجية الهرمي القائم على المهارة مع خوارزمية (Deep CFR) لتحسين الكفاءة في حل ألعاب المعلومات غير الكاملة واسعة النطاق من خلال تمكين استخدام الخبرات المحددة مسبقاً والمهارات القابلة للنقل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، تأتي بعض التحديات الأكثر صعوبة من الألعاب التي لا يستطيع اللاعبون فيها رؤية اللوحة بأكملها. فكر في طاولة البوكر: أنت تعرف أوراقك والأوراق الموجودة على الطاولة، لكن ليس لديك أدنى فكرة عما يحمله خصمك. هذا النقص في المعلومات الكاملة يخلق مشهداً من عدم اليقين حيث يجب وزن كل قرار مقابل الاحتمالات المخفية. لعقود من الزمن، استخدم الباحثون طريقة تسمى "تقليل الندم المضاد للواقع" لتعليم الحواسيب كيفية لعب هذه الألعاب. المنطق بسيط: بعد انتهاء اللعبة، ينظر الكمبيوتر إلى كل خيار اتخذه ويتساءل: "ماذا لو كنت قد فعلت شيئاً آخر؟" إذا كان تغيير ذلك الخيار سيؤدي إلى نتيجة أفضل، فإن الكمبيوتر يشعر بـ "الندم". وعبر ملايين الألعاب، يتعلم تقليل هذا الندم، ليستقر في النهاية على استراتيجية قوية للغاية بحيث لا يمكن لأي خصم التغلب عليها باستمرار. لقد أنتج هذا النهج بعضاً من أكثر برامج الذكاء الاصطناي المتمرسة في لعب البوكر في التاريخ.
ومع ذلك، تظهر مشكلة كبيرة عندما تصبح اللعبة معقدة للغاية. في متغيرات البوكر البسيطة، يمكن للكمبيوتر رسم كل مسار محتمل قد تسلكه اللعبة. ولكن في النسخ الأكثر تعقيداً ذات التسلسلات الطويلة من اللعب، ينفجر عدد المسارات المحتملة إلى تريليونات. الطريقة التقليدية، التي تتطلب فحص كل مسار بمفرده لحساب الندم، تصبح مستحيلة لأن الكمبيوتر سيحتاج إلى معالجة بيانات أكثر مما هو موجود في الكون. ولحل هذه المشكلة، لجأ الباحثون إلى التعلم العميق، باستخدام الشبكات العصبية لتخمين الحركات الصحيحة دون فحص كل الاحتمالات. ومع ذلك، حتى هذه الأنظمة المتقدمة تعاني عندما تمتد اللعبة عبر أفق طويل، وغالباً ما تضيع في الحجم الهائل من الضوضاء العشوائية الناتجة عن أخذ عينات من عدد قليل فقط من المسارات. فهي تفتقر إلى وسيلة لتنظيم تفكيرها في كتل يمكن إدارتها، تماماً مثل الإنسان الذي يحاول تذكر ألف خطوة فردية بدلاً من التعرف على عدد قليل من الروتينات المألوفة.
قدم فريق من الباحثين من جامعة هونغ كونغ، وجامعة بكين، وجامعة بيردو نهجاً جديداً يسمى "تقليل الندم المضاد للواقع العميق الهرمي"، أو HDCFR، المصمم للتغلب على هذه القيود. يقترح عملهم، المنشور في مقال بحثي، أنه بدلاً من إجبار الذكاء الاصطناعي على تعلم كل حركة صغيرة من الصفر، يجب أن نعلمه تعلم "المهارات" أولاً. في هذا النظام، يتعلم الذكاء الاصطناعي مكونات منخفضة المستوى تعمل كمهارات محددة لحل أجزاء صغيرة من اللعبة، مثل نمط مراهنة معين أو مناورة دفاعية. ثم يعمل مكون عالي المستوى كمدير، يقرر أي مهارة يستخدم في أي لحظة ومتى ينتقل بينها. يحاكي هذا الهيكل طريقة لعب البشر: نحن لا نفكر في كل حركة عضلية عند قيادة السيارة؛ بل نفكر في مصطلحات مثل "الانعطاف يساراً"، أو "تغيير المسار"، أو "التوقف"، وننتقل بين هذه الأهداف عالية المستوى مع تغير الموقف.
بنى الباحثون خوارزميتهم لتعمل في بيئات تكون فيها شجرة اللعبة الكاملة كبيرة جداً بحيث لا يمكن رؤيتها، وهو إعداد يُعرف باسم "بدون نموذج" (model-free). في هذه السيناريوهات، لا يمكن للذكاء الاصطناعي استشراف المستقبل لرؤية كل الاحتمالات؛ يمكنه فقط أخذ عينات من مسارات قليلة والتعلم من النتائج. ولجعل هذا العمل ناجحاً دون أن تصبح عملية التعلم غير مستقرة بسبب التقلبات العشوائية، قدم الفريق تقنية لتقليل التباين. تعمل هذه التقنية كمثبت، مما يساعد الذكاء الاصطناعي على التمييز بين الاستراتيجية الجيدة حقاً وبين مجرد ضربة حظ. وقد أثبتوا رياضياً أن هذه الطريقة الهرمية تتقارب نحو استراتيجية مثالية، مما يعني أن الذكاء الاصطناعي سيتعلم في النهاية اللعب بشكل مثالي، تماماً مثل الطرق القديمة، ولكن مع القدرة الإضافية على التعامل مع ألعاب أعمق وأكثر تعقيداً.
عند اختبارها ضد أقوى الخوارزميات الموجودة في المجال، أظهرت HDCFR ميزة واضحة، لا سيما مع زيادة صعوبة الألعاب. قيم الباحثون نظامهم على عدة نسخ من البوكر، تتراوح من متغير بسيط يحتوي على عدد قليل من الأوراق إلى نسخة معقدة تحتوي على شجرة لعبة تضم أكثر من ثلاثين تريليون عقدة. في الألعاب الأبسط، كان أداء الطريقة الجديدة يضاهي أفضل الأدوات الموجودة. ومع ذلك، عندما أصبحت الألعاب أطول وامتدت آفاق القرار، بدأت الطرق الأخرى في التعثر، وأصبح أداؤها متذبذباً أو فشل في التحسن. في المقابل، استمرت HDCFR في التعلم بفعالية، ووصلت إلى مستوى أعلى من اللعب. وجد الفريق أن الهيكل الهرمي سمح للذكاء الاصطناعي بالحفاظ على الاستقرار حتى عندما امتدت اللعبة، وهو إنجاز لم تستطع طرق التعلم العميق السابقة تحقيقه دون أن تغرق في ضجيج البيانات.
كانت إحدى النتائج الرئيسية للدراسة هي القدرة على نقل المعرفة من مهمة إلى أخرى. قام الباحثون بتدريب الذكاء الاصطناعي على نسخة أبسط من اللعبة ثم طلبوا منه تطبيق ما تعلمه على نسخة أكثر تعقيداً. واكتشفوا أن المهارات منخفضة المستوى التي أتقنها الذكاء الاصطناعي — مثل استراتيجيات مراهنة معينة — يمكن إعادة استخدامها في اللعبة الجديدة والأصعب. وقد سرع هذا الانتقال في المهارات عملية التعلم بشكل كبير. في بعض الحالات، تمكن الذكاء الاصطناعي من التركيز بالكامل على تعلم الإدارة عالية المستوى لهذه المهارات، متجاوزاً الحاجة لإعادة تعلم الأساسيات. يشير هذا إلى أن النظام لا يحفظ لعبة معينة فحسب، بل يتعلم فعلياً مجموعة مرنة من الأدوات التي يمكن تكييفها مع تحديات جديدة. كما لاحظ الباحثون أن الذكاء الاصطناعي تعلم استخدام هذه المهارات لفترات ممتدة، حيث التزم أحياناً باستراتيجية واحدة لعشر خطوات أو أكثر قبل التغيير، مما يعكس الطريقة التي يفكر بها الخبراء البشر من حيث المراحل بدلاً من الأفعال المنعزلة.
تضمنت الدراسة أيضاً نظرة مفصلة لما يحدث عند إزالة أجزاء معينة من النظام. عندما أزال الباحثون الآلية التي تسمح للذكاء الاصطناعي بتمديد المهارات عبر الوقت، عانى النظام في التقارب، تماماً مثل الطرق القديمة. وبالمثل، عندما أزالوا مثبت تقليل التباين، انخفض أداء التعلم بشكل كبير، خاصة في الألعاب الطويلة. أكدت هذه الاختبارات أن كلاً من الهيكل الهرمي وتقنيات تقليل الضوضاء ضروريان لعمل النظام في البيئات العميقة والمعقدة. وأشار الباحثون إلى أنه بينما يتطلب النظام قدرة حوسبة كبيرة للتدريب، حيث يستغرق حوالي أسبوع على خادم قياسي لأكبر الألعاب، فإن النتائج تثبت وجود مسار قابل للتطبيق للذكاء الاصطناعي في الألعاب ذات المساحات الشاسعة.
في نهاية المطاف، يمثل هذا العمل تحولاً في كيفية اقتراب الآلات من اتخاذ القرارات المعقدة في ظل عدم اليقين. فمن خلال تنظيم التعلم في تسلسل هرمي من المهارات والمديرين، خلق الباحثون نظاماً يمكنه التنقل في المشاهد الواسعة والمخفية لألعاب المعلومات الناقصة بشكل أكثر فعالية من أي وقت مضى. تشير النتائج إلى أنه لكي يتمكن الذكاء الاصطناعي من إتقان التحديات الاستراتيجية الأكثر تعقيداً، فقد يحتاج إلى التوقف عن محاولة حساب كل الاحتمالات والبدء في تعلم التفكير من خلال مهارات مهيكلة وقابلة لإعادة الاستخدام. لا يحسن هذا النهج الأداء في الألعاب فحسب، بل يقدم أيضاً مخططاً لكيفية تعلم الوكلاء الأذكياء العمل في العالم الحقيقي، حيث تكون المعلومات غالباً غير كاملة والمستقبل واسعاً جداً بحيث لا يمكن رسم خريطة له بالتفصيل الكامل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.