Interpretable reinforcement learning with decision-tree pruning

الصندوق الأسود والمخطط الهندسي

تخيل أنك تعلم روبوتاً كيف يمشي، أو يلعب الشطرنج، أو يوازن عصا على عربة. أنت لا تكتب الكود لكل حركة منفردة؛ بدلاً من ذلك، تترك الروبوت يتعلم من خلال التجربة والخطأ، فتكافئه عندما ينجح وتعاقبه عندما يفشل. هذا هو التعلم المعزز (Reinforcement Learning)، وهو فرع من فروع الذكاء الاصطناعي حيث تتعلم الوكلاء البرمجية اتخاذ القرارات من خلال التفاعل مع البيئة. والنتيجة غالباً ما تكون "سياسة" (policy)—وهي مجموعة من التعليمات التي يتبعها الروبوت. ومع ذلك، فإن السياسات الأكثر قوة عادة ما تكون مخفية داخل شبكات عصبية ضخمة ومعقدة. فكر في هذه الشبكات ككرة ضخمة ومتشابكة من الخيوط أو كـ "صندوق أسود". يمكنك رؤية الروبوت وهو يتصرف، ولكن إذا سألته لماذا اتخذ حركة معينة، فإن الإجابة مدفونة في ملايين الروابط غير المرئية. هذه مشكلة لأننا، في العالم الحقيقي، نحتاج إلى الثقة في هذه الروبوتات. فإذا ارتكبت سيارة ذاتية القيادة أو ذكاء اصطناعي طبي خطأً ما، فنحن بحاجة إلى القدرة على النظر داخل الصندوق الأسود، وفهم المنطق، وإصلاحه.

ولحل هذه المشكلة، طور العلماء طرقاً لترجمة هذه الشبكات العصبية المتشابكة إلى أشجار قرار (Decision Trees). إذا كانت الشبكة العصبية عبارة عن كرة متشابكة من الخيوط، فإن شجرة القرار هي مخطط انسيابي واضح أو كتاب "اختر مغامرتك الخاصة". فهي تطرح أسئلة بسيطة مثل "هل تميل العصا لليسار؟" وتتبع مساراً يؤدي إلى إجابة مثل "ادفع لليمين". هذه الأشجار أسهل بكثير في القراءة بالنسبة للبشر. لكن العائق هنا هو: عندما تترجم عقلاً معقداً إلى شجرة، غالباً ما تصبح الشجرة ضخمة جداً بحيث يصعب قراءتها. قد تحتوي على آلاف الفروع، مما يجعلها محيرة تماماً مثل الصندوق الأسود الأصلي. ويصبح السؤال الكبير هو: هل يمكننا تقليم هذه الشجرة الضخمة لتصبح صغيرة وبسيطة دون كسر قدرة الروبوت على أداء مهمته؟

تقليم السياج: طريقة جديدة لتبسيط الذكاء الاصطناعي

في هذه الورقة البحثية، يقترح مارك رينجر وميشيل توكيتك طريقة ذكية للإجابة على ذلك السؤال. إنهما يعاملان تبسيط أشجار قرار الذكاء الاصطناعي هذه ليس كخدعة سحرية تُنفذ لمرة واحدة، بل كعملية تحرير دقيقة وخطوة بخوة. تخيل أن لديك سياجاً ضخماً وكثيفاً يعيق طريقاً ما. أنت تريد تقليمه لكي يتمكن الناس من المرور، لكنك لا تريد أن تقص الكثير لدرجة تجعل السياج ينهار أو يتوقف عن أداء وظيفته في الحفاظ على ترتيب الحديقة.

يبدأ المؤلفان بشجرة قرار تم ترجمتها بالفعل من شبكة عصبية. هذه الشجرة هي "المعلم" الخاص بهم بمعنى أنها تعرف كيفية حل المهمة، لكنها معقدة للغاية بالنسبة للإنسان. هدفهم هو تقليمها—أي قص الفروع غير الضرورية—مع الحفاظ على أداء الروبوت عالياً. هم لا يخمنون أي الفروع يجب قصها؛ بل يستخدمون عملية صارمة وقابلة للتدقيق. يقترحون ثلاث طرق رئيسية لتقليم الشجرة:

1. "حد الارتفاع" (التقليم بالحد الأقصى للعمق - Max-Depth Pruning): يشبه هذا قولنا: "لا يمكن لأي فرع أن ينمو لأكثر من 5 أقدام". أي جزء من الشجرة يحاول النمو بعمق أكبر يتم قصه واستبداله بورقة بسيطة. هذا يجبر الشجرة على البقاء قصيرة وبسيطة.
2. "فحص التجانس" (التقليم بالحد الأقصى لعدم النقاء - Max-Impurity Pruning): تنظر هذه الطريقة إلى الفروع وتسأل: "هل هذا الجزء من الشجرة واضح بما يكفي بحيث لا يحتاج إلى المزيد من الانقسام؟" إذا كان الفرع يتخذ بالفعل نفس القرار لكل ما يراه تقريباً، فإنه يعتبر "نقياً". تقوم الخوارزمية بقص الانقسامات الزائدة وتحويل هذا القسم بالكامل إلى ورقة واحدة.
3. "عداد الزوار الذكي" (التقليم المقيد المتكيف مع شجرة القرار أو DACP): هذه هي الطوة الأكثر تطوراً، وهي نجمة العرض. إنها تشبه مرشداً سياحياً يعد عدد الأشخاص الذين يزورون كل غرفة في متحف. إذا كانت الغرفة (أو عقدة القرار) نادراً ما تُزار، فقد يقرر المرشد إغلاقها. ومع ذلك، فإن المرشد ذكي: قبل إغلاق غرفة، يتحقق مما إذا كانت في الواقع مدخلاً سرياً لكبار الشخصيات (VIP)، والذي إذا أُغلق، قد يفسد الجولة. إنهم يستخدمون شبكة أمان لضمان أنه إذا تسبب القص في انخفاض درجة أداء الروبوت بسرعة كبيرة، فإنهم يتوقفون ويتراجعون.

تعمل العملية مثل لعبة "ساخن وبارد". تحاول الخوارزمية قص دفعة من الفروع. ثم، تقوم بتشغيل الروبوت في المهمة مرة أخرى لترى مدى أدائه. إذا ظل الروبوت يعمل بشكل جيد (بقاءه فوق حد أمان معين)، يتم الإبقاء على القص، وتصبح الشجرة أصغر. إذا انخفض أداء الروبوت كثيراً، يتم رفض القص، وتحاول الخوارزمية إجراء قص أصغر وأقل تأثيراً. يتم تسجيل كل تغيير، مما يخلق "أثراً" يوضح بالضبط كيف تم تبسيط الشجرة وكيف أثر ذلك على سلوك الروبوت.

ما وجدوه: أشجار أصغر، وأحياناً روبوتات أفضل

اختبر المؤلفون هذه الطريقة على مجموعة متنوعة من تحديات الروبوتات الكلاسيكية، من موازنة عصا (CartPole) إلى المشي مثل البشر (Walker2D). ووجدوا أن عملية التقليم الخاصة بهم نجحت في تحويل الأشجار الضخمة غير القابلة للقراءة إلى نسخ مدمجة وصديقة للبشر.

كان أحد الاكتشافات الأكثر إثارة للاهتمام هو أن التبسيط لا يعني دائماً فقدان الأداء. في بعض الحالات، مثل مهمة هبوط القمر (Lunar Lander)، كان "المعلم" الأصلي (الشبكة العصبية) يعاني في الواقع من "الفرط في التخصيص" (overfitting)—أي أنه حفظ بيانات التدريب بشكل مثالي للغاية وكان يقوم بتحركات غريبة وغير ضرورية. عندما قام المؤلفون بتقليم شجرة القرار، قاموا بالصدفة بقص هذه الفروع الغريبة الناتجة عن فرط التخصيص. النتيجة؟ الشجرة المبسطة حققت أداءً أفضل من الأصلية المعقدة، محققة درجات أعلى بقواعد أقل.

ومع ذلك، هناك حد. توضح الورقة وجود مقايضة واضحة: كلما استمررت في قص الشجرة لتصبح أصغر فأصغر، سيبدأ الروبوت في النهاية بالفشل. هناك "نقطة تحول" حيث تصبح الشجرة بسيطة جداً بحيث لا تستطيع التعامل مع تعقيد المهمة. وجد المؤلفون أن طريقة "العداد الذكي للزوار" (DACP) كانت بشكل عام هي الأفضل في إيجاد هذه النقطة المثالية، حيث حافظت على الشجرة صغيرة بما يكفي للقراءة مع الحفاظ على أداء عالٍ.

كما لاحظوا أنه بينما يعد عدد الأوراق (نقاط النهاية في الشجرة) وسيلة جيدة لقياس التعقيد، إلا أنه قد لا يروي القصة كاملة حول مدى سهولة فهم الشجرة للإنسان. فالشجرة التي تحتوي على عدد أقل من الأوراق قد تظل مربكة إذا كانت الأسئلة بداخلها صعبة الفهم للغاية.

الخلاصة

لا تدعي هذه الورقة أنها حلت لغز الثقة في الذكاء الاصطناي للأبد، لكنها تقدم أداة قوية جديدة. إنها تقترح أنه ليس علينا الاختيار بين روبوت ذكي وروبوت شفاف. من خلال استخدام عملية تقليم دقيقة وخطوة بخطوة تتحقق باستمرار من أداء الروبوت، يمكننا تحويل شجرة قرار ضخمة ومربكة إلى مجموعة صغيرة وواضحة من القواعد. هذا يجعل قرارات الذكاء الاصطناعي قابلة للتدقيق—بمعنى أنه يمكننا تتبع سبب قيامه بما فعله بالضبط—وقد يؤدي أيضاً إلى تحسين أدائه من خلال إزالة "الضجيج" الناتج عن فرط التخصيص. وبينما يعترف المؤلفون بأن مقياسهم لـ "القابلية للفهم" يعتمد على حجم الشجرة وليس على اختبار بشري فعلي بعد، فإن طريقتهم توفر مساراً واضحاً وشفافاً من الكود المعقد إلى المنطق البسيط والموثوق.