A New Evolutionary Strategy: Learn From the Best
تقدم هذه الورقة استراتيجية التطور "تعلم من الأفضل" (LFB-ES)، وهي مُحسِّن جديد للنماذج الصندوقية السوداء يعمل على تعزيز تدريب الشبكات العصبية عالية الأبعاد من خلال توجيه الجمهرة بشكل تكراري للتعلم من الأفراد النخبة، مما يحقق تقارباً ودقة متفوقين مقارنة بالطرق الكلاسيكية مثل OpenAI-ES وCMA-ES.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الواسع للذكاء الاصطناعي، هناك نوع محدد من الألغاز التي تحيّر حتى أكثر أنظمة التعلم تطوراً. تخيل أنك تحاول تعليم روبوت كيف يمشي، أو برنامج كمبيوتر كيف يتنبأ بنمط طقس معقد، ولكن يُمنع عليك إعطاؤه أي تلميحات في الطريق. لا يمكنك أن تقول له: "قدمك اليسرى مرتفعة جداً" أو "تنبؤك ليوم الثلاثاء كان غير دقيق قليلاً". يمكنك فقط الانتظار حتى نهاية المهمة وتمنحه رقماً واحداً: درجة تقييم. يُعرف هذا باسم مشكلة "تحسين الصندوق الأسود ذات المكافآت الشحيحة". يجب على النظام اكتشاف كيفية تحسين إعداداته الداخلية بناءً فقط على تلك الدرجة النهائية، دون أي تغذية راجعة خطوة بخوة. هذا السيناريو شائع في الهندسة الواقعية، من ضبط معايير محرك جديد إلى ملاءمة المنحنيات الرياضية للبيانات المشوشة، ومع ذلك يظل واحداً من أصعب التحديات لأن مسار التحسين يكون غير مرئي.
لسنوات، اعتمد العلماء على الاستراتيجيات التطورية لحل هذه الألغاز. تحاكي هذه الأساليب الانتقاء الطبيعي: فهي تنشئ مجتمعاً من الوكلاء الرقميين، لكل منهم إعدادات داخلية مختلفة قليلاً، وتتركهم يجربون المهمة، ثم تحتفظ بأولئك الذين يحصلون على أفضل الدرجات. ومن أشهر هذه الأساليب (OpenAI-ES) و(CMA-ES)، اللذان كانا الأدوات المعيارية لهذا العمل. ومع ذلك، فإنهما يعانيان عندما تصبح المهام معقدة للغاية ويزداد عدد الإعدادات المراد ضبطها. غالباً ما يعلقان في حلقات محلية، ويتحركان ببطء ويفشلان في التقاط التفاصيل الدقيقة للمشكلة، تماماً مثل متنزّه في غابة كثيفة يستمر في الدوران حول نفس الفتحة الصغيرة بدلاً من العثัง على قمة الجبل.
اقترح فريق من الباحثين من شركة "لينوفو" طريقة جديدة للمضي قدماً تسمى "التعلم من أفضل استراتيجية تطورية"، أو (LFB-ES). فبدلاً من الاعتماد على الصدفة العشوائية للعثور على حلول أفضل، يقدم هذا الأسلوب الجديد شكلاً مهيكلاً من التعلم داخل المجتمع. في كل جيل من التجربة، يتم اختيار الوكيل الأفضل أداءً ليكون بمثابة معلم. ثم يقوم بقية المجموعة، الذين يعملون كطلاب، بدراسة سلوك المعلم. هم لا يكتفون بنسخ درجة المعلم النهائية فحسب؛ بل يحاولون محاكاة تسلسل الأفعال والمخرجات المحددة التي أنتجها المعلم أثناء المهمة. ومن خلال استخدام عملية رياضية لتقليل الفرق بين مخرجاتهم ومخرجات المعلم، يعدل الطلاب إعداداتهم الداخلية بسرعة ليكونوا أكثر شبهاً بالفائز. وهذا يخلق دورة حيث يتسلق المجتمع جماعياً نحو حل أفضل، مسترشداً بالبطل الحالي بدلاً من الت wandered في عماء.
اختبر الباحثون هذا النهج في تحدٍ صعب لملاءمة المنحنيات. لقد طلبوا من الخوارزميات التنبؤ بنمط موجي معقد للغاية وسريع التذبذب، وهي مهمة تتطلب التقاط آلاف القمم والوديان الصغيرة. كانت المعلومة الوحيدة التي تلقتها الخوارمايات هي إجمالي الخطأ في تنبؤها بالكامل في نهاية التشغيل. كانت النتائج مذهلة. فقد توصل أسلوب (LFB-ES) الجديد إلى الإجابة الصحيحة بشكل أسرع بكثير من الأساليب التقليدية وحقق مستوى من الدقة لم تستطع الأساليب الأخرى الوصول إليه. وبينما أنتجت الخوارزميات القديمة خطوطاً مسطحة وغير دقيقة فاتتها التفاصيل المعقدة للموجة، أعاد الأسلوب الجديد إنتاج النمط المعقد بدقة ملحوظة، مطابِقاً البيانات الحقيقية بشكل شبه مثالي.
كان جزء حاسم من هذا النجاح هو اختيار "المفاتيح" الداخلية التي يستخدمها الكمبيوتر لمعالجة المعلومات، والمعروفة باسم "دوال التنشيط". وجد الباحثون أن نوعاً معيناً من المفاتيح التي تتكرر في دورة، تشبه الطريقة التي ترتفع وتنخفض بها موجة جيبية، كان يعمل بشكل أفضل بكثير من المفاتيح القياسية المستخدمة في معظم أنظمة الذكاء الاصطناعي الحديثة. وعندما استبدلوا المفاتيح القياسية بهذا النوع الدوري المتكرر ضمن إطار التعلم الجديد، تحسنت قدرة النظام على الاستكشاف وإيجاد الحل الأفضل بشكل كبير. ومع ذلك، اكتشفوا أيضاً أن هذه الميزة ليست عالمية. فعندما طبقوا نفس الطريقة على نوع مختلف من المشكلات التي تتضمن خيارات منفصلة، مثل لعب لعبة فيديو حيث يجب على الوكيل الاختيار بين التحرك يساراً أو يميناً، لم يظهر الأسلوب الجديد نفس التفوق الساحق. لقد كان يؤدي بشكل أفضل قليلاً من الطرق العشوائية القديمة، لكنه لم يهيمن كما فعل في مهمة ملاءمة المنحنيات المستمرة.
كما بحثت الدراسة أيضاً في تكلفة هذا النهج الجديد. ولأن الطريقة تتطلب من الوكلاء الطلاب التعلم من المعلم من خلال سلسلة من الحسابات، فإنها تستغرق وقتاً أطول للتشغيل من أبسط الطرق العشوائية. ومع ذلك، أظهر الباحثون أن هذا الوقت الإضافي يمكن إدارته ويتوسع بشكل معقول حتى مع زيادة عدد الإعدادات المراد ضبطها. في المقابل، أصبح أحد الأساليب القديمة الأكثر تعقيداً مستحيلاً للتشغيل في المشكلات الكبيرة لأنه نفد من ذاكرة الكمبيوتر. تقدم الاستراتيجية الجديدة حلاً وسطاً: فهي تتطلب جهداً حوسبياً أكبر من البحث العشوائي البسيط، لكنها أكثر كفاءة وقدرة من البدائل الثقيلة والمستهلكة للذاكرة، مما يجعلها أداة عملية لحل المشكلات عالية الأبعاد حيث تتوفر فقط درجة نهائية.
في النهاية، يوضح هذا العمل أنه حتى في بيئة مغلقة تماماً حيث لا يتم تقديم أي توجيه وسيط، يمكن لمجتمع من الوكلاء أن يتعلم كيفية التحسن بسرعة إذا سُمح لهم بالتعلم من أفضل مؤديهم. ومن خلال الجمع بين ديناميكية التعلم الاجتماعي هذه مع الأدوات الرياضية الصحيحة، نجح الباحثون في إنشاء نظام يتنقل في ضباب "تحسين الصندوق الأسود" بوضوح وسرعة أكبر مما سبق. وبينما لا يعد الأسلوب حلاً سحرياً لكل نوع من أنواع المشكلات، فإنه يوفر أداة قوية للمهندسين والعلماء الذين يحتاجون إلى ضبط الأنظمة المعقدة دون معرفة القواعد الداخلية للعبة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.