Natural Gradient Descent for Online Continual Learning
تقترح هذه الورقة نهجاً جديداً للتعلم المستمر عبر الإنترنت يستفيد من هبوط التدرج الطبيعي مع تقريب "كرونيكر" لعامل الانحناء (KFAC) لمصفوفة معلومات فيشر لتسريع التقارب والتخفيف من حدة النسيان الكارثي عبر مختلف مجموعات البيانات والأساليب الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طالب يحاول تعلم لغة جديدة كل يوم، ولكن مع قاعدة صارمة للغاية: يمكنك فقط دراسة اللغة الجديدة لمدة ساعة واحدة، وبمجرد انتهاء هذه الساعة، يجب عليك رمي كتابك المدرسي وعدم النظر إليه مرة أخرى أبداً.
هذا هو تحدي التعلم المستمر عبر الإنترنت (Online Continual Learning - OCL). في العالم الحقيقي، تواجه أنظمة الذكاء الاصطناعي (مثل تلك الموجودة في هاتفك أو سيارتك) هذا التحدي بالضبط. فهي تحتاج إلى تعلم أشياء جديدة باستمرار دون نسيان كل ما تعلمته بالأمس. إذا نسيت، فسيُسمى ذلك "النسيان الكارثي" (Catastrophic Forgetting). الأمر يشبه طالباً تعلم الفرنسية، ثم قضى ساعة في دراسة الإسبانية، وفجأة نسي كيف يقول "مرحباً" بالفرنسية.
المشكلة: "تعثر" التعلم القياسي
تتعلم معظم نماذج الذكاء الاصطناعي باستخدام طريقة تسمى "الانحدار الاشتقاقي العشوائي" (Stochastic Gradient Descent - SGD). تخيل (SGD) كمتسلق جبال يحاول العثور على أسفل وادٍ (أفضل حل) في الظلام.
- كيف يعمل: يشعر المتسلق بالمنحدر تحت قدميه ويتخذ خطوة نحو الأسفل.
- العيب: يفترض المتسلق أن الأرض مسطحة ومنتظمة. لكن في الواقع، "تضاريس" التعلم متعرجة ومنحنية. أحياناً، قد تؤدي خطوة صغيرة في الاتجاه الخطأ على منحدر حاد إلى قذف المتسلق من فوق منحدر، مما يجعله ينسى كل ما عرفه من قبل.
الحل: "الخريطة الذكية" (الانحدار الطبيعي - Natural Gradient Descent)
يقترح مؤلفو هذه الورقة البحثية طريقة أذكى للتعلم تسمى "الانحدار الطبيعي الاشتقاقي" (Natural Gradient Descent - NGD).
بدلاً من مجرد الشعور بالمنحدر، تخيل أن المتسلق لديه خريطة GPS توضح شكل التضاريس.
- التشبيه: إذا كانت الأرض عبارة عن تلة شديدة الانحدار والتعرج، فقد ينزلق المتسلق العادي بسرعة كبيرة ويسقط. أما "المتسلق الذكي" (NGD)، فينظر إلى الخريطة، ويرى المنحنى، ويعدل خطواته ليمشي على طول المنحنى بدلاً من الانزلاق بعيداً عنه.
- النتيجة: يصل إلى القاع (أفضل حالة تعلم) بشكل أسرع وبأخطاء أقل. ولا يفقد توازنه بسهولة عندما تتغير التضاريس (وهو أمر يحدث باستمرار في التعلم عبر الإنترنت).
السلاح السري: KFAC (ورقة الغش)
هناك عقبة؛ فحساب هذه "الخريطة" المثالية (والتي تسمى رياضياً مصفوفة معلومات فيشر - Fisher Information Matrix) أمر صعب وبطيء للغاية بالنسبة للكمبيوتر، مثل محاولة رسم خريطة للعالم بأكره أثناء الركض في ماراثون.
لحل هذه المشكلة، يستخدم المؤلفون خدعة تسمى KFAC (التقريب الكروني لتقوس المعلومات - Kronecker Factored Approximate Curvature).
- التشبيه: بدلاً من رسم خريطة تفصيلية لكل شجرة وصخرة، تقول KFAC: "دعونا نقوم فقط بتقدير الشكل العام للتلال والوديان". فهي تقوم بتفكيك الخريطة المعقدة إلى قطعتين أصغر وأسهل في التعامل معهما ثم تضربهما في بعضهما البعض.
- الفائدة: إنها تمنح الذكاء الاصطناعي خريطة "جيدة بما يكفي" سريعة الحساب، مما يسمح له باتخاذ تلك الخطوات الذكية والمنحنية دون أن يتعطل بسبب الرياضيات الثقيلة.
ماذا وجدوا؟
اختبر الباحثون نهج "المتسلق الذكي" هذا على عدة مجموعات بيانات صعبة (مثل التعرف على أنواع مختلفة من الحيوانات أو التعامل مع الصور الضبابية). وإليك ما حدث:
- تعلم أسرع: تعلم الذكاء الاصطناعي مهام جديدة بسرعة أكبر بكثير. لم يكن بحاجة للتجول بلا هدف؛ بل كان يعرف بالضبط الاتجاه الذي يجب أن يسلكه.
- قدرة أفضل على الاستبقاء: نظرًا لأن الخطوات كانت أكثر دقة ومحسوبة، فقد نسي الذكاء الاصطناło دروسه السابقة بشكل أقل.
- يعمل مع كل شيء: جربوا هذه الطريقة جنباً إلى جنب مع غيرها من "حيل الدراسة" الشائعة (مثل الاحتفاظ بمفكرة صغيرة من الأمثلة القديمة). وفي كل حالة تقريباً، جعلت إضافة هذه "الخريطة الذكية" الطرق الأخرى تعمل بشكل أفضل.
ملاحظة واحدة
تشير الورقة البحثية إلى مقايضة بسيطة. فبينما تعلم الذكاء الاصطناعي أشياء جديدة بسرعة أكبر وأصبح أذكى بشكل عام، إلا أنه أحياناً نسي التفاصيل الدقيقة جداً للمهام القديمة أكثر قليلاً من المعتاد. ومع ذلك، يرى المؤلفون أن المكاسب الهائلة في الأداء العام والسرعة تستحق هذه التكلفة الصغيرة.
الصورة الكبيرة
ببسا_الكلمات، تقول هذه الورقة البحثية: "توقفوا عن تعليم الذكاء الاصطناعي المشي في خط مستقيم في عالم منحني. أعطوه خريطة تفهم المنحنيات."
باستخدام تقنية "الخريطة الذكية" الجديدة هذه، يمكننا بناء أنظمة ذكاء اصطناعي تتعلم باستمرار، وتتكيف مع المواقف الجديدة فوراً، ولا تعاني من فقدان الذاكرة في كل مرة تواجه فيها شيئاً جديداً. هذه خطوة ضخمة نحو صنع ذكاء اصطناعي يمكنه حقاً التعلم والنمو معنا، تماماً كما يفعل البشر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.