Forgetting, plasticity, and co-observation: a third facet of continual learning
تجادل هذه الورقة بأنه بعيداً عن التحديات المعروفة المتمثلة في النسيان الكارثي وفقدان اللدونة، فإن عدم القدرة على الملاحظة المشتركة لبيانات التدريب في آن واحد يعد عاملاً متميزاً وحاسماً يحد من أداء التعلم المستمر، مما يشير إلى أن آليات مثل إعادة تشغيل الذاكرة تنجح من خلال إعادة إدخال فوائد الملاحظة المشتركة هذه بدلاً من مجرد التخفيف من حدة النسيان.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد الشبكات العصبية العميقة المحركات القوية وراء الذكاء الاصطناعي الحديث، وهي قادرة على التعرف على الوجوه، وترجمة اللغات، وتشخيص الأمراض. وعادة ما يتم تدريب هذه الأنظمة في جلسة واحدة ضخمة حيث ترى جميع بياناتها دفعة واحدة، مما يسمح لها بإيجاد الأنماط التي تربط بين قطع المعلومات المختلفة. ومع ذلك، في العالم الحقيقي، غالبًا ما تصل البيانات في تدفق مستمر بمرور الوقت، مثل نهر لا يتوقف عن الجريان. وللحفاظ على فائدة هذه الأنظمة، يجب أن تتعلم من هذه المعلومات الجديدة فور وصولها دون أن تكون قادرة على مراجعة البيانات القديمة. تُعرف هذه العملية باسم "التعلم المستمر". لسنوات طويلة، اعتقد العلماء أن العائق الرئيسي لجعل هذا الأمر يعمل هو مشكلة تُسمى "النسيان الكارثي"، حيث يتعلم النموذج شيئًا جديدًا ولكنه يمحو بالخطأ ما كان يعرفه من قبل. وكان الرأي السائد هو أنه إذا استطعنا ببساطة منع النموذج من النسيان وإبقائه مرنًا بما يكفي لتعلم أشياء جديدة، فسيؤدي أداءً يضاهي أداء النموذج الذي رأى جميع البيانات معًا منذ البداية.
لقد تحدى فريق من الباحثين في جامعة كيولوفن (KU Leuven) وجامعة خرونينجن هذا الافتراض الذي ساد لفترة طويلة. فقد اكتشفوا أنه حتى لو لم ينسَ النموذج أي شيء وظل مرنًا تمامًا، فإنه لا يزال يكافح للوصول إلى نفس مستوى الذكاء الذي يحققه نموذج تم تدريبه على جميع البيانات دفعة واحدة. وقد حدد عملهم، الذي عُرض في المؤتمر الخامس للوكلاء ذوي التعلم مدى الحياة، عاملًا ثالثًا خفيًا يحد من مدى جودة تعلم هذه الأنظمة، وهو "فقدان الملاحظة المشتركة" (co-observation). ويصف هذا المصطلح الحقيقة البسيطة المتمثلة في أنه عندما يتم تعلم البيانات في دفعات منفصلة بمرور الوقت، فإن النموذج يفقد الفرصة لرؤية قطع مختلفة من المعلومات في آن واحد. ووجد الباحثون أن هذا الاتصال المفقود يمنع النموذج من بناء الفهم الأكثر قوة للعالم، وهو قصور يظل قائمًا بغضًا عن مدى جودة إدارة عملية النسيان.
لفهم سبب أهمية ذلك، تخيل أنك تحاول تجميع أحجية (بازل) معقدة. إذا أعطيت جميع القطع دفعة واحدة، يمكنك بسهولة ملاحظة كيف تتصل حواف أحد الأجزاء بمركز جزء آخر، مما يسمح لك برؤية الصورة الكبيرة وتجميع القطع معًا بكفاءة. هكذا يتم تدريب الذكاء الاصطناعي القياسي عادةً. في المقابل، يشبه التعلم المستمر تلقي قطع الأحجية واحدة تلو الأخرى، دون أي فرصة للنظر إلى القطع التي وضعتها بالفعل. قد تقوم بتركيب القطعة الحالية بشكل مثالي في المساحة المتاحة لديك، ولكن دون رؤية القطع المحيطة، قد تفوتك صلة حاسمة كانت ستساعدك على فهم الصورة بأكملها. ويرى الباحثون أن عدم القدرة على رؤية "الأحجية الكاملة" في وقت واحد يخلق فجوة أساسية في الأداء لا يمكن إصلاحها بمجرد تذكر الماضي.
صمم الفريق سلسلة من التجارب لإثبات أن هذه الفجوة حقيقية ومتميزة عن مشكلة النسيان. استخدموا طريقة سمحت لهم بعزل المشكلتين. أولاً، خلقوا سيناريو يتعلم فيه النموذج من البيانات في أربع دفعات منفصلة، محاكيين بذلك تدفق المعلومات في العالم الحقيقي. ولضمان أن أي انخفاض في الأداء ليس ناتجًا عن نسيان النموذج للدروس السابقة فحسب، استخدموا تقنية خاصة تسمى "الجمع" (ensemble). تضمن ذلك حفظ نسخة من "دماغ" النموذج بعد كل خطوة تعلم، ودمج كل تلك النسخ معًا. هذا النموذج المجمع يتذكر كل شيء بشكل مثالي، مما يلغي مشكلة النسيان تمامًا. ثم قارنوا هذا النموذج ذو "الذاكرة المثالية" بنموذج قياسي رأى جميع البيانات معًا.
كانت النتائج واضحة ومتسقة. فحتى مع الذاكرة المثالية، كان أداء النموذج الذي تعلم من دفعات منفصلة أسوأ من أداء النموذج الذي رأى كل شيء معًا. وقد ظل هذا الاختلاف قائمًا سواء كان الكمبيوتر يتعلم التعرف على الصور بطريقة "خاضعة للإشراف" (supervised)، حيث تُعطى له الإجابات الصحيحة، أو بطريقة "ذاتية الإشراف" (self-supervised)، حيث يتعين عليه اكتشاف الأنماط بنفسه. اختبر الباحثون ذلك على مجموعات بيانات صور قياسية، بما في ذلك CIFAR-100 وImageNet-100، باستخدام أنواع مختلفة من بنيات الشبكات العصبية. وفي كل حالة، فشل النموذج الذي تعلم بالتتابع، حتى مع الاحتفاظ المثالي بالمعلومات، في الوصول إلى نفس مستوى التعميم الذي حققه النموذج الذي تدرب بشكل مشترك. وأثبت ذلك أن المشكلة لم تكن فشلًا في التذكر، بل كانت فشلًا في تركيب المعلومات عبر فترات زمنية مختلفة.
كما بحثت الدراسة في كيفية تعامل الحلول الحالية للتعلم المستمر مع هذه المشكلة. إحدى الطرق الشائعة هي "إعادة تشغيل الخبرة" (experience replay)، حيث يُعرض على النموذج بعض الأمثلة القديمة بجانب أمثلة جديدة لمساعدته على التذكر. ووجد الباحثون أن هذه الطريقة تعمل، ولكن ليس فقط لأنها توقف النسيان، بل لأنها تعيد خلق حالة "الملاحظة المشتركة" بشكل اصطناعي. فمن خلال عرض البيانات القديمة والجديدة معًا، حتى في مجموعات صغيرة، يحصل النموذج على فرصة لرؤية الروابط بينها، مما يساعده على بناء تمثيلات أفضل. أما التقنية الأخرى الشائعة، المعروفة باسم "تقطير المعرفة" (knowledge distillation)، والتي تحاول إجبار النموذج الجديد على محاكاة النموذج القديم، فقد وُجد أنها فعالة في منع النسيان ولكنها فشلت في سد فجوة الأداء. وهذا يشير إلى أن مجرد الحفاظ على المعرفة القديمة ليس كافيًا؛ بل يحتاج النموذج إلى الفائدة النشطة المتمثلة في رؤية البيانات معًا للتعلم حقًا.
تشير هذه النتائج إلى أن مجال الذكاء الاصطناعي بحاجة إلى إعادة التفكير في نهجه تجاه التعلم مدى الحياة. فلطالما كان التركيز لسنوات طويلة ينصب حصريًا على منع فقدان المعرفة القديمة. وبينما يظل هذا أمرًا مهمًا، يرى الباحثون أنه يجب علينا أيضًا معالجة العيب الهيكلي المتمثل في التعلم في عزلة. إن سقف الأداء للتعلم المتتابع أقل مما كان يُعتقد سابقًا، ليس بسبب نسيان النموذج، بل بسبب افتقاره إلى السياق الذي يأتي من الملاحظة المتزامنة. وتغير هذه الرؤية طريقة تقييمنا للتقدم في هذا المجال؛ فهي تعني أن الخوارزميات المستقبلية يجب أن تفعل أكثر من مجرد حماية الماضي؛ إذ يجب أن تجد طرقًا لتركيب الروابط بين المعلومات الجديدة والقديمة بنشاط، ربما من خلال تصميم طرق أفضل لإعادة تشغيل البيانات أو هيكلة مهام التعلم لتشجيع التفكير عبر التوزيعات المختلفة.
تمتد التداعيات إلى ما وراء مجرد التعرف على الصور. ويشير الباحثون إلى أن هذه الظاهرة من المرجح أن تؤثر على النماذج اللغوية الكبيرة والأنظمة المعقدة الأخرى التي تتعلم من تدفقات هائلة من البيانات. فإذا تعلم النموذج مفهومًا جديدًا دون رؤيته في سياق ما يعرفه بالفعل، فقد لا يستوعب العلاقة بينهما تمامًا. لا تدعي الدراسة أن هذه هي المشكلة الوحيدة في التعلم المستمر، ولا تقترح أن النسيان لم يعد مشكلة رئيسية. ففي العديد من التطبيقات العملية، يظل النسيان هو المشكلة الأكثر إلحاحًا وضررًا. ومع ذلك، ومن خلال تحديد "الملاحظة المشتركة" كقصور متميز وجوهري، قدم الباحثون خارطة طريق أوضح للتحديات القادمة. لقد أظهروا أنه لبناء أنظمة ذكية حقًا تتعلم طوال حياتها، لا يجب علينا حل مشكلة الذاكرة فحسب، بل يجب أيضًا حل مشكلة المنظور.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.