تخيل أنك تحاول تعليم روبوت التعرف على الحيوانات. تبدأ بالقطط، ثم الكلاب، ثم الطيور. الجزء الصعب هو أنه بينما يتعلم الروبوت عن الطيور، يميل إلى نسيان شكل القطة. هذه مشكلة شهيرة في عالم الذكاء الاصطناعي تسمى "النسيان الكارثي" (catastrophic forgetting). ولإصلاح ذلك، طور العلماء حيلة ذكية تسمى "التعلم القائم على التلقين" (prompt-based learning). فبدلاً من إعادة تدريب دماغ الروبوت بالكامل (وهو دماغ ضخم ومكلف)، يعطونه "تلقيناً" صغيراً يشبه الملاحظة اللاصقة، يخبره كيف يفكر بشأن المهمة الحالية. بهذه الطريقة، يحافظ الروبوت على دماغه الأصلي مجمدًا وآمنًا، ويغير فقط الملاحظات اللاصقة للتكيف مع الحيوانات الجديدة.

ومع ذلك، هناك عقبة: الأدمغة الأكبر هي عموماً أفضل في التعرف على الأشياء. فدماغ الروبوت العملاق (النموذج الكبير) أذكى بكثير من النموذج الصغير والفعال. لكن الأدمغة العملاقة بطيئة وتستهلك الكثير من الطاقة للأجهزة اليومية. الحلم هو أخذ المعرفة من الدماغ العملاق وضغطها داخل الدماغ الصغير والسريع، بحيث يصبح الدماغ الصغير ذكياً تماماً دون الثقل الكبير. تسمى هذه العملية "تقطير المعرفة" (knowledge distillation). عادةً، يمكنك القيام بذلك بسهولة إذا كان لديك كومة كبيرة من الصور القديمة للدراسة منها. ولكن في العالم الحقيقي للتعلم المستمر، لا تحصل على صور قديمة؛ بل تحصل فقط على صور الحيوانات الجديدة مع وصولها، واحدة تلو الأخرى. وهذا يخلق لغزاً فريداً: كيف تعلم روبوتاً صغيراً التعلم من روبوت كبير، خطوة بختقوة، دون أن ينسى الروبوت الصغير دروس الروبوت الكبير في كل مرة يظهر فيها حيوان جديد؟

هذا هو اللغز الذي يتصدى له بحث جديد أجراه باحثون في جامعة تكساس في دالاس. لقد اكتشفوا أن الطرق القياسية لمحاولة عصر المعرفة من دماغ كبير إلى صغير تفشل فعلياً في هذا السيناريو "خطوة بخطوة". وجدوا أن الروبوت الصغير يستمر في نسيان دروس المعلم لأنه يقوم باستبدال "الملاحظات" التي يستخدمها باستمرار بملاحظات جديدة. ولحل هذه المشكلة، اخترعوا طريقة جديدة تسمى "تقطير المعرفة القائم على التلقين" (KDP). فبدلاً من الاعتماد على الملاحظات التي يتم استبدالها، أضافوا "ملاحظة رئيسية" خاصة ودائمة تبقى مع الروبوت للأبد، تعمل كجسر مخصص لمعرفة المعلم. وتظهر تجاربهم أن هذه الطريقة الجديدة تساعد الروبوت الصغير على التعلم بشكل أفضل والنسيان بشكل أقل بكثير مما حاولت الطرق السابقة، مما يسمح له بالعمل بذكاء الدماغ العملاق ولكن بسرعة الدماغ الصغير.

المشكلة: خلل "تبديل الملاحظات اللاصقة"

لفهم سبب صعوبة ذلك، دعونا ننظر إلى كيفية عمل هذه الروبوتات "القائمة على التلقين". تخيل أن الروبوت لديه مكتبة من الملاحظات اللاصقة (التلقينات). عندما يرى قطة، يختار "ملاحظة قطة". وعندما يرى كلباً، يختار "ملاحظة كلب". هذا أمر رائع لتعلم أشياء جديدة دون نسيان الأشياء القديمة لأن الروبوت يقوم فقط بتبديل الملاحظة.

ولكن هنا ينهار "التقطير" (التعلم من دماغ كبير). وجد الباحثون أنه عندما حاولوا تعليم الروبوت الصغير باستخدام الكبير، يختار الروبوت الصغير "ملاحظة قطة" للتعلم من المعلم الكبير. ثم، عندما تصل مهمة جديدة (مثل الطيور)، يتخلص من "ملاحظة القطة" ويختار "ملاحظة طائر". المشكلة؟ الدروس التي علمها المعلم الكبير عن القطط كانت عالقة داخل تلك "ملاحظة القطة". وبمجرد استبدال الملاحظة، ينسى الروبوت الصغير كل ما علمه إياه المعلم. يطلق الباحثون على هذا اسم "نسيان معلومات التقطير" (distillation information forgetting). الأمر يشبه محاولة تعلم لغة من معلم، ولكن في كل مرة تنتقل فيها إلى فصل جديد، ترمي الدفتر الذي كتب فيه المعلم واجباتك المنزلية.

جرب الباحثون الحيل المعتادة، مثل النظر إلى إجابات المعلم النهائية (logits) أو أفكاره المتوسطة (features)، لكنها لم تعمل بشكل جيد لأن آلية "تبديل الملاحظات" كانت تمسح السجل باستمرار. حتى أنهم اختبروا إلغاء تجميد جزء من دماغ الروبوت للسما- له بالتعلم بشكل دائم، لكن ذلك جعل الروبوت ينسى مهامه القديمة بشكل أسرع، مما أفقد العملية هدفها بالكامل.

الحل: "الجسر الدائم"

لإصلاح ذلك، قدم الفريق نوعاً جديداً من الملاحظات اللاصقة يسمى تلقين تقطير المعرفة (KD Prompt). وعلى عكس الملاحظات العادية التي يتم تبديلها لكل مهمة جديدة، فإن تلقينات (KD Prompts) هذه خاصة. فهي متاحة عالمياً، مما يعني أنها تبقى مع الروبوت بغض النظر عن المهمة التي يقوم بها.

فكر في الأمر بهذه الطريقة:

• التلقينات العادية: هي مثل البطاقات التعليمية المؤقتة. تستخدم "بطاقة قطة" للقطط، ثم ترميها وتأخذ "بطاقة كلب" للكلاب.
• تلقينات (KD Prompts): هي مثل سبورة بيضاء دائمة وغير قابلة للمحو مثبتة على جدار الروبوت. بغض النظر عن الحيوان الذي تنظر إليه، يمكن للروبوت دائماً كتابة دروس المعلم على هذه السبورة.

من خلال إدخال هذه التلقينات الدائمة في دماغ الروبوت، يمتلك النموذج الصغير مساحة مخصصة لتخزين حكمة المعلم الكبير التي لا يتم التخلص منها أبداً. كما أضافوا "مصنف تقطير معرفة" (KD Classifier) خاصاً (دماغ ثانٍ للتقييم) يتحقق تحديداً مما إذا كان الروبوت ينسخ المعلم بشكل صحيح، بشكل منفصل عن مهمة الروبوت الأساسية في التعرف على الحيوانات.

ماذا وجدوا؟

اختبر الباحثون هذه الفكرة على مجموعتين شهيرتين من بيانات الصور: CIFAR-100 (100 نوع من الصور الصغيرة) و ImageNet-R (100 نوع من التصورات الفنية للأشياء). وضعوا سيناريو حيث يتعين على الروبوت تعلم 10 مهام مختلفة، واحدة تلو الأخرى، مع 10 فئات في كل منها.

وقارنوا طريقة KDP الجديدة بطرق قديمة مثل تقطير المعرفة القياسي وتقطير الميزات. وكانت النتائج واضحة:

• الطرق القديمة: عند استخدام التقطير القياسي، زادت دقة الروبوت الصغير قليلاً فقط، بل إنها نسيت المهام السابقة أكثر مما فعلت بدون أي مساعدة. على سبيل المثال، في مجموعة بيانات ImageNet-R، حققت طريقة قياسية تسمى "KD" متوسط دقة قدره 69.91% مع معدل نسيان قدره 7.64%.
• الطريقة الجديدة (KDP): باستخدام نهج "الجسر الدائم" الجديد، أصبح الروبوت الصغير أذكى بكثير ونسي أقل بكثير. باستخدام نفس مجموعة البيانات، رفعت طريقة KDP متوسط الدقة إلى 71.92% وخفضت معدل النسيان إلى 5.61% فقط.

وعندما اختبروا ذلك مع معلم أكبر (نموذج "ViT-Large") يعلم طالباً متوسط الحجم ("ViT-Base")، اتسعت الفجوة أكثر. حققت طريقة KDP متوسط دقة قدره 78.62% مع معدل نسيان قدره 3.46%، متفوقة على كل طريقة أخرى جربوها.

لماذا يهم هذا؟

يشير البحث إلى أن هذا ليس مجرد تعديل بسيط؛ بل هو إصلاح جوهري لنوع معين من مشاكل التعلم. من خلال فصل ملاحظات "تعلم المهام الجديدة" عن ملاحظات "التعلم من المعلم"، حلوا مشكلة النسيان التي أعاقت المحاولات السابقة.

ويشير الباحثون إلى أن هذا يأتي بتكلفة: يجب عليك تدريب كل من المعلم الكبير والطالب الصغير في نفس الوقت، مما يستغرق المزيد من الوقت وذاكرة الكمبيوتر. ومع ذلك، بمجرد انتهاء التدريب، يكون نموذج الطالب الصغير جاهزاً للانطلاق. يمكنه العمل على الأجهزة التي تحتاج إلى السرعة والكفاءة، ومع ذلك يحمل ذكاء نموذج أكبر بكثير.

باختصار، يوضح البحث أنه إذا كنت تريد لذكاء اصطناعي صغير وسريع أن يتعلم باستمرار دون نسيان، فلا يمكنك مجرد نسخ ولصق دماغ المعلم. يجب أن تعطي الطالب مساحة دائمة ومخصصة للحفاظ على دروس المعلم آمنة، بغض النظر عن الأشياء الجديدة التي قد يواجهها لاحقاً.