SAFE-Merge: Data-Free Continual Model Merging with General Knowledge Preservation
يُعد SAFE-Merge إطار عمل لدمج النماذج المستمر والخالي من البيانات، والذي يحافظ على المعرفة العامة مسبقة التدريب والمهام المكتسبة سابقاً عبر توظيف قناع متفرق واعٍ بالمخاطر لاختيار تحديثات المعلمات الآمنة، يليه استرداد منخفض الرتبة مقنع لاستعادة معلومات المهام المفقودة، مما يحقق أداءً فائقاً عبر معايير الرؤية واللغة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك عقل روبوت فائق الذكاء وشامل المعرفة، تم تدريبه على كامل شبكة الإنترنت؛ فهو يعرف كيف يتحدث كل اللغات، ويميز كل أنواع الحيوانات، ويحل أي لغز تقريبًا. هذا ما يسميه العلماء "النموذج التأسيسي" (Foundation Model). ولكن في بعض الأحيان، تحتاج إلى جعل هذا العقل بارعًا جدًا في شيء محدد للغاية، مثل تشخيص الأمراض النادرة أو كتابة الشعر. وللقيام بذلك، تمنحه جلسة "ضبط دقيق" (Fine-tuning) خاصة. والمشكلة؟ إذا حاولت تعليمه تخصصًا جديدًا، فقد ينسى مهاراته القديمة، أو الأسوأ من ذلك، قد يبدأ في نسيان معرفته العامة الأصلية ويصبح أخرقًا في كل شيء آخر.
في العالم الحقيقي، لا يمكننا ببساطة الاحتفاظ بعقل منفصل لكل مهمة؛ لأن ذلك سيكون مكلفًا وبطيئًا للغاية. بالإضافة إلى ذلك، فإن البيانات الخاصة المستخدمة لتعليم هذه العقول غالبًا لا يمكن مشاركتها أو حفظها. لذا، يحاول الباحثون اكتشاف كيفية "دمج" هذه العقول المتخصصة في عقل رئيسي واحد دون فقدان الذكاء الأصلي أو المهارات الجديدة. الأمر يشبه محاولة خلط نكهات مختلفة من الآيس كريم في ملعقة واحدة مثالية دون أن تتحول إلى خليط طيني فوضوي. السؤال الكبير هو: كيف تضيف مهارات جديدة إلى عبقري دون أن تجعله ينسى كيف يكون عبقريًا في المقام الأول؟
هنا يأتي دور طريقة جديدة تسمى SAFE-Merge. لقد أدرك الباحثون وراء هذه الطريقة أن معظم الطرق الحالية مفرطة في القوة؛ فهي تحاول منع المهام الجديدة من التصادم مع المهام القديمة، لكنها غالبًا ما تنسى حماية "المعرفة العامة" التي كانت تمتلكها هذه العقول قبل تعلم أي شيء محدد. الأمر يشبه محاولة إصلاح سقف مسرب عن طريق تثبيت القرميد بقوة شديدة لدرجة أنك قد تكسر أساس المنزل بالخطأ. تقوم SAFE-Merge بتغيير قواعد اللعبة عبر طرح سؤال بسيط قبل إجراء أي تغيير: "هل هذه المعلومة الجديدة آمنة للاحتفاظ بها؟"
إليك كيف تعمل SAFE-Merge، باستخدام تشبيه مرح. تخيل أن عقل الروبوت هو مكتبة ضخمة. عندما تصل مهمة جديدة (مثل تعلم لعب الشطرنج)، فإنها ترسل قائمة من "التحديثات" إلى أمين المكتبة. بعض هذه التحديثات مفيدة، لكن بعضها الآخر قد يمحو كتب التاريخ العام أو العلوم عن طريق الخطأ.
الخطوة 1: أمين المكتبة الحذر (القناع الواعي بالمخاطر - Risk-Aware Masking)
أولاً، تعمل SAFE-Merge كأمين مكتبة شديد اليقظة. إنها تنظر في كل تحديث يريد القيام به المهمة الجديدة. تسأل: "هل يبدو هذا التحديث وكأنه ينتمي إلى قسم المعرفة العامة، أم أنه فريد لهذه اللعبة الجديدة (الشطرنج)؟" إذا بدا أن التحديث يحاول إعادة كتابة كتب التاريخ العامة، فإن أمين المكتبة يضع عليه ملصق "خطر" ويضعه في صندوق "لا تلمس" (وهذا ما يسمى القناع/Masking). فقط التحديثات الآمنة — تلك التي تضيف مهارات جديدة دون مسح الحكمة القديمة — هي التي يُسمح لها بالبقاء على الرفوف. هذا يضمن بقاء أساس المكتبة صلبًا.
الخطوة 2: حقيبة الإصلاح السحرية (استعادة الدرجة المنخفضة المقنعة - Masked Low-Rank Recovery)
ولكن انتظر! لقد كان أمين المكتبة حذرًا للغاية لدرجة أنه ربما رمى بعض نصائح الشطرنج المهمة حقًا مع كتب التاريخ الخطيرة. المكتبة الآن تحتوي على الكتب الآمنة، لكن قسم الشطرنج يبدو فارغًا بعض الشيء. هنا تبرز براعة الجزء الثاني من SAFE-Merge. فهي تستخدم "حقيبة إصلاح سحرية" (مصطلح استعادة الدرجة المنخفضة) لإعادة بناء نصائح الشطرنج المفقودة.
إليك الخدعة الذكية: الحقيبة مسموح لها فقط بالعمل على الكتب التي قرر أمين المكتبة بالفعل أنها آمنة. لا يمكنها لمس صناديق "لا تلمس". إنها تملأ الفجوات بعناية باستخدام الكتب الآمنة فقط، قائلة بفعالية: "لا يمكننا لمس الأشياء الخطيرة، ولكن يمكننا إعادة ترتيب الأشياء الآمنة لجعل نصائح الشطرنج تظهر مرة أخرى". بهذه الطريقة، تستعيد المكتبة مهارات الشطرنج دون المخاطرة أبدًا بالمعرفة العامة.
الخطوة 3: الدمج النهائي
أخيرًا، يأخذ أمين المكتبة التحديثات الآمنة وحقيبة الإصلاح السحرية، ويطويهما معًا، ويضيفهما إلى المكتبة الرئيسية. والنتيجة هي عقل واحد خارق يعرف كيف يلعب الشطرنج، ويكتب الشعر، ويميز الحيوانات، بينما لا يزال يتذكر كيف يكون عبقريًا عامًا. والأفضل من ذلك؟ بمجرد انتهاء عملية الدمج، تختفي "حقيبة الإصلاح السحرية". العقل النهائي لا يحتاج إلى أي أدوات إضافية أو بيانات للعمل؛ إنه مجرد عقل طبيعي وسريع وجاهز للانطلاق.
ماذا وجدوا؟
اختبر الباحثون هذه الطريقة في مهام الرؤية (مثل التعرف على الصور) ومهام اللغة (مثل فهم الجمل). وقارنوا SAFE-Merge بالطرق الشهيرة الأخرى ووجدوا أنها حققت باستمرار أفضل توازن. في اختباراتهم، سجلت أعلى درجة في مقياس يسمى H-score، وهو مقياس يقيس مدى قدرة النموذج على الاحتفاظ بمهاراته الجديدة مع التمسك بذكائه العام القديم.
على سبيل المثال، عند دمج 20 مهمة صور مختلفة، حسنت SAFE-Merge النتيجة بأكثر من 4 نقاط مقارنة بأفضل طريقة تالية. والأمر الأكثر إثارة للإعجاب هو أنه عندما اختبروا النموذج المدمج على صور جديدة تمامًا وغير مرئية من قبل (لمعرفة ما إذا كان قد فقد رؤيته العامة)، حافظت SAFE-Merge على معرفتها العامة بشكل أفضل بكثير من غيرها. تشير الورقة البحثية إلى أنه من خلال توخي الحذر بشأن ما يتم تغييره ثم إصلاح الثغرات بذكاء، يمكنك الحفاظ على "أساس" النموذج سليمًا بينما يتعلم تدفقًا من المهارات الجديدة.
تحقق الباحثون أيضًا من مقدار قوة الكمبيوتر التي تتطلبها هذه العملية. وبينما تستغرق عملية تشغيل "حقيبة الإصلاح السحرية" بعض الوقت أثناء الإعداد (حوالي 216 ثانية لثماني مهام)، إلا أن النموذج النهائي لا يحتاج إلى أي وقت أو ذاكرة إضافية للتشغيل. إنها تكلفة لمرة واحدة من أجل ترقية دائمة.
باختصار، تشير SAFE-Merge إلى أنه ليس عليك الاختيار بين تعلم أشياء جديدة وبين الاحتفاظ بذكائك القديم. فمن خلال كونك انتقائيًا بشأن ما تغيره وذكيًا بشأن كيفية إصلاح الفجوات، يمكنك بناء نموذج يستمر في التطور بذكاء دون أن ينسى أبدًا هويته.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.