Unforgettable Generalization in Language Models
تتقصى هذه الورقة كيفية سلوك النماذج اللغوية عند "نسيان" المهارات عبر الضبط الدقيق باستخدام تسميات عشوائية، كاشفةً أن تعميم النسيان غير متوقع للغاية ويعتمد على المهمة، حيث يفشل غالباً في الامتداد إلى ما وراء أمثلة تدريبية محددة رغم المخرجات العشوائية ظاهرياً، بينما تظل قدرات المهام الكامنة سليمة كما يتضح من نجاح الاختبار الخطي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صديقاً آلياً فائق الذكاء، قد قرأ كل شيء تقريباً على الإنترنت. يمكنه كتابة القصائد، وحل المسائل الرياضية، وإخبارك لماذا تبدو السماء زرقاء. لكن في بعض الأحيان، يتعلم هذا الروبوت أشياء لا تريد له معرفتها، أو يصبح بارعاً جداً في حيلة معينة تريد "إلغاء تعليمها" له. هذا هو عالم "إلغاء تعلم الآلة" (machine unlearning)، وهو فرع من أبحاث الذكاء الاصطناعي يتساءل سؤالاً محيراً: هل يمكننا جعل الروبوت ينسى حقاً؟
لفهم هذه التجربة، عليك أن تعرف شيئين. أولاً، يتم تدريب هذه الروبوتات (التي تسمى النماذج اللغوية الكبيرة) عن طريق قراءة كميات هائلة من النصوص، ثم يتم "ضبطها بدقة" (fine-tuned) على أمثلة محددة لتصبح أفضل في مهمة ما، مثل الإجابة على الأسئلة العلمية. ثانياً، إحدى الطرق الشائعة لمحاولة جعلها تنسى هي عرض نفس الأسئلة عليها مجدداً ولكن مع إجابات مشوشة تماماً أو مختلقة. الفكرة هي أنه إذا جعلت الروبوت يشعر بالارتباك بما يكفي من خلال الإجابات الخاطئة، فقد يستسلم تماماً تجاه ذلك الموضوع. اللغز الكبير الذي يطارده الباحثون هو: هل ينتشر هذا الارتباك؟ إذا جعلت الروبوت مرتبكاً بشأن سؤال محدد، فهل سينسى كيفية الإجابة على جميع الأسेंلة المشابهة، أم أنه سيصاب بالارتباك بشأن ذلك المثال المحدد فقط؟
تجربة "إلغاء التدريب" الكبرى
في هذه الورقة البحثية، قرر الباحثون إريك تشانغ، وليشيم تشوسين، وجاكوب أندرياس من معهد ماساتشوستس للتكنولوجيا (MIT) خوض لعبة "إلغاء التعلم" مع نموذج لغوي ضخم يسمى Llama2. لقد عاملوا النموذج كأنه طالب نجح للتو في اختبار، ثم حاولوا جعله ينسى المادة من خلال إعادة تعليمه باستخدام إجابات عشوائية وغير منطقية. أرادوا معرفة ما إذا كان الطالب سينسى المادة بأكملها أم سيقتصر الأمر على مسائل التدريب المحددة التي عُرضت عليه.
المفاجأة الكبرى: الأمر يعتمد على الموضوع
اختبر الباحثون هذا على 21 نوعاً مختلفاً من المهام، تتراوح من "المنطق البديهي الفيزيائي" (مثل معرفة أي جسم هو الأثقل) إلى "الاستلزام" (تحديد ما إذا كانت جملة ما تتبع جملة أخرى منطقياً). كانت النت كانت جامحة وغير متوقعة.
في بعض الأحيان، نجح "النسيان" بشكل مثالي. فإذا حاولوا جعل النموذج ينسى كيفية القيام بـ تصنيف الاستلزام (وهي لغز منطقي حول الجمل)، فإن النموذج كان يصبح فارغ الذهن؛ حيث يبدأ في إعطاء إجابات عشوائية وغير مفيدة لأسئلة جديدة لم يرها من قبل. كان الأمر كما لو أن الروبوت قد فقد القدرة على القيام بهذا النوع المحدد من المنطق تماماً.
لكن في أحيان أخرى، كان "النسيان" فشلاً ذريعاً. فعندما حاولوا جعل النموذج ينسى المنطق البديهي الفيزيائي (مثل كيفية عمل الجاذبية) أو الأسئلة العلمية، كان النموذج عنيداً. فحتى بعد تدريبه على إجابات عشوائية وخاطئة، كان لا يزال يجيب على أسئلة علمية جديدة بشكل صحيح! كان الأمر كطالب أُجبر على حفظ الإجابات الخاطئة لاختبار تجريبي محدد، ولكن عندما جاء الاختبار الحقيقي، ظل يعرف الإجابات الصحيحة. بدا أن النموذج قد نسي الأمثلة المحددة التي تدرّب عليها، لكنه احتفظ بمعرفته العامة سليمة.
الأمر لا يتعلق بصعوبة الاختبار
قد تظن أن النموذج ينسى الأشياء السهلة ويتذكر الأشياء الصعبة. لقد تحقق الباحثون من ذلك، واتضح أن هذا ليس صحيحاً. فقد وجدوا أن صعوبة المهمة لم تكن تتنبأ بما إذا كان النموذج سينسى أم لا. على سبيل المثال، كان النموذج في الواقع "أفضل" في تذكر الإجابات على أسئلة تحدي ARC "الصعبة" مقارنة بأسئلة ARC السهلة، رغم أن كليهما كانا أسئلة علمية. لم تكن صعوبة السؤال هي المهمة؛ بل كان "نوع" السؤال هو المؤثر.
القرائن السرية: الثقة و"تذبذب الدماغ"
إذن، ما الذي يجعل المهارة سهلة أو صعبة النسيان؟ وجد الباحثون دليلين مخبأين داخل "دماغ" النموذج (تمثيلاته البيانات الداخلية):
- الثقة: إذا كان النموذج غير متأكد بالفعل من الإجابة قبل بدء تجربة النسيان، فكان من الأسهل جعله ينسى. أما إذا كان واثقاً، فقد تمسك بالمعلومة بقوة أكبر.
- تذبذب الدماغ: هذا يشبه مراقبة مدى "تذبذب" أفكار النموذج. إذا كانت "أفكار" النموذج الداخلية (التمثيلات) لمهمة ما مشتتة وفي كل مكان (تذبذب عالٍ)، فكان من الصعب مسحها. أما إذا كانت الأفكار متسقة ومتشابهة جداً (تذبذب منخفض)، فكان من السهل "إلغاء تدريب" النموذج.
النسيان "السطحي"
إليك الجزء الأكثر إثارة للحيرة: حتى عندما بدا أن النموذج قد نجح في نسيان مهارة ما — عبر إعطاء إجابات عشوائية للجميع — وجد الباحثون أن المعلومات لم تكن قد اختفت فعلياً. لقد بنوا أداة بسيطة تسمى "المسبار الخطي" (linear probe) — تخيلها كمكتشف صغير متخصص — ونظروا إلى موجات الدماغ الداخلية للنموذج.
بشكل مفاجئ، استطاع هذا المكتشف قراءة الإجابات الصحيحة بدقة تامة، رغم أن النموذج نفسه كان يتصرف وكأنه لا يعرف شيئاً. كان الأمر يشبه طالباً يتظاهر بالارتباك ويعطي إجابات عشوائية في الفصل، ولكن إذا نظرت إلى ملاحظاته، ستجد الإجابات الصحيحة مكتوبة هناك بخط يد مثالي. "النسيان" كان مجرد فعل سطحي؛ المعرفة العميقة كانت لا تزال موجودة، تنتظر من يجدها.
الخلاصة
تخلص الورقة البحثية إلى أن محاولة جعل الذكاء الاصطناعي ينسى مهارات محددة بمجرد إعادة تدريبه على إجابات عشوائية هي مقامرة. فهي تنجح في بعض المهام (مثل الألغاز المنطقية) لكنها تفشل في مهام أخرى (مثل العلوم والمنطق البديهي). علاوة على على ذلك، حتى عندما يبدو أنها نجحت، فإن المعلومات لا تُحذف حقاً؛ بل يتم فقط إخفاؤها خلف طبقة من الارتباك. ويقترح الباحثون أننا بحاجة إلى فهم أكبر لكيفية تعلم هذه النماذج وتخزينها للمعلومات قبل أن نتمكن من جعلها تنسى ما لا نريد لها أن تعرفه بشكل موثوق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.