SAUL: Sharpness-Aware Augmented-Lagrangian Unlearning
تقترح الورقة البحثية إطار عمل SAUL، وهو إطار عمل مبتكر لـ "إلغاء التعلم" (machine unlearning) للنماذج اللغوية الكبيرة، والذي يصيغ عملية النسيان كمسألة تقليل قيود صريحة باستخدام متحكم "أوجمنتد لاغرانج" (Augmented-Lagrangian) تكيُّفي وتحديثات واعية بالحدة (sharpness-aware updates) لموازنة محو المعرفة مع الحفاظ على الفائدة العامة بشكل فعال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة المحركات الكامنة وراء العديد من أدوات الذكاء الاصطنا-عي الأكثر تقدمًا في يومنا هذا. فهي تُدرب على محيطات شاسعة من النصوص، لتتعلم كيفية التنبؤ بالكلمة التالية في الجملة بدقة مذهلة. ومع ذلك، غالبًا ما يتضمن هذا التدريب معلومات حساسة، مثل البيانات الخاصة، أو المواد المحمية بحقوق الطبع والنشر، أو التعليمات الضارة التي يفضل المجتمع ألا تتعلمها هذه النماذج أبدًا. ويكمن التحدي في كيفية جعل النموذج "ينسى" هذه المعلومات المحددة السيئة أو الخاصة دون كسر قدرته على الإجابة على الأسئلة العامة أو أداء المهام المفيدة. إذا حاولت مسح البيانات السيئة ببساطة عن طريق إعادة تدريب النموذج من الصفر، فسيكون الأمر مكلفًا للغاية وبطيئًا. وإذا حاولت إزالة المعرفة جراحيًا، فغالبًا ما ينتهي بك الأمر بإتلاف ذكاء النموذج العام، مما يجعله يتعثر في أسئلة غير ضارة كان يجيب عليها ببراعة في السابق. وهذا يخلق عملية توازن صعبة: كيف تزيل ما يكفي فقط لضمان السلامة، ولكن ليس الكثير بحيث يصبح النموذج عديم الفائدة؟
اقترح باحثون في جامعة POSTECH في كوريا الجنوبية نهجًا جديدًا لحل هذه المشكلة الدقيقة، أطلقوا عليه اسم SAUL. فبدلاً من معاملة إزالة المعلومات كهدف غامض يحاول فيه النموذج أن يكون "أقل جودة" في مهام محددة مع البقاء "جيدًا" في مهام أخرى، قاموا بصياغتها كقاعدة صارمة. تخيل طالبًا يؤدي اختبارًا قيل له: "يجب أن تحصل على درجة صفر في هذه الأسئلة الثلاثة المحددة حول موضوع سري، ولكن يجب أن تحافظ على أعلى درجة ممكنة في جميع الأسئلة الأخرى". كانت الطرق السابقة تحاول غالبًا تحقيق ذلك عبر دمج الهدفين معًا بتعليمات واحدة، مما جعل من الصعب معرفة متى تم نسيان الموضوع السري حقًا أو متى كان النموذج يُجبر على نسيان الكثير. أما طريقة SAUL الجديدة، فتضع خطًا فاصلًا واضحًا وحازمًا: يجب أن يصل النموذج إلى مستوى محدد من النسيان، وبمجرد تجاوزه لهذا الخط، يتوقف الضغط للنسيان فورًا.
إن جوهر هذا النظام الجديد هو متحكم ذكي يراقب تقدم النموذج في الوقت الفعلي. فهو يتحقق باستمرار مما إذا كان النموذج قد نجح في نسيان المعلومات المستهدفة. إذا كان النموذج لا يزال يتذكر الكثير، يقوم المتحكم بتطبيق الضغط لمساعدته على النسيان. ولكن في اللحظة التي يصل فيها النموذج إلى المستوى المطلوب من النسيان، يقوم المتحكم بإيقاف الضغط تمامًا. وهذا يمنع النموذج من أن يُجبر على نسيان أكثر مما هو ضروري، وهو ما يتسبب غالبًا في فقدانه لمعرفته العامة. وقد وجد الباحثون أنه من خلال إيقاف عملية النسيان بالضبط عند تحقيق الهدف، يحتفظ النموذج بقدر أكبر بكثير من قدراته المفيدة مقارنة بما سبق. ولجعل هذه العملية أكثر استقرارًا، أضافوا تقنية تضمن عدم تذبذب معرفة النموذج أو تغيرها بشكل غير متوقع مع التحولات الطفيفة في إعداداته الداخلية، كما استخدموا "مسارين للذاكرة" منفصلين لمهام النسيان والتذكر حتى لا يتداخلا مع بعضهما البعض.
عندما اختبر الفريق هذه الطريقة على عدة معايير مختلفة، كانت النتائج واضحة. ففي مجموعة بيانات تسمى ToFU، والتي تختبر قدرة النموذج على نسيان مؤلفين خياليين محددين، حققت الطريقة الجديدة أفضل توازن بين النسيان والحفاظ على المعرفة العامة؛ حيث نجحت في مسح المعلومات المستهدفة مع الحفاظ على الأداء العام للنموذج مرتفعًا. وفي الاختبارات التي تتضمن معرفة خطيرة، مثل التعليمات المتعلقة بكيفية صنع أسلحة بيولوجية أو هجمات سيبرانية، قللت الطريقة من قدرة النموذج على الإجابة على تلك الأسئلة إلى مستوى التخمين العشوائي، بينما سمحت له في الوقت نفسه بالإجابة على الأسئلة العلمية والتاريخية العامة بشكل صحيح. كما أظهر الباحثون أن هذا المتحكم "التوقف عند الانتهاء" يمكن إضافته إلى طرق أخرى موجودة لتحسينها، مما يشير إلى أن فكرة وضع حد واضح للنسيان هي فكرة قيمة في كافة المجالات.
تسلط الدراسة الضوء على أن مفتاح "إلغاء التعلم" الفعال ليس مجرد المحاولة بجهد أكبر للنسيان، بل معرفة متى يجب التوقف بالضبط. فمن خلال معاملة النسيان كقيد ذي خط نهاية واضح، وليس كصراع لا ينتهي، ابتكر الباحثون نظامًا أكثر دقة وأقل تدميرًا للذكاء العام للنموذج. ورغم أن الطريقة تتطلب اختيارًا دقيقًا لـ "عتبة النسيان" — وهي النقطة المحددة التي يُعتبر عندها النموذج قد نسي بما يكفي — إلا أنها تقدم طريقة عملية لإدارة المقايضة بين السلامة والمنفعة. ويشير العمل إلى أنه في المستقبل، قد نتمكن من تعديل النماذج اللغوية الكبيرة بدقة الجراح بدلاً من قوة المطرقة الغاشمة، لإزالة البيانات الضارة مع ترك بقية معرفة النموذج سليمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.