CALIBURN: Self-Calibrated LLM Unlearning Alignment
تقترح الورقة البحثية CALIBURN، وهي طريقة ذاتية المعايرة تقيس ثقة النموذج اللغوي الكبير في المعرفة غير المرغوب فيها لمعايرة تدرجات إلغاء التعلم بدقة، مما يحقق إزالة فعالة للمعرفة مع حفظ أفضل للمنفعة وتقليل الاعتماد على مجموعات بيانات الاحتفاظ الكبيرة مقارنة بالأساليب الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة محركات قوية للمعرفة، فقد تم تدريبها على كميات هائلة من النصوص لفهم اللغة البشرية وتوليدها. ومع ذلك، فإن هذا الحفظ الهائل يأتي مع خطر جسيم: إذ يمكن لهذه النماذج أن تسترجع عن غير قصد بيانات شخصية حساسة، أو قصصاً محمية بحقوق الطبع والنشر، أو تعليمات خطيرة لإنشاء مواد ضارة. وعندما تكون مثل هذه المعلومات مدمجة في نموذج ما، فإن مجرد حذف ملفات المصدر لا يؤدي إلى إزالة المعرفة من ذاكرة الآلة. ويسعى مجال "إلغاء التعلم" (unlearning) إلى حل هذه المشكلة من خلال تعليم النموذج كيفية نسيان معلومات محددة وغير مرغوب فيها دون محو قدرته العامة على أن يكون مفيداً. ويكمكم التحدي في القيام بذلك بدقة؛ فإذا أُجبر النموذج على النسيان بشكل مفرط، فإنه غالباً ما يفقد ذكاءه العام، وهي ظاهرة تُعرف باسم "النسيان الكارثي". وعلى العكس من ذلك، إذا كان حذراً للغاية، فإن المعرفة الخطيرة أو غير المرغوب فيها تظل قائمة.
لقد جرب الباحثون طرقاً مختلفة للإصلاح، وغالاً ما اعتمدوا على مجموعات كبيرة من "بيانات الاستبقاء" (retention data) — وهي أمثلة على المعرفة الجيدة التي يجب أن يحتفظ بها النموذج — لتعمل كشبكة أمان أثناء عملية النسيان. وتحاول بعض النهج مواءمة تفضيلات النموذج، عبر تعليمه رفض الإجابات السيئة، لكن هذه النهج غالباً ما تواجه صعوبات لأنها تعتمد على نقطة مرجعية ثابتة تصبح أقل فائدة مع تغير النموذج. وتقدم دراسة جديدة طريقة تسمى CALIBURN، تهدف إلى جعل عملية النسيان هذه ذاتية التنظيم. فبدلاً من الاعتماد على بيانات خارجية أو نموذج مرجعي ثابت، تسمح CALIBURN للنموذج بتقدير مدى ثقته في المعلومات التي يُطلب منه نسيانها. فإذا كان النموذج متأكداً جداً من معلومة غير مرغوب فيها، تطبق الطريقة عقوبة أقوى لإزالتها. أما إذا كان النموذج غير متأكد بالفعل، فتكون العقوبة أخف. يتيح هذا النهج للنموذج ضبط ذاكرته بدقة، مع التركيز على جهوده في الأماكن التي تشتد الحاجة إليها تماماً.
اختبر الباحثون هذه الفكرة على نوعين متميزين من المعرفة غير المرغوب فيها: المعلومات الخطرة المتعلقة بالأمن السيبراني والبيولوجيا، والنصوص المحمية بحقوق الطبع والنشر من سلسلة كتب هاري بوتر. وقارنوا طريقتهم بعدة تقنيات موجودة، بما في ذلك تلك التي تستخدم مجموعات بيانات استبقاء كبيرة وتلك التي تعتمد على أزواج متباينة من الإجابات الجيدة والسيئة. وفي الاختبارات التي شملت المعرفة الخطرة، نجحت الطريقة الجديدة في تقليل قدرة النموذج على توليد محتوى خطير مع الحفاظ على أدائه العام في الأسئلة الأكاديمية القياسية. كما تفوقت على الطرق الأخرى التي لم تستخدم بيانات استبقاء إضافية، والتي تسببت غالباً في فقدان النموذج الكثير من فائدته العامة. وبالمثل، عندما كُلفت بإزالة المعرفة المتعلقة بسلسلة هاري بوتر، أثبتت الطريقة فعاليتها العالية؛ حيث قللت ذاكرة النموذج من الكتب إلى ما يقرب من الصفر، حتى عندما تم تدريبها على مجموعة بيانات صغيرة جداً مكونة من 132 زوجاً فقط من الأسئلة والأجوبة، بينما عانت الطرق الأخرى بشكل كبير مع مثل هذه البيانات المحدودة.
ويكمن الابتكار الرئيسي في هذا العمل في كيفية تعامله مع بنية اللغة. فبدلاً من معاملة جملة كاملة أو فقرة كوحدة واحدة يجب نسيانها، تقوم الطريقة بتفكيك العملية إلى مستوى الكلمات الفردية، أو "الرموز" (tokens). ويسمح هذا بإجراء تعديل أكثر دقة. ووجد الباحثون أنه من خلال معايرة عملية التعلم بناءً على ثقة النموذج في كل كلمة محددة، استطاعوا تجنب "النسيان المفرط" الذي يعيب التقنيات الأخرى. فعلى سبيل المثال، عندما طُلب من النموذج نسيان تفاصيل حول كتاب معين، استهدفت الطريقة الكلمات المتعلقة بهذا الكتاب مباشرة بدقة عالية، بينما تركت الكلمات غير المرتبطة به والمعرفة العامة دون تغيير. وتعني آلية المعايرة الذاتية هذه أن النموذج لا يحتاج إلى الاقتران بنموذج مرجعي مجمد أو مكتبة ضخمة من الأمثلة الآمنة ليعمل بشكل صحيح.
تُظهر الدراسة أنه من الممكن تحقيق إلغاء تعلم فعال دون المتطلبات الضخمة للبيانات التي حدت من النهج السابقة. فمن خلال ترك ثقة النموذج الخاص توجه عملية النسيان، ابتكر الباحثون نظاماً قوياً حتى عندما تكون بيانات التدريب شحيحة أو متفاوتة في الطول. وتشير النتائج إلى أن نهج التنظيم الذاتي هذا يوفر توازناً أفضل بين إزالة معرفة محددة وغير مرغوب فيها وبين الحفاظ على فائدة النموذج الإجمالية. وبينما أُجريت التجارب على نماذج ذات حجم معين وضمن بيئات اختبار محكومة، فإن النتائج تشير إلى طريقة أكثر عملية وكفاءة لإدارة سلامة وأنظمة الذكاء الاصطناعي وخصوصيتها. ويشير العمل إلى أنه مع المعايرة الداخلية الصحيحة، يمكن تعليم النماذج نسيان ما لا ينبغي لها معرفته، دون أن تفقد ما تحتاج إلى معرفته.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.