Towards Reliable, Generalizable, and Specific In-Context Knowledge Editing via Multi-Objective Reinforcement Learning
تقترح هذه الورقة البحثية خوارزمية "تحرير المعرفة في السياق متعدد الأهداف" (MO-IKE)، وهي خوارزمية تعلم تعزيزي متعدد الأهداف تصيغ بناء المطالبات كعملية ماركوف لاتخاذ القرار المقيد لتحسين الموثوقية والعمومية والخصوصية في آن واحد، مما يحقق أداءً فائقاً في تحديث معرفة النماذج اللغوية الكبيرة مقارنة بالطرق السابقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة هي المحركات التي تقف وراء جيل جديد من الذكاء الاصطناعي، وهي قادرة على كتابة القصص، وحل المشكلات، والإجابة على الأسئلة بطلاقة تحاكي التفكير البشري في كثير من الأحيان. ومع ذلك، تواجه هذه الأنظمة قيداً جوهرياً: معرفتها مجمدة في الزمن. فبمجرد انتهاء النموذج من تدريبه الأولي، تصبح الحقائق التي يحملها ثابتة. فإذا تم تدريب نموذج قبل أولمبياد شتاء 2026، فلن يعرف الحصيلة النهائية للميداليات، مهما تكرر سؤالك. وعادة ما يتطلب تحديث هذه المعرفة عملية إعادة تدريب ضخمة ومكلفة، وهو أمر غير عملي لمعظم المستخدمين. ولحل هذه المشكلة، طور الباحثون تقنية تسمى "تعديل المعرفة داخل السياق" (in-context knowledge editing). فبدلاً من تغيير الكود الداخلي للنموذج، توفر هذه الطريقة للنموذج مجموعة من الأمثلة في نص المحادثة، مما يعلمه فعلياً حقيقة جديدة طوال مدة ذلك التفاعل المحدد. ويكمن التحدي في بناء المجموعة المثالية من الأمثلة: إذ يجب أن تكون قوية بما يكفي لإجبار النموذج على قبول الحقيقة الجديدة، ومرنة بما يكفي لتعمل حتى لو صيغ السؤال بشكل مختلف، ودقيقة بما يكفي لضمان عدم نسيان النموذج أو تغيير حقائق غير ذات صلة يعرفها بالفعل عن طريق الخطأ.
وقد قدم فريق من الباحثين الآن نظاماً جديداً يسمى MO-IKE يحسن بشكل كبير كيفية بناء هذه النصوص (prompts). كانت المحاولات السابقة لأتمتة هذه العملية تعتمد على التعلم التعزيزي، وهو أسلوب يتعلم فيه برنامج الكمبيوتر من خلال التجربة والخطأ. وبينما نجحت هذه الأنظمة السابقة في تعليم النموذج حقيقة جديدة، إلا أنها فعلت ذلك غالباً بتكلفة عالية. ففي تسرعها لضمان قبول الحقيقة الجديدة، كانت الأنظمة تجرد الأمثلة اللازمة لحماية معرفة النموذج الحالية. وقد خلق هذا توازناً هشاً حيث كان إصلاح خطأ واحد يؤدي إلى ظهور أخطاء أخرى. ويتعامل النهج الجديد مع بناء النص ليس كمجرد قائمة من العناصر، بل كعملية اتخاذ قرار متسلسلة. إذ يتعلم النظام اختيار ما إذا كان سيضيف، واحداً تلو الآخر، مثالاً ينص على الحقيقة الجديدة، أو مثالاً يعيد صياغة السؤال، أو مثالاً يعزز حقيقة يجب أن تظل دون تغيير. ويتوقف عن إضافة الأمثلة فقط عندما يقرر أن النص قد اكتمل.
وقد درب الباحثون هذا النظام باستخدام هيكل مكافأة متعدد الأهداف، مما يعني أن الكمبيوتر كوفئ على النجاح في ثلاثة مجالات في آن واحد: الحصول على الحقيقة الجديدة بشكل صحيح، والتعامل مع طرق مختلفة لطرح السؤال، والحفاظ على سلامة الحقائق غير ذات الصلة. ومن خلال موازنة هذه الأهداف المتعارضة، يمنع النهج الجديد النظام من أن يصبح عدوانياً للغاية في تحديثاته. وعند اختباره على مجموعة قياسية من الحقائق، رفع النظام الجديد معدل نجاح التعديل من 87.1 بالمئة إلى 91.1 بالمئة. والأهم من ذلك، أنه حسن بشكل كبير معدل الحفاظ على المعرفة غير ذات الصلة، حيث رفع معدل الاستبقاء من 41.0 بالمئة إلى 63.4 بالمئة. وهذا يعني أن النموذج أصبح أقل عرضة لـ "نسيان" الحقائق التي لم يكن بحاجة لتغييرها أثناء تعلم الحقائق الجديدة. كما أثبت النظام قدرة عالية على التكيف؛ حيث إن نسخة تم تدريبها على نموذج لغوي محدد عملت بنفس الكفاءة عند تطبيقها على نموذج مختلف تماماً دون أي تدريب إضافي.
وتوضح الدراسة أن الطريقة التي تُنظم بها الأمثلة لا تقل أهمية عن الأمثلة نفسها. فقد استخدمت الأساليب السابقة غالباً قالباً ثابتاً أو ركزت فقط على نوع واحد من الأمثلة، مما أدى إلى نصوص غير متوازنة. أما النظام الجديد فيقوم بخلط أنواع مختلفة من الأمثلة ديناميكياً، مما يخلق سياقاً قوياً ومحدداً. وفي الاختبارات عبر خمسة نماذج لغوية مختلفة وأربعة مجموعات بيانات مختلفة، بما في ذلك معيار ضخم يضم أكثر من 300,000 مثال، تفوق الأسلوب باستمرار على التقنيات السابقة. ووجد الباحثون أنه من خلال الإدارة الدقيقة للمقايضة بين تعليم المعلومات الجديدة وحماية المعلومات القديمة، استطاعوا تحقيق مستوى من الموثوقية والخصوصية كان بعيد المنال سابقاً. ويشير هذا العمل إلى أن مستقبل تحديث الذكاء الاصطناعي قد لا يكمن في إعادة التدريب الضخمة، بل في طرق أكثر ذكاءً وتوازناً لتوجيه النموذج من خلال المحادثة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.