One Mask to Rule Them All: On Hidden Facts after Editing and How to Find Them

ملخص تقني: "قناع واحد يحكم الجميع: حول الحقائق المخفية بعد التعديل وكيفية العثور عليها"

بيان المشكلة
تهدف طرق تعديل المعرفة (Knowledge Editing - KE)، وتحديداً أساليب "التحديد والتعديل" (locate-and-edit) مثل ROME وMEMIT، إلى تحديث الارتباطات الواقعية في نماذج المحولات (Transformer models) عن طريق التعديل المباشر لأوزان الـ MLP. تعمل هذه الأساليب بناءً على فرضية أن طبقات الـ MLP تعمل كذاكرات ترابطية حيث يمكن للتحديثات المستهدفة أن تحل محل حقائق معينة. ومع ذلك، لا تزال الآليات الداخلية لهذه التعديلات غير مستكشفة بشكل كافٍ. هناك لغز مفاهيمي قائم: إذا كانت المعرفة الواقعية في المحولات موزعة عبر مسارات متكررة (تأثير الهيدرا - Hydra effect)، فكيف يمكن لتعديل طبقة واحدة أو نطاق صغير من الطبقات أن ينجح في تجاوز استرجاع المعرفة؟ تعتمد التقييمات الحالية فقط على سلوك المخرجات (أي: هل يخرج النموذج الحقيقة الجديدة؟)، مما يترك السؤال حول ما إذا كانت المعرفة قد تم استبدالها حقاً أم تم مجرد كبتها دون إجابة.

المنهجية
تفترض المؤلفة أن ROME وMEMIT لا يقومان باستبدال المعرفة الأصلية، بل يقومان بكبت استرجاعها عن طريق حقن إشارات مضخمة تختطف آلية الانتباه (Attention) في الطبقات اللاحقة. وللتحقق من ذلك، تقترح المؤلفة عزل فضاء فرعي وظيفي مشترك يعد حاسماً في الحفاظ على التعديلات عبر حقائق متنوعة.

1. تدريب القناع المشترك (Shared Mask Training): تتمثل الطريقة الجوهرية في تدريب قناع ثنائي مدمج ($K$) فوق مصفوفات الأوزان المعدلة ($\hat{W}$) لعدة تعديلات متنوعة في آن واحد. يتم تحديد معاملات القناع عبر بارامترات قابلة للتدريب $\Theta$ ويُطبق عن طريق الضرب العنصري ($\hat{W} \odot K$) أثناء عملية تمرير أمامي مشروطة.
2. هدف التحسين (Optimization Objective): يتم تدريب القناع ليلبي ثلاثة قيود عبر دالة خسارة مشتركة:
   • الاستعادة (Restoration): يجب أن يفضل النموذج المبتور ($M_p$) الكائن الأصلي ($o$) على الكائن المعدل ($o^*$).
   • الحد الأدنى (Minimality): يجب أن يقوم القناع بتقليم أصغر مجموعة ممكنة من الأوزان (قيد التشتت/الندرة).
   • الحفاظ على السلوك (Behavior Preservation): يجب أن تظل القدرات اللغوية العامة للنموذج المبتور (المقاسة عبر تباعد KL عن النموذج الأصلي) سليمة.
3. الإعداد التجريبي: تستخدم الدراسة مجموعة بيانات CounterFact عبر ثلاثة نماذج (GPT-2 XL، LLaMA-3.2، Qwen2.5) وطريقتين للتعديل (ROME للتعديلات الفردية، وMEMIT للتعديلات الجماعية). يتم تدريب القناع على مجموعة من التعديلات ويتم تقييمه على مجموعات اختبار تدريبية ومجموعات اختبار لم يسبق رؤيتها (OOD)، بما في ذلك علاقات خارج نطاق التوزيع.

النتائج الرئيسية

• العكس الشامل (Universal Reversal): نجح قناع ثنائي واحد متفرق (يقوم عادةً بتقليم أقل من 10% من الأوزان) في عكس أكثر من 80% من التعديلات في مجموعة التدريب وأكثر من 70% من التعديلات في الاختبار غير المرئية. هذا التعميم صامد عبر نماذج مختلفة وطرق تعديل مختلفة، مما يشير إلى وجود آلية هيكلية مشتركة.
• تحديد الآلية (Mechanism Identification): يكشف تحليل تفكيك التيار المتبقي (Residual stream decomposition) أن القناع يعكس التعديلات عن طريق القضاء على "الإفراط في الانتباه" (overattention) في الطبقات اللاحقة. بينما تُظهر النماذج المعدلة طفرات هائلة في مساهمات الانتباه في الطبقات اللاحقة لطبقة التعديل، فإن النماذج المبتورة تستعيد مستويات الانتباه لتطابق النموذج الأصلي. والأهم من ذلك، أن مسارات الـ MLP، التي تستمر في ترميز المعرفة الأصلية، تظل غير متأثرة إلى حد كبير بالقناع.
• ضرورة الآلية (Necessity of the Mechanism): إن حقن القناع المتعلم أثناء عملية التعديل (من خلال حظر الفضاء الفرعي المحدد) يؤدي إلى انخفاض معدل نجاح التعديل من 98% إلى 38%. وهذا يؤكد أن الفضاء الفرعي للأوزان المحدد ليس مج-رد كافٍ لعكس التعديل، بل هو ضروري هيكلياً لنجاح التعديلات.
• استعادة القدرات (Restoration of Capabilities): يؤدي تطبيق القناع إلى استعادة قدرات نمذجة اللغة العامة (الارتباك - perplexity) التي تدهورت بسبب تعديلات ROME، حيث غالباً ما يقلل من طفرات الارتباك من الملايين إلى المستويات الأساسية.

الأهمية والادعاءات
تدعي الورقة أنها تعيد صياغة فهم أساليب "التحديد والتعديل" بشكل جذري:

1. الكبت مقابل الاستبدال (Suppression vs. Overwriting): لا تقوم طرق ROME وMEMIT باستبدال المعرفة المخزنة، بل تكبت استرجاعها عن طريق اختطاف آليات الانتباه. تظل الحقائق الأصلية مشفرة في مسارات الـ MLP ولكن يتم منع ظهورها بسبب التركيز غير المتناسب على الإشارة المعدلة.
2. الفضاء الوظيفي المشترك (Shared Functional Subspace): رغم التغييرات في الأوزان الخاصة بكل حقيقة، تعتمد التعديلات المتنوعة على مجموعة فرعية مشتركة وصغيرة من الأوزان للحفاظ على التعديل. تشرح هذه الآلية المشتركة سبب فشل هذه الطرق في نشر التغييرات إلى الحقائق ذات الصلة (آثار التموج - ripple effects) وسبب كونها عرضة للعكس.
3. الدفاع والكشف (Defense and Detection): إن وجود آلية مشتركة يعني أن التعديلات تترك بصمة مشتركة. يمكن لقناع ثنائي متفرق واحد ليس فقط عكس التعديلات غير المرغوب فيها، بل أيضاً "إغلاق" النموذج ضد التعديلات المستقبلية عن طريق حظر الفضاء الفرعي الضروري. يوفر هذا مساراً عملياً للدفاع عن النماذج مفتوحة الأوزان ضد التعديلات الضارة واكتشاف الحقائق المعدلة بناءً على بصمتها الهيكلية المشتركة.

تخلص المؤلفة إلى أن فرضية الذاكرة الترابطية التي تحفز هذه الأساليب هي فرضية غير مكتملة؛ فبينما قد تُخزن الحقائق في الـ MLPs، فإن استرجاعها يعتمد بشدة على الانتباه، وهو ما تستغله طرق التعديل الحالية بدلاً من تحديثه. يشير هذا القصور إلى سقف لما يمكن أن تحققه أساليب "التحديد والتعديل": يمكنها كبت الاسترجاع، لكن لا يمكنها حقاً تعديل مخطط المعرفة الأساسي.