ملخص تقني: MAAT: محول متعدد المراحل مدرك للأهداف لعملية النسيان المستهدف

1. بيان المشكلة

تحدد الورقة بحثاً انحيازاً هيكلياً حرجاً في معايير قياس نسيان التعلم (machine unlearning) الحالية (مثل CounterFact، ZSRE، TOFU، MUSE، WMDP-Cyber). هذه المجموعات من البيانات منحازة بشدة نحو الأسئلة التي تركز على الكيانات مثل "ماذا"، "من"، "متى"، و"أين"، بينما تشكل أسئلة "لماذا" — التي تختبر سلاسل المعرفة السببية والعلائقية — أقل من 0.06% إلى 1.3% من هذه المجموعات.

هذا التمثيل شبه المنعدم يخلق فجوة في القياس: حيث يمكن لطرق النسيان التي تفشل في إزالة المعرفة السببية أن تحقق درجات إجمالية عالية. يجادل المؤلفون بأن المعرفة السببية أصعب نوعياً في النسيان بسبب عاملين:

1. الطول والتعقيد: متوسط إجابات "لماذا" هو 40.1 رمزاً (مقابل 4.2–10.5 للأنواع الأخرى)، و44% منها تتضمن سلاسل استدلال متعددة الخطوات (مقابل ≤2% للأنواع الأخرى).
2. تخفيف التدرج (Gradient Dilution): الإشارة الصاعدة المطلوبة لنسيان هذه الحقائق تنتشر عبر مساحات طويلة من الرموز دون اتجاه مهيمن، مما يتسبب في فشل الطرق القائمة على التدرج القياسية أو تدهور المعرفة المحتفظ بها إذا تم الضغط عليها بقوة.

تواجه الطرق الحالية (الارتقاء بالتدرج Gradient Ascent، الارتقاء المنظم بـ KL، ونفي المحول Adapter Negation) مقايضة جوهرية: فالنسيان القوي يؤدي إلى تدهور فائدة النموذج (الاحتفاظ بالمعرفة)، بينما الطرق المتحفظة تفشل في نسيان الحقائق السببية.

2. المنهجية: إطار عمل MAAT

يقترح المؤلفون MAAT (المحول متعدد المراحل مدرك الأهداف لعملية النسيان المستهدف)، وهو إطار عمل ثلاثي المراحل يعمل مباشرة على أوزان محول LoRA دون دمجها في النموذج الأساسي. يسم هذا عملية "جراحة للمحول" مهيكلة بدلاً من الضغط المتساوي للتدرج.

المرحلة 1: الارتقاء المسقط بالتدرج (Gradient-Projected Ascent)

يطبق الارتقاء بالتدرج القياسي تحديثات بشكل موحد، مما قد يؤدي إلى تآكل المعرفة المحتفظ بها إذا كان تدرج النسيان ($g_f$) يتوافق مع تدرج الاحتفاظ ($g_r$). يستخدم MAAT إسقاطاً متعامداً مشروطاً:

• إذا كان $g_f \cdot g_r > 0$ (وجود تعارض)، يتم إزالة مكون $g_f$ المتوافق مع $g_r$ عبر الإسقاط:
  $$g^\perp_f = g_f - \frac{g_f \cdot g_r}{\|g_r\|^2 + \epsilon} g_r$$
• إذا لم يوجد تعارض، يتم الحفاظ على اتجاه الارتقاء الكامل للنسيان.
• تعمل الدالة على تقليل خسارة النسيان مع التثبيت على حالة المحول ما قبل النسيان عبر تباعد KL.

المرحلة 2أ: تقليم أبعاد الرتبة باستخدام SVD (لنماذج MLP فقط)

لمعالجة الإشارات المتبقية في الاتجاهات ذات المقدار المنخفض، يقوم MAAT بتقييم أبعاد محول الطبقات المتعددة (MLP) بناءً على معايير أعمدة التدرج عبر مجموعة النسيان.

• يتم تصفير نسبة $\rho$ العليا من أبعاد الرتبة في مصفوفات $A$ و $B$ لنماذج MLP (down_proj, up_proj, gate_proj).
• بشكل حاسم، يتم استثناء نماذج الانتباه (attention modules) من التقليم لتجنب تدمير قدرات اتباع التعليمات.

المرحلة 2ب: نفي متجه المهمة (Task Vector Negation)

تستهدف هذه المرحلة الفضاء الفرعي المحدد للنسيان في المرحلة 2أ.

• يتم قناع أعلى $k_F$ (على سبيل المثال 50%) من أبعاد الرتبة ذات درجات النسيان العالية لكل مصفوفة LoRA $B$ لتشكيل "متجه مهمة النسيان" $\tau^F_l$.
• يتم طرح هذا المتجه من الأوزان: $B_l \leftarrow B_l - \alpha \cdot \tau^F_l$.
• يحقق هذا كبحاً مستهدفاً دون محو الاتجاهات المرتبطة بالاحتفاظ بشكل عشوائي.

المرحلة 3: الإصلاح الهجين للاحتفاظ (Hybrid Retain Repair)

لاستعادة الأداء الذي تضرر بسبب التقليم والنفي، يتم تقليل دالة إصلاح هجينة. وهي تجمع بين أربعة حدود:

1. تباعد KL: يثبت النموذج على توزيع الاحتفاظ.
2. مسافة الحالة الخفية: تقلل المسافة بين الحالات الخفية الحالية والمرجعية لعينات الاحتفاظ.
3. تعظيم الإنتروبيا: حد الإنتروبيا السالب ($-w_{ent} H_F$) يعظم الإنتروبيا على تنبؤات مجموعة النسيان، مما يمنع النموذج من إعادة تعلم المحتوى المنسي أثناء الإصلاح.
4. عقوبة متجه المهمة: تعاقب التشابه الجيبي بين الأوزان الحالية ومتجه مهمة النسيان.

3. المساهمات الرئيسية

1. معيار 5WBENCH

يقدم المؤلفون 5WBENCH، وهو معيار متوازن مكون من 5,000 عينة مشتق من مجموعة بيانات Factify-5WQA.

• الهيكل: 1,000 مثال لكل فئة من فئات 5W (من، ماذا، متى، أين، لماذا).
• الأهمية: يوفر أول تغطية ذات دلالة إحصائية لأسئلة "لماذا" (20% من مجموعة البيانات)، مما يسمح بقياس حالات فشل نسيان المعرفة السببية التي لم تكن قابلة للكشف في المعايير المنحازة.
• التنسيق: متوافق مع EasyEdit، بما في ذلك الإجابات الصحيحة، والتسميات، والمتغيرات المعاد صياغتها لاختبار المتانة.

2. خوارزمية MAAT

يعد MAAT أول طريقة تحقق بنجاح توازناً بين النسيان العالي والاحتفاظ العالي للمعرفة السببية (نوع "لماذا") في آن واحد. وهي تعمل على الخصائص الهيكلية لمحولات LoRA، باستخدام تقييم SVD ونفي متجه المهمة لعزل وكبح أبعاد رتبة محددة يتم تنشيطها بواسطة مدخلات مجموعة النسيان.

4. النتائج التجريبية

تم تقييم الإطار على LLaMA 3.2-3B و Gemma 3-4B باستخدام نموذج لغة Qwen 2.5-7B كحكم (LLM-as-a-Judge).

الأداء على 5WBENCH

• جبهة باريتو (Pareto Frontier): يحقق MAAT نقطة تشغيل جديدة، حيث يتجاوز في آن واحد 60% معدل نجاح النسيان (FSR) و 60% معدل نجاح الاحتفاظ (RSR) عبر جميع فئات 5W على LLaMA 3.2-3B.
  • Llama 3.2-3B: 77.4% FSR / 71.6% RSR (إجمالي).
  • Gemma 3-4B: 64.0% FSR / 61.8% RSR (إجمالي).
• الأداء في نوع "لماذا":
  • MAAT: 63% FSR / 65% RSR (Llama).
  • تفشل النماذج المرجعية (GA, GA+KL, AN, RO-FT) في الوصول إلى هذا التوازن. على سبيل المثال، يحقق الارتقاء بالتدرج (GA) 44% FSR ولكن 78% RSR، وهو ما يعزوه المؤلفون إلى "نقص النسيان" (النموذج يحتفظ بالحقائق ببساطة لأنه لم ينسها، وليس لأنه حافظ على الفائدة).
• فشل النماذج المرجعية:
  • نفي المحول (AN): يحقق نسياناً شبه مثالي (99.8% FFS) ولكنه يسبب انهياراً كارثياً في الاحتفاظ (0.4% RSR)، مما يؤكد أن نفي متجه المهمة الكامل يزيل المعرفة المرتبطة بالنسيان والاحتفاظ على حد سواء.
  • RO-FT: احتفاظ عالٍ ولكن كفاءة نسيان أقل مقارنة بـ MAAT.

الأداء على TOFU

على مجموعة بيانات TOFU (التي تفتقر إلى تغطية كبيرة لـ "لماذا")، يحقق MAAT نتائج تنافسية (67.5% FSR / 46.6% RSR على Llama)، مما يظهر متانة عبر توزيعات البيانات المختلفة، رغم أن الورقة تشير إلى أن عدم توازن الفئات في TOFU يحد من فائدتها للتحليل السببي.

دراسات الاستئصال (Ablation Studies)

• إسقاط التدرج: ضروري لحماية المعرفة المحتفظ بها أثناء الارتقاء.
• الإصلاح الهجين: ضروري لاستعادة الاحتفاظ الذي فُقد بسبب التقليم/النفي؛ فبدون حد الإنتروبيا، يقوم مرحلة الإصلاح بإعادة تعلم المحتوى المنسي عن غير قصد.
• نفي متجه المهمة مقابل تقليم الانتباه: استبدال تقليم الانتباه بنفي متجه المهمة (الحالة D) يحسن الاحتفاظ بشكل كبير (76% مقابل 54% RSR) مع الحفاظ على قوة نسيان مماثلة، مما يؤكد صحة قرار استبعاد نماذج الانتباه من التقليم الهيكلي.

5. الأهمية والادعاءات

تدعي الورقة أن MAAT هي أول طريقة تنجح في التنقل عبر مقايضة النسيان-الاحتفاظ خصيصاً للمعرفة السببية (نوع "لماذا")، وهو مجال تفشل فيه النماذج المرجعية الحالية.

• الرؤية الهيكلية: يوضح المؤلفون أن صعوبة نسيان الحقائق السببية تنبع من التعقيد العلائقي وتخفيف التدرج، وليس من بصمة فريدة في فضاء الأوزان (يوضح تحليل الترميز أن الترميز موزع بانتظام عبر جميع فئات 5W).
• تأثير التقييم: من خلال تقديم 5WBENCH، توفر الورقة أداة لكشف آثار "نقص النسيان" في الطرق الموجودة، حيث تكون درجات الاحتفاظ العالية هي في الواقع نتاجاً لفشل عملية النسيان.
• الحساسية للهندسة المعمارية: تشير النتائج إلى أن النسيان القائم على المحولات يرث هيكل ترميز المعرفة للنموذج الأساسي. الفجوة في الأداء بين LLaMA و Gemma تشير إلى أن قابلية فصل المعرفة في رتب المحولات تعتمد على الهندسة المعمارية.

يخلص المؤلفون إلى أنه بينما يحقق MAAT جبهة باريتو جديدة، فإن المجال يتطلب تصنيفات تقييم متوازنة للكشف عن حالات الفشل في نسيان المعرفة السببية، والتي تحجبها المعايير القياسية حالياً.