ملخص تقني: CORSA لتعديل المعرفة المعممة

1. صياغة المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) على معرفة بارامترية داخلية، والتي تصبح قديمة بمرور الوقت. وبينما يعد إعادة التدريب الكامل أمراً مكلفاً حوسبياً، تواجه طرق تعديل المعرفة الحالية ثلاثة قيود حرجة عند تطبيقها على تحديثات متعددة:

1. ضعف التعميم: غالباً ما تفشل التحديثات في التعميم خارج نطاق الصياغات المحددة لأمثلة التدريب إلى أشكال مدخلات متنوعة (مثل إعادة الصياغة أو الاختلافات النحوية).
2. عدم الاستقرار تحت التحديثات المتعددة: تواجه الطرق صعوبة في دعم المراجعات المستمرة (على سبيل المثال، تحديث نفس الحقيقة عدة مرات أو حقن حقائق جديدة) دون التسبب في نسيان كارثي للمعرفة غير المرتبطة.
3. صراعات المعرفة: غالباً ما تتسبب الأولويات القوية من مرحلة ما قبل التدريب في عودة النموذج إلى المعلومات القديمة رغم التحديثات، أو قد تؤدي التحديثات الجديدة عن غير قصد إلى إعادة تنشيط المعرفة القديمة.

تعالج النهج الحالية، مثل التعديل المباشر للنموذج (مثل MEMIT) أو الضبط الدقيق الفعال للبارامترات (مثل LoRA مع SFT القياسي)، متطلبات واحد أو اثنين فقط من هذه المتطلبات، لكنها تفشل في حل الثلاثة معاً. فأساليب تعديل النماذج غالباً ما تكون غير مستقرة تحت التحديثات المستمرة، بينما يؤدي الضبط الدقيق القياسي بشكل متكرر إلى التداخل مع المعرفة السابقة، مما يؤدي إلى العودة للمعلومات القديمة أو مخرجات غير صحيحة.

2. المنهجية: CORSA

يقترح المؤلفون CORSA (التقليل الواعي بالحدة وحل الصراع)، وهو إطار عمل تدريبي مصمم لتعديل المعرفة باستخدام محولات LoRA. يستهدف الأسلوب استقرار وتعميم بارامترات المحول $\phi$ من خلال معالجة شرطين نظريين مشتقين من هندسة مشهد الخسارة (loss landscape):

1. زيادة هامش ما بعد التحديث ($\gamma$): ضمان تفضيل النموذج بقوة للمعرفة الجديدة ($y^+$) على المعرفة القديمة ($y^-$).
2. تقليل الحدة المحلية ($\kappa$): إيجاد مناطق أكثر تسطحاً في مشهد الخسارة لتحسين الاستقرار ضد الاضطرابات المستقبلية للبارامترات.

يدمج CORSA ثلاث آليات أساسية:

أ. كبح المعرفة المتصارعة (DPO)

غالباً ما يفشل الضبط الدقيق الخاضع للإشراف (SFT) القياسي على المعرفة الجديدة ($D_{new}$) في كبح احتمالية المعرفة القديمة ($D_{old}$) بشكل كافٍ، مما يؤدي إلى صراعات. لتعظيم الهامش بين المعرفة الجديدة والقديمة صراحةً، يجمع CORSA بين SFT وتحسين التفضيل المباشر (DPO).

• الهدف: يتم تعريف دالة الخسارة $L_{Update}$ كالتالي:
  $$L_{Update}(\phi) = L_{SFT}(\phi) + \lambda L_{DPO}(\phi)$$
• الآلية: تعمل $L_{SFT}$ على تقليل السلب اللوغاريتمي للاحتمالية للهدف الجديد. بينما تعمل $L_{DPO}$ على تعظيم هامش الاحتمالية اللوغاريتمية بين الهدف الجديد $y^+$ والهدف القديم $y^-$ لنفس المدخل $x$. هذا يفرض صراحةً فصلاً بين المعرفة الجديدة والسابقة.

ب. التقليل الواعي بالحدة (SAM)

لتعزيز التعميم والاستقرار، يستخدم CORSA تقنية SAM لتقليل حدة مشهد الخسارة.

• الهدف: بدلاً من تقليل الخسارة عند نقطة واحدة، يقوم SAM بتقليل أسوأ حالة خسارة ضمن نصف قطر قدره $\rho$:
  $$\min_{\phi} \max_{\|\epsilon\|_2 \le \rho} L_{Update}(\phi + \epsilon)$$
• الآلية: تقرب الخوارزمية أسوأ اضطراب $\epsilon^*$ باستخدام خطوة صعود واحدة بناءً على التدرج. ثم يتم تحديث بارامترات النموذج باستخدام التدرج الذي يتم تقييمه عند النقطة المضطربة $\phi + \epsilon^*$. هذا يجبر المحسن على إيجاد نهايات صغرى أكثر تسطحاً، وهو ما يرتبط نظرياً بتحسين التعميم والاستقرار ضد التحديثات المستقبلية.

ج. حل صراع التدرج (PCGrad)

لاحظ المؤلفون أن التدرجات من أهداف SFT وDPO يمكن أن تتصارع، وأن تطبيق SAM مباشرة على مجموعها الموزون قد يكون غير مثالي.

• الآلية: يستخدم CORSA تقنية PCGrad (إسقاط التدرجات المتصارعة) لحل التداخل. قبل حساب اضطراب SAM وخطوة التحديث النهائية، يتم إسقاط تدرجات SFT ($g_{SFT}$) وDPO ($g_{DPO}$) لإزالة المكونات التي تعارض بعضها البعض (أي حيث يكون حاصل الضرب الداخلي سالباً).
• التكامل: يتم تطبيق PCGrad في كلتا مرحلتي SAM:
  1. لبناء اتجاه الاضطراب $\epsilon^*$.
  2. لتحديد اتجاه الهبوط النهائي من النقطة المضطربة.
     يضمن ذلك أن خطوة الوعي بالحدة تحترم كلاً من أهداف التكيف (Sft) وفصل التفضيل (DPO).

3. المساهمات الرئيسية

• إطار عمل شامل: يعد CORSA أول طريقة تعالج في آن واحد التعميم عبر المدخلات المتنوعة، والاستقرار تحت التحديثات المتعددة، وحل صراعات المعرفة باستخدام إطار عمل واحد فعال للبارامترات.
• رؤية نظرية: تربط الورقة البحثية بين استقرار تحديثات المعرفة وانحناء مشهد الخسارة، موضحة أن تقليل الحدة (عبر SAM) ينظم ضمنياً انحناء الهامش، مما يمنع العودة للمعلومات القديمة.
• تكامل مبتكر: يقدم العمل مزيجاً محدداً من SFT وDPO وSAM وPCGrad المصمم خصيصاً لديناميكيات التدرج الفريدة لتعديل المعرفة، حيث تتصارع أهداف التكيف والتقليل.

4. النتائج التجريبية

قيم المؤلفون CORSA على ثلاثة معايير للمعرفة الواقعية (CounterFact, ZsRE, MQuAKE) ومعيار لمجال البرمجة (CodeUpdateArena) باستخدام نماذج Llama-3.1-8B وQwen-3-4B.

• التعميم: حقق CORSA مكاسب كبيرة في التعميم مقارنة بالنماذج المرجعية. في نموذج Qwen-3-4B، حسن متوسط التعميم بنسبة 12.42% مقارنة بـ LoRA وبنسبة 10% مقارنة بطرق تعديل النماذج (MEMIT).
• الاستقرار في التحديثات المستمرة: في الإعدادات التي تتضمن مراجعات متعددة (مثل تحديث الحقائق بمرور الوقت أو حقن معرفة جديدة)، قلل CORSA بشكل كبير من النسيان الكارثي. مقارنة بـ LoRA، قلل النسيان بنسبة 27.82% في إعدادات المراجعة المستمرة.
• حل الصراع: نجح CORSA في كبح المعرفة القديمة بفعالية. في CounterFact، قلل "الاحتفاظ بالمعرفة القديمة" إلى 1.28%، مقارنة بـ 9.81% لـ LoRA. وفي سيناريوهات التحديث المستمر، قلل "تنشيط المعرفة القديمة" (العودة للمعلومات القديمة) إلى 3.71% في Llama-3.1-8B، وهو أقل بكثير من النماذج المرجعية.
• نقل المجال البرمجي: نجح CORSA في التعميم على مجال البرمجة (تحديثات API)، متفوقاً على أقوى نموذج مرجعي (F-Learning) بنسبة 5.48% في فعالية تحديث Pass@5 مع الحفاظ على القدرات البرمجية العامة.
• القابلية للتوسع: أظهرت الطريقة تحسينات ثابتة في الأداء عبر أحجام النماذج المختلفة (4B, 8B, 14B)، مما يشير إلى أن هدف التدريب يوفر فوائد جوهرية لاستقرار التحديث بغض النظر عن الحجم.

5. الأهمية والادعاءات

تدعي الورقة أن CORSA يمثل خطوة هامة نحو جعل تعديل المعرفة عملياً للنشر في العالم الحقيقي حيث تتطلب النماذج تحديثات متكررة ومستقرة وقابلة للتعميم. من خلال معالجة الخصائص الهندسية لمشهد الخسភាព (الحدة) والصراعات الدلالية بين المعرفة القديمة والجديدة (الهامش) صراحةً، يتغلب CORSA على "الثلاثية" المتمثلة في التعميم، والاستقرار، وحل الصراع التي حدت من الأعمال السابقة.

يؤكد المؤلفون أن نهجهم لا يعتمد على توجيه ذاكرة خارجية معقدة أو إعادة تشغيل البيانات، والتي تزيد من العبء المعماري. بدلاً من ذلك، يقوم بدمج المعرفة مباشرة في محول LoRA من خلال هدف تحسين مبدئي. تشير النتائج إلى أن تقليل انحناء الخسارة هو عامل حاسم، وإن كان غير مستكشف كفاية، في تحقيق تحديثات معرفة قوية في النماذج اللغوية الكبيرة. ويخلص العمل إلى أن تحسين التعميم والاستقرار وحل الصراع هو خطوة ضرورية نحو التخفيف من الآثار الجانبية غير المقصودة (مثل الهلوسة) وتقليل المخاطر في نشر النماذج اللغوية الكبيرة القابلة للتحديث.