ملخص تقني: المربعات الصغرى المتكررة الناعمة لتحرير النماذج اللغوية الكبيرة مدى الحياة (RLSEdit)

1. بيان المشكلة

من الحتمي أن تحتوي النماذج اللغوية الكبيرة (LLMs) المنشورة في سيناريوهات العالم الحقيقي على معرفة قديمة أو غير صحيحة. وبينما يسمح تحرير النماذج بتحديث حقائق محددة دون إعادة تدريب كاملة، فإن النشر العملي يتضمن تدفقات متسلسلة طويلة من التحريرات. وهذا يخلق "معضلة اللدونة والاستقرار" (plasticity–stability dilemma):

• نسيان التحرير الرجعي (Retroactive Edit Forgetting): تتراكم عمليات "الكتابة الصلبة" المتكررة (مثل طرق تحديد الموقع ثم التحرير)، مما يسبب تداخلاً يؤدي إلى أن التحريرات المستقبلية تمحو أو تضعف المعرفة من التحريرات السابقة.
• تدهور القدرة العامة (General-Ability Degradation): قد تحمي قيود الحفاظ الصارمة (مثل محررات الفضاء الصفري/null-space) الاتجاهات المقيدة صراحةً، لكنها تفشل في منع تدهور القدرات العامة غير المقيدة (الاستنتاج، البرمجة) أو استبقاء الحقائق السابقة مع نمو تدفق التحرير.

تعاني الطرق الحالية من صعوبة في الموازنة بين الحاجة إلى حفظ المعلومات الواردة وبين الحفاظ على كل من التحريرات السابقة والقدرات العامة للنموذج عبر آلاف التحديثات.

2. المنهجية: RLSEdit

يقترح المؤلفون RLSEdit، وهو محرر مربعات صغرى متكرر مصمم للتحرير المتسلسل الطويل. تعيد الطريقة صياغة التحرير كـ مسألة مربعات صغرى منظمة عبر الإنترنت (online regularized least-squares problem) مع قيود ناعمة، بدلاً من القيود الصلبة.

2.1 الصياغة

تستهدف الطريقة خريطة خطية واحدة $W$ (مثل إسقاط الانتباه) داخل طبقة Transformer. بالنسبة لتسلسل من التحريرات $t=1 \dots T$، حيث يوفر كل تحرير أزواج (مفتاح-قيمة) $(K_t, V_t)$، فإن الهدف عند الزمن $t$ هو إيجاد الوزن الأمثل $W^*_t$ الذي يقلل من:

$$W^*_t := \arg \min_W \sum_{i=1}^t \|K_i W - V_i\|_F^2 + \lambda^2 \|W - W_0\|_F^2 + \mu^2 \|K_0 W - V_0\|_F^2$$

حيث أن:

• حد الملاءمة (Fitting Term): $\sum \|K_i W - V_i\|_F^2$ يراكم خطأ جميع التحريرات التي لوحظت حتى الآن.
• تنظيم انحراف المعلمات ($\lambda$): يعاقب على الانحراف عن الأوزان الأولية المدربة مسبقاً $W_0$.
• تنظيم رسم الخرائط المرجعي ($\mu$): يعاقب على الانحراف عن رسم خرائط مرجعي محدد $(K_0, V_0)$، والذي يمثل مجموعة من القيود المراد الحفاظ عليها (مثل المعرفة الخلفية).

تخلق هذه الصياغة نظام "قيود ناعمة" يعمل كوصل بين الكتابة الصلبة والحفاظ الصلب.

2.2 التكرار عبر الإنترنت الفعال

إن حل مسألة المربعات الصغرى مباشرة عند كل خطوة مكلف حاسوبياً ($O(d^3)$). يستخدم RLSEdit هوية مصفوفة وودبري (Woodbury matrix identity) لاشتقاق تحديث متكرر فعال.

• الحفاظ على الحالة: تحافظ الخوارزمية على مصفوفة التباين العكسية $C_t = (A_t^\top A_t)^{-1}$ والحد المتقاطع $T_t = A_t^\top B_t$.
• آلية التحديث: بدلاً من التحليل الكامل، يتضمن التحديث حل نظام $u_t \times u_t$ صغير (حيث $u_t$ هو حجم دفعة التحرير الحالي)، وهو عادة ما يكون أصغر بكثير من بُعد النموذج $d_k$.
• التعقيد: تكلفة كل تحرير هي $O(d_k^2 u_t + d_k d_v u_t + d_k u_t^2 + u_t^3)$، والتي تتبسط إلى $O(d_k^2 u_t)$ عندما يكون $u_t \ll d_k$. والأهم من ذلك، أن هذه التكلفة مستقلة عن طول التاريخ $t$، على عكس الطرق التي تتطلب عمليات مصفوفة كثيفة على التاريخ المتراكم.

2.3 التحليل النظري

تقدم الورقة حدودات الانحراف التي توضح أن $\lambda$ تتحكم في الانحراف العالمي للمعلمات عن $W_0$، بينما تتحكم $\mu$ في انحراف رسم الخرائط المرجعي. علاوة على ذلك، يوضح التوصيف التقاربي أنه في ظل تدفقات التحرير الطويلة مع لحظات ثانية تجريبية مستقرة، يتقارب المقدر إلى مُقلل فريد للمخاطر المحدودة المنظمة.

3. المساهمات الرئيسية

1. صياغة القيود الناعمة: صاغ المؤلفون التحرير مدى الحياة كمسألة مربعات صغرى منظمة عبر الإنترنت مع تحكم صريح في انحراف المعلمات وانحراف المرجع، مما يقدم بديلاً ناعماً للكتابة الصلبة والحفاظ الصلب.
2. تعقيد مستقل عن التاريخ: اشتقوا تحديثاً عبر الإنترنت يعتمد على "وودبري" حيث لا تزداد التكلفة الحسابية لكل تحرير مع عدد التحريرات الماضية، مما يسمح بالتوسع المستقر لتدفقات التحرير الطويلة.
3. الضمانات النظرية: تقدم الورقة حدودات الانحراف وتوصيفاً تقاربياً للمقايضة بين الالتزام والحفاظ في نظام التحريرات المتعددة.
4. التحقق التجريبي: أظهر التقييم المكثفت على نماذج Llama-3 و Qwen2.5 قدرة الطريقة على التوسع باستقرار حتى 10,000 تحرير.

4. النتائج التجريبية

أُجريت التجارب على Llama-3-8B و Qwen2.5-7B مع 10,000 تحرير متسلسل (حجم الدفعة 100).

• نجاح التحرير (CounterFact & ZsRE):

  • في Llama-3، حقق RLSEdit أفضل النتائج عبر جميع المقاييس الخمسة (الفعالية، التعميم، النوعية، الطلاقة، الاتساق)، متفوقاً بشكل كبير على النماذج المرجعية مثل AlphaEdit و ROME و MEMIT. على سبيل المثال، بلغت الفعالية 89.94% مقارلة بـ 74.76% لأفضل نموذج تالٍ (FT).
  • في Qwen2.5، حقق RLSEdit أعلى فعالية (94.45%) وطلاقة، وظل منافساً لـ AlphaEdit في المقاييس الأخرى مع التفوق بشكل كبير على ROME و MEMIT.
  • في ZsRE، حقق RLSEdit فعالية بنسبة 81.20%، متفوقاً على AlphaEdit (70.04%) وغيره.

• الحفاظ على القدرة العامة:

  • تم التقييم باستخدام GLUE، MMLU، GSM8K، HumanEval، و MBPP.
  • حافظ RLSEdit باستمرار على القدرات العامة (الاستنتاج، البرمجة، فهم اللغة) طوال مسار الـ 10 آلاف تحرير.
  • في المقابل، أظهرت النماذج المرجعية مثل ROME و MEMIT و FT تدهوراً ملحوظاً. أدى AlphaEdit أداءً جيداً في البداية ولكنه تدهور بشكل ملحوظ بعد عدد كبير من التحريرات.
  • دراسة حالة: في مهمة HumanEval Task 0، تدهورت نماذج AlphaEdit و MEMIT إلى أخطاء حدودية، أو أخطاء دلالية، أو مخرجات مشوهة/فارغة بحلول 8k–10k تحرير، بينما حافظ RLSEdit على تنفيذ صحيح عبر جميع نقاط الفحص.

• الاحتفاظ بالتحرير المبكر:

  • عند إعادة تقييم أول 500، 1k، 2k، و 4k تحرير بعد 10 آلاف تحرير إجمالي، حقق RLSEdit باستمرار أعلى درجات الاحتفاظ، مما يدل على مقاومة فائقة للنسيان الرجعي.

• الكفاءة:

  • كان RLSEdit أسرع بمقدار 1.37× إلى 1.79× من AlphaEdit أثناء التحديثات عبر أحجام دفعات مختلفة وهياكل نماذج مختلفة، مما يؤكد تحليل التعقيد النظري.

5. الأهمية والادعاءات

تدعي الورقة أن RLSEdit يوفر نهجاً عملياً للتحرير المستمر للنماذج من خلال حل معضلة اللدونة والاستقرار المتأصلة في تدفقات التحرير المتسلسلة الطويلة. ومن خلال معاملة التحرير كمسألة تحسين ذات قيود ناعمة، فإنه يتجنب تراكم التداخل الناتج عن طرق الكتابة الصلبة وجمود طرق الفضاء الصفري.

يؤكد المؤلفون أن طريقتهم تسمح بـ:

• القابلية للتوسع: أداء مستقر حتى 10,000 تحرير دون زيادة في التكلفة الحسابية لكل تحرير.
• الاستقرار الشامل: تحسين متزامن في نجاح التحرير، والاحتفاظ بالتحريرات المبكرة، والحفاظ على القدرات العامة للنموذج.
• التأسيس النظري: توصيف واضح للمقايضة بين تعلم الحقائق الجديدة والحفاظ على المعرفة الموجودة عبر معاملات التنظيم $\lambda$ و $\mu$.

تختتم الورقة بتواضع، مشيرة إلى أن التجارب الحالية تركز على هياكل 7B–8B وأن تقييم النماذج الأكبر وحالات الفشل الإضافية يظل اتجاهاً مهماً للعمل المستقبلي.