ملخص تقني: CrispEdit: إسقاطات منخفضة الانحناء لتحرير نماذج اللغات الكبيرة القابل للتوسع وغير المدمر

1. بيان المشكلة

تتطلب نماذج اللغات الكبيرة (LLMs) بشكل متكرر تحديثات لتصحيح الأخطاء الواقعية، أو إزالة السلوكيات غير الآمنة، أو دمج معرفة جديدة. ومع ذلك، تواجه طرق تحرير النماذج القياسية تحديًا مركزيًا وهو: الحفاظ على القدرات. فبينما تنجح العديد من الطرق في تغيير سلوكيات معينة، إلا أنها غالبًا ما تؤدي دون قصد إلى تدهور القدرات العامة (مثل الاستدلال، اتباع التعليمات، والطلاقة)، وهي ظاهرة تشبه "التحايل على الوكيل/المكافأة" (proxy/reward hacking).

تحاول النهج الحالية التخفيف من ذلك من خلال ضمانات استدلالية، مثل قصر التحديثات على بارامترات محددة، أو حصر المعرفة في عصبونات معينة، أو تحديد تغييرات التمثيل. ومع ذلك، تعتمد هذه الطرق غالبًا على افتراضات قوية حول بنية التعديلات (مثل الموضوعات الصريحة) أو تفرض قيودًا في فضاء البارامترات أو التمثيل ترتبط بشكل غير مباشر بالحفاظ على القدرات. ونتيجة لذلك، فإنها تعاني كثيرًا من مقايضة سيئة بين فعالية التحرير والحفاظ على القدرات الأساسية، لا سيما عند التقييم في ظل التوليد التلقائي (autoregressive generation) الواقعي بدلاً من التقييم القائم على الإجبار للمعلم (teacher-forced evaluation).

يصيغ المؤلفون تحرير النموذج كـ مسألة تحسين مقيدة: تقليل خسارة التحرير مع الالتزام بالقيد المتمثل في أن تظل خسارة القدرات (المقاسة على مجموعة بيانات مرجعية) ضئيلة للغاية. ويكمن التحدي في فرض هذا القيد الصارم بكفاءة على نطاق نماذج بمليارات البارامترات دون اللجوء إلى إعادة التدريب الكامل.

2. المنهجية: CrispEdit

يقترح المؤلفون CrispEdit (التحرير داخل الموقع المقيد بالانحناء - Curvature-Restricted In-Situ Parameter Editing)، وهو خوارزمية تحرير من الدرجة الثانية قابلة للتوسع، تتعامل مع الحفاظ على القدرات كقيد صريح. تعتمد الطريقة على أربعة ركائز أساسية:

أ. الإسقاطات منخفضة الانحناء

تستفيد الطريقة من الملاحظة القائلة بأن مشهد الخسارة (loss landscape) للنماذج سابقة التدريب هو مشهد متباين الخواص للغاية (anisotropic): فهو حاد في بعض الاتجاهات (انحناء عالٍ) ومسطح في اتجاهات أخرى (انحناء منخفض). تمثل الاتجاهات ذات الانحناء العالي التغييرات التي تؤثر بشكل كبير على قدرات النموذج، بينما تسمح الاتجاهات ذات الانحناء المنخفض بتحديثات البارامترات مع تأثير أدنى على خسارة القدرة.
تصيغ CrispEdit عملية التحرير كعملية تقليل لخسارة التحرير تحت قيد يتمثل في حصر التحديثات ضمن الفضاء الفرعي منخفض الانحناء لمشهد خسارة القدرة. ويتم تحقيق ذلك عن طريق إسقاط تحديثات التدرج على الفضاء الصفري التقريبي لمصفوفة هسيان (Hessian matrix) أو مصفوفة هسيان غاوس-نيوتن (Gauss-Newton Hessian matrix) لخسارة القدرة.

ب. تباعد بريجمان ومصفوفة هسيان غاوس-نيوتن

تعتمد التقريبات التربيعية القياسية لقيد خسارة القدرة على افتراض أن النموذج الأساسي قد تم تدريبه حتى التقارب (أي أن تدرج خسارة القدرة يساوي صفرًا). وهذا نادر الحدوث مع نماذج اللغات الكبيرة الحديثة.
لحل هذه المشكلة، تعبر CrispEdit عن قيد القدرة عبر تباعد بريجمان (Bregman Divergence). ينتج عن الصيغة التربيعية لتباعد بريجمان مصفوفة هسيان غاوس-نيوتن (GNH) بدقة، حتى عندما لا يكون النموذج الأساسي عند نقطة استقرار. وهذا يمكن الطريقة من تجنب الافتراضات المتعلقة بالاستقرار مع الحفاظ على قيد تربيعي صارم.

ج. إسقاط قابل للتوسع وخالٍ من المصفوفات

يعد حساب وتخزين مصفوفة GNH كاملة لنماذج بمليارات البلمات أمرًا غير ممكن. تعالج CrispEdit ذلك باستخدام تقنيتين:

1. تقريب K-FAC: يتم تقريب GNH باستخدام تقريب المنحنى المكسور بضرب كرونيكر (Kronecker-factored Approximate Curvature - K-FAC)، والذي يفكك مصفوفة هسيان إلى مصفوفات قطرية كتلية، حيث تكون كل كتلة عبارة عن حاصل ضرب كرونيكر لمصفوفات التغاير الخاصة بالتنشيط والتدرج ($A \otimes S$). يقلل هذا من تعقيد التخزين من $O(d_{in}^2 d_{out}^2)$ إلى $O(d_{in}^2 + d_{out}^2)$.
2. مشغل الإسقاط الخالي من المصفوفات: بدلاً من بناء مصفوفة الإسقاط الضخمة صراحةً، تستغل CrispEdit بنية كرونيكر. تقوم بتدوير التدرجات إلى القاعدة المتجهة المفككة لـ $A$ و $S$، وتطبق قناعًا ثنائيًا لكبح مكونات الانحناء العالي (بناءً على عتبة طاقة $\gamma$)، ثم تعيد التدوير. يتيح ذلك إجراء تحرير من الدرجة الثانية مدرك للقيد دون الحاجة لتجسيد كامل للمسقط.

د. التحرير المتسلسل (CrispEdit-Seq)

للحالات التي تصل فيها التعديلات بشكل متسلسل، يقدم المؤلفون CrispEdit-Seq. يحافظ هذا المتغير على إحصائيات كافية جارية (عوامل K-FAC وهي $A$ و $S$) لكل من مجموعة بيانات القدرة والتعديلات السابقة. ومن خلال تجميع هذه الإحصائيات عبر المتوسطات المتدفقة، يمكن للطريقة تطبيق تعديلات جديدة مع معاملة كل من القدرات الأساسية والتعديلات السابقة كقيود صارمة، مما يخفف بفعالية من النسيان الكارثي دون تخزين جميع البيانات التاريخية.

3. المساهمات الرئيسية

• صياغة مبدئية: توحد الورقة تحرير النماذج كمسألة تحسين مقيدة حيث يتم فرض الحفاظ على القدرات عبر قيد صارم على خسارة القدرة، بدلاً من عقوبة ناعمة.
• رؤية نظرية: يثبت المؤلفون أن الطرق الاستدلالية الشائعة مثل AlphaEdit و Adam-NSCL تحل حالة خاصة أكثر تقييدًا من إطار عملهم. وتحديدًا، تقيد هذه الطرق التحديثات في الفضاء الصفري لمدخلات الطبقة (قيود التمثيل)، وهو مجموعة فرعية ضيقة من الفضاء الصفري لانحناء الخسارة (GNH) الذي تستخدمه CrispEdit. هذه النتيجة النظرية تفسر سبب تحقيق CrispEdit لمقايضة أفضل بين التحرير والحفاظ على القدرات.
• القابلية للتوسع: تطوير مسقط خالٍ من المصفوفات باستخدام K-FAC يتيح تطبيق قيود الدرجة الثانية على نماذج لغات كبيرة بمليارات البارامترات، وهي مهمة كانت تعتبر سابقًا مستعصية حسابيًا.
• تقييم قوي: قيم المؤلفون طريقتهم باستخدام بروتوكول WILD، الذي يجمع بين فك التشفير التلقائي الموجه بالسياق وتقييم "النموذج كقاضٍ" (LLM-as-a-Judge)، مما يتجنب النتائج المتفائلة للغاية للتقييم القائم على الإجبار للمعلم.

4. النتائج التجريبية

قيم المؤلفون CrispEdit على نماذج LLaMA-3-8B-Instruct و Qwen-2.5-1.5B-Instruct عبر ثلاث مجموعات بيانات: ZsRE و CounterFact و WikiBigEdit.

• نجاح التحرير مقابل الحفاظ على القدرة: تتفوق CrispEdit باستمرار على النماذج المرجعية (بما في ذلك MEMIT و AlphaEdit و Adam-NSCL ومتغيرات الضبط الدقيق) في المقايضة بين موثوقية/عمومية التحرير والحفاظ على القدرات الأساسية.
  • في نموذج LLaMA-3-8B، حققت CrispEdit موثوقية بنسبة 80.5% و عمومية بنسبة 69.0% (مع سياق سؤال وجواب) في ZsRE، بينما ظل تدهور القدرات الأساسية أقل من 1% في المتوسط عبر جميع الاختبارات المرجعية (MMLU, GSM8K, IFEval, ARC, TruthfulQA).
  • في المقابل، تسببت الطرق الهجومية مثل MEMIT و MEND في تدهور شديد في القدرات، بينما أظهرت الطرق المحافظة مثل AlphaEdit نجاحًا أقل في التحرير.
• الكفاءة: تتميز CrispEdit بكفاءة حسابية، حيث تنفذ 3,000 تعديل على LLaMA-3-8B في حوالي 4 دقائق على وحدة معالجة رسومات واحدة من نوع A40، وهو ما يضاهي الضبط الدقيق القياسي وأسرع بكثير من الطرق التي تتطلب تحسينًا معقدًا أو استخدامًا كبيرًا للذاكرة.
• القابلية للتوسع: تتوسع الطريقة بقوة لتصل إلى 10,000 تعديل، بينما تتدهور النماذج المرجعية مثل LocBF-FT (التي تقصر التحديثات على طبقة واحدة) بشكل كبير عند هذا النطاق.
• دراسات الاستئصال (Ablation Studies): الطريقة قوية تجاه عتبة الطاقة $\gamma$ وتظل فعالة حتى مع مجموعات بيانات قدرة صغيرة جدًا (كما قلي من 100 عينة)، على الرغم من أن آلية الإسقاط نفسها ضرورية.

5. الأهمية والادعاءات

تزعم الورقة أن CrispEdit تمثل خطوة مهمة للأمام في التحرير غير المدمر للنماذج. فمن خلال الانتقال من القيود القائمة على التمثيل والاستدلالية إلى إطار عمل تحسين قائم على الانحناء، تنجح الطريقة في فصل ضرورة التعديلات المستهدفة عن تدهور القدرات العامة للنموذج.

يؤكد المؤلفون أن نهجهم:

1. يعمم الطرق الموجودة: يقدم منظورًا موحدًا حيث تُعتبر الاستدلالات السابقة تقريبات أكثر تقييدًا.
2. يُمكّن التحرير العملي: يجعل تحسين الدرجة الثانية القائم على القيود ممكنًا لنماذج اللغات الكبيرة من خلال إسقاطات K-FAC الخالية من المصفوفات.
3. يحسن الأداء في العالم الحقيقي: من خلال التحسين من أجل التوليد التلقائي بدلاً من مقاييس الإجبار للمعلم، تنتج CrispEdit تعديلات موثوقة في السياقات الحوارية دون المساس بطلاقة النموذج أو قدراته على الاستدلال.

يشير العمل إلى أن معاملة الحفاظ على القدرة كقيد هندسي في مشهد الخسارة، بدلاً من قيد في فضاء البارامترات، هي استراتيجية أكثر فعالية للحفاظ على سلامة نماذج اللغات الكبيرة أثناء التحديثات.