🤖 machine learning

Spectral Unforgetting: Post-Hoc Recovery of Damaged Capabilities Without Retraining

تقدم هذه الورقة البحثية DG-Hard، وهي طريقة إصلاح طيفي لاحقة (post-hoc) تعمل على استعادة القدرات التي تضررت بسبب الضبط الدقيق مع الحفاظ على مكاسب المهام من خلال تطبيق عتبة دونوهو-جافيش (Donoho-Gavish) الصلبة للقيم المفردة على مصفوفة تحديث الأوزان دون الحاجة إلى بيانات إضافية أو إعادة تدريب.

المؤلفون الأصليون: Aarash Abro, Muhammad Tahir

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Aarash Abro, Muhammad Tahir

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة "Spectral Unforgetting" (النسيان الطيفي)، باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة: فخ "المتخصص"

تخيل أنك وظفت أمين مكتبة عبقرياً وعليم بكل شيء (هذا هو النموذج الأساسي - Base Model)؛ فهو يعرف كل شيء عن التاريخ، والرياضيات، والطبخ، والسلامة. إنه بارع في كل شيء.

الآن، تريد تدريب أمين المكتبة هذا ليصبح خبيراً طبياً عالمياً. تقضي أسابيع في تعليمه الكتب الطبية والتدرب على التشخيص. يصبح خبيراً مذهلاً في الطب.

لكن هنا تكمن المشكلة: في عملية تحوله إلى عبقري طبي، نسي أمين المكتبة بالخطأ كيفية القيام بالعمليات الحسابية الأساسية، وتوقف عن فهم النكات، وبدأ حتى في تجاهل قواعد السلامة التي كان يتبعها سابقاً. يُسمى هذا "النسيان الكارثي" (Catastrophic Forgetting). لقد أدت التدريبات للوظيفة الجديدة إلى الكتابة فوق المهارات القديمة ومسحها.

عادةً، لإصلاح ذلك، سيتعين عليك إعادة تدريب أمين المكتبة من البداية، عبر دمج الكتب الطبية مع كتب الرياضيات. لكن هذا يستغرق وقتاً طويلاً ويكلف الكثير من المال.

الحل: "النسيان الطيفي" (Spectral Unforgetting) (طريقة DG-Hard)

يقترح المؤلفون حلاً ذكياً يتم "بعد الحدث" (post-hoc). هم لا يحتاجون لإعادة تدريب النموذج أو استخدام أي بيانات جديدة. يحتاجون فقط إلى شيئين:

أمين المكتبة الأصلي العليم بكل شيء (النسخة الأساسية - Base Checkpoint).
أمين المكتبة الطبي المتخصص الجديد (النسخة بعد الضبط الدقيق - Fine-Tuned Checkpoint).

يقومون بمقارنة النسختين لمعرفة ما الذي تغير بالضبط. ويسمون هذا الفرق بـ "الدلتا" (Delta) (أي التحديث).

التشبيه: إشارة الراديو المشوشة

تخيل أن التغييرات التي طرأت على عقل أمين المكتبة تشبه بث الراديو.

الأشياء الجيدة (الإشارة - Signal): المعرفة الطبية المحددة اللازمة للإجابة على الأسئلة. هذه إشارة واضحة، قوية، ومنظمة.
الأشياء السيئة (الضجيج - Noise): التشويش العشوائي والتداخل الذي حدث أثناء عملية التدريب. هذا التشويش تسبب بالخطأ في طمس مهارات الرياضيات والسلامة.

في الماضي، حاول الناس إصلاح ذلك عن طريق خفض مستوى صوت الراديو بالكامل (مما يقتل المعرفة الطبية أيضاً) أو محاولة التقاط كلمات محددة (وهو أمر فوضوي وغالباً ما يفشل).

طريقة المؤلفين، DG-Hard، تشبه مرشح (فلتر) ذكي لإلغاء الضجيج.

تحليل الطيف: يقومون بتحليل "صوت" التغييرات باستخدام أداة رياضية تسمى SVD (تحلل القيم المفردة). فكر في الأمر كتقسيم إشارة الراديو إلى تردداتها الفردية.
البحث عن "القمم": يكتشفون أن المعرفة الطاسية المفيدة تظهر كبضع "قمم" (spikes) عالية وحادة في البيانات.
البحث عن "الكتلة": الضجيج العشوائي الذي تسبب في النسيان يبدو مثل "كتلة" (bulk) منخفضة، مسطحة، وفوضوية من التشويش.
القطع: يستخدمون قاعدة رياضية (تسمى عتبة Donoho-Gavish) لرسم خط. كل ما هو فوق الخط (القمم) يتم الاحتفاظ به. وكل ما هو تحت الخط (الكتلة الفوضوية) يتم التخلص منه.

ماذا يحدث بعد ذلك؟

يأخذون النسخة "المُنقاة" من التغييرات ويضيفونها إلى أمين المكتبة الأصلي.

النتيجة: لا يزال أمين المكتبة خبيراً طبياً عالمياً (لأن القمم تم الاحتفاظ بها).
ميزة إضافية: فجأة، يتذكر كيف يقوم بالرياضيات، ويقول النكات، ويتبع قواعد السلامة مرة أخرى (لأن الضجيج الذي كان يحجب هذه المهارات قد زال).

لماذا يعد هذا مميزاً؟

لا إعادة تدريب: إنه يشبه "الممحاة السحرية" التي تعمل فوراً. لا تحتاج لتغذية النموذج بمزيد من البيانات أو إجراء جلسات تدريب مكلفة.
لا تخمين: تستخدم الطريقة قاعدة مثبتة رياضياً لتقرير ما هو ضجيج وما هي الإشارة. لا تحتاج لتدخل بشري لضبطها.
السلامة: على الرغم من أنهم لم يحاولوا إصلاح السلامة، إلا أن النموذج أصبح آمناً مرة أخرى. هذا يشير إلى أن "الضجيج" كان هو السبب في جعل النموذج غير آمن في المقام الأول.

النتائج

اختبر المؤلفون هذه الطريقة على 14 سيناريو مختلفاً (نماذج ومهام مختلفة).

الطرق الأخرى عادة ما كانت تضطر للاختيار: إما إصلاح النسيان (وفقدان المهارات الجديدة) أو الحفاظ على المهارات الجديدة (والبقاء مع المشكلة).
DG-Hard استطاع القيام بالاثنين معاً. لقد استعاد المهارات المفقودة وحافظ في نفس الوقت على الخبرة الطبية الجديدة.

باختالاختصار

إن ضبط النموذج بدقة (Fine-tuning) يشبه رسم لوحة فنية رائعة على لوحة رسم، ولكن الطلاء يتناثر ويفسد المناظر الخلفية. معظم الناس يحاولون إعادة رسم اللوحة بالكامل. أما DG-Hard فهو يشبه استخدام مذيب خاص يذيب فقط بقع الطلاء المتناثرة الفوضوية، تاركاً اللوحة والمناظر الخلفية سليمة تماماً، وكل ذلك دون الحاجة إلى لوحة رسم جديدة أو فنان جديد.

ملخص تقني: النسيان الطيفي عبر DG-Hard

بيان المشكلة

تؤدي عملية الضبط الدقيق (Fine-tuning) للنماذج اللغوية الكبيرة (LLMs) لمهام مستهدفة محددة بشكل روتيني إلى حدوث نسيان كارثي (catastrophic forgetting)، حيث تتدهور أو تتدمر القدرات التي كانت موجودة في النموذج الأساسي المسبق التدريب ( $W_{base}$ )، حتى لو لم تهدد بيانات التدريب تلك القدرات صراحةً. وتتجلى هذه الظاهرة كـ "تغيير جانبي" في تحديث الأوزان $\Delta = W_{ft} - W_{base}$ : فبينما يحتوي التحديث على إشارة منخفضة الرتبة (low-rank) ومنظمة متوافقة مع المهمة الجديدة، فإنه يراكم أيضاً بقايا ضوضاء تشبه توزيع (IID) ناتجة عن خطوات الانحدار الاشتقاقي العشوائي (SGD). هذه البقايا من الضوضاء تشوه الميزات مسبقة التدريب، مما يؤدي إلى انهيارات في الأداء على المعايير الاختبارية المحجوزة (على سبيل المثال، الضبط الدقيق الطبي قد يؤدي إلى تقليل حاد في القدرة على الاستنتاج الرياضي).

تحاول طرق الإصلاح اللاحقة (post-hoc) الحالية استعادة هذه القدرات المفقودة من خلال العمل في الفضاء الإحداثي (مثل الاستيفاء القياسي مثل WiSE-FT، أو الحذف العشوائي مثل DARE، أو تقليم المقدار/الإشارة مثل TIES وFAPM). ومع ذلك، تواجه هذه الأساليب مشكلة تمثيل جوهرية: حيث تتداخل المدخلات ذات الصلة بالمهمة والمدخلات المتبقية الضارة من حيث المقدار، والإشارة، والموقع، مما يجعل من الصعب فصل الإشارة عن الضوضاء دون التضحية بمكاسب المهمة المستهدفة أو القدرات المستعادة.

المنهجية: DG-Hard

يقترح البحث DG-Hard، وهو طريقة إصلاح لاحقة، خالية من البيانات، وخالية من الاشتقاق (gradient-free)، تعمل في فضاء القيم المفردة (singular-value space) بدلاً من الفضاء الإحداثي. الفرضية الأساسية هي أن تحديث الضبط الدقيق $\Delta$ يتبع نموذج الإشارة زائد الضوضاء:
$\Delta = \Delta_{signal} + \Delta_{noise}$
حيث $\Delta_{signal}$ هو تحديث منخفض الرتبة ومتوافق مع المهمة، و $\Delta_{noise}$ هو بقايا (residual) من نوع IID ليس لدى الانحدار الاشتقاقي أي دافلية لإزالتها.

النهج الطيفي

تفكيك الإشارة زائد الضوضاء: تعامل الطريقة تحديث الوزن $\Delta$ لكل مصفوفة أوزان ثنائية الأبعاد كمجموع لمكون منخفض الرتبة ومنظم ومكون مصفوفة عشوائية (ضوضاء). وتشير الأدلة التجريبية إلى أن طيف مكون الضوضاء يتبع توزيع مارشينكو-باستور (MP)، بينما تظهر الإشارة كعدد محدود من "النتوءات" (spikes) في القيم المفردة المتطرفة.
التحدّد الصلب الأمثل (Optimal Hard Thresholding): بدلاً من التقليم التعسفي أو الاستيفاء، يطبق DG-Hard تحديد دونوهو-غافيش الصلب الأمثل (Donoho-Gavish optimal hard singular-value threshold) على تفكيك القيم المفردة (SVD) لـ $\Delta$ $Δ$ .
- يتم اشتقاق العتبة $\tau^*$ لتقليل خطأ متوسط المربعات التقاربي (AMSE) للإشارة المعاد بناؤها.
- تُحسب كالتالي: $\tau^* = \omega(\beta) \hat{\sigma} \sqrt{\max(m, n)}$ ، حيث يتم تقدير $\hat{\sigma}$ من وسيط القيم المفردة، و $\omega(\beta)$ هو ثابت يعتمد على نسبة أبعاد المصفوفة $\beta$ .
الإصلاح ذو الصيغة المغلقة (Closed-Form Repair): تتضمن العملية ما يلي:
- حساب SVD لـ $\Delta = U \text{diag}(s) V^\top$ .
- تطبيق التحديد الصلب على القيم المفردة: $s'_i = s_i \cdot \mathbb{1}\{s_i > \tau^*\}$ .
- إعادة بناء $\Delta$ المقتطع: $\Delta^* = U \text{diag}(s') V^\top$ .
- تشكيل نقطة التحقق المصلحة: $W^* = W_{base} + \Delta^*$ .

لا تتطلب هذه العملية أي بيانات تدريب إضافية، ولا حسابات اشتقاقية، وتتم في دقائق على وحدة معالجة رسومية واحدة، مما يحول عملية الإصلاح إلى خطوة ترشيح SVD ذات صيغة مغلقة.

المساهمات الرئيسية

صياغة الإصلاح اللاحق: صاغ المؤلفون استعادة النسيان الكارثي كـ مشكلة استعادة-حفاظ (recovery-preservation problem): استعادة القدرات المتضررة المحجوزة مع الحفاظ على مكاسب المهمة المستهدفة والتحسينات الجانبية المحجوزة.
تحديد البنية الطيفية: يوضح البحث تجريبياً أن البقايا الضارة تتركز في "كتلة" القيم المفردة (مطابقة لتوقعات المصفوفات العشوائية)، بينما تظهر التحديثات ذات الصلة بالمهمة كـ "نتوءات" في القيم المفردة. وهذا يفسر سبب معاناة أساليب الفضاء الإحداثي من المقايضة بين الاستعادة والحفاظ.
خوارزمية DG-Hard: تقديم طريقة إصلاح خالية من البيانات تطبق حد دونوهو-غافيش الصلب الأمثل على تحديثات الضبط الدقيق، مما يفصل بفعالية الإشارة المنظمة عن بقايا الضوضاء.
التقييم المشروط بالتقسيم: قدم المؤلفون مجموعة مقاييس مبتكرة تتبع بشكل منفصل الشفاء (الاستعادة في المعايير المتضررة)، والحفاظ (الاحتفاظ بالمعايير المحسنة)، وعدم الضرر (الاستقرار في المعايير غير المتغيرة)، والاحتفاظ بالمهمة. وهذا يتجنب عيوب متوسط الدقة، الذي يمكن أن يخفي حالات الفشل لكل معيار أو يكافئ مجرد العودة البسيطة إلى النموذج الأساسي.

النتائج التجريبية

تم تقييم الطريقة عبر 14 إعداداً (نموذج، مهمة) (باستخدام Qwen3.5-4B و Llama-3.2-3B-Instruct) وتسعة معايير اختبارية محجوزة عبر المجالات.

الأداء المتوازن: يحقق DG-Hard أقوى إصلاح متوازن بين الطرق اللاحقة. فهو الطريقة الوحيدة التي سجلت $\ge 80$ في كل من التنظيف (Clean-up) (الشفاء + عدم الضرر) والاحتفاظ (Retention) (الحفاظ + الاحتفاظ بالمهمة)، محققة درجة مشتركة قدرها 83.3.
المقارنة مع الأساليب المرجعية:
- يمثل FAPM و V-SoftMask أقصى الحالات: يقوم FAPM بشفاء الضرر جيداً (91.9 في Clean-up) ولكنه يدمر الحفاظ (0.0 في Retention)؛ بينما يحافظ V-SoftMask على المكاسب (97.1 في Retention) ولكنه يفشل في الشفاء (24.9 في Clean-up).
- يأتي WiSE-FT (الاستيفاء الخطي) في المرتبة التالية ولكنه يقصر عن DG-Hard في جانب Retention (71.0).
- يعاني LoRA و CoFi-Tune من انخفاض في الاحتفاظ أو عدم وجود حفظ إيجابي في مجموعات معينة.
محاذاة السلامة: يستعيد DG-Hard محاذاة السلامة التي تدهورت بسبب الضبط الدقيق الحميد عبر ثلاثة محاور مستقلة (HarmBench, XSTest, StrongREJECT) دون استخدام أي بيانات محاذاة. وهذا يشير إلى أن تدهور السلامة هو أيضاً نتاج لبقايا الضوضاء التي تمت إزالتها بواسطة القطع الطيفي.
الإدراك مقابل المعرفة: تظهر الطريقة قوة خاصة في مجموعة الإدراك (Cognition cohort) (مهام الاستنتاج)، حيث غالباً ما تنهار الأساليب المرجعية الأخرى في جانب الحفاظ.

الأهمية والادعاءات

يزعم البحث أن جزءاً من فقدان القدرة الناتج عن الضبط الدقيق ليس نتيجة حتمية للتخصص، بل هو بقايا طيفية قابلة للإزالة داخل تحديث الأوزان نفسه.

الآلية: تشير النتائج إلى أن "الضوضاء" المتراكمة أثناء الضبط الدقيق هي غير فعالة وظيفياً وضارة، بينما تتركز "الإشارة" في فضاء فرعي منخفض الأبعاد. ومن خلال إزالة الكتلة الطيفية، يستعيد DG-Hard القدرات دون الحاجة لإعادة التدريب.
العمومية: تعمل الط طريقة دون الحاجة للوصول إلى بيانات ما قبل التدريب، أو بيانات المحاذاة، أو معلمات التدريب الأصلية، معتمدة فقط على نقاط التحقق الأساسية والمعدلة.
السلامة: يوحي استعادة محاذاة السلامة غير المتوقع بأن السلامة والقدرة مرتبطان عبر نفس البنية الطيفية، وأن الضبط الدقيق "الحميد" يمكن أن يؤدي عن غير قصد إلى تآكل السلامة عبر نفس آلية الضوضاء التي تآكل الاستنتاج.

يخلص المؤلفون إلى أن "النسيان الطيفي" يقدم مساراً مبدئياً، وفعالاً، وخالياً من البيانات للتخفيف من حدة النسيان الكارثي، مما يتحدى الاعتقاد بأن التخصص يتطلب بالضرورة خسارة دائمة للقدرات العامة.