💬 NLP

Not All Layers Need Tuning: Selective Layer Restoration Recovers Diversity

تقترح هذه الورقة البحثية طريقة "استعادة الطبقات الانتقائية" (SLR)، وهي طريقة لا تتطلب تدريباً تعمل على استعادة تنوع التوليد في النماذج اللغوية الكبيرة التي خضعت للتدريب اللاحق، وذلك عبر استعادة طبقات محددة إلى أوزانها الأصلية قبل التدريب بشكل انتقائي، مما يساهم في التخفيف من حدة انهيار النمط مع الحفاظ على جودة المخرجات عبر مختلف المهام وعائلات النماذج.

المؤلفون الأصليون: Bowen Zhang, Meiyi Wang, Harold Soh

نُشر 2026-02-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bowen Zhang, Meiyi Wang, Harold Soh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة: الروبوت "المفرط في المسؤولية"

تخيل أن لديك روبوتاً عبقرياً ومبدعاً (نموذج لغوي كبير) تم تدريبه على كامل شبكة الإنترنت. قبل أن تعطيه أي تعليمات محددة، كان جامحاً، واسع الخيال، ويمكنه سرد ملايين الأنواع المختلفة من النكات أو كتابة ملايين القصص المختلفة. لقد كان يتمتع بـ التنوع.

بعد ذلك، قمت بـ "تدريبه اللاحق" (Post-training). علمته كيف يكون مفيداً، مهذباً، ومتبعاً للتعليمات بدقة. أصبح مساعداً رائعاً. ولكن كان هناك أثر جانبي: لقد أصبح مملاً.

تسمى هذه الظاهرة انهيار النمط (Mode Collapse). فكر في الأمر كعازف موسيقى، بعد أن طُلب منه عزف الأغاني "الآمنة" فقط في حفلة لشركة، نسي كيف يعزف الجاز أو الروك أو البلوز. مهما سألته، يقدم الروبوت دائماً نفس الإجابة "الآمنة".

السؤال: "اذكر عنصراً كيميائياً."
الروبوت القديم: "هيدروجين، هيليوم، ليثيوم، كربون..." (متنوع)
الروبوت الجديد: "كربون. كربون. كربون." (تكرار ممل)

تجادل الورقة البحثية بأن هذا السلوك "الممل" لا يحدث في كل مكان في دماغ الروبوت؛ بل هو عالق في أماكن محددة.

الحل: "استعادة الطبقات الانتقائية" (SLR)

اكتشف الباحثون أن دماغ الروبوت يتكون من طبقات (مثل طوابق في ناطحة سحاب). بعض الطوابق تتعامل مع القواعد اللغوية الأساسية، وأخرى تتعامل مع الحقائق، وأخرى تتعامل مع التفكير المعقد.

افترضوا أن السلوك "الممل" كان موضعياً في طوابق معينة. لذا، بدلاً من إعادة تدريب الروبوت بالكامل (وهو أمر مكلف وبطيء)، جربوا حيلة ذكية: استعادة الطبقات الانتقائية (SLR).

التشبيه: المنزل الهجين
تخيل أن الروبوت الذي تم تدريبه لاحقاً هو منزل تم تجديده ليكون آمناً ومرتباً للغاية، لكنه فقد "روحه". الروبوت الذي تم تدريبه مسبقاً هو النسخة الفنية الجامحة الأصلية لهذا المنزل نفسه.

لم يهدم الباحثون المنزل. بدلاً من ذلك، دخلوا إلى المنزل المجدد واستبدلوا غرفاً محددة بالنسخ الأصلية الجامحة من المخططات.

احتفظوا بـ "المطبخ" و"غرفة المعيشة" (الأجزاء التي تجعله يتبع التعليمات جيداً).
استبدلوا "العلية" و"القبو" (الأجزاء التي تجعله مكرراً) بالنسخ الأصلية المتنوعة.

النتي نتيجة ذلك هي منزل هجين: لا يزال يتبع التعليمات بدقة (جودة عالية)، ولكنه يستطيع الآن سرد قصص جامحة ومتنوعة مرة أخرى (تنوع عالٍ). والأفضل من ذلك؟ لا يكلف أي مال إضافي لبنائه، ولا يستغرق وقتاً أطول للمشي عبر المنزل (لا توجد تكلفة إضافية عند الاستخدام/الاستنتاج).

كيف وجدوا الغرف التي يجب استبدالها؟ (مهمة CRC)

لا يمكنك مجرد تخمين الطوابق التي يجب استبدالها. إذا استبدلت الطوابق الخاطئة، فقد ينهار المنزل (يتوقف الروبوت عن قول أشياء منطقية).

لمعرفة ذلك، ابتكر الباحثون لعبة اختبار بسيطة تسمى CRC (الشخصية العشوائية المقيدة).

اللعبة: طلبوا من الروبوت: "ولد رقماً عشوائياً بين 0 و 5".
الهدف: يحتاج الروبوت إلى اختيار رقم (الجودة: يجب أن يكون رقماً بين 0-5) ويحتاج أيضاً إلى اختيار أرقام مختلفة في كل مرة (التنوع: لا تقل "3" في كل مرة).

من خلال اختبار هذه اللعبة البسيطة، استطاعوا رؤية أي "طوابق" (طبقات) في دماغ الروبوت كانت تسبب التكرار. وجدوا "نقطة مثالية" — نطاقاً معيناً من الطبقات حيث جعل استبدالها بالنسخة الأصلية الروبوت متنوعاً مرة أخرى دون كسر قدرته على اتباع القواعد.

النتائج

اختبروا هذا "المنزل الهجين" في ثلاث مهام صعبة:

الكتابة الإبداعية: كتابة القصائد، القصص، والنكات.
الأسئلة مفتوحة النهاية: طرح أسئلة مثل "اذكر منتزهاً وطنياً" حيث توجد العديد من الإجابات الصحيحة.
الاستنتاج: حل المسائل الرياضية التي تتطلب تجربة مسارات مختلفة.

ماذا حدث؟

ارتفع التنوع بشكل هائل: بدأ الروبوت في تقديم إجابات عديدة وفريدة بدلاً من تكرار نفس الإجابة.
بقيت الجودة عالية: لم يتوقف عن اتباع التعليمات. ظل مفيداً ودقيقاً.
يعمل في كل مكان: اختبروه على ثلاثة أنواع مختلفة من الروبوتات (Llama و Qwen و Gemma)، ونجح الأمر مع جميعها.

لماذا هذا مهم؟

عادةً، لإصلاح روبوت ممل، عليك إما:

تعديل الإعدادات (مثل رفع مقبض "العشوائية")، وهو ما قد يجعل الروبوت يقول كلاماً غير منطقي أحياناً.
إعادة كتابة التعليمات (البرومبت)، وهو أمر مرهق ولا ينجح دائماً.
إعادة تدريب الروبوت بالكامل، وهو ما يستغرق شهوراً ويكلف ثروة.

تقدم هذه الورقة طريقة ثالثة: إصلاح بسيط ومجاني لمرة واحدة. أنت فقط تستبدل بعض "الطوابق" المحددة في دماغ الروبوت بنسخه الأصلية المبدعة، وتحصل على أفضل ما في العالمين: مساعد مفيد وفي نفس الوقت ممتع ومتنوع.

الملخص

المشكلة: تدريب الذكاء الاصطناعي ليكون مفيداً يجعله مكرراً ومملاً.
الحل: استبدال طبقات معينة من الذكاء الاصطناعي بحالته الأصلية التي سبقت التدريب اللاحق.
النتيجة: يصبح الذكاء الاصطناعي متنوعاً ومبدعاً مرة أخرى مع بقائه مفيداً ودقيقاً.
التكلفة: صفر وقت تدريب إضافي وصفر تكلفة تشغيل إضافية.

ملخص تقني: استعادة الطبقات الانتقائية تستعيد التنوع

بيان المشكلة

تعمل تقنيات ما بعد التدريب، مثل الضبط الدقيق للتعليمات وتغذية التعزيز من الملاحظات البشرية (RLHF)، على تعزيز قدرات اتباع التعليمات والمساعدة في النماذج اللغوية الكبيرة (LLMs) بشكل كبير. ومع ذلك، غالبًا ما تؤدي هذه الطرق إلى حدوث انهيار النمط (mode collapse)، وهي ظاهرة حيث يخصص النموذج كتلة احتمالية عالية بشكل غير متناسب لنطاق ضيق من الاستجابات، مما يقمع البدائل المتنوعة ولكن الصحيحة. يؤدي هذا إلى مخرجات تكرارية في الإعدادات مفتوحة النهايات (مثل الكتابة الإبداعية، والأسئلة والأجوبة مفتوحة النهاية، والاستنتاج)، مما يحد من فائدة النموذج في التطبيقات التي تقدر الردود المتميزة.

تقع استراتيجيات التخفيف الحالية ضمن ثلاث فئات، لكل منها قيودها:
١. الطرق القائمة على فك الترميز (decoding-based methods) (مثل تغيير مقياس درجة الحرارة/temperature scaling، وأخذ عينات min-p): تزيد من العشوائية لكنها لا تستطيع استعادة التنوع المفقود بسبب تغير المعلمات أثناء مرحلة ما بعد التدريب.
٢. الطرق القائمة على الأوامر البرمجية (prompt-based methods) (مثل طلب إجابات متعددة): تزيد من تكاليف الاستدلال وتتأثر بصياغة الأمر.
٣. الطرق القائمة على التدريب (training-based methods) (مثل إعادة تصميم الهدف): تتطلب إعادة تدريب وجمع بيانات مكلفة.

يسعى المؤلفون إلى طريقة تستعيد التنوع بفعالية، وتكون فعالة حوسبيًا أثناء التكيف، ولا تفرض أي تكلفة إضافية عند وقت الاستدلال.

المنهجية

المنهج المقترح، استعادة الطبقة الانتقائية (Selective Layer Restoration - SLR)، هو تدخل في مساحة الأوزان خالٍ من التدريب يعتمد على ملاحظتين تجريبيتين:
١. تُظهر طبقات النماذج اللغوية الكبيرة أدوارًا وظيفية متميزة (على سبيل المثال، الارتباطات الواقعية غالبًا ما تكون موضعية في طبقات المنتصف).
٢. تعمل عملية ما بعد التدريب أساسًا على توجيه السلوكيات المدربة مسبقًا التي يتم التعبير عنها، وغالبًا ما تقمع سلوكات أخرى (النسيان الكارثي)، بدلاً من اكتساب معرفة جديدة تمامًا.

يفترض المؤلفون أن انهيار النمط محصور في طبقات معينة، وأن استعادة نطاق مختار بعناًية من الطبقات في نموذج ما بعد التدريب ( $M_{post}$ ) إلى أوزان ما قبل التدريب الخاصة به ( $M_{pre}$ ) يمكن أن يستعيد التنوع مع الحفاظ على الجودة.

إطار عمل SLR

بالنظر إلى نموذج يتكون من $N$ من الطبقات، يقوم نظام SLR ببناء نموذج هجين $M_{i:j}$ عن طريق استبدال فاصل مستمر من الطبقات $[i, j]$ في $M_{post}$ بالطبقات المقابلة لها من $M_{pre}$ . الهدف هو إيجاد الفاصل الزمني $(i, j)$ الذي يعظم التنوع ( $D$ ) بشرط تحقيق الحد الأدنى من جودة العتبة ( $Q \ge q_{min}$ ).

مهمة الوكيل ذات الشخصية العشوائية المقيدة (CRC)

إن تحسين فاصل الاستعادة مباشرة على المهام النهائية المعقدة أمر مكلف حوسبيًا وصعب التقييم نظرًا لذاتية مفهوم "الجودة". لمعالجة ذلك، قدم المؤلفون الشخصية العشوائية المقيدة (Constrained Random Character - CRC) كمهمة وكيل.

الآلية: تتضمن CRC توليد شخصيات عشوائية (أرقام أو حروف) ضمن مجموعة صالحة ومحددة بدقة (مثال: "ولد رقمًا صحيحًا عشوائيًا في المجال [0, 5]").
المقاييس:
- الجودة ( $Q_{CRC}$ ): الكتلة الاحتمالية المخصصة للمخرجات الصالحة (لقياس الالتزام بالتعليمات).
- التنوع ( $D_{CRC}$ ): الإنتروبيا للتوزيع عبر المخرجات الصالحة (لقياس التباين).
عملية الاختيار: يقوم المؤلفون بإجراء بحث شبكي (grid search) عبر جميع فواصل الطبقات المستمرة المحتملة باستخدام CRC. ويختارون الفاصل الذي يعظم $D_{CRC}$ بينما يحقق شرط $Q_{CRC} \ge 0.9 \times Q_{CRC}(M_{post})$ . ثم يُطبق هذا الفاصل المحدد على المهام النهائية دون مزيد من الضبط.

المساهمات الرئيسية

١. استعادة الطبقة الانتقائية (SLR): هي طريقة خالية من التدريب لاستعادة فاصل مستمر من الطبقات في نموذج لغوي كبير تم تدريبه لما بعد المرحلة، وذلك باستعادة معلماته الأصلية. إنها تحافظ على البنية الأصلية وعدد المعلمات، ولا تسبب أي تكلفة إضافية عند الاستدلال. وقد ثبت أنها مكملة لطرق تنوع فك الترميز والطرق القائمة على الأوامر.
٢. الشخصية العشوائية المقيدة (CRC): مهمة وكيل ذات مجموعة صلاحية صريحة وهدف تنوع طبيعي. تسمح CRC باستكشاف فعال ومنخفض التكلفة لفواصل الاستعادة وتوفر دليلًا تجريبيًا على فرضية تحديد موقع الطبقة.
٣. التحقق التجريبي: تقييم شامل عبر ثلاث عائلات من النماذج (Llama، Qwen، Gemma) وثلاث مهام نهائية (الكتابة الإبداعية، الأسئلة والأجوبة مفتوحة النهاية، والاستنتاج متعدد الخطوات).

النتائج التجريبية

قيم المؤلفون منهج SLR مقابل خط الأساس لما بعد التدريب وبخط أساس "حساء النموذج" (Model Soup) وهو متوسط بارامتري مرجح بين ما قبل التدريب وما بعد التدريب.

الكتابة الإبداعية: حسن SLR التنوع باستمرار (متوسط زيادة بنسبة +42.5% في عدم التشابه القائم على التضمين) مع فقدان طفيف في الجودة (متوسط انخفاض بنسبة -2.1% في درجات حكم النموذج اللغوي الكبير LLM-judge). وفي المق المقابل، أظهر "حساء النموذج" مكاسب أقل في التنوع (+27.3%) وتدهورًا أكبر في الجودة (-6.0%).
الأسئلة والأجوبة مفتوحة النهاية: زادت SLR بشكل كبير من تنوع الإجابة، حيث أظهرت زيادة بنسبة +112.7% في الإنتروبيا وزيادة بنسبة +169.5% في التغطية (نسبة الإجابات الفريدة الصحيحة)، مع الحفاظ على دقة عالية (متوسط انخفاض بنسبة -1.8%).
الاستنتاج (GSM8K): في المسائل التي فشلت فيها نماذج ما بعد التدريب تحت فك الترميز الطماع (greedy decoding)، حسنت SLR قيمة Pass@k عبر جميع ميزانيات أخذ العينات ( $k \in \{1, \dots, 64\}$ )، مما يشير إلى انتقال الكتلة الاحتمالية نحو مسارات استنتاج متنوعة ولكن صحيحة.
القابلية للتركيب (Composability): ظل SLR فعالاً عند دمجه مع طرق فك ترميز أعلى درجة حرارة ( $T=1.5$ ) والعينات الكلامية (الطرق القائمة على الأوامر)، مما يشير إلى أن SLR يعدل توزيع النموذج الأساسي بينما تعالج الطرق الأخرى عملية أخذ العينات أو المدخلات.
دراسات الاستبعاد (Ablation Studies): حققت استعادة الطبقات بتوجيه من مهمة CRC نتائج فائقة مقارنة باستعادة فواصل عشوائية (مثل الطبقات الأولى أو الأخيرة). غالباً ما تفشل استعادة الطبقات العشوائية في تحسين التنوع أو تؤدي لتراجع الجودة، مما يؤكد أن اختيار الفاصل المحدد أمر بالغ الأهمية.

الأهمية والادعاءات

يزعم البحث أن SLR تقدم مسارًا بسيطًا وفعالًا لتخفيف انهيار النمط دون العبء الحوسبي لإعادة التدريب أو تكاليف الاستدلال للأوامر المعقدة. من خلال إثبات أنه يمكن استعادة التنوع عبر تدخلات مدروسة في مساحة الأوزان، يدعم العمل رؤية نمطية (Modular View) للنماذج اللغوية الكبيرة في مرحلة ما بعد التدريب:
١. الوظائف والسلوكات (بما في ذلك انهيار النمط) موضعية في طبقات معينة وليست موزعة بالتساوي.
٢. يعمل ما بعد التدريب أساسًا على توجيه التعبير عن سلوكات ما قبل التدريب وليس تغيير قاعدة المعرفة الأساسية للنموذج جذريًا.

خلص المؤلفون إلى أن عمليات التدخل دقيقة الوزن مثل SLR توفر وسيلة واعدة للتحكم في المفاضلة بين الجودة والتنوع في النماذج اللغوية الكبيرة، مما يسمح باستعادة خصائص ما قبل التدريب المرغوبة (مثل التنوع) مع الاحتفاظ بمزايا ما بعد التدريب (مثل الالتزام بالتعليمات). يظل البحث متواضعًا فيما يتعلق بقابلية التوسع، مشيرين إلى أن النتائج حاليًا محدودة بنماذج تتراوح حوالي 7-9 مليار معلمة، وأن هناك حاجة لمزيد من العمل لتحديد ما إذا كانت هذه النتائج ستصمد في المقاييس الأكبر أو مع تدخلات أكثر دقة (مثل استعادة الطبقات الفرعية).