ملخص تقني: انهيار التمثيل في التدريب المتتابع لما بعد التدريب للنماذج اللغوية الكبيرة

1. بيان المشكلة

نادراً ما يتم تكييف النماذج اللغوية الكبيرة (LLMs) المعاصرة من خلال مرحلة واحدة من ضبط التعليمات. بدلاً من ذلك، تخضع لسلاسل متتابعة من مراحل ما بعد التدريب (post-training)، بما في ذلك الضبط الدقيق للتعليمات العام، وتحسين التفضيلات، ومحاذاة السلامة، والتخصص النطاقي (الرياضيات/البرمجة)، وضبط سلسلة التفكير الطويلة (CoT). وبينما تركز ممارسات التقييم الحالية على المخرجات السلوكية (مثل درجات الاختبارات المعيارية، ومعدلات الرفض)، يجادل هذا البحث بأن هذه الرؤية غير مكتملة.

المشكلة الجوهرية التي يتم استقصاؤها هي انهيار التمثيل (representation collapse): وهي الفرضية القائلة بأن التدريب المتتابع لما بعد التدريب يؤدي تدريجياً إلى ضغط فضاء الميزات الداخلي للنموذج إلى ماني فولدات (manifolds) منخفضة الرتبة، وغير متساوية المناحي (anisotropic)، ومتجانسة. ويفترض المؤلفون أنه بينما قد تحسن المراحل الفردية الأداء في مهام محددة، فإن التركيز المفرط للتمثيلات يمكن أن يؤدي إلى تدهور "اللدونة" (plasticity) لدى النموذج، مما يجعل التكيف المستقبلي مع نطاقات جديدة أمراً صعباً. يتسم هذا الانهيار بـ:

• فقدان الرتبة الفعالة في تغاير الحالة الخفية (hidden-state covariance).
• محاذاة العينات مع عدد قليل من الاتجاهات المهيمنة (anisotropy).
• تقليل القدرة على الفصل بين النطاقات وأنواع الرموز (tokens).
• لوجيتات (logits) مفرطة في الثقة وانخفاض في المعايرة.
• إعادة استخدام نفس الفضاءات الفرعية منخفضة الرتبة لتحديثات المحولات (adapters) مثل (LoRA) عبر مراحل مختلفة.

يؤطر البحث هذا الأمر ليس كفقدان كلي للقدرة، بل كـ "نمط فشل صامت" حيث يصبح النموذج أفضل في مهمته المستهدفة الأخيرة ولكنه يصبح أقل قدرة على تعلم المهام اللاحقة بسبب الضيق الهندسي.

2. المنهجية

الإعداد التجريبي

تستخدم الدراسة اختباراً معيارياً مضبوطاً للتدريب المتتابع لما بعد التدريب باستخدام نماذج مفتوحة الأوزان صغيرة ومتوسطة الحجم (Qwen2.5-1.5B, TinyLlama-1.1B, Llama-3.2-1B, OLMo-1B، مع فحص التوسع عند 7B). تستخدم التجارب تقنية LoRA (رتبة 16، ألفا 32) كآلية تكيف أساسية، مع استخدام الضبط الدقيق الكامل (full fine-tuning) على نماذج 1B للتحقق من أن التأثيرات ليست ناتجة عن عملية التكيف منخفض الرتبة نفسها.

تتضمن سلسلة التدريب مراحل متميزة، مثل:

• سلسلة التخصص: SFT عام $\leftarrow$ SFT رياضيات $\leftarrow$ SFT برمجة $\leftarrow$ SFT سلامة/رفض.
• الاستدلال والتفضيل: SFT عام $\leftarrow$ SFT سلسلة تفكير طويلة (Long-CoT) $\leftarrow$ تحسين التفضيل بأسلوب DPO.
• السلامة أولاً: SFT سلامة/رفض $\leftarrow$ SFT عام $\leftarrow$ تخصص نطاقي.

مجموعة القياس

يتم تطبيق مجموعة نصوص اختبارية ثابتة ($X_{probe}$) مكونة من 12,000 نص (سؤال-استجابة) (متوازنة عبر النطاقات) على كل نقطة تفتيش (checkpoint) لضمان عدم اختلاط التغيرات الهندسية بتغير توزيعات التقييم. يحدد البحث مجموعة قياس شاملة تغطي:

1. المقاييس الطيفية (Spectral Metrics):
   • الرتبة الفعالة ونسبة المشاركة: تقيس مدى تركيز تغاير الحالة الخفية.
   • تباين Top-k: يصور التركيز في الأبعاد المهيمنة.
2. المقاييس الهندسية (Geometric Metrics):
   • عدم تساوي المناحي (Anisotropy): متوسط تشابه جيب التمام الزوجي (الممركز وغير الممركز).
   • انزياح CKA: محاذاة النواة المركزية (CKA) التي تقارن نقاط التفتيش بالنموذج الأساسي والمراحل السابقة.
   • قابلية الفصل بين النطاقات: درجات Silhouette ونسب التغاير للفصل بين النطاقات.
3. ديناميكيات الرموز (Token Dynamics):
   • تحليل الرتبة والتنوع عبر نطاقات محددة: المطالبات (prompts)، الاستجابات المبكرة، الاستجابات المتأخرة، نطاقات CoT، ونطاقات الرفض.
4. المقاييس الوظيفية (Functional Metrics):
   • فضاء اللوجيت (Logit Space): الإنتروبيا، حجم دعم المفردات، هوامش أعلى قيمتين، وخطأ المعايرة المتوقع (ECE).
5. مقاييس التحديث (Update Metrics):
   • تداخل LoRA: تداخل الزاوية الرئيسية بين قواعد المتجهات المفردة لتحديثات LoRA عبر المراحل المختلفة.

استراتيجية التقييم

التقييم يعتمد على المسار وليس فقط على النهاية. بعد كل مرحلة، يتم تقييم النموذج بناءً على:

• الأداء المستهدف: الربح المباشر في النطاق الذي تم التدريب عليه.
• الاحتفاظ/خارج التوزيع (OOD): الأداء في المهام المحجوزة والبيانات خارج التوزيع.
• التعلم المستقبلي: اختبار حاسم حيث تخضع كل نقطة تفتيح لتكيف بميزانية ثابتة لمهمة نطاق جديدة وغير مرئية. وتعمل كفاءة العينة والدرجة النهائية لهذا التكيف كوكيل (proxy) للملدونة (plasticity).

3. النتائج الرئيسية

النتائج التجريبية

1. التدريب المتتابع لما بعد التدريب هو مسار (Trajectory): الانهيار ليس موحداً؛ فهو يتركز في طبقات محددة (غالباً في كتل Transformer الوسطى والمتأخرة) ويختلف باختلاف المرحلة. على سبيل المثال، يقلل تدريب الرياضيات من الرتبة في نطاقات معينة، بينما يركز تدريب السلامة التمثيلات في الاستجابات المتأخرة.
2. بصمات الانهيار المعتمدة على الهدف:
   • تدريب السلامة/الرفض: ينتج اتجاهات قالب استجابة قوية ولوجيتات أكثر حدة.
   • تدريب سلسلة التفكير الطويلة (Long-CoT): يخلق اتجاه تنسيق استدلال يؤثر على الرموز المتولدة المتأخرة.
   • تحسين التفضيل (DPO): يضخم عدم تساوي المناحي (anisotropy) عن طريق زيادة هوامش التفضيل النسبية.
   • الرياضيات/البرمجة: أكثر دقة؛ فهي تخصص طبقات معينة مع الحفاظ على الفصل بين النطاقات في أماكن أخرى.
3. الانهيار يتنبأ باللدونة المستقبلية: يوجد ارتباط سلبي مباشر بين صحة التمثيل (الرتبة الفعالة، عدم تساوي المناحي) وأداء التعلم المستقبلي. مع انخفاض الرتبة الفعالة وزيادة عدم تساوي المناحي أثناء التسلسل، تتدهور كفاءة العينة والدرجة النهائية للتكيف مع مهمة جديدة، حتى لو تحسن الأداء في المهمة المستهدفة المباشرة.
4. اعتماد المسار (Path Dependence): ترتيب المراحل مهم. على سبيل المثال، تدريب السلامة متبوعاً بالتعليمات العامة يعطي مقاييس انهيار مختلفة عن التعليمات العامة متبوعة بالسلامة.

استراتيجيات التخفيف

يختبر البحث تدخلات خفيفة الوزن للحفاظ على قابلية التعلم المستقبلية دون التضحية بمكاسب المهمة المستهدفة:

• إعادة عرض النطاق المختلط (Mixed-Domain Replay): خلط جزء صغير (5-20%) من بيانات النطاق العام في المراحل المتخصصة.
• تنشيط الميزات (Feature Refresh): إدراج مراحل قصيرة من التعليمات العامة بعد مراحل الانهيار العالي.
• تنظيم تنوع التمثيل (Representation Diversity Regularization): معاقبة محاذاة الحالة الخفية على مستوى الدفعة ($L_{cos}$).
• إلغاء ارتباط تحديث LoRA (LoRA Update Decorrelation): معاقبة التداخل بين قواعد تحديثات LoRA الحالية والسابقة ($L_{decorr}$).

تشير النتائج إلى أن هذه الطرق يمكن أن تحسن "جبهة باريتو" (Pareto frontier)، مما يسمح بتكيف مستقبلي أفضل مع الحفاظ على أداء الهدف، رغم أنها لا تقضي على الانهيار تماماً.

4. المساهمات

يقدم البحث ثلاث مساهمات رئيسية:

1. بروتوكول قياس على مستوى الطبقة: مجموعة من التشخيصات (طيفية، هندسية، على مستوى الرمز، وظيفية، ومساحة التحديث) مصممة خصيصاً للكشف عن انهيار التمثيل في التدريب المتتابع لما بعد التدريب.
2. اختبار معياري متتابع مضبوط: مصفوفة تجريبية معيارية تغطي التعليمات العامة، الرياضيات، البرمجة، السلامة، CoT، وبيانات التفضيل مع ميزانيات رموز متطابقة ونصوص اختبارية ثابتة.
3. التحقق التنبؤي: أدلة على أن مقاييس الانهيار (التي تُقاس قبل التكيف المستقبلي) تتنبأ بصعوبة تعلم مهام جديدة، وأن التدخلات التي تحافظ على التنوع يمكن أن تخفف من فقدان اللدونة هذا.

5. الأهمية والادعاءات

يدعي البحث أن انهيار التمثيل ليس مجرد فضول هندسي، بل هو تشخيص عملي لـ قابلية التعلم المستقبلية. يجادل المؤلفون بأن التركيز الحالي على الاختبارات المعيارية السلوكية يغفل نمط فشل حرج: يمكن للنموذج أن يصبح كفؤاً سلوكياً في مهمة معينة بينما يصبح هشاً هندسياً تجاه التكيف المستقبلي.

تكمن الأهمية في إعادة صياغة المحاذاة والتخصص كـ مشكلات تعلم مستمر. تسمح مجموعة القياس المقترحة للممارسين بالتمييز بين التخصص المفيد والضيق الهش. ويخلص البحث إلى أنه بينما يجب ألا يهدف التدريب لما بعد التدريب إلى تعظيم التنوع بأي ثمن (حيث أن بعض التخصص ضروري)، فإن الحفاظ على درجات حرية تمثيلية كافية أمر ضروري للحفاظ على قدرة النموذج على التكيف مع المتطلبات المستقبلية غير المتوقعة.

القيود التي ذكرها المؤلفون:

• أُجريت التجارب على نماذج 1B-7B؛ وقد يختلف سلوك النماذج في النطاقات الواسعة (Frontier-scale).
• تم استخدام DPO كبديل لعمليات RLHF/RLAIF المستخدمة في الإنتاج.
• المقاييس حساسة لاختيار مجموعة النصوص ونطاقات الرموز، رغم أن الدراسة تضبط ذلك عبر أنواع متعددة من الاختبارات.
• الادعاءات السببية مدعومة بأدلة التدخل (التخفيف) بدلاً من الاشتقاق النظري البحت.