ملخص تقني: MIXSD - التقطير الذاتي السياقي المختلط لحقن المعرفة

بيان المشكلة

يعد الضبط الدقيق الخاضع للإشراف (SFT) النهج القياسي لحقن معرفة جديدة في النماذج اللغوية الكبيرة (LLMs). ومع ذلك، تؤدي هذه العملية تكراراً إلى النسيان الكارثي (catastrophic forgetting)، حيث يتدهور أداء النموذج في القدرات التي تم تدريبه المسبق عليها مثل الاستدلال، واتباع التعليمات، والأداء في المجالات العامة.

يجادل المؤلفون بأن هذا النسيان ينبع من عدم تطابق التوزيع (distribution mismatch) بين أهداف الإشراف والتوزيع الذاتي الانحداري الأصلي للنموذج. في المسارات القياسية، يتم تأليف التسلسلات المستهدفة بواسطة بشر أو أنظمة خارجية، وغالباً ما تحتوي على صياغات أو تنسيقات أو هياكل استدلال تقع في ذيول الاحتمالية المنخفضة لتوزيع النموذج الأساسي. إن إجبار النموذج على محاكاة هذه التسلسلات ذات الاحتمالية المنخفضة توكنًا بتوكن (token-by-token) يؤدي إلى تحديثات في المعلمات على طول اتجاهات حساسة، مما يخل بالسلوكيات المتعلمة مسبقاً.

المنهجية: MIXSD

لمعالجة ذلك، يقترح البحث MIXSD (التقطير الذاتي السياقي المختلط)، وهو أسلوب بسيط لا يتطلب معلماً خارجياً لحقن المعرفة بما يتوافق مع التوزيع. بدلاً من التدريب على أهداف ثابتة مؤلفة خارجياً، يقوم MIXSD ببناء الإشراف ديناميكياً باستخدام النموذج الأساسي نفسه.

الآلية الجوهرية

عند كل خطوة فك تشفير $t$، وبالنظر إلى بادئة (prefix) ذات انحدار ذاتي مشتركة، يقوم MIXSD بأخذ عينة من توكن الإشراف من خليط من توزيعين شرطيين محددين بواسطة النموذج الأساسي $p_{\theta^*}$:

1. الشرطي الخبير (Expert Conditional): $p_{\theta^*}(\cdot \mid x^+_i, y_{mix, <t})$، حيث يتضمن المدخل $x^+_i$ الحقيقة المحقونة (الحقيقة الأرضية) في السياق. هذا يولد توكنات تعبر عن الحقيقة الصحيحة بصيغة النموذج السطحية الخاصة به.
2. الشرطي الساذج (Naive Conditional): $p_{\theta^*}(\cdot \mid x_i, y_{mix, <t})$، حيث يتضمن المدخل $x_i$ المطالبة الأصلية فقط دون المعرفة المحقونة. هذا يعكس التوزيع القبلي الأصلي للنموذج.

يتم أخذ عينة من الهدف الإشرافي $y^{mix}_{i,t}$ كالتالي:
$$y^{mix}_{i,t} = \begin{cases} \tilde{y}^+_{i,t} & \text{باحتمالية } 1 - \lambda \\ \tilde{y}^-_{i,t} & \text{باحتمالية } \lambda \end{cases}$$
حيث $\lambda \in [0, 1]$ هو معدل الخلط. ثم يتم تحديث النموذج باستخدام فقدان الـ Negative Log-Likelihood (NLL) القياسي على هذه الأهداف المختلطة.

الخيارات التصميمية الرئيسية

• لا معلم خارجي: على عكس التقطير المعرفي التقليدي، لا يتطلب MIXSD نموذج معلم أقوى، مما يتجنب التكلفة الحسابية لتوليد عمليات تشغيل متعددة لكل استعلام (كما هو متبع في نماذج التقطير الذاتي القائمة على السياسة On-Policy).
• تطابق التوزيع: من خلال خلط التوكنات الساذجة، تظل أهداف الإشراف قريبة بشكل جوهري من التوزيع الأصلي للنموذج، مما يقلل من قيمة NLL لأهداف التدريب تحت النموذج الأساسي.
• المعامل $\lambda$: يتحكم في المقايضة؛ حيث يركز $\lambda$ المنخفض على إشارة الخبير (الحفظ/الاستيعاب)، بينما يربط $\lambda$ المرتفع النموذج بوزنه القبلي (الاحتفاظ بالقدرات).

الإعداد التجريبي

قيم المؤلفون MIXSD عبر مقاييس متعددة للنماذج (Qwen3-1.7B, 4B, 8B) ومجموعتين من البيانات الاصطناعية المصممة لعزل أنواع محددة من المعرفة:

• KGFACT: مجموعة معرفة حقائق مستمدة من رسم بياني لعالم محاكى بكيانات جديدة لاختبار استرجاع الحقائق والبحث.
• KGFUNC: مجموعة بيانات لاكتساب الدوال الحسابية، تتطلب من النموذج استنتاج القواعد من العمليات على مستوى الأرقام.
• الاختبارات المرجعية: شمل التقييم اختبارات عامة محجوزة (AIME, MATH, GSM8K, HumanEval, MMLU) لقياس النسيان، جنباً إلى جنب مع دقة التدريب داخل النطاق.

النتائج الرئيسية

1. تحسين المقايضة بين الحفظ والاحتفاظ: عبر جميع مجموعات البيانات ومقاييس النماذج، تفوق MIXSD باستمرار على نماذج SFT القياسية ونماذج التقطير الذاتي القائمة على السياسة (OPSD).
   • حقق SFT القياسي دقة تدريب شبه مثالية ولكنه احتفظ بنسبة ضئيلة تصل إلى 1% فقط من قدرات النموذج الأساسي في الاختبارات المرجعية.
   • حافظ MIXSD (مع $\lambda=0.3$ أو $0.5$) على دقة تدريب شبه مثالية مع الاحتفاظ بما يصل إلى 100% من قدرات النموذج الأساسي المحجوزة (على سبيل المثال، في Qwen3-4B، احتفظ MIXSD بحوالي 77% من القدرات العامة مقابل 43% لـ SFT).
2. تطابق التوزيع: أظهرت أهداف الإشراف في MIXSD قيم NLL لكل توكن أقل بكثير تحت النموذج الأساسي مقارنة بأهداف SFT. التوكنات ذات الـ NLL العالي (التي تشير إلى احتمالية منخفضة تحت النموذج الأساسي) شكلت 27–42% من أهداف SFT، بينما شكلت 4–8% فقط لـ MIXSD عند $\lambda=0.3$.
3. تحليل نمط الخطأ: تسبب SFT في تحولات نوعية في سلوك التوليد، مما أدى إلى "التسرب" (توليد كيانات خيالية غير مرتبطة بالمطالبة) و"الانهيار" (إجابات قصيرة ذات نمط قالب بدون استدلال). حافظ MIXSD إلى حد كبير على ملف الخطأ الأصلي للنموذج الأساسي، حيث كانت غالبية الأخطاء هي محاولات استدلال "حقيقية" بدلاً من الفشل المرضي.
4. اتجاه تحديث المعلمات: قدم البحث مقياس إزاحة المعلمات الموزونة بـ Fisher (Fisher-weighted parameter displacement). تظهر النتائج أن اتجاه تحديثات المعلمات (الارتباط مع اتجاهات Fisher الحساسة) يرتبط بقوة بالنسيان ($r \approx 0.56-0.82$)، بينما لا يرتبط مقدار التحديثات بذلك ($r \approx 0.02-0.34$). يقلل MIXSD من الارتباط مع هذه الاتجاهات الحساسة مقارنة بـ SFT.

الأهمية والادعاءات

يدعي البحث أن مواءمة الإشراف مع توزيع التوليد الأصلي للنموذج هو مبدأ بسيط وفعال لحقن المعرفة يقلل من النسيان الكارثي.

• الرؤية النظرية: يشير العمل إلى أن النسيان الكارثي مدفوع باتجاهات التحديث على طول المسارات الحساسة الناجمة عن عدم تطابق توزيع الإشراف، أكثر من كونه مدفوعاً بمقدار تغيير المعلمات.
• الفائدة العملية: يوفر MIXSD بديلاً "جاهز للاستبدال" لأهداف SFT القياسية، ولا يتطلب معلماً خارجياً وتكاليف حسابية إضافية ضئيلة (فقط تكلفة معالجة مسبقة لمرة واحدة لتوليد المسارات المختلطة).
• القدرة على التعميم: لوحظت الفوائد عبر عائلات نماذج مختلفة (Qwen و Llama) وفي إعدادات مختلفة، بما في ذلك تعديل المعرفة (overwriting existing facts) واكتساب دوال حسابية جديدة.

خلص المؤلفون إلى أنه بينما يجبر SFT النماذج على محاكاة مسارات خارجية منخفضة الاحتمالية، فإن MIXSD يحافظ على إشارة تعلم الحقائق مع إبقاء مسار الإشراف ضمن مناطق الاحتمالية العالية للنموذج، مما يؤدي إلى استقرار القدرات التي تم التدريب المسبق عليها.