ملخص تقني: InfoSFT

بيان المشكلة

يُعد الضبط الدقيق الخاضع للإشراف (SFT) النهج القياسي لتعليم النماذج اللغوية الكبيرة (LLMs) سلوكيات جديدة باستخدام نماذج الخبراء المتاحة في وضع عدم الاتصال (offline). ومع ذلك، يعاني الـ SFT القياسي من قصورين حرجين:

1. ضعف التعميم عند وقت الاختبار: يقوم الـ SFT القياسي بملاءمة جميع العينات بشكل موحد، بما في ذلك تلك ذات الاحتمالية المنخفضة تحت النموذج الأساسي. هذه الرموز (tokens) ذات الاحتمالية المنخفضة تسبب خسائر كبيرة في "اللوغاريتم السالب للاحتمالية" (negative-log-likelihood)، مما يجبر النموذج على الإفراط في ملاءمة عينات محددة بدلاً من تعلم السلوك المستهدف الأساسي. نتيجة لذلك، غالباً ما يكون أداء الـ SFT أقل مقارنة بالأساليب التي تعتمد على السياسة الحالية (مثل التعلم المعزز RL) في معايير التعميم.
2. النسيان الكارثي: إن التكيف مع السلوكيات الجديدة باستخدام بيانات منخفضة الاحتمالية يؤدي إلى تحولات كبيرة في توزيع مخرجات النموذج. هذا التحول التوزيعي الكبير يرتبط بتدهور القدرات السابقة (مثل السلامة، اتباع التعليمات، أو الاستدلال العام)، وهي ظاهرة تُعرف بالنسيان الكارثي.

غالباً ما تعمل استراتيجيات التخفيف الحالية، مثل تصفية البيانات أو تقليل وزن البيانات ذات الاحتمالية المنخفضة، على كبح السلوكيات الجديدة التي يحتاج النموذج لتعلمها، مما يخلق مقايضة بين تعلم مهام جديدة والحفاظ على المهام القديمة.

المنهجية: InfoSFT

يقترح المؤلفون InfoSft، وهو مخطط لوزن الرموز (token-weighting) قائم على مبادئ مصممة لتركيز إشارات التعلم على "الرموز ذات المعلومات القصوى واليقين المتوسط". وتُشتق هذه الطريقة من إطار تحديث تقريبي، حيث يتم تحسين المقايضة بين ملاءمة توزيع الخبير والبقاء قريباً من النموذج الأساسي تحت ميزانية ثابتة لتباعد كولباك-ليبلر (KL-divergence).

الاشتقاق النظري

يصيغ المؤلفون الـ SFT كمسألة تدرج سياسة (policy gradient) حيث يعتمد وزن العينة على احتمالية $q = \pi_\theta(y^*|x)$ تحت النموذج الحالي.

• الـ SFT القياسي يخصص وزناً موحداً ($w=1$)، مما يعامل جميع الرموز بالتساوي.
• الـ DFT (الضبط الدقيق الموزون بالاحتمالية) يخصص أوزانًا تتناسب مع الاحتمالية ($w \propto q$)، مما يعمل على استقرار التدريب ولكنه يقلل من وزن العينات المعلوماتية ذات الاحتمالية المنخفضة.
• الـ InfoSFT يشتق قاعدة وزن مثالية تعطي الأولوية لملاءمة توزيع مجتمع بيانات الخبراء بدلاً من حفظ العينات الفردية. يتم اشتقاق الوزن الأمثل للرمز ذي الاحتمالية $q$ كالتالي:
  $$w_{info}(q) \propto q \left( \text{logit}(p) - \text{logit}(q) \right)_+$$
  حيث أن:
  • $p$ هو تقدير لمتوسط ثقة الخبير (ثابت معايرة).
  • $\text{logit}(q) = \log(\frac{q}{1-q})$.
  • $(\cdot)_+$ تشير إلى القص (clipping) لضمان عدم سلبية الأوزان.

الخصائص الرئيسية

• التركيز على اليقين المتوسط: تصل دالة الوزن إلى ذروتها للرموز ذات اليقين المتوسط. فهي تخصص أوزانًا عالية للرموز غير المحتملة تحت النموذج الأساسي (وبالتالي هي معلوماتية) ولكنها ليست غير محتملة لدرجة تسبب عدم الاستقرار.
• تلاشي الوزن عند القيم المتطرفة:
  • بالنسبة للرموز عالية اليقين ($q \to 1$)، يتلاشى حد التصحيح، مما يتجنب التعزيز غير الضروري للرموز التي يتوقعها النموذج جيداً بالفعل.
  • بالنسبة للرموز غير المحتملة للغاية ($q \to 0$)، يتلاشى الوزن، مما يمنع عدم الاستقرار.
• التنفيذ: يتطلب InfoSFT تعديلاً بسيطاً من سطر واحد فقط لدالة الخسارة القياسية لكل رمز. حيث يستبدل الوزن الموحد بعامل الوزن المشتق.

المساهمات الرئيسية

1. التحديث الأمثل تحت ميزانية KL: يوضح البحث نظرياً أنه عندما نكون مقيدين بالبقاء قريباً من النموذج الأساسي (ميزانية KL ثابتة)، فإن استراتيجية التحديث المثلى تخصص أعلى الأوزان للعينات ذات اليقين المتوسط، بدلاً من الأوزان الموحدة أو الأوزان المتناسبة مع الاحتمالية.
2. خوارزمية InfoSFT: نسخة متغيرة بسيطة ومبتكرة من الـ SFT تدمج قاعدة الوزن هذه. فهي تركز على الرموز منخفضة الاحتمالية المعلوماتية بينما تعطي وزناً ضئيلاً للرموز التي تم حلها بالفعل.
3. التكامل مع SFT: يظهر المؤلفون أن InfoSFT وSFT يكملان بعضهما البعض. فالـ SFT فعال في تقديم التنسيقات غير المحتملة جداً (مثل علامات الاستدلال الجديدة مثل <thought>)، بينما يعد InfoSFT متفوقاً في صقل النموذج بمجرد أن تصبح هذه التنسيقات أكثر احتمالية.

النتائج التجريبية

قيم المؤلفون InfoSFT عبر مهام الرياضيات، البرمجة، والاستدلال بسلسلة الأفك "CoT" باستخدام عائلات نماذج متنوعة (Qwen-2.5, Llama-3.1) وأحجام مختلفة.

• أداء التعميم: تفوق InfoSFT باستمرار على كل من SFT التقليدي وDFT في معايير اختبار الوقت (MATH500, AMC, HumanEval, MultiPL-E). ومن الجدير بالذكر أنه حقق درجات pass@8 أعلى، مما يشير إلى تنوع وقوة أفضل في توليد الحلول الصحيحة من بين عينات متعددة.
• النسيان الكارثي: في التجارب التي تقيس المقايضة بين دقة المهمة الجديدة والقدرات السابقة (Science Q&A و Tool Use)، حقق InfoSFT حدود باريتو (Pareto frontier) متفوقة. فقد وصل إلى دقة أعلى في المهمة الجديدة مقارنة بـ SFT و DFT مع الحفاظ على القدرات السابقة (مثل HumanEval و IFEval) بشكل أكثر فعالية.
• التحكم في الإنتروبيا: على عكس DFT، الذي غالباً ما يؤدي إلى انهيار الإنتروبيا (المخرجات الحتمية)، يحافظ InfoSFT على إنتروبيا مخرجات أعلى، وهو أمر بالغ الأهمية لعمليات المحاذاة اللاحقة والاستدلال القائم على أخذ العينات.
• استدلال سلسلة الأفك (CoT): في ضبط CoT، أدى نهج مرحلتين (دورة واحدة من SFT تليها دورة واحدة من InfoSFT) إلى أفضل النتائج على AIME، حيث تم استغلال SFT لتعلم التنسيق وInfoSFT لصقل الاستدلال.

الأهمية والادعاءات

يزعم البحث أن توزين الرموز هو عنصر أساسي لعمليات الضبط الدقيق الخاضع للإشراف الموثوقة. من خلال تجاوز الملاءمة الموحدة أو التوزين البسيط بالاحتمالية، يعالج InfoSFT التوتر الجوهري بين تعلم سلوكيات جديدة من بيانات غير متصلة وبين الحفاظ على القدرات الموجودة مسبقاً. توفر الطريقة حلاً مبدئياً ومنخفض التكلفة يحسن التعميم ويخفف من النسيان الكارثي دون الحاجة إلى تصفية معقدة للبيانات أو أخذ عينات من السياسة الحالية. يضع المؤلفون InfoSFT كبديل قوي يسد الفجوة بين استقرار SFT وفوائد التعميم التي توفرها الأساليب القائمة على السياسة الحالية.