ملخص تقني: Dr. Post-Training (التدريب اللاحق المُنظم بالبيانات)

بيان المشكلة

تواجه مرحلة التدريب اللاحق (Post-Training) للنماذج اللغوية الكبيرة (مثل SFT، وRLHF، وRLVR) تحديًا جوهريًا يتمثل في ندرة البيانات. فالممارسون غالبًا ما يمتلكون وفرة في بيانات التدريب العامة (مثل مجموعات التعليمات الواسعة) التي لا تتوافق إلا جزئيًا مع أهداف محددة لاحقة، بينما تكون البيانات عالية الدقة التي تعكس الهدف المستهدف مباشرة (مثل الأمثلة الخاصة بمجال معين، أو تسميات التفضيل) نادرة.

تؤطر النهج الحالية هذه المشكلة بشكل أساسي كمسألة اختيار بيانات: أي تصفية المجمع العام لاختيار العينات "عالية المنفعة". ومع ذلك، يرى المؤلفون أن هذا المنظور يحجب سؤالاً أكثر جوهرية: كيف يمكن الاستفيراد بفعالية من البيانات الوفيرة ولكن غير المتوافقة تمامًا لتنظيم (Regularize) التحديثات المدفوعة بالبيانات المستهدفة النادرة؟ فالتدريب القياسي على بيانات مستهدفة شحيحة ينطوي على خطر الإفراط في التخصيص (التباين العالي)، بينما ينطوي التدريب على بيانات عامة وفيرة على خطر التحيز بسبب عدم تطابق التوزيع.

المنهجية: Dr. Post-Training

يقدم البحث إطار عمل Dr. Post-Training (التدريب اللاحق المُنظم بالبيانات)، وهو إطار يعيد صياغة مفهوم البيانات العامة في التدريب اللاحق ليس كمجمع للاختيار، بل كمُنظم مستحث بالبيانات (Data-induced regularizer).

الإطار الجوهري

يصيغ الإطار عملية التدريب اللاحق كعملية تحسين تكرارية حيث:

1. الإشارة المستهدفة (Target Signal): تحدد دفعة مستهدفة شحيحة ($B^\star_t$) الاتجاه المثالي لتحسين النموذج (تقليل الخسارة المستهدفة $L^\star$).
2. التنظيم (Regularization): تعمل دفعة تدريب عامة وفيرة ($B_t$) على تقييد التحديث عبر تحديد مجموعة مسموح بها ($U_t$) من اتجاهات تحديث المعلمات المقبولة.
3. قاعدة التحديث: يتم اختيار اتجاه التحديث $u_t$ لتقليل الخسارة المستهدفة ضمن المجموعة المسموح بها المستحثة من دفعة التدريب:
   $$u_t = \arg\min_{u \in U_t} L^\star(\theta_t - \eta_t u)$$
   تحت فرضيات السلاسة، يتم تقريب ذلك عبر إسقاط دفعة الهدف على المجموعة المسموح بها: $u_t = \text{Proj}_{U_t}(\hat{g}^\star)$.

طيف التحيز والتباين (The Bias–Variance Spectrum)

يوحد الإطار الأساليب الحالية كحالات خاصة بناءً على تعقيد المجموعة المسموح بها $U_t$:

• تحديث الهدف فقط ($U_t = \mathbb{R}^d$): لا يوجد تنظيم. غير متحيز ولكن ذو تباين عالٍ عندما تكون البيانات المستهدفة شحيحة.
• تحديث التدريب الكامل ($U_t = \{\hat{g}_{tr}\}$): أقوى أنواع التنظيم. صفر تباين (مستقل عن دفعة الهدف) ولكن قد يكون ذا تحيز عالٍ إذا اختلفت التوزيعات.
• تحديث المجموعة الفرعية العالمية (Global Subset Update): يكون التحديث هو متوسط التدرج لمجموعة فرعية مختارة بحجم $k$ من دفعة التدريب. هذا يتوسط بين الطرفين، مما يوفر مقايضة بين التحيز والتباين. وتُعتبر طرق اختيار البيانات الحالية (مثل Top-k، أو العتبة/Thresholding) تقريبات قابلة للتطبيق لهذا التحسين الجزئي.

طريقة جديدة: تحديث المجموعة الفرعية الموزعة (Group-Wise Subset Update)

لتوسيع مجال التصميم، يقترح المؤلفون تحديث المجموعة الفرعية الموزعة. بدلاً من اختيار مجموعة فرعية عالمية واحدة من عينات التدريب لجميع معلمات النموذج (كما في تحديث المجموعة الفرعية العالمية)، يتم تقسيم مساحة المعلمات إلى مجموعات (على سبيل المثال، حسب الطبقة). وتختار كل مجموعة بشكل مستقل مجموعتها الفرعية الخاصة من عينات التدريب.

• الفائدة: يعمل هذا على تخفيف قيد الاقتران العالمي، مما يقلل من تحيز التقريب عندما تتوافق مجموعات المعلمات المختلفة مع إشارة الهدف بطرق مختلفة.
• الضمان النظري: يقدم البحث تفكيكًا رسميًا للتحيز والتباين، موضحًا أن تحديث المجموعة الفرعية الموزعة يوفر طيفًا أغنى من المقايضات مقارنة بتحديث المجموعة الفرعية العالمية، مع انخفاض التحيز مع زيادة تعقيد المجموعة المسموح بها.

تحسينات النظام

إن تنفيذ التحديثات المنظمة بالبيانات على نطاق النماذج اللغوية الكبيرة (LLM) يفرض تبعيات لكل عينة يتجنبها الانتشار العكسي (Backpropagation) القياسي. لذا قدم المؤلفون تحسينات على مستوى النظام لتحقيق الكفاءة:

1. معالجة الدفعات المدمجة (Merged Batch Processing): يتم دمج دفعات التدريب والأهداف في تمريرة أمامية-خلفية واحدة لتوليد تدرجات لكل عينة لكليهما في آن واحد.
2. جدولة زمن حياة التنسور المخصصة (Customized Tensor Lifetime Scheduling): بدلاً من الاحتفاظ بكامل رسم الحساب (الذي يستهلك الذاكرة بشكل مفرط) أو تشغيل تمريرتين (الذي يستهلك وقت التشغيل)، يقوم المؤلفون بتبديل التنشيطات الأمامية المخزنة مؤقتًا ($e^{(l)}$) مع تدرجات الانتشار الخلفي ($\partial \ell / \partial e^{(l)}$) طبقة تلو الأخرى. وهذا يحافظ على الحد الأدنى من المعلومات المحلية $(a^{(l)}, \partial \ell / \partial e^{(l)})$ اللازمة لتقييم الدرجات وتجميع التحديث ضمن تمريرة واحدة.
3. خوارات حساب الدرجات الفعالة (Efficient Scoring Algorithms):
   • الضرب الداخلي لكل توكن (Per-Token Inner Product - PIP): يتوسط بين طرق الضرب الدالي المباشر وطريقة الضرب الداخلي الشبحية (GIP)، مما يوفر كفاءة أفضل لأطوال التسلسل المتوسطة.
   • حساب الدرجات المضغوط (Compressed Scoring): يسقط التدرجات في مساحة منخفضة الأبعاد لحساب درجات تقريبية، مما يزيل الاعتماد على بُعد التدرج الكامل ويعمل كخيار افتراضي عملي.
4. التوافق: يتكامل الأسلوب بسلاسة مع الضبط الفعال للمعلمات (مثل LoRA وMeSO)، وتقنية فحص التنشيط (Activation Checkpointing)، وتراكم التدرجات (Gradient Accumulation).

المساهمات الرئيسية

1. الإطار: منظور جديد لتنظيم البيانات يعامل البيانات العامة كقيد على التحديثات المدفوعة بالهدف، مما يستوعب طرق اختيار البيانات الحالية كحالات خاصة.
2. الطريقة: اقتراح تحديث المجموعة الفرعية الموزعة، الذي يوفر مجال تصميم أوسع للمقايضة بين التحيز والتباين من خلال السماح باختيار مستقل للمجموعات الفرعية لكل مجموعة معلمات.
3. النظام: استراتيجيات تنفيذ فعالة (جدولة زمن حياة التنسور، وحساب الدرجات المضغوط) تحقق هذه الأساليب بأقل قدر من التكاليف في الذاكرة ووقت التشغيل تحت قيود النماذج اللغوية الكبيرة الحديثة.
4. التحقق التجريبي: تحسن مستمر في الأداء عبر نماذج SFT وRLHF وRLVR.

النتائج التجريبية

قيم المؤلفون Dr. Post-Training عبر ثلاثة نماذج للتدريب اللاحق:

• الضبط الدقيق تحت الإشراف (SFT): على نموذج LLAMA-3.2-1B عبر أربعة أزواج من المهام (مثل Alpaca/Samsum، وLess-mix/TydiQA). تفوق تحديث المجموعة الفرعية على مستوى الطبقات (Layer-Wise Subset Update) باستمرار على كل من التدريب الكامل القياسي والأساس المتقدم لاختيار البيانات عبر الإنترنت (GREATS، والذي يمثل تحديث المجموعة الفرعية العالمية). في حالة less-mix/TyDiQA، قفزت درجات F1 من 10.1% (التدريب الكامل) إلى 27.4% (تحديث المجموعة الفرعية على مستوى الطبقات). وكشفت دراسة حالة أن تحديث المجموعة الفرعية العالمية تهيمن عليه الطبقات ذات القيم الكبيرة (مثل down_proj)، بينما يسمح التحديث على مستوى الطبقات للطبقات الأخرى بتنسيق بياناتها الخاصة.
• التعلم التعزيزي من التغذية الراجعة البشرية (RLHF): باستخدام PPO لإزالة السمية في نموذج GPT-NEO-2.7B. حقق تحديث المجموعة الفرعية على مستوى الطبقات أعلى مكافآت تدريب وأقل سمية في التقييم مقارنة بـ PPO القياسي وتحديث المجموعة الفرعية العالمية.
• التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR): باستخدام GRON على مجموعة بيانات MATH بنموذج QWEN3-1.7B. حافظ تحديث المجموعة الفرقية على مستوى الطبقات على ميزة الأداء طوال فترة التدريب، محققًا دقة نهائية أعلى من تحديث المجموعة الفرعية العالمية (الذي تقارب مع خط الأساس).
• كفاءة النظام: أظهرت الاختبارات المرجعية على SMOLLM2-360M وTINYLLAMA-1.1B وLLAMA-3.2-3B أن تحديث المجموعة الفرعية على مستوى الطبقات يتسبب في زيادة تتراوح بين 3-34% فقط في وقت التشغيل (Wall-clock overhead) مقارنة بالتدريب الكامل، مع انخفاض هذا العبء مع زيادة حجم النموذج. كما ظل ذروة استخدام الذاكرة مشابهًا للتدريب القياسي، خاصة عند استخدام تقسيمات الطبقات وتقنية فحص التنشيط.

الأهمية والادعاءات

يدعي البحث أن Dr. Post-Training يقدم تحولًا جوهريًا في المنظور من "اختيار البيانات" إلى "تنظيم التحديثات". ومن خلال صياغة دور البيانات العامة الوفيرة كعامل استقرار وليس مجرد مصدر للعينات، فإن الإطار:

• يوفر رؤية نظرية موحدة لطرق البيانات الحالية.
• يفتح مجال تصميم جديد (تحديث المجموعة الفرعية الموزعة) يضبط صراحةً المقايضة بين التحيز والتباين.
• يثبت أن هذه الأساليب المدفوعة نظريًا يمكن تنفيذها بكفاءة على نطاق واسع دون تكاليف باهظة في الذاكرة أو الحوسبة.

يؤكد المؤلفون أن نهجهم فعال بشكل خاص عندما يكون توزيع التدريب العام غير متوافق مع الهدف، وهو سيناريو شائع في التدريب اللاحق للنماذج اللغوية الكبيرة عمليًا. ويشير العمل إلى أن طرق البيانات المستقبلية يجب أن تركز على هيكل مجموعة التحديثات المسموح بها بدلاً من مجرد درجات منفعة العينات.