🤖 AI

Towards On-Policy SFT: Distribution Discriminant Theory and its Applications in LLM Training

تقدم هذه الورقة نظرية تمييز التوزيع (DDT) لتمكين الضبط الدقيق الخاضع للإشراف أثناء السياسة (On-Policy)، مقترحةً تقنيتي "الضبط الدقيق داخل التوزيع" و"فك التشفير الملمّح" اللتين تحققان أداء تعميم يتجاوز خوارزميات التعلم المعزز غير المتصل بالسياسة مثل DPO وSimPO، مع الاحتفاظ بالكفاءة الحسابية للضبط الدقيق الخاضع للإشراف (SFT).

المؤلفون الأصليون: Miaosen Zhang, Yishan Liu, Shuxia Lin, Xu Yang, Qi Dai, Chong Luo, Weihao Jiang, Peng Hou, Anxiang Zeng, Xin Geng, Baining Guo

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC0 1.0

المؤلفون الأصليون: Miaosen Zhang, Yishan Liu, Shuxia Lin, Xu Yang, Qi Dai, Chong Luo, Weihao Jiang, Peng Hou, Anxiang Zeng, Xin Geng, Baining Guo

البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم طالباً عبقرياً، ولكنه دقيق للغاية (وهو الذكاء الاصطناعي)، كيفية حل المسائل الرياضية. لديك طريقتان رئيسيتان لتعليمه:

طريقة "الكتاب المدرسي" (الضبط الدقيق الخاضع للإشراف / SFT): أنت تعطي الطالب مجموعة من مفاتيح الإجابات من كتاب مدرسي، وتقول له: "احفظ هذه الإجابات تماماً".
- المشكلة: قد تكون إجابات الكتاب مكتوبة بأسلوب لا يستخدمه الطالب بشكل طبيعي، أو قد تحتوي على أخطاء بسيطة. إذا أجبرت الطالب على حفظها بشكل أعمى، فقد ينسى طريقة تفكيره الطبيعية أو يبدأ في اختلاق هراء لمجرد مطابقة الكتاب. سيصبح "ببغاءً" بدلاً من أن يكون مفكراً.
طريقة "الاختبار التجريبي" (التعلم التعزيزي / RL): أنت تترك الطالب يحاول حل المسائل بمفرده. عندما يصيب، تعطيه نجمة ذهبية. وعندما يخطئ، تسحبها منه.
- المشكلة: هذه الطريقة بطيئة للغاية ومكلفة. عليك إجراء آلاف الاختبارات التجريبية للحصول على بضع نجمات ذهبية فقط. وأيضاً، إذا تعثر الطالب، فقد لا تعرف لماذا فشل، مما يجعل من الصعب إصلاح الأمر.

الفكرة الكبرى:
تساءل مؤلفو هذه الورقة البحثية: "هل يمكننا الحصول على سرعة طريقة الكتاب المدرسي، ولكن مع التفكير الطبيعي والذكي لطريقة الاختبار التجريبي؟"

أدركوا أن الإجابة هي نعم، ولكن فقط إذا توقفنا عن إجبار الطالب على حفظ كل شيء في الكتاب المدرسي، وبدأنا في تعليمه فقط الأجزاء التي تتوافق مع عقله الطبيعي.

إليكم كيف فعلوا ذلك، مقسماً إلى ثلاثة مفاهيم بسيطة:

1. "اختبار النغمة" (نظرية التمييز التوزيعي - DDT)

تخيل أن لدى الطالب "نغمة" أو إيقاعاً طبيعياً خاصاً به عند التحدث. بعض الإجابات في الكتاب المدرسي تبدو وكأنها كُتبت بواسطة روبوت؛ وبعضها الآخر يبدو وكأن بشراً كتبها.

ابتكر المؤلفون "اختبار نغمة" رياضياً (يسمى DDT). وهي أداة تمسح كل كلمة في إجابة الكتاب المدرسي وتسأل: "هل تبدو هذه الكلمة وكأنها شيء قد يقوله طالبنا بشكل طبيعي؟"

إذا كانت الكلمة تبدو طبيعية (داخل التوزيع - In-Distribution)، تقول الأداة: "جيد! احتفظ بها".
إذا كانت الكلمة تبدو متكلفة أو غريبة (خارج التوزيع - Out-of-Distribution)، تقول الأداة: "انتظر، هذا لا يشبهك. دعنا نتجاهل هذا الجزء".

التشبيه: فكر في الأمر كمنسق موسيقى (DJ) يمزج الأغاني. إذا كانت الأغنية ذات إيقاع يتصادم مع النغمة الحالية، فإن المنسق لا يقوم فقط برفع صوتها، بل يخفضها تدريجياً أو يتخطاها ليبقى جو الرقص متناغماً.

2. "قلم التحديد الذكي" (الضبط الدقيق داخل التوزيع / IDFT)

بمجرد حصولهم على "اختبار النغمة"، بنوا طريقة تدريب جديدة تسمى IDFT.

في التدريب العادي، إذا أخطأ الطالب في كلمة مقارنة بالكتاب المدرسي، يصرخ المعلم: "لا! غير دماغك!" وهذا يسبب ذعراً للطالب ويجعله ينسى كل ما يعرفه بالفعل (وهذا ما يسمى النسيان الكارثي).

مع IDFT، يكون المعلم أكثر ذكاءً:

الكلمات السهلة/العادية: "عمل رائع! استمر فيما تفعله". (يعزز أسلوبه الطبيعي).
الكلمات الغريبة/غير المتناغمة: "هذا ليس أسلوبك تماماً. دعنا لا نضغط بشأن هذه الكلمة المحددة الآن". (يحمي دماغه من الارتباك).

التشبيه: تخيل أنك تتعلم الرسم. المعلم العادي يجبرك على نسخ لوحة فنية بدقة، حتى ضربات الفرشاة الفوضوية التي لا تفهمها. معلم الـ IDFT يقول لك: "انسخ الألوان والأشكال التي تفهمها جيداً، ولكن إذا استخدم الفنان تقنية غريبة لا تستوعبها، فاترك مساحة فارغة هناك في الوقت الحالي. لا تفسد أسلوب رسمك الخاص في محاولة لفرض ذلك".

3. "الكاتب الخفي" (التشفير الموجه بالهبات / Hinted Decoding)

أحياناً، تكون إجابة الكتاب المدرسي صحيحة، لكن الطالب لا يستطيع إنتاجها لأنه يبدو غريباً جداً عليه. ابتكر المؤلفون خدعة تسمى Hinted Decoding.

تخيل أن الطالب يكتب مقالاً. هو يعرف الحقائق (الإجابة صحيحة)، لكنه يعاني من الأسلوب (كيفية قولها).

الطريقة القديمة: يحاول الطالب تقليد أسلوب الكتاب المدرسي ويفشل.
الطريقة الجديدة (التشفير الموجه بالهبات): يهمس المعلم بالحقائق للطالب ("الإجابة هي 42")، لكنه يخبره: "الآن، اكتب بقية القصة بصوتك الخاص".

يقوم الذكاء الاصطناعي بتوليد الإجابة باستخدام أسلوبه الطبيعي، ولكن مسترشداً بالحقائق الصحيحة. إنه يشبه امتلاك كاتب خفي يعرف الحقائق ولكنه يكتب بصوت المؤلف الفريد.

لماذا يعد هذا أمراً هاماً؟

إنه سريع: إنه سريع مثل قراءة الكتاب المدرسي (SFT)، وليس بطيئاً مثل إجراء آلاف الاختبارات التجريبية (RL).
إنه آمن: يمنع الذكاء الاصطناعي من "نسيان" كيف يكون مساعداً مفيداً أثناء تعلم مهارات رياضية جديدة.
إنه أفضل من RL: للمفاجأة، أدت طريقتهم أداءً أفضل من طرق التعلم التعزيزي (RL) المكلفة في مهام الرياضيات والبرمجة، باستخدام قدر أقل بكثير من طاقة الحاسوب.

باختصار:
تقول الورقة البحثية: "لا تجبروا الذكاء الاصطناعي على أن يكون روبوتاً يقلد الكتب المدرسية. بدلاً من ذلك، علموه باستخدام مرشح (فلتر) يسمح فقط بدخول المعرفة التي تناسب شخصيته الطبيعية. بهذه الطريقة، سيتعلم بشكل أسرع، ويتذكر أكثر، ويظل ذكياً".

إليك ملخص تقني مفصل لورقة البحث بعنوان "نحو الضبط الدقيق فائق التوجيه (On-Policy SFT): نظرية التمييز التوزيعي وتطبيقاتها في تدريب النماذج اللغوية الكبيرة (LLM)."

1. بيان المشكلة

تتناول الورقة الفجوة في الأداء بين الضبط الدقيق فائق التوجيه (SFT) والتعلم التعزيزي (RL) في النماذج اللغوية الكبيرة.

الفجوة: بينما يعد الـ SFT فعالاً من حيث الحوسبة، إلا أنه غالباً ما يعطي تعميماً أدنى مقارنة بالتعلم التعزيزي (مثل RLHF و RLVR). ويعود ذلك أساساً إلى استخدام التعلم التعزيزي لـ بيانات فائق التوجيه (on-policy data) (البيانات التي يولدها النموذج نفسه)، مما يحافظ على التوزيع الأصلي للنموذج ويخفف من النسيان الكارثي. في المقابل، يجبر الـ SFT القياسي النموذج على ملاءمة البيانات الخارجية بالتساوي، بغض النظر عما إذا كانت تلك البيانات تتوافق مع التوزيع الداخلي للنموذج، مما قد يؤدي إلى تدمير هياكل المعرفة المسبقة.
التحدي: غالباً ما يكون التعلم التعزيزي غير مجدٍ بسبب صعوبة الحصول على تغذية راجعة موثوقة وقابلة للتحقق (على سبيل المثال، في المهام مفتوحة النهايات) أو بسبب إشارات المكافأة المتفرقة التي تؤدي إلى كفاءة تعلم منخفضة.
الهدف: سد الفجوة بين SFT و RL من خلال تمكين SFT فائق التوجيه (On-Policy SFT). والهدف هو الاحتفاظ بكفاءة البيانات في SFT مع تعزيز التعميم من خلال مواءمة عملية التدريب مع توزيع النموذج الخاص به على مستويي البيانات والهدف.

2. المنهجية

يقترح المؤلفون إطار عمل مبنياً على أساس نظري جديد وتقنيتين متكاملتين.

أ. نظرية التمييز التوزيعي (DDT)

توفر DDT إطاراً رياضياً صارماً لتحديد ما إذا كان الرمز (token) أو التسلسل "داخل التوزيع" (تم أخذ عينة من توزيع النموذج نفسه) أو "خارج التوزيع" (OOD).

اختبار الفرضيات: يتم صياغة المشكلة كتمييز بين $H_0$ (رمز مأخوذ من توزيع النموذج $p_t$ ) و $H_1$ (رمز من توزيع خارجي $q_t$ ).
الإحصائية المثلى: باستخدام نظرية كشف الإشارة (SDT) وتعظيم نسبة الإشارة إلى الضجيج (SNR)، يثبت المؤلفون أن لوغاريتم الاحتمالية الممركز (CLL) هو المعيار الأمثل للتمييز.
- الصيغة: $\phi_t = \log p_t(x_t) + H[p_t]$ ، حيث $H[p_t]$ هي إنتروبيا توزيع النموذج عند الخطوة $t$ .
- الرؤية: بخلاف لوغاريتم الاحتمالية الخام ( $\log p_t$ )، يقوم الـ CLL بطرح الإنتروبيا، مما يؤدي فعلياً إلى تطبيع (normalization) صعوبة السياق. هذا يلغي التباين الناتج عن التعقيد المتأصل في المطالبة (prompt)، مما يجعل الإحصائية قوية للكشف عن التحولات التوزيعية الحقيقية.
الخصائص التسلسلية: يتصرف المجموع التراكمي لـ CLL عبر تسلسل ما كـ مارتينجال (martingale) بمتوسط صفري تحت $H_0$ (داخل التوزيع)، ويظهر انحرافاً خطياً سالباً تحت $H_1$ (خارج التوزيع)، مما يسمح بوضع حدود للخطأ وكشف موثوق.

ب. التطبيق 1: الضبط الدقيق داخل التوزيع (IDFT)

IDFT هو تعديل على مستوى الخسارة (loss-level) للـ SFT القياسي، يستخدم إحصائية DDT لإعادة وزن هدف التدريب بشكل تكيفي.

الآلية: يقدم معامل تعديل $\gamma_t = \exp(-\phi_t)$ $γ_{t} = exp (- ϕ_{t})$ .
- الرموز داخل التوزيع ( $\phi_t \approx 0$ ): $\gamma_t \approx 1$ ، مما يحافظ على التعلم القياسي.
- الرموز خارج التوزيع ( $\phi_t \ll 0$ ): $\gamma_t > 1$ ، مما يؤدي إلى كبح التدرج (gradient suppression) لمنع النموذج من الإفراط في ملاءمة الضوضاء أو البيانات التي تعطل بنيته الأصلية.
- رموز النطاق القوي ( $\phi_t > 0$ ): $\gamma_t < 1$ ، مما يعزز ترسيخ المعرفة.
الهدف: منع النسيان الكارثي عن طريق كبح التدرجات الضارة من عينات OOD مع تعزيز خطوات الاستدلال عالية الثقة وداخل التوزيع.

ج. التطبيق 2: فك التشفير الموجه (Hinted Decoding)

فك التشفير الموجه هو تقنية على مستوى البيانات تحول مجموعات بيانات التدريب الثابتة إلى عينات فائقة التوجيه (on-policy) متوافقة مع توزيع النموذج.

العملية: بالنظر إلى سؤال وإجابة صحيحة، تقوم الخوارزمية بتوليد استجابة تحافظ على صحة الإجابة ولكنها تتبنى التوزيع الأسلوبي للنموذج.
الآلية: تستخدم نهج فك تشفير ثنائي المسار:
1. مسار المحاكي (Imitator Stream): مشروط بالسؤال والإجابة (لتوفير الصحة).
2. مسار النموذج (Model Stream): مشروط بالسؤال فقط (لتوفير الأسلوب الأصلي).
الخلط التكيفي: التوزيع النهائي للرموز هو خليط هندسي للمسارين، مرجح بـ إنتروبيا مخرجات المحاكي.
- إنتروبيا عالية (عدم يقين) $\leftarrow$ الاعتماد أكثر على مسار النموذج (الحفاظ على الأسلوب).
- إنتروبيا منخفضة (يقين) $\leftarrow$ الاعتماد أكثر على المحاكي (ضمان الصحة).
آلية السلامة: تتضمن آلية كشف "الإيجاب الكاذب" للعودة إلى فك التشفير القياسي بمجرد الوصول إلى محدد سلسلة التفكير (CoT delimiter)، مما يضمن بقاء الإجابة النهائية متسقة مع الاستدلال.

3. المساهمات الرئيسية

نظرية التمييز التوزيعي (DDT): إطار نظري جديد يثبت مثالية لوغاريتم الاحتمالية الممركز (CLL) لتمييز التوزيع، مستنداً إلى نظرية كشف الإشارة وخصائص المارتينجال.
خوارزمية IDFT: طريقة على مستوى الخسارة تعمل ديناميكياً على كبح تدرجات رموز OOD، مما يخفف بفعالية من النسيان الكارثي دون الحاجة إلى بنية تحتية للتعلم التعزيزي.
فك التشفير الموجه (Hinted Decoding): خوارزمية استدلال (inference) لا تتطلب تدريباً تعيد محاذاة البيانات الثابتة مع التوزيع الأصلي للنموذج، مما يتيح تدريباً "فائق التوجيه" من بيانات غير متزامنة (offline).
التحقق التجريبي: إثبات أن إطار عمل SFT هذا يمكنه التفوق على خوارزميات التعلم التعزيزي غير المتزامنة البارزة (DPO, SimPO) في أداء التعميم مع الحفاظ على كفاءة الحوسبة لـ SFT.

4. النتائج التجريبية

قيم المؤلفون إطار عملهم على نماذج لغوية متقدمة (Qwen2.5, DeepSeek-R1, Mistral, LLaMA) عبر اختبارات الاستدلال الرياضي والبرمجة.

الأداء مقابل النماذج المرجعية:
- تفوق IDFT بشكل كبير على SFT القياسي، وDynamic Fine-Tuning (DFT)، وEntropy-Adaptive Fine-Tuning (EAFT) في الاختبارات الرياضية الصارمة (AIME, AMC, Olympiad).
- تفوق HD + IDFT (فك التشفير الموجه + IDFT) باستمرار على طرق التعلم التعزيزي غير المتزامنة (Rejection Sampling, DPO, SimPO) عبر اختبارات Math-C, Math-G، واختبارات الاستدلال العام.
الكفاءة: حققت الطريقة المقترحة نتائج متفوقة بـ ميزانيات حوسبية أقل (ساعات GPU أقل) مقارنة بنماذج RL المرجعية، والتي تتطلب غالباً عمليات توليد (rollouts) مكثفة.
النسيان الكارثي: نجح الإطار في الحفاظ على القدرات العامة (MMLU, ARC) أثناء تعلم مهارات جديدة خاصة بنطاق معين، وهو نقطة فشل شائعة لـ SFT القياسي على النماذج التعليمية القوية.
دراسات الاستئصال (Ablation Studies): أكدت أن الوزن التكيفي في فك التشفير الموجه والنمط المستمر في IDFT أمران حاسمان؛ حيث فشلت العتبات الثابتة أو إعادة الوزن البسيطة في مطابقة الأداء.

5. الأهمية والأثر

سد الفجوة: يثبت هذا العمل أن الفجوة في الأداء بين SFT و RL تعود إلى عدم المحاذاة التوزيعية، وليس فقط إلى خوارزمية التعلم نفسها. من خلال محاذاة البيانات والأهداف مع توزيع النموذج، يمكن لـ SFT تحقيق تعميم بمستوى RL.
بديل عملي: يوفر بديلاً فعالاً ومجدياً للتعلم التعزيزي في المجالات التي يصعب فيها بناء نماذج المكافأة، أو يكون مكلفاً، أو مستحيلاً (مثل الاستدلال المعقد، أو مهام الوكيل/Agent بدون حقيقة أرضية قابلة للتحقق).
الأساس النظري: يوفر أساساً إحصائياً صارماً (DDT) لفهم والتحكم في التحولات التوزيعية في تدريب LLM، متجاوزاً التعديلات الهيورستية (heuristic) على الخسارة.
المصدر المفتوح: أتاح المؤلفون الكود المصدري، مما يسهل المزيد من الأبحاث حول SFT فائق التوجيه والتدريب الواعي بالتوزيع.

باختصار، تعيد هذه الورقة تعريف نموذج SFT من خلال تقديم طريقة قائمة على أسس نظرية للتمييز بين البيانات داخل التوزيع وإعطائها الأولوية، مما يمكّن النماذج اللغوية الكبيرة من التعلم بفعالية من مجموعات البيانات الثابتة دون العبء وعدم الاستقرار المرتبط بالتعلم التعزيزي التقليدي.