💬 NLP

How to Fine-Tune a Reasoning Model? A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data

تقترح الورقة البحثية إطار عمل TESSY، وهو إطار تعاون بين المعلم والطالب يعمل على توليف بيانات التدريب من خلال التداخل بين نموذجي المعلم والطالب لإنشاء تسلسلات تجمع بين قدرات الاستنتاج المتقدمة للمعلم والاتساق الأسلوبي للطالب، مما يتغلب على تدهور الأداء الناتج عن التباين الأسلوبي في عمليات الضبط الدقيق للبيانات الاصطناعية القياسية.

المؤلفون الأصليون: Zixian Huang, Kaichen Yang, Xu Huang, Feiyang Hao, Qiming Ge, Bowen Li, He Du, Kai Chen, Qipeng Guo

نُشر 2026-04-17

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zixian Huang, Kaichen Yang, Xu Huang, Feiyang Hao, Qiming Ge, Bowen Li, He Du, Kai Chen, Qipeng Guo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "كيف تقوم بضبط نموذج استنتاجي؟" (How to Fine-Tune a Reasoning Model?) باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: "الشيف الماهر" مقابل "الطباخ المنزلي"

تخيل أن لديك شيفاً ماهراً (النموذج "المعلم"، مثل GPT-OSS-120B) وهو عبقري في حل المسائل الرياضية المعقدة وكتابة الأكواد البرمجية. يمكنه طهي وجبة مثالية من فئة 5 نجوم.

الآن، تخيل أن لديك طباخاً منزلياً (النموذج "الطالب"، مثل Qwen3-8B) يحاول تعلم كيفية طهي هذه الأطباق الفاخرة. الطريقة القياسية لتعليم الطباخ المنزلي هي إعطاؤه وصفة الشيف الماهر بدقة وقول: "انسخ هذا تماماً".

اكتشاف الورقة البحثية:
عندما حاول الباحثون القيام بذلك، لم يتحسن أداء الطباخ المنزلي. بل في الواقع، أصبح أسوأ. لماذا؟

لأن الشيف الماهر لا يكتب المكونات فقط (المنطق)؛ بل يتحدث أيضاً بطريقة معينة وفخمة للغاية أثناء الطهي. يستخدم عبارات مثل "لاحظ الهيكل الجزيئي"، أو "دعونا نستنتج الآثار الديناميكية الحرارية".

أما الطباخ المنزلي، فعادة ما يتحدث كشخص طبيعي: "حسناً، لنرى"، أو "ممم، ربما يجب أن أجرب هذا".

عندما يحاول الطباخ المنزلي حفظ طريقة كلام الشيف الماهر الفخمة، يصاب بالارتباك. ينسى طريقته الطبيعية في التفكير ويبدأ في الظهور كأنه روبوت يحاول أن يبدو ذكياً. هذا الارتباك يتسبب في إفساد عملية الطهي الفعلية (الكود أو الرياضيات). وهذا ما يسمى "النسيان الكارثي" (Catastrophic Forgetting).

الحل: TESSY (إطار عمل "دروس الطبخ")

ابتكر المؤلفون طريقة جديدة تسمى TESSY (توليد بيانات التعاون بين المعلم والطالب). بدلاً من مجرد نسخ الشيف الماهر، قاموا بإنشاء "فصل لتعلم الطبخ التعاوني".

إليك كيف يعمل نظام TESSY، خطوة بخطوة:

1. "الفكرة" مقابل "الثرثرة"

في كل مرة يحل فيها النموذج مسألة، يكون هناك جزءان:

المنطق (الفكرة): الرياضيات الفعلية، الكود، والحل خطوة بخطوة. هذا الجزء يجب أن يكون مثالياً.
الأسلوب (الثرثرة): الكلمات الرابطة مثل "حسناً"، "انتظر"، "لنُفكر"، أو "لكن في الواقع". هذه هي مجرد شخصية النموذج.

2. عملية التسليم

في إطار عمل TESSY، يعمل الشيف الماهر والطباخ المنزلي معاً على نفس المسألة، لكنهما يقسمان العمل:

الشيف الماهر يكتب المنطق فقط. هو يقدم الرياضيات والكود الصحيحين.
الطباخ المنزلي يكتب الثرثرة فقط. هو يقدم الجمل الرابطة ("حسناً، لنرَ...") التي تبدو طبيعية بالنسبة له.

3. خدعة "التراجع" (Rollback)

كيف يعرفون متى يتوقفون عن كتابة المنطق ويبدأون في كتابة الثرثرة؟
تخيل أن الشيف الماهر بدأ في كتابة جملة. فجأة، يقول النظام (حكم ذكي): "توقف! الكلمة التالية فخمة جداً بالنسبة للطباخ المنزلي. اقطعها".
يقوم النظام بقطع الجملة تماماً عند النقطة التي ينتهي فيها "المنطق" ويبدأ فيها "الثرثرة". ثم يسلم القلم للطباخ المنزلي ليكمل الجملة بصوته الخاص.

هم يستمرون في تمرير القلم ذهاباً وإياباً:

الطباخ المنزلي: "حسناً، لننظر إلى المسألة..." (أسلوب)
الشيف الماهر: "الحل يتطلب نهج البرمجة الديناميكية..." (منطق)
الطباخ المنزلي: "ممم، هذا يبدو منطقياً. لنحاول ذلك." (أسلوب)
الشيف الماهر: "وبناءً عليه، الإجابة هي 42." (منطق)

النتيجة: طالب أفضل

باستخدام هذه الطريقة، يتعلم الطباخ المنزلي منطق الشيف الماهر العبقري دون الحاجة لإجباره على التحدث مثل الشيف الماهر.

بدون TESSY: يحاول الطباخ المنزلي أن يبدو فخماً، فيرتبك، وينسى كيفية الطهي. (ينخفض الأداء).
مع TESSY: يحتفظ الطباخ المنزلي بصوته الطبيعي لكنه يتعلم وصفات الشيف الماهر السرية. (يرتفع الأداء بشكل ملحوظ).

لماذا هذا الأمر مهم؟

تظهر الورقة البحثية أنه بالنسبة لـ "نماذج الاستنتاج" (الذكاء الاصطناعي الذي يفكر بعمق)، فإن الأسلوب يهم بقدر أهمية المضمون.

إذا حاولت تعليم ذكاء اصطناعي صغير، ثرثار، أن يفكر مثل ذكاء اصطناعي ضخم وجاد عبر مجرد نسخ نصوصه، فإنك ستكسر الذكاء الاصطناعي الصغير. ولكن إذا سمحت للذكاء الاصطنادي الصغير بالاحتفاظ بـ "صوته" مع استعارة "عقل" الذكاء الاصطناعي الكبير، فستحصل على أفضل ما في العالمين.

باختصار: لا تجبر الطالب على أن يبدو كالأستاذ. دعه يبدو كأنه هو، ولكن علمه إجابات الأستاذ. بهذه الطريقة، تحصل على عبقري يبدو كإنسان.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "كيفية الضبط الدقيق لنموذج استدلال؟ إطار عمل تعاوني بين المعلم والطالب لتخليق بيانات ضبط دقيق (SFT) متسقة مع الطالب".

1. بيان المشكلة

تتناول الورقة تحديًا حرجًا في الضبط الدقيق لنماذج اللغات الكبيرة (LLMs) المخصصة للاستدلال (مثل Qwen3-8B، وDeepSeek-R1). وبينما تُعد استراتيجية استخدام بيانات اصطناعية مولدة بواسطة نموذج "معلم" (Teacher) أقوى لعملية الضبط الدقيق الخاضع للإشراف (SFT) لتعزيز النماذج "الطالبة" (Student) الأصغر حجمًا استراتيجية قياسية، إلا أن هذا النهج غالبًا ما يفشل أو يؤدي إلى تدهور الأداء عند تطبيقه على نماذج الاستدلال.

المشكلة الجوهرية: يؤدي الضبط الدقيق المباشر لنموذج طالب استدلالي باستخدام بيانات مولدة بالكامل بواسطة نموذج معلم قوي إلى النسيان الكارثي وتراجع الأداء.
السبب الجذري: حدد المؤلفون التباعد الأسلوبي (Stylistic Divergence) كمتهم رئيسي. تمتلك نماذج الاستدلال أساليب "تفكير" داخلية متميزة (مثل العبارات الانتقالية، أو علامات الخطاب مثل "حسنًا، دعنا نرى"، أو "ممم") تم تطويرها أثناء مرحلة ما قبل التدريب والتدريب اللاحق الأولي. عندما يُجبر نموذج الطالب على التعلم من معلم ذي أسلوب مختلف، فإنه يعاني من صراع توزيعي. يكافح النموذج لتكييف أسلوب الاستدلال المتأصل لديه مع أسلوب المعلم، مما يعطل تعلم قدرات الاستدلال الفعلية ("رموز القدرة" - capability tokens).
النتيجة: أظهرت التجارب أن الضبط الدقيق لنموذج Qwen3-8B باستخدام بيانات مولدة من GPT-OSS-120B أدى إلى انخفاض في الأداء بنسبة 3.25% في LiveCodeBench-Pro و 10.02% في OJBench.

2. المنهجية: إطار عمل TESSY

لحل الصراع بين الحفاظ على قدرات الاستدلال بمستوى المعلم والحفاظ على الاتساق الأسلوبي بمستوى الطالب، يقترح المؤلفون إطار عمل TESSY (تخليق بيانات تعاون المعلم والطالب).

المفهوم الجوهري

يقوم TESSY بتفكيك تسلسل المخرجات إلى نوعين من الرموز (Tokens):

رموز القدرة ( $\mathcal{T}_{Cap}$ ): محتوى حل المهام (مثل الكود البرمجي، الاشتقاقات الرياضية، خطوات المنطق).
رموز الأسلوب ( $\mathcal{T}_{Sty}$ ): علامات الخطاب، العبارات الانتقالية، وكلمات ضبط النبرة (مثل "دعنا نرى"، "انتظر"، "ومع ذلك").

يهدف إطار العمل إلى تخليق بيانات تكون فيها رموز القدرة مولدة بواسطة المعلم (لضمان جودة عالية في الاستدلال) ورموز الأسلوب مولدة بواسطة الطالب (لضمان الاتساق التوزيعي).

المكونات الرئيسية

التوليد التبادلي (Alternating Generation):
- يولد إطار العمل الاستجابات بطريقة تكرارية وتبادلية.
- يولد الطالب الجزء الأولي (عادةً ما يكون رمز أسلوب مثل "حسنًا، دعنا نرى").
- ثم يقوم المعلم بعد ذلك بتوليد الجزء التالي (رموز القدرة مثل المنطق الأساسي).
- يستأنف الطالب التوليد لإنتاج الانتقال الأسلوبي التالي، وهكذا دواليك.
- يتم دائمًا توليد الإجابة النهائية بواسطة الطالب للحفاظ على الاتساق الأسلوبي في الخاتمة.
استراتيجية التوليد ثم التراجع (التحكم في الحدود - Boundary Control):
- التحدي الرئيسي هو تحديد المكان الذي ينتهي فيه جزء "الأسلوب" بالضبط ويبدأ فيه جزء "القدرة".
- الآلية: يولد النموذج كتلة ثابتة مكونة من $k$ من الرموز (على سبيل المثال، 20 رمزًا).
- متنبئات الحدود (Boundary Predictors): يعمل نموذجان متخصصان وخفيفان (تم تدريبهما عبر تسمية التسلسل على مستوى الرمز) على تحليل الكتلة المولدة:
  - متنبئ الأسلوب (Style Predictor): يحدد آخر رمز ينتمي إلى فئة "الأسلوب".
  - متنبئ القدرة (Capability Predictor): يحدد آخر رمز ينتمي إلى فئة "القدرة".
- التراجع (Rollback): يقوم النظام باقتطاع الكتلة المولدة عند الحد المتوقع. إذا كانت الكتلة تحتوي على أنواع مختلطة، يتم التخلص من رموز النوع "الخاطئ" (التراجع عنها)، وينتقل دور التوليد إلى النموذج الآخر للجزء التالي.
بناء بيانات التدريب:
- تقوم هذه العملية بإنشاء تسلسلات اصطناعية $y = [s_1, t_1, s_2, t_2, \dots]$ ، حيث تكون الأجزاء $s$ من الطالب والأجزاء $t$ من المعلم.
- يضمن ذلك أن تحتوي بيانات التدريب النهائية على عمق الاستدلال الخاص بالمعلم ولكن مع السطح اللغوي الخاص بالطالب.

3. المساهمات الرئيسية

تحديد التباعد الأسلوبي: تقدم الورقة أدلة تجريبية على أن عدم التطابق الأسلوبي، وليس فقط فجوات القدرة، هو سبب رئيسي لفشل الضبط الدقيق (SFT) في نماذج الاستدلال.
إطار عمل TESSY: خط إنتاج مبتكر لتخليق البيانات يدمج نماذج المعلم والطالب لإنشاء بيانات "متسقة مع الطالب" غنية بـ "مستوى استدلال المعلم".
آلية التنبؤ بالحدود: نهج "توليد ثم تراجع" عملي باستخدام متنبئات خفيفة الوزن لفرض فصل صارم بين رموز الأسلوب ورموز القدرة أثناء التخليق.
الموارد المفتوحة: أطلق المؤلفون مجموعة بيانات TESSY-Code-80K ومستودع الكود، مما يسهل المزيد من الأبحاث في الضبط الدقيق لنماذج الاستدلال.

4. النتائج التجريبية

قيم المؤلفون TESSY في مهام توليد الكود باستخدام GPT-OSS-120B كمعلم و Qwen3-8B كطالب.

مكاسب الأداء:
- LiveCodeBench-Pro: حسن TESSY أداء Qwen3-8B بنسبة 11.25% (من 25.35% إلى 36.69%). في المقابل، أدى الضبط الدقيق المباشر باستخدام المعلم فقط إلى انخفاض الأداء إلى 22.10%.
- OJBench: حسن TESSY الأداء بنسبة 6.68% (من 18.75% إلى 25.43%). بينما تسبب الضبط الدقيق باستخدام المعلم فقط في انخفاض هائل بنسبة 10.02% (إلى 8.73%).
التعميم:
- أظهر TESSY تحسنًا متسقًا عبر نماذج طلاب مختلفة (بما في ذلك نموذج MoE الأكبر Qwen3-30B-A3B) ونماذج معلم مختلفة (بما في ذلك DeepSeek-R1 و Qwen3-235B).
- كما أظهر متانة في المهام خارج النطاق (اختبارات الرياضيات والعلوم مثل AIME وGPQA)، بينما تسببت طرق "المعلم فقط" غالبًا في تدهور الأداء.
الكفاءة:
- كانت الاستجابات المولدة بواسطة TESSY أقصر (عدد رموز أقل) من الاستجابات المولدة بالكامل بواسطة المعلم، حيث وجه ميل الطالب لإنهاء التفكير مبكرًا المعلم ليكون أكثر إيجازًا.
دراسات الاستبعاد (Ablation Studies):
- أدى استخدام المعلم لتوليد الإجابة النهائية (حتى مع استخدام TESSY) إلى انخفاض في الأداء، مما يؤكد ضرورة كون الخواتيم من صنع الطالب.
- كان الضبط الدقيق لـ نموذج أساسي (Qwen3-8B-Base) باستخدام TESSY أقل فعالية من الضبط الدقيق لـ نموذج الاستدلال (Qwen3-8B)، مما يشير إلى أن معرفة الاستدلال الموجودة مسبقًا في نموذج الاستدلال هي نقطة انطلاق حاسمة.

5. الأهمية والأثر

تحول في النموذج الفكري لـ SFT: تتحدى الورقة الافتراض القائل بأن "بيانات المعلم الأقوى هي دائمًا الأفضل". وتجادل بأنه بالنسبة لنماذج الاستدلال، فإن التوافق التوزيعي (الأسلوب) لا يقل أهمية عن توافق القدرة.
حل مشكلة النسيان الكارثي: من خلال الحفاظ على التوزيع الأسلوبي للطالب، يخفف TESSY من النسيان الكارثي الذي يحدث غالبًا عند إجبار نموذج الاستدلال على تبني أسلوب تفكير غريب.
الفائدة العملية: يوفر إطار العمل حلاً قابلاً للتوسع وغير متصل (offline) لتعزيز نماذج الاستدلال دون الحاجة إلى تعلم تعزيزي مكلف عبر الإنترنت أو إعادة تدريب نماذج معلم ضخمة.
الاتجاه المستقبلي: يسلط الضوء على أهمية توليد البيانات "داخل السياسة" (on-policy) ويشير إلى أن تدريب نماذج الاستدلال في المستقبل يجب أن يوازن بعناية بين حقن المعرفة الجديدة والحفاظ على "شخصية" الاستدادة المتأصلة للنموذج.

باختصار، يثبت TESSY أنه لنجاح الضبط الدقيق لنموذج استدلال، لا يجب عليك فقط تعليمه ماذا يفكر (عبر المعلم)، بل يجب أيضًا السماح له بالتعبير عن كيفية تفكيره (عبر الطالب)، مما يجسّر الفجوة بين القدرة والأسلوب بشكل فعال.