On the Role of Reasoning Patterns in the Generalization Discrepancy of Long Chain-of-Thought Supervised Fine-Tuning

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "حول دور أنماط الاستدلال في تباين التعميم في الضبط الدقيق لـ سلسلة الأفكار الطويلة (Long Chain-of-Thought Supervised Fine-Tuning)."

1. بيان المشكلة

تتناول الورقة البحثية مفارقة حرجة في تدريب نماذج الاستدلال الكبيرة (LRMs). فبينما يعد الضبط الدقيق الخاضع للإشراف (SFT) على مسارات "سلسلة الأفكار" (CoT) الطويلة وسيلة قياسية لاستخلاص قدرات الاستدلال، فإن اختيار النموذج "المعلم" الذي يولد هذه المسارات يؤثر بشكل كبير على قدرة "الطالب" على التعميم.

حدد المؤلفون تباينًا محددًا:

• الملاحظة: عندما يتم تدريب نماذج الطالب على مسارات استدلال ناتجة عن نموذج DeepSeek-R1-0528، فإنها تحقق خسارة تدريب (training loss) أقل بكثير (مما يشير إلى ملاءمة أفضل لتوزيع التدريب) مقارنة بالنماذج المدربة على مسارات من gpt-oss-120b.
• المفارقة: رغم انخفاض خسارة التدريب، تُظهر النماذج المدربة على بيانات DeepSeek-R1 أداء تعميم أسوأ بكثير في اختبارات الاستداد الرياضي اللاحقة (مثل AIME و MATH) مقارنة بتلك المدربة على بيانات gpt-oss-120b.
• السؤال الجوهري: ما هي الخصائص الجوهرية لمسارات سلسلة الأفكار (وتحديدًا أنماط الاستدلال) التي تسبب هذا التباعد بين انخفاض خسارة التدريب وضعف التعميم، بالنظر إلى أن كلا المجموعتين تحتويان على إجابات صحيحة ومحققة لنفس المسائل المتطابقة؟

2. المنهجية

أجرى المؤلفون دراسة مقارنة منضبطة باستخدام نموذجين مفتوحي المصدر (DeepSeek-R1-0528 و gpt-oss-120b) لتوليد مسارات سلسلة أفكار (CoT) لحوالي 500 ألف مسألة رياضية متطابقة. وقد استخدموا نهج تحليل متعدد الأوجه:

أ. الإعداد التجريبي المنضبط

• البيانات: مسارات صحيحة ومحققة من كلا المعلمين لنفس الـ 500 ألف مطالبة (prompt).
• نماذج الطالب: أربعة نماذج أساسية بمقاييس وعائلات متنوعة (Qwen2.5-7B/32B، Llama3.1-8B، Qwen3-8B).
• التدريب: تم إجراء الضبط الدقيق الخاضع للإشراف (SFT) بمعلمات فائقة (hyperparameters) وخطوات تدريب متطابقة.
• التقييم: تم الاختبار على خمسة معايير مرجعية: MATH500، AIME24، AIME25، BeyondAIME، و HMMT25.

ب. التحليل متعدد الأوجه

1. تفكيك الخسارة على مستوى الرمز (Token-Level Loss Deconstruction):

   • تحليل توزيع الخسارة على مستوى الرمز.
   • تحديد وجود "تأثير التخفيف" (dilution effect) في بيانات DeepSeek-R1: حيث إن نسبة هائلة من الرموز ذات الخسارة القريبة من الصفر (الحسابات الروتينية) تسحب متوسط الخسارة للأسفل، مما يحجب حقيقة أن رموز الانتقالات المنطقية الرئيسية لها قيم خسارة مشابهة لبيانات gpt-oss.
   • كانت الرموز عالية الخسارة في DeepSeek-R1 مرتبطة بـ الاستكشاف المتباعد (مثل: "ربما"، "طريقة أخرى")، بينما كانت الرموز عالية الخسوة في gpt-oss مرتبطة بـ الاستنتاج التقاربي (مثل: "وبالتالي"، "ينتج عن ذلك").

2. تحليل سلوك الاستدلال (المستوى الهيكلي):

   • استخدام DeepSeek-V3.2 لتصنيف خطوات الاستدلال إلى أربعة سلوكيات منفصلة: الاقتراح (Propose - التفرع/فكرة جديدة)، الاستنتاج (Deduce - الاستدلال الخطي)، التحقق (Verify)، والتراجع (Backtrack).
   • بناء مصفوفات انتقال ماركوف لتحليل الانتقالات من خطوة إلى أخرى.
   • النتيجة: يُظهر DeepSeek-R1 تكرارًا عاليًا لخطوات الاقتراح (33.3% مقابل 22.5%) وانتقالات متكررة من اقتراح $\leftarrow$ اقتراح (0.53 مقابل 0.34)، مما يشير إلى نمط من التفرع السطحي والمتكرر دون استنتاج عميق. في المقابل، يفضل gpt-oss خطوات الاستنتاج (74.6% مقابل 62.0%)، مما يشيد سلاسل استنتاجية كثيفة ومتقاربة.

3. تجارب التدخل:

   • حذف الخطوات العشوائي: حذف 10-30% من خطوات الاستدلال من مسارات التدريب عشوائيًا.
     • النتيجة: عانت النماذج المدربة على بيانات gpt-oss المحذوفة من انخفاض حاد في الأداء (مما أدى لكسر السلسلة المنطقية). بينما أظهرت النماذج المدربة على DeepSeek-R1 تدهورًا طفيفًا أو حتى تحسنًا في الأداء، مما يؤكد وجود فروع زائدة وغير ضرورية في بيانات R1.
   • تصفية البيانات: اقتراح واختبار استراتيجية لتصفية المسارات ذات تردد التفرع العالي.

3. المساهمات الرئيسية

1. اكتشاف تباين التعميم: تثبت الورقة تجريبيًا أن انخفاض خسارة التدريب في SFT لا يضمن تعميمًا أفضل في حالات سلسلة الأفكار الطويلة. وتكشف أن مسارات DeepSeek-R1 تسبب خسارة تدريب أقل ولكن أداء تعميم أسوأ مقارنة بمسارات gpt-oss-120b.
2. تحديد أنماط الاستدلال كسبب جذري: يعزو المؤلفون هذا التباين إلى الاختلافات الهيكلية في أنماط الاستدلال:
   • DeepSeek-R1: استكشاف متباعد وكثيف التفرع مع استنتاج سطحي (فائض هيكلي).
   • gpt-oss-120b: سلاسل استنتاجية متقاربة وعميقة.
   • والأهم من ذلك، أن هذه الأنماط تنتقل إلى نماذج الطالب أثناء SFT، مما يجعلها "تعلق" في حلقات استكشافية زائدة.
3. استراتيجية المعالجة المقترحة: تقدم الورقة طريقة بسيطة وفعالة لتنقية البيانات: تصفية المسارات ذات التفرع المتكرر من مجموعة بيانات المعلم.
   • اقترحوا مقياسين بديلين للتصفية دون الحاجة لتصنيف كامل: (1) الفرق في عدد الخطوات مقارنة بنموذج مرجعي، و(2) نسبة الخطوات التي تحتوي على كلمات مفتاحية للتفرع (مثل "ربما").

4. النتائج الرئيسية

• فجوة الأداء: تفوقت النماذج المدربة على بيانات gpt-oss-120b باستمرار على تلك المدربة على DeepSeek-R1 عبر جميع النماذج الأساسية.
  • مثال: في نموذج Llama3.1-8B، حقق gpt-oss دقة متوسطة بلغت 50.5% مقابل 29.5% لـ DeepSeek-R1، رغم أن الأخيرة سجلت خسارة تدريب أقل بكثير.
• فعالية التصفية: أدى إزالة أعلى 10-20% من المسارات الأكثر تفرعًا من مجموعة بيانات DeepSeek-R1 إلى تحسين التعميم بشكل ملحوظ:
  • AIME25: تحسن بنسبة +5.1% (في Qwen3-8B).
  • BeyondAIME: تحسن بنسبة +5.5%.
  • المتوسط عبر 5 معايير مرجعية: تحسن بنسبة +3.6%.
• التحقق من الفائض: أكدت تجربة "الحذف العشوائي" أن مسارات DeepSeek-R1 تحتوي على فائض هيكلي كبير، حيث إن إزالة الخطوات لم تضر (بل ساعدت أحيانًا) في الأداء، بينما أضرت بشدة بالنماذج المدربة على gpt-oss.

5. الأهمية

• إعادة تعريف جودة البيانات: تتحدى الورقة الافتراض القائل بأن "الصحة" و"انخفاض خسارة التدريب" هما المعياران الأساسيان لاختيار بيانات SFT. وتجادل بأن الكفاءة الهيكلية ونمط الاستدلال أكثر أهمية للتعميم.
• آلية الفشل: توفر تفسيرًا ميكانيكيًا لسبب فشل بعض بيانات SFT: حيث تفرط نماذج الطالب في ملاءمة (overfitting) أنماط الاستكشاف غير الفعالة والمكررة (التفرع السطحي) بدلًا من تعلم المنطق الاستنتاجي المتين.
• إرشادات عملية: تقدم استراتيجية التصفية المقترحة وصفة منخفضة التكلفة وعالية التأثير لتحسين SFT لسلاسل الأفكار الطويلة. ومن خلال تنقية مجموعات البيانات لإزالة الفروع الاستكشافية "الضوضائية"، يمكن للممارسين تعزيز قدرات الاستدلال للنماذج المستخلصة دون الحاجة لنماذج معلمة أقوى أو تدريب RL معقد.
• دلالة أوسع: تشير هذه الدراسة إلى أنه بالنسبة لمهام الاستدلال، فإن التفكير المتقارب والعميق أكثر قيمة للتعميم من الاستكشاف المتباعد القائم على التجربة والخطأ، حتى لو بدا الأخير أكثر "شبهاً بالبشر" أو أكثر شمولاً في بيانات التدريب.