🤖 machine learning

Why Does RL Generalize Better Than SFT? A Data-Centric Perspective on VLM Post-Training

تقترح هذه الورقة أن التعلم المعزز (RL) يتفوق على الضبط الدقيق الخاضع للإشراف (SFT) في تعميم النماذج البصرية اللغوية (VLM) لأنه يعطي الأولوية ضمنياً للبيانات متوسطة الصعوبة، مما دفع المؤلفين إلى تقديم "الضبط الدقيق المنسق حسب الصعوبة" (DC-SFT)، وهو أسلوب أكثر كفاءة يحقق أداءً فائقاً خارج نطاق التوزيع من خلال التصفية الصريحة لعينة الصعوبة المثلى.

المؤلفون الأصليون: Aojun Lu, Tao Feng, Hangjie Yuan, Wei Li, Yanan Sun

نُشر 2026-02-12

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Aojun Lu, Tao Feng, Hangjie Yuan, Wei Li, Yanan Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتدريب طالب ليصبح طباخاً عالمياً. لديك طريقتان مختلفتان للتدريس، وتريد معرفة أيهما سيساعد الطالب على النجاح عندما يُلقى به في مطبخ احترافي حقيقي وغير متوقع.

المعلمان: SFT مقابل RL

1. معلم الـ "SFT" (معلم الكتب المدرسية المثالي):
هذا المعلم يعطي الطالب كومة ضخمة من كتب الوصفات. كل وصفة في هذه الكتب "صحيحة". يقول المعلم: "احفظ هذه الوصفات بدقة. إذا ذكر الكتاب إضافة جرامين من الملح، فلتضف جرامين بالضبط".

المشكلة: يصبح الطالب بارعاً في اتباع تلك الكتب المحددة. ولكن إذا دخل إلى مطبخ حيث المكونات مختلفة قليلاً، أو الموقد أكثر حرارة، أو كانت الوصفة مكتوبة بأسلوب مختلف، فإنه يصاب بالذعر. إنه "يفرط في التخصيص" (Overfitting)—لقد تعلم الكتب، وليس فن الطبخ.

2. معلم الـ "RL" (مدرب "التجربة والخطأ"):
هذا المعلم لا يعطي كتباً. بدلاً من ذلك، يعطي الطالب مكونات ويقول: "حاول صنع حساء. سأتذوقه وأعطيك درجة تقييم".

الفائدة: يتعلم الطالب من خلال الممارسة. يجرب شيئاً ما، فيكون طعمه سيئاً، فيقوم بالتعديل. يجرب شيئاً آخر، فيكون طعمه رائعاً، فيفعل المزيد من ذلك. هذا الطالب أفضل بكثير في التعامل مع المطبخ الحقيقي لأنه تعلم كيف يتكيف.

الاكتشاف الكبير: سر "المنطقة المثالية"

لفترة طويلة، تساءل العلماء: "لماذا يعتبر مدرب الـ RL أفضل في مساعدة الطلاب على التكيف من معلم الـ SFT الذي يتبع الكتب المدرسية؟"

اكتشف الباحثون أن الإجابة لا تتعلق بـ أسلوب التدريس—بل تتعلق بـ صعوبة الوصفات.

أدرك الباحثون أن مدرب الـ RL لديه "فلتر سري". عندما يُعطى الطالب مهمة:

إذا كانت سهلة جداً (الحساء مثالي بالفعل)، فإن المدرب لا يقول الكثير. لا توجد مساحة للتعلم.
إذا كانت صعبة جداً (الطالب يحاول طبخ وجبة من خمسة أصناف بدون حرارة)، فإن الطالب يفشل في كل مرة. يعطي المدرب درجة منخفضة، ولكن بما أن الطالب يفشل في كل محاولة، فإنه لا يتعلم كيف يتحسن.
إذا كانت "مناسبة تماماً" (صعوبة متوسطة): هذه هي المنطقة المثالية. ينجح الطالب في المهمة أحياناً ويفشل أحياناً أخرى. يقدم المدرب ملاحظات تقول: "لقد كنت قريباً! جرب هذا بدلاً من ذلك".

مدرب الـ RL يقضي وقته بشكل طبيعي في المهام "المناسبة تماماً"، بينما يضيع معلم الـ SFT وقته في إجبار الطالب على حفظ مهام "مستحيلة" تشتت ذهنه وتفسد حدسه الفطري.

الحل: DC-SFT (المنهج الذكي)

ابتكر المؤلفون طريقة جديدة تسمى DC-SFT (التعلم الإشرافي المنسق حسب الصعوبة).

بدلاً من أن يكون "معلم كتب مدرسية" يجبر الطالب على قراءة كل الكتب (بما في ذلك الكتب الصعبة جداً والمربكة)، يقوم معلم الـ DC-SFT بـ تنسيق المكتبة. ينظر إلى الكتب مسبقاً ويقول: "سنرمي الكتب التي هي سهلة جداً (مملة) والكتب التي هي مستحيلة الصعوبة (مربكة). سنقوم فقط بتدريب الطالب على الكتب التي تكون 'مناسبة تماماً'".

النتيجة؟

من خلال كونهم انتقائيين بشأن البيانات، تفوق هذا "المعلم الذكي" (DC-SFT) في الواقع على "مدرب التجربة والخطأ" (RL)!

لماذا يعد هذا أمراً كبيراً؟

إنه أسرع: ليس عليك قضاء أسابيع في مراقبة الطالب وهو يفشل ويحاول مجدداً (الـ RL بطيء). أنت فقط تعطيه الكتب الصحيحة وتمضي قدماً.
إنه أكثر استقراراً: لا يمر الطالب بـ "أيام سيئة" حيث ينسى فيها كل شيء فجأة (الـ RL يمكن أن يكون غير متوقع).
إنه أذكى: يصبح الطالب أفضل في "الاستنتاج"—فهو لا يحفظ فحسب؛ بل يفهم المنطق فعلياً، مما يجعله مستعداً للعالم الحقيقي.

ملخص تقني: لماذا يتفوق التعلم التعزيزي (RL) في التعميم مقارنة بالضبط الدقيق تحت الإشراف (SFT)؟

1. بيان المشكلة

في مرحلة ما بعد التدريب لنماذج الرؤية واللغة الضخمة (VLMs)، تُلاحظ فجوة أداء مستمرة: النماذج التي يتم تدريبها عبر التعلم التعزيزي (RL) تظهر قدرة أفضل بكثير على التعميم خارج التوزيع (OOD) مقارم تلك التي يتم تدريبها عبر الضبط الدقيق تحت الإشراف (SFT). وبينما تعزو الأدبيات الحالية هذا التفوق غالباً إلى هدف التحسين في RL (الاستكشاف والتغذية الراجعة للمكافأة)، يبحث هذا البحث فيما إذا كانت هذه الفجوة مدفوعة في الواقع بـ توزيع البيانات التي تتعلم منها النماذج.

2. المنهجية والفرضية

فرضية مركزية البيانات:
يقترح المؤلفون أن ميزة RL ليست بالضرورة خوارزمية، بل تعمل كـ مرشح بيانات ضمني. يقومون بتصنيف عينات التدريب إلى ثلاثة مستويات من الصعوبة بناءً على مخرجات النموذج (rollouts):

سهلة (Easy): جميع الاستجابات المولدة صحيحة (مكافأة عالية ومنتظمة).
متوسطة الصعوبة (Medium-difficulty): مزيج من الاستجابات الصحيحة والخاطئة (تباين عالٍ في المكافأة).
صعبة (Hard): جميع الاستجابات المولدة خاطئة (مكافأة منخفضة ومنتظمة).

في RL (تحديداً باستخدام خوارزمية GRPO)، تؤدي العينات السهلة والصعبة إلى مكافآت منتظمة، مما ينتج عنه ميزة نسبية ( $A_k$ ) تساوي صفراً، وهو ما يؤدي إلى تحديثات تدرج (gradient updates) ضئيلة. وبناءً على ذلك، يركز RL ضمنياً تعلمه على العينات متوسطة الصعوبة. وعلى العكس من ذلك، يطبق SFT القياسي تحديثات موحدة لجميع البيانات، مما يعني أن العينات "الصعبة" — التي تنتج معايير تدرج (gradient norms) كبيرة بشكل غير متناسب — يمكن أن تهيمن على عملية التحسين وتسبب فرط التخصيص (overfitting)، مما يؤدي إلى تدهور الأداء خارج التوزيع (OOD).

الطريقة المقترحة: الضبط الدقيق المنسق حسب الصعوبة (DC-SFT)
لاختبار ذلك، قدم المؤلفون DC-SFT، وهي طريقة تقوم بفلترة مجموعة التدريب صراحةً قبل عملية SFT:

SFT-M: يحاكي RL عبر التدريب حصرياً على العينات متوسطة الصعوبة.
SFT-EM: يجمع بين العينات السهلة والمتوسطة (مع إزالة العينات "الصعبة" فقط) لتعظيم المتانة.

3. المساهمات الرئيسية

منظور نظري جديد: يقدم تفسيراً قائماً على البيانات لفجوة التعميم بين RL وSFT، محولاً التركيز من أهداف التحسين إلى الاختيار الضمني للبيانات.
‌* التحقق التجريبي: يثبت بشكل منهجي أن التدريب على العينات الصعبة هو المحرك الرئيسي لتدهور الأداء خارج التوزيع (OOD) في SFT.
إطار عمل DC-SFT: يقدم بديلاً بسيطاً وفعالاً ومستقراً للتعلم التعزيزي (RL) يحقق تعميماً فائقاً.
تحليل التدرج: يوضح من خلال تصور معيار التدرج (gradient norm) أن العينات الصعبة تمارس تأثيراً ضخماً وضاراً على مسار تحسين النموذج.

4. النتائج التجريبية

قام المؤلفون بتقييم طرقهم باستخدام Qwen2.5-VL (3B & 7B) و MiniCPM-V-4 عبر مهام تصنيف الصور والتعرف البصري (visual grounding).

تعميم فائق: تفوق DC-SFT (وتحديداً نسخة SFT-EM) باستمرار على كل من SFT القياسي وRL القائم على GRPO في اختبارات OOD (مثل ImageNet-R/A و Ref-L4/Lisa).
الكفاءة والاستقرار: يعد DC-SFT أكثر كفاءة بكثير من RL. ففي اختبار ImageNet، حقق DC-SFT تسريعاً بمقدار 4.9 ضعفاً، وفي RefCOCO، حقق تسريعاً بمقدار 3.2 ضعفاً. علاوة على ذلك، وعلى عكس GRPO الذي يظهر انخفاضات حادة في الأداء أثناء التدريب، يحافظ DC-SFT على استقرار عالٍ.
قدرات الاستنتاج: في اختبارات الاستنتاج متعدد الوسائط المعقدة (MMMU، MathVista، إل_خ)، حققت نسخة SFT-M أعلى متوسط درجات، متفوقة على كل من S SFT وRL.
المتانة تجاه البيانات الصعبة: أظهرت دراسات الاستبعاد (ablation studies) أن حتى تضمين نسبة صغيرة (5%) من العينات الصعبة يؤدي إلى تدهور دقة OOD بشكل كبير، مما يؤكد تأثيرها الضار.

5. الأهمية

تكم- أهمية هذا العمل في كونه يتحدى ضرورة مسارات RL المعقدة لتحقيق تدريب عالي الجودة لنماذج الرؤية واللغة (VLM). ومن خلال إثبات أن تنسيق البيانات (فلترة العينات الصعبة) أكثر أهمية من خوارزمية التحسين (RL مقابل SFT) لتحقيق التعميم، يوفر البحث مساراً أكثر عملية، وكفاءة من حيث الحوسبة، واستقراراً لتطوير نماذج رؤية ولغة قوية وقادرة على الاستنتاج.