🤖 machine learning

S-GRPO: Unified Post-Training for Large Vision-Language Models

تقترح الورقة البحثية إطار عمل S-GRPO، وهو إطار عمل موحد لما بعد التدريب للنماذج اللغوية البصرية الضخمة يدمج بين الضبط الدقيق الخاضع للإشراف والتعلم المعزز عبر حقن مسار الحقيقة الأرضية الشرطي للتغلب على قيود النسيان الكارثي وانهيار التحسين، مما يؤدي إلى تسريع التقارب وتحقيق تكيف نطاقي متفوق مع الحفاظ على القدرات العامة.

المؤلفون الأصليون: Yuming Yan, Kai Tang, Sihong Chen, Ke Xu, Dan Hu, Qun Yu, Pengfei Hu

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuming Yan, Kai Tang, Sihong Chen, Ke Xu, Dan Hu, Qun Yu, Pengfei Hu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: تعليم روبوت كيف يرى ويفكر

تخيل أن لديك روبوتاً ذكياً ومطلعاً (نموذج لغوي بصري ضخم - LVLM). هذا الروبوت قد شاهد ملايين الصور وقرأ مليارات الكتب؛ فهو يعرف كيف يصف غروب الشمس، أو يلقي نكتة، أو يتعرف على قطة. إنه عبقري متعدد المواهب.

ولكن الآن، تريد تعليم هذا الروبوت وظيفة محددة وصعبة للغاية: مثل تشخيص الأشعة السينية أو حل مسائل الهندسة المعقدة. هنا يأتي دور هذه الورقة البحثية. إنها تتعلق بأفضل طريقة لتدريب هذا الروبوت على وظيفة متخصصة دون تحويله إلى "لاعب بمهارة واحدة فقط" ينسى كيف يكون عبقرياً عاماً.

وجد المؤلفون أن الطريقتين القياسيتين لتدريب الروبات كلاهما معيب، لذا ابتكروا طريقة هجينة جديدة تسمى S-GRPO لإصلاح ذلك.

المشكلة: خياران سيئان

تجادل الورقة بأن لدينا حالياً طريقتين لتدريب الروبوت، وكلتاهما تحتوي على عيب قاتل:

1. "رقيب التدريب الصارم" (الضبط الدقيق تحت الإشراف / SFT)

كيف يعمل: تعرض على الروبوت الإجابة المثالية 1,000 مرة وتقول له: "افعل هذا بالضبط".
العيب: يصبح الروبوت آلة لا تعرف سوى القيام بتلك المهمة المحددة فقط. يشبه الأمر طالباً يحفظ نموذج الإجابة لامتحان الرياضيات لكنه ينسى كيفية إجراء الجمع البسيط أو التحدث إلى الناس.
النتيجة: يصبح الروبوت بارعاً في الوظيفة الجديدة، لكنه يفقد ذكاءه العام. وهذا ما يسمى بـ "النسيان الكارثي" (Catastrophic Forgetting).

2. "المستكشف الجامح" (التعلم التعزيزي / RL)

كيف يعمل: تترك الروبوت يحاول حل المشكلة بمفرده. إذا أصاب، تعطيه مكافأة (جائزة). وإذا أخطأ، لا يحصل على مكافأة.
العيب: عندما يكون الروبوت جديداً تماماً في المهمة، فإنه لا يملك أدنى فكرة عما يفعله. يحاول 1,000 مرة ويحصل على صفر من المكافآت. يصاب بالارتباك والإحباط ويتوقف عن التعلم.
النتيجة: يعلق الروبوت في حالة "البداية الباردة". لا يستطيع تحديد الخطوة الأولى، لذا لا يتعلم أبداً. وهذا ما يسمى بـ "انهيار التحسين" (Optimization Collapse).

الحل: S-GRPO (المدرب ذو شبكة الأمان)

يقترح المؤلفون S-GRPO، وهو يشبه مدرباً ذكياً يعرف تماماً متى يتدخل ومتى يترك الطالب يكتشف الأمر بنفسه.

الخدعة السحرية: "حقن الحقيقة المطلقة المشروط" (CGI)

فكر في هذا كـ شبكة أمان لا تُنشر إلا عندما يكون الطالب على وشك السقوط.

مرحلة الاستكشاف: يترك المدرب الروبوت يحاول حل المشكلة بمفرده، حيث يولد عدة إجابات مختلفة (مسارات).
التحقق: يقوم حكم صارم (المُحقِّق) بفحص الإجابات.
- السيناريو (أ) (النجاح): إذا نجح الروبوت في الوصول إلى إجابة واحدة صحيحة على الأقل، يقول المدرب: "عمل رائع! استمر في الاستكشاف بمفردك!". يتعلم الروبوت من نجاحه الخاص.
- السيناريو (ب) (الفشل التام): إذا أخطأ الروبوت في كل إجاباته (وهذا يحدث كثيراً في البداية)، يتدخل المدرب.
الحقن: يُخرج المدرب نموذج الإجابة المثالية (الحقيقة المطلقة) ويقول: "حسناً، أنت عالق. إليك الإجابة الصحيحة. انظر إليها، قارنها بإجاباتك الخاطئة، وتعلم الفرق".
التعلم: يرى الروبوت التباين بين تخميناته الخاطئة والإجابة المثالية، مما يعطيه إشارة واضحة عما يجب فعله.
التلاشي التدريجي: مع تحسن أداء الروبوت وبدئه في تقديم إجابات صحيحة بمفرده، يتوقف المدرب عن تقديم نموذج الإجابة. ينتقل الروبوت بسلاسة من مرحلة "التلقين" إلى مرحلة "التعلم بالممارسة".

لماذا يعد هذا تغييراً جذرياً في قواعد اللعبة؟

تظهر الورقة أن S-GRPO هو الحل "المثالي" (Goldilocks solution):

إنه يحل مشكلة "البداية الباردة": من خلال حقن الإجابة الصحيحة فقط عندما يكون الروبوت تائهاً تماماً، فإنه يضمن أن لدى الروبوت دائماً شيئاً يتعلمه. لا يقع أبداً في فخ الحصول على صفر مكافآت.
يمنع "النسيان": لأن المدرب يتدخل فقط عند الضرورة، يقضي الروبوت معظم وقته في الاستكشاف وفهم الأمور بمفرده. هذا يحافظ على حدة عقله العام (قدرته على الدردشة، والتفكير، وفهم العالم).
إنه فعال: يقوم بكل هذا في مرحلة واحدة فقط. لا تحتاج لتدريبه أولاً مع "رقيب التدريب"، ثم لاحقاً مع "المستكشف الجامح". كل ذلك يتم في عملية واحدة سلسة.

ملخص التشبيه

SFT (الطريقة القديمة): تشبه إجبار طفل على نسخ لوحة بدقة 1,000 مرة. سيصبح جيداً في النسخ، لكنه سيفقد القدرة على رسم أي شيء آخر.
RL (الطريقة القديمة): تشبه رمي طفل في غرفة مظلمة وقول: "ابحث عن المخرج". إذا لم يجد المخرج، سيجلس في الظلام للأبد وهو مرتبك.
S-GRPO (الطريقة الجديدة): تشبه والدًا يلعب لعبة "ساخن وبارد".
- إذا كان الطفل يتجول ويقترب من الهدف، يقول الوالد: "أنت تقترب! استمر!" (تركه يستكشف).
- إذا كان الطفل تائهاً تماماً ويصطدم بالجدران، يشير الوالد بلطف إلى الباب ويقول: "انظر، الباب هناك" (حقن الحقيقة).
- بمجرد أن يجد الطفل الباب، يتوقف الوالد عن الإشارة، ويتعلم الطفل كيف يتنقل في المنزل بمفرده.

الخلاصة

أثبت المؤلفون أنه من خلال دمج "الإجابة المثالية" مع "الاستكشاف الذاتي" بطريقة مشروطة وذكية، يمكننا تدريب نماذج الذكاء الاصطنا-عي لتكون خبيرة في مجالات محددة (مثل الطب أو الرياضيات) دون جعلها تنسى كيف تكون مساعدين عامين ومفيدين. إنها طريقة أسرع، وأكثر أماناً، وأذكى لتعليم الذكاء الاصطناعي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "S-GRPO: التدريب اللاحق الموحد لنماذج اللغات البصرية الكبيرة".

1. بيان المشكلة

تعالج ورقة البحث عقبة حرجة في تكييف نماذج اللغات البصرية الكبيرة (LVLMs) مع مجالات متخصصة (مثل التشخيص الطبي، أو الاستدلال الهندسي). تعاني نماذج التدريب اللاحق الحالية من عدم كفاءة متأصلة عند استخدامها بشكل منفصل:

الضبط الدقيق الخاضع للإشراف (SFT): يجبر النموذج على اتباع مسار خبير واحد وحتمي. وبينما يكون فعالاً في حقن المعرفة، فإنه يتسبب في النسيان الكارثي (Catastrophic Forgetting) للقدرات متعددة الوسائط العامة للنموذج بسبب التحولات التوزيعية الشديدة (ما يعرف بـ "ضريبة المحاذاة - Alignment Tax").
التعلم التعزيزي (RL) / GRPO: يستكشف مسارات متعددة لتحسين وظيفة المكافأة. ومع ذلك، في المهام البصرية المتخصصة ذات الموثقات الثنائية الصارمة، تواجه النماذج الأساسية غير المتوافقة مشكلة "البداية الباردة" (Cold-start problem)؛ حيث تفشل في توليد أي مسارات صالحة تلقائياً، مما يؤدي إلى مجموعة تحصل فيها جميع العينات على مكافأة صفرية. وهذا يؤدي بدوره إلى تلاشي التدرجات (Vanishing Gradients) (حيث يكون التباين $\approx 0$ ) وانهيار التحسين (Optimization Collapse)، مما يؤدي إلى توقف التعلم تماماً.

التحدي الجوهري يكمن في توحيد التوجيه الحاسم لـ SFT مع الطبيعة الاستكشافية لـ RL في مرحلة واحدة، لمنع كل من النسيان الكارثي وانهيار التحسين.

2. المنهجية: S-GRPO

يقترح المؤلفون تحسين المجموعة النسبية الموجهة تحت الإشراف (S-GRPO)، وهو إطار عمل موحد يدمج التعلم بالتقليد مباشرة في عملية تحسين التفضيلات.

الآلية الجوهرية: حقن المسار الأرضي المشروط (CGI)

يكمن الابتكار في آلية التراجع الديناميكي التي تعدل مجموعة أخذ العينات أثناء التدريب عبر الإنترنت:

الاستكشاف القياسي: يقوم النموذج باستخراج مجموعة من $G$ من المسارات.
كشف الفشل: يقوم موثق ثنائي صارم بتقييم المجموعة. إذا فشلت جميع المسارات المولدة (أي حصلت على مكافأة 0)، يكتشف النظام "فشلاً استكشافياً كاملاً".
الحقن المشروط: عند اكتشاف الفشل، يقوم الخوارزمي بحقن المسار الأرضي (Ground-truth) الذي تم التحقق منه ديناميكياً ( $y_{gt}$ )، ليحل محل أحد العينات الفاشلة.
تعيين المكافأة: يتم تخصيص مكافأة قصوى حتمية للمسار المحقون ( $R_{max} = 1.0$ )، بينما تحصل العينات الفاشلة على 0.
حساب الميزة (Advantage): يخلق هذا مجموعة مختلطة ذات انحراف معياري غير صفري في المكافآات. يعمل المسار المحقون كمرساة ذات ميزة عالية ( $\hat{A}_{gt} \gg 0$ )، بينما تحصل العينات الفاشلة على ميزات سالبة. هذا يضمن وجود إشارة تعلم إيجابية، مما يمنع تلاشي التدرج.

الهدف الموحد

تقوم دالة هدف S-GRPO بالتحسين عبر هذه المجموعة المختلطة. ومع تحسن النموذج وبدء توليد مسارات صالحة بشكل مستقل، تتلاشى آلية CGI بشكل طبيعي (لأن شرط الفشل لم يعد متحققاً)، مما يسمح للتدريب بالانتقال بسلاسة من التمهيد الخاضع للإشراف إلى التعلم التعزيزي الاستكشافي الخالص دون الحاجة لتصميم منهج تعليمي خارجي.

3. المساهمات الرئيسية

إطار عمل موحد للتدريب اللاحق: يلغي S-GRPO الحاجة إلى خطوط إنتاج منفصلة من نوع "SFT ثم RL". فهو يوحد رياضياً هدف التعلم الخاضع للإشراف (كعنصر ذي ميزة عالية) مع الاستكشاف متعدد المسارات في مرحلة واحدة عبر الإنترنت.
حقن المسار الأرضي المشروط (CGI): استراتيجية مبتكرة تحل مشكلة البداية الباردة في المهام البصرية ذات المكافآت المتفرقة. فهي تضمن إشارات تعلم إيجابية فقط عند الضرورة، مما يوازن بين استغلال مسارات الخبراء والاستكشاف الذاتي.
التحقق النظري والتجريبي: تقدم الورقة تحليلاً نظرياً يوضح كيف يمنع الحقن انهيار التدرج، وتثبت التفوق التجريبي على الطرق الموجودة في كل من التكيف مع المجال والحفاظ على القدرات العامة.

4. النتائج التجريبية

قيم المؤلفون S-GRPO على ثلاث مجموعات بيانات متنوعة: COCO Caption (عام)، و Geo170K (استدلال هندسي)، و OpenI (تشخيص الأشعة السينية الطبية)، باستخدام نموذج Qwen2.5-VL-7B كنموذج أساسي.

الأداء مقابل SFT: حقق S-GRPO أداءً في المجال المتخصص يضاهي أو يتجاوز الضبط الدقيق الكامل (FFT) (على سبيل المثال، درجات CIDEr بلغت 1.0106 مقابل 1.0172 في COCO). والأهم من ذلك، بخلاف FFT، حافظ S-GRPO على القدرات العامة، متجنباً النسيان الكارثي الذي يسببه SFT (مثل الحفاظ على درجات IFEval-I العالية).
الأداء مقابل RL الصرف: فشل GRPO القياسي تماماً على النموذج الأساسي بسبب مشكلة البداية الباردة (مما نتج عنه درجات تقترب من الصفر). نجح S-GRPO في تدريب النموذج من هذه الحالة.
الأداء مقابل خطوط الإنتاج ذات المرحلتين: تفوق S-GRPO على خط الإنتاج المكلف حوسبياً "SFT $\to$ GRPO" في الحفاظ على قدرات اتباع التعليمات العامة مع مطابقة أداء المجال.
دراسات الاستئصال (Ablation Studies):
- الحقن غير المشروط: أدى حقن المسار الأرضي في كل خطوة إلى تحسين درجات المجال ولكنه أدى إلى تدهور القدرات العامة بسبب انحياز "فرض المعلم" (Teacher-forcing) المفرط.
- الحقن المشروط (CGI): حقق التوازن الأمثل (Pareto balance)، حيث قام بتمهيد التعلم أثناء البدايات الباردة مع السماح بالاستكشاف الذاتي بمجرد تحسن النموذج.
- العتبة ( $\delta$ ): وُجد أن العتبة $\delta=0.9$ هي المثلى، حيث توازن بين الصرامة لتعلم المجال والحاجة إلى الاستكشاف الذاتي.

5. الأهمية

يمثل S-GRPO تقدماً كبيراً في محاذاة نماذج اللغات البصرية الكبيرة (LVLMs) من خلال حل معضلة "البداية الباردة" في التعلم التعزيزي للمهام البصرية.

الكفاءة: يلغي الحاجة إلى خطوط تدريب معقدة متعددة المراحل أو نماذج معلم خارجية، مما يقدم حلاً برمجياً أنيقاً في مرحلة واحدة.
الاستقرار: من خلال ضمان إشارات ميزة إيجابية أثناء فشل الاستكشاف، فإنه يضمن تقارباً مستقراً حيث يفشل RL القياسي.
الحفاظ على القدرات: يثبت أن التخصص في مجال معين لا يتطلب التضحية بالذكاء العام، مما يخفف بفعالية من "ضريبة المحاذاة" المرتبطة بالضبط الدقيق التقليدي.

باختصار، يوفر S-GRPO مساراً قوياً لتوسيع نطاق النماذج متعددة الوسائط المتخصصة، مما يمكنها من تعلم القيود الصارمة للمجالات دون فقدان فهمها الأساسي متعدد الوسائط.