💻 computer science

NoisyGRPO: Incentivizing Multimodal CoT Reasoning via Noise Injection and Bayesian Estimation

يُعد NoisyGRPO إطار عمل للتعلم التعزيزي متعدد الوسائط يعمل على تعزيز قدرة التعميم والمتانة في تسلسل التفكير (Chain-of-Thought) لدى النماذج اللغوية الكبيرة من خلال حقن ضوضاء قابلة للتحكم في المدخلات البصرية لأغراض الاستكشاف، وتوظيف الاستدلال البايزي لتقدير مزايا المسار بشكل متين.

المؤلفون الأصليون: Longtian Qiu, Shan Ning, Jiaxuan Sun, Xuming He

نُشر 2026-04-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Longtian Qiu, Shan Ning, Jiaxuan Sun, Xuming He

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم روبوت ذكي جداً ولكنه أخرق قليلاً (نموذج لغوي كبير متعدد الوسائط) كيفية حل الألغاز المعقدة التي تتضمن صوراً وكلمات معاً. أنت لا تريد من الروبوت أن يخمن الإجابة فحسب، بل تريده أن يوضح خطوات عمله خطوة بخوة، تماماً مثل طالب يكتب مسألة رياضية على السبورة. هذا التفكير المتسلسل خطوة بخطوة يسمى "سلسلة الأفكار" (Chain-of-Thought - CoT).

يقدم البحث طريقة تعليم جديدة تسمى NoisyGRPO. ولكي تفهم لماذا هي مميزة، دعنا ننظر إلى المشكلات في الطريقة القديمة وكيف تعالجها هذه الطريقة الجديدة.

المشكلة: الروبوت "يعلق" في نمط مكرر

تخيل أنك تدرب الروبوت عبر عرض صورة عليه وسؤاله سؤالاً. يحاول الروبوت تقديم إجابة، وأنت تعطيه إشارة "إبهام للأعلى" (أحسنت) أو "إبهام للأسفل" (أخطأت).

في الطريقة القديمة (التي تسمى GRPO)، يحاول الروبوت توليد إجابات متنوعة (rollouts) ليرى أي منها سيحصل على أفضل إشارة "إبهام للأعلى". ومع ذلك، فإن الروبوت كسول؛ فقد أدرك بسرعة أنه إذا قال الشيء نفسه عشر مرات، فسيحصل على نفس المكافأة في كل مرة. لذا يتوقف عن تجربة طرق جديدة ومبدعة لحل المشكلة، ويقع في "نمط مكرر"، حيث يكرر نفس الإجابات الآمنة والمملة.

أيضاً، يبدأ الروبوت أحياناً في "الهلوسة". قد ينظر إلى صورة قطة ويقول بثقة: "القطة تقود سيارة"، فقط لأن هذا يبدو كقصة رائعة، رغم أنه خطأ. الطريقة القديمة لم تعاقب هذا السلوك بما يكفي لأنها كانت تتحقق فقط من الإجابة النهائية، وليس من القصة الغريبة التي نسجها الروبوت للوصول إلى تلك الإجابة.

الحل: NoisyGRPO (النظارات الضبابية و"المدرب الذكي")

يقترح المؤلفون خدعتين رئيسيتين لإصلاح ذلك، واللتين يسمونهما NoisyGRPO.

1. خدعة "النظارات الضبابية" (حقن الضجيج/Noise Injection)

تخيل أنك تحاول تعليم الروبوت التعرف على قطة.

الطريقة القديمة: تعرض للروبوت صورة مثالية وواضحة تماماً لقطة. يقول الروبوت: "قطة". سهل جداً.
طريقة NoisyGRPO: تضع نظارات ضبابية ومخدوشة على عيني الروبوت. الصورة الآن مشوشة ومليئة بالتشويش.

الآن، يتعين على الروبوت بذل جهد أكبر! لا يمكنه الاعتماد فقط على التفاصيل المثالية، بل يجب أن يفكر: "حسناً، على الرغم من أنها مشوشة، إلا أن الشكل يبدو كقطة، والأذنان مدببتان".

لماذا نفعل ذلك؟ من خلال جعل المدخلات غير واضحة (إضافة الضجيج)، أنت تجبر الروبوت على استكشاف طرق تفكير مختلفة. لا يمكنه مجرد نسخ ولصق نفس الإجابة لأن الصورة تتغير قليلاً في كل مرة. هذا يجبر الروبوت على تعلم المنطق الحقيقي وراء الإجابة، وليس مجرد حفظ الصورة.

2. "المدرب الذكي" (تقدير الميزة البايزي - Bayesian Advantage Estimation)

هذا هو الجزء الصعب. نظرًا لأن الروبوت ينظر من خلال نظارات ضبابية، فقد يرتبك ويعطي إجابة خاطئة. إذا قلت له "خطأ!" في كل مرة، فسيشعر بالإحباط ويتوقف عن التعلم.

هنا يأتي دور "المدرب الذكي" (Bayesian Advantage Estimation). فكر في هذا كـ مدرب ذكي يفهم السياق.

الموقف: ينظر الروبوت إلى صورة ضبابية ويعطي إجابة.
المدرب القديم: "خطأ! لقد فشلت!" (قاسٍ جداً ولا يدرك مدى صعوبة المهمة).
مدرب NoisyGRPO: "انتظر لحظة. أنا أعلم أنك كنت تنظر من خلال نظارات ضبابية (الضجيج). هذا يجعل المهمة أصعب. دعنا ننظر إلى إجابتك مرة أخرى. على الرغم من أن الصورة كانت مشوشة، إلا أن منطقك كان جيداً جداً. سأعطيك درجة جزئية."

يستخدم المدرب صيغة رياضية خاصة (الاستدلال البايزي) للموازنة بين شيئين:

كم كان سوء الضباب؟ (مستوى الضجيج).
ما مدى جودة الإجابة؟ (المكافأة).

إذا كان الضباب كثيفاً، يكون المدرب أكثر تسامحاً. وإذا كان الضباب خفيفاً ومع ذلك أخطأ الروبوت، يكون المدرب أكثر صرامة. يساعد هذا الروبوت على التعلم بدقة دون أن يرتبك بسبب الضجيج، مما يعلمه الثقة في منطقه الخاص حتى عندما يكون العالم من حوله فوضوياً.

النتائج: روبوت أكثر ذكاءً وأكثر صدقاً

اختبر الباحثون هذا النظام على ألغاز متنوعة (رياضيات، منطق، علوم). وإليك ما حدث:

تحسن في التعميم (Generalization): تعلم الروبوت حل أنواع جديدة من الألغاز التي لم يسبق له رؤيتها، وليس فقط الألغاز التي تدرب عليها.
تقليل الهلوسة: توقف الروبوت عن تأليف قصص غريبة، وتعلم الالتزام بما يمكنه رؤيته فعلياً في الصورة.
الكفاءة: بشكل مفاجئ، بدأ الروبوت في إعطاء إجابات أقصر ومباشرة أكثر. لقد توقف عن الثرثرة لأن "المدرب الذكي" كافأه على كونه موجزاً ودقيقاً.

الخلا الخلاصة

NoisyGRPO يشبه معسكراً تدريبياً حيث تجعل الأمور صعبة عمداً (نظارات ضبابية) لتجبر الطالب على التفكير بعمق، ولكن لديك معلم حكيم (المدرب البايزي) يعرف تماماً كيف يقيمهم بإنصاف بناءً على تلك الصعوبات.

النتيجة هي ذكاء اصطناعي أقل عرضة للكذب، وأفضل في حل المشكلات الجديدة، وقادر على التفكير في الألغاز البصرية المعقدة بعقل منطقي وواضح.

إليك ملخص تقني مفصل لورقة البحث بعنوان "NoisyGRPO: تحفيز استدلال سلسلة الأفكام (CoT) متعدد الوسائط عبر حقن الضجيج والتقدير البايزي."

1. بيان المشكلة

بينما نجح التعلم التعزيزي (RL)، وتحديداً خوارزمية تحسين السياسة النسبي للمجموعات (GRPO)، في تعزيز استدلال سلسلة الأفكار (CoT) في النماذج اللغوية الكبيرة (LLMs)، فإن تطبيق هذه الأساليب على النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) يكشف عن قيود كبيرة:

محدودية التعميم: غالباً ما تفشل النماذج (MLLMs) التي يتم تدريبها باستخدام GRPO القياسي في التعميم خارج نطاق توزيع التدريب. فالمكافآت العالية أثناء التدريب لا تترجم باستمرار إلى أداء أفضل في التقييم على المهام التي تقع خارج التوزيع (OOD).
عدم كفاية استكشاف السياسة: يعتمد GRPO القياسي على أخذ عينات درجة الحرارة (temperature sampling) لتوليد مخرجات متعددة. ومع ذلك، غالباً ما تتقارب هذه المخرجات لتصبح متطابقة تقريباً (انهيار النمط/mode collapse)، مما يؤدي إلى عدم كفاية استكشاف فضاء الحلول.
نقص الإشراف على العمليات: عادة ما تحكم المكافآت القائمة على القواعد الإجابة النهائية فقط، مما يترك خطوات الاستدلال الوسيطة دون إشراف. وهذا يشجع النماذج على تعلم طرق مختصرة وهلوسات بصرية لا تنتقل بشكل جيد إلى مهام أخرى.
تحيز السياسة خارج النطاق (Off-Policy Bias): إن المحاولة الساذجة لحقن الضجيج في المدخلات البصرية لإجبار النموذج على الاستكشاف تخلق سيناريو "خارج النطاق" (off-policy). حيث تختلف سياسة السلوك (المدربة على صور مشوشة) عن السياسة المستهدفة (الاستدلال على صور نظيفة)، مما يسبب انزياحات في التوزيع تؤدي إلى تحيز تقديرات الميزة وإفساد تدرجات السياسة.

2. المنهجية: NoisyGRPO

يقترح المؤلفون NoisyGRPO، وهو إطار عمل موحد للتعلم التعزيزي يعالج المشكلات المذكورة أعلاه من خلال مكونين أساسيين دون تكبد تكاليف حوسبية إضافية كبيرة.

أ. سياسة الاستكشاف المحقونة بالضجيج

لكسر حالة تقارب المخرجات وتشجيع الاستكشاف المتنوع:

الآلية: خلال مرحلة جمع المخرجات (rollout collection)، يتم حقن ضجيج غاوسي (Gaussian noise) يمكن التحكم فيه في الصور المدخلة.
العملية: لكل مخرج، يتم أخذ مستوى ضجيج $n_i$ $n_{i}$ من توزيع منتظم $U(0, 1)$ $U (0, 1)$ . يحدد مستوى الضجيج هذا الخطوة الزمنية لعملية أمامية شبيهة بالانتشار (diffusion-style forward process) تُطبق على الصورة.
- $n_i = 0$ : الصورة الأصلية النظيفة.
- $n_i = 1$ : ضجيج غاوسي خالص.
الأثر: هذا يجبر النموذج على توليد استجابات تحت درجات متفاوتة من التدهور البصري، مما يشجعه على تعلم استدلال قوي ومرتبط بصرياً بدلاً من الاعتماد على إشارات بصرية محددة أو طرق مختصرة. والأهم من ذلك، أن الضجيج يُطبق فقط أثناء مرحلة جمع المخرجات؛ بينما تُجرى تحديثات السياسة على مدخلات نظيفة لضمان استقرار التعلم.

ب. تقدير الميزة البايزي (Bayesian Advantage Estimation)

للتخفيف من التحيز الناتج عن طبيعة حقن الضجيج "خارج النطاق"، صاغ المؤلفون تقدير الميزة كمسألة استدلال بايزي:

الصياغة:
- الاعتقاد المسبق (Prior $\mu_i$ ): مستمد من مستوى الضجيج المحقون. المنطق هو أنه إذا كان أداء النموذج جيداً رغم الضجيج العالي، فإن الاستدلال يكون قوياً. تُعرف المكافأة المسبقة بأنها $r^n_i = 1 - n_i$ .
- الدالة الاحتمالية (Likelihood $\tilde{r}_i$ ): هي مكافأة الدلالة المرصودة (بناءً على صحة الإجابة والتنسيق) المستمدة من المسار.
- التوزيع اللاحق (Posterior $\hat{r}_i$ ): تقدير قوي لجودة المسار الحقيقية يدمج بين الاعتقاد المسبق والملاحظة.
نمذجة عدم اليقين:
- تباين الملاحظة ( $\sigma^2_s$ ) ثابت (بافتراض مكافآت مستقرة قائمة على التضمين/embedding).
- تباين الاعتقاد المسبق ( $\sigma^2_n$ ) هو تباين تكييفي. فهو يرتبط عكسياً بتباين المكافآت الدلالية داخل المجموعة. إذا كانت المكافآت متسقة عبر مستويات الضجيج المختلفة، يتم الوثوق بالاعتقاد المسبق أكثر (تباين أقل). وإذا تباينت المكافآت بشكل كبير، يتم الوثوق بالاعتقاد المسبق أقل.
قاعدة التحديث: يتم حساب متوسط التوزيع اللاحق كمتوسط مرجح:
$\hat{r}_i = \hat{r}^s_i + \frac{\sigma^2_s}{\sigma^2_n + \sigma^2_s} (\hat{r}^n_i - \hat{r}^s_i)$
وهذا يسمح للنموذج بالموازنة ديناميكياً بين الاعتماد على الاعتقاد المسبق القائم على الضجيج وبين الملاحظة القائمة على الصحة.

3. المساهمات الرئيسية

إطار عمل مبتكر: تقديم NoisyGRPO، وهو أول إطار عمل منهجي للتعلم التعزيزي متعدد الوسائط يجمع بين حقن الضجيج للاستكشاف والتقدير البايزي لحساب الميزة القوي.
استراتيجية الاستكشاف: استراتيجية مستهدفة لحقن الضجيج تعمل على تشويه المدخلات البصرية لتنويع المخرجات وتعزيز الاستدلال المرتبط بصرياً بشكل ضمني، مما يحل مشكلة "انهيار النمط" في GRPO القياسي.
تقدير الميزة البايزي: طريقة منهجية لتصحيح التحيز "خارج النطاق" الناتج عن حقن الضجيج. من خلال معاملة مستوى الضجيج كاعتقاد مسبك ومكافأة المسار كدالة احتمالية، يقوم النظام بحساب ميزة لاحقة قوية توجه السياسة بفعالية.
الكفاءة: لا يضيف الأسلوب أي تكلفة حوسبية إضافية لتدريب نموذج قيمة (value model) منفصل، ويحافظ على وقت تدريب واستهلاك ذاكرة مماثل لـ GRPO القياسي.

4. النتائج التجريبية

قيم المؤلفون NoisyGRPO على نماذج Qwen2.5-VL (3B و 7B) عبر ثلاثة أبعاد:

جودة سلسلة الأفكار (اختبار MME-CoT):
- تفوق NoisyGRPO باستمرار على GRPO التقليدي.
- نموذج 3B: حقق تحسناً قدره +4.4 في جودة سلسلة الأفكار (F1) ومكاسب كبيرة في المتانة.
- نموذج 7B: أظهر تحسناً في المتانة، متجاوزاً النماذج المملوكة مثل GPT-4o في بعض مقاييس المتانة.
القدرة العامة (اختبار MMStar):
- حقق NoisyGRPO زيادة قدرها +3.7 في متوسط الأداء للنموذج 3B و +2.6 للنموذج 7B مقارنة بالنموذج الأساسي.
- لوحظت تحسينات ملحوظة في الإدراك دقيق التفاصيل و استدلال الحالات الفردية، مما يشير إلى توافق أفضل بين اللغة والرؤية.
الهلوسة (اختبار AMBER):
- قلل من معدلات الهلوسة (درجات "Hal." أقل) مقارنة بـ GRPO، مما يثبت أن الطريقة تشجع الاستجابات الأكثر واقعية وتوافقاً مع المحتوى البصري.
دراسات الاستئصال (Ablation Studies):
- إزالة الدمج البايزي (Naive NoisyGRPO) أدى إلى تراجع الأداء، مما يثبت أن حقن الضجيج وحده غير كافٍ بدون آلية التصحيح.
- أثبت توزيع الضجيج الموحد تفوقه على التوزيع الغاوسي أو الضجيج الثابت.
- أظهرت الطريقة حساسية منخفضة للمعاملات الفائقة (hyperparameters)، مما يشير إلى المتانة.

5. الأهمية

القابلية للتوسع للنماذج الصغيرة: يثبت NoisyGRPO أن النماذج متعددة الوسائط صغيرة النطاق (مثل 3B بارامتر) يمكنها تحقيق قدرات استدلال تضاهي أو تتجاوز النماذج الأكبر بكثير عند تدريبها بهذا الإطار. وهذا أمر بالغ الأهمية لنشر نماذج عالية الأداء وفعالة على الأجهزة الطرفية (edge devices).
المتانة فوق الحفظ: من خلال إجبار النموذج على الاستدلال عبر مدخلات مشوشة، يمنع الإطار النموذج من تعلم الطرق المختصرة السطحية، مما يؤدي إلى تعميم أفضل في السيناريوهات الواقعية غير المرئية.
التقدم النظري: يقدم تطبيق الاستدلال البايزي لتقدير الميزة في التعلم التعزيزي في البيئات متعددة الوسائط نموذجاً جديداً للتعامل مع انزياح التوزيع والتعلم خارج النطاق، وهو ما يمكن تطبيقه في مجالات أخرى تستخدم اضطراب المدخلات لأغراض الاستكشاف.

باختصار، يوفر NoisyGRPO حلاً قوياً وفعالاً ومبنياً على أسس نظرية لمشكلات التعميم والاستكشاف التي تحد حالياً من التعلم التعزيزي متعدد الوسائط، مما يمكن النماذج اللغوية الكبيرة (MLLMs) من تطوير استدلال أكثر موثوقية وتوافقاً في سلسلة الأفكار.