💻 computer science

Mitigating Think-Answer Mismatch in Large Language Model Reasoning Through Noise-Aware Advantage Reweighting

تقدم هذه الورقة البحثية طريقة تحسين السياسة المستقرة ذات المجموعات النسبية (S-GRPO)، وهي طريقة مبتكرة تخفف من حدة "عدم التطابق بين التفكير والإجابة" في نماذج الاستدلال الكبيرة، وذلك عبر اشتقاق أوزان ميزة مدركة للضجيج، مما يحقق متانة وأداءً فائقين مقارنة بطريقة GRPO القياسية في ظل ظروف المكافأة المشوبة بالضجيج.

المؤلفون الأصليون: Danhao Zhu, Peijun Shen, Si Shen

نُشر 2026-08-05

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Danhao Zhu, Peijun Shen, Si Shen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية حل لغز رياضي معقد. أنت لا تريد الجلث هناك لتصحيح كل خطوة من خطوات تفكيره؛ بدلاً من ذلك، تكتفي فقط بالنظر إلى الإجابة النهائية. إذا حصل الروبوت على الإجابة الصحيحة، تعطيه "تحية عالية" (مكافأة). وإذا أخطأ، تقول له بلطف "حاول مرة أخرى". هكذا تتعلم العديد من نماذج الذكاء الاصطناعي الحديثة التفكير: فهي تولد مجموعة من المحاولات المختلفة، وترى أي منها يصيب الهدف، ثم تتعلم تقليد الفائزين. تُسمى هذه الطريقة "تحسين السياسة النسبي للمجموعة"، أو GRPO اختصاراً. إنها تشبه فصلاً دراسياً حيث يكتفي المعلم بتصحيح درجة الاختبار النهائي فقط، وليس المسودات الفوضوية.

لكن هنا تكمن المشكلة: في بعض الأحيان، يحصل الطالب على الإجابة الصحيحة لأسباب خاطئة. ربما خمن الإجابة، أو ربما ارتكب خطأ في الخطوة الأولى لكنه أصلحه بالصدفة في الخطوة الثالثة. في عالم الذكاء الاصطناعي، يُسمى هذا "عدم تطابق التفكير والإجابة". يعتقد الروبوت أنه عبقري لأنه حصل على المكافأة، لكنه في الواقع كان محظوظاً فحسب. إذا لم يدرك المعلم (مدرب الذكاء الاصطناعي) ذلك، فسيتعلم الروبوت الدروس الخاطئة. تسأل هذه الورقة البحثية: ماذا يحدث عندما يكون المعلم مرتبكاً قليلاً بسبب هذه التخمينات المحظوظة، وكيف يمكننا إصلاح التدريب ليتعلم الروبوت "الطريقة الصحيحة" للتفكير، حتى عندما تكون التغذية الراجعة غير دقيقة بعض الشيء؟

اكتشف الباحثون وراء هذه الدراسة، دانهاو زو، وبيجون شين، وسي شين، أن الطريقة القياسية لتدريب هذه الروبوتات (GRPO) لديها نقطة ضعف سرية. لقد وجدوا أنه عندما تكون مجموعة محاولات الروبوت غير متوازنة للغاية — على سبيل المثال، سبع إجابات خاطئة وإجابة واحدة صحيحة فقط — فإن تلك الإجابة "المحظوظة" الوحيدة قد تخدع النظام وتجعله يعتقد أنه نجاح باهر. الأمر يشبه رمي عملة معدنية ثمان مرات والحصول على سبع حالات "صورة" وحالة "كتابة" واحدة؛ قد تبدو حالة "الكتابة" الواحدة كأنها معجزة، لكنها في الواقع مجرد ضربة حظ. في المجموعة غير المتوازنة، تشوه هذه الصدفة إشارة التعلم بشكل كبير لدرجة أن الروبوت يتوقف عن التعلم بفعالية، خاصة إذا تكررت هذه "التخمينات المحظوظة" كثيراً.

ولحل هذه المشكلة، ابتكر الفريق طريقة جديدة تسمى تحسين السياسة النسبي المستقر للمجموعة (S-GRPO). فكر في S-GRPO كمعلم ذكي جداً لا ينظر فقط إلى الدرجة، بل يتحقق أيضاً من "جو" الفصل بأكمله. إذا كان الفصل يفشل في الغالب ولم ينجح سوى طالب واحد، يصبح المعلم مرتاباً: "هل هذا الطالب ذكي حقاً، أم أنه خمن الإجابة فحسب؟". يستخدم S-GRPO خدعة رياضية خاصة لحساب مقدار الضجيج أو الارتباك الذي قد يسود الغرفة. إذا كانت المجموعة غير متوازنة، تقوم الطريقة تلقائياً بخفض مستوى صوت ذلك "الفائز" الوحيد حتى لا يطغى بصوته على الجميع. إنها تقول ببساطة: "سأصدق هذه المكافأة بدرجة أقل لأن وضع المجموعة يبدو مريباً".

اختبر الباحثون هذه الفكرة من خلال محاكاة فصل دراسي حيث كانت 20% من "الإجابات الصحيحة" في الواقع مجرد تخمينات محظوظة (ضجيج). في هذه البيئة الفوضوية، انهارت طريقة GRPO القياسية تماماً؛ حيث توقفت الروبوتات عن التعلم وأصبحت مرتبكة. ومع ذلك، حافظ S-GRPO على هدوئه، حيث تجاهل الإشارات المشوشة وأبقى الروبوتات على المسار الصحيح. وعندما اختبروا ذلك على مسائل رياضية حقيقية باستخدام عقول روبوتية مختلفة (مثل نماذج Qwen و Llama)، تفوق S-GRPSO باستمرار على الطرق القديمة، حيث حسن درجات الرياضيات للروبوتات بنسبة تتراوح بين 2.2% إلى 2.5% في جميع المجالات.

لعل الاكتشاف الأكثر إثارة هو مدى استقرار عملية التدريب. فبينما كانت الطريقة القديمة تتعثر عندما تكون التغذية الراجعة فوضوية، جعل S-GRPO عملية التعلم أكثر سلاسة. لم تتحسن الروبوتات في الرياضيات فحسب، بل تعلمت أيضاً التفكير بثبات أكبر، دون تقلبات حادة في ثقتها بنفسها. تشير الورقة البحثية إلى أنه من خلال الاعتراف بأن "التخمينات المحظوظة" تحدث، وتعديل الرياضيات لتأخذ ذلك في الاعتبار، يمكننا بناء عقول ذكاء اصطناعي أكثر موثوقية. هذا ليس مجرد تعديل بسيط؛ بل هو وسيلة لجعل تدريب الذكاء الاصطناعي قوياً بما يكفي للتعامل مع العالم الحقيقي، حيث لا تكون الإجابات دائماً مثالية، ويلعب الحظ دوراً فيه.

ملخص تقني: التخفيف من عدم التطابق بين التفكير والإجابة في استدلال النماذج اللغوية الكبيرة عبر إعادة وزن الميزة الواعية بالضجيج

1. بيان المشكلة: عدم التطابق بين التفكير والإجابة وهشاشة GRPO

بينما أصبح تحسين السياسة النسبي للمجموعة (GRPO) حجر الزاوية لتدريب نماذج الاستدلال واسعة النطاق (مثل DeepSeek-R1 و Qwen3) من خلال إلغاء الحاجة إلى نموذج ناقد منفصل، فإنه يعتمد على افتراض جوهري: وهو أن صحة الإجابة النهائية هي مؤشر موثوق لجودة عملية الاستدلال. يحدد المؤلفون خللاً جوهرياً في هذا الافتراض يُعرف باسم عدم التطابق بين التفكير والإجابة (Think-Answer Mismatch). وتحدث هذه الظاهرة عندما ينتج النموذج خطوات استدلال معيبة تؤدي مصادفةً إلى إجابة صحيحة (إيجابي كاذب)، أو عندما يؤدي استدلال صحيح إلى إجابة خاطئة (سلبي كاذب).

تجادل الورقة بأن GRPO القياسي معرض للهشاشة بشكل فريد لهذا النوع من عدم التطابق، لا سيما في مجموعات الاستجابة غير المتوازنة. في GRPO، يتم حساب المزايا (advantages) عن طريق تطبيع المكافآت ضمن مجموعة مكونة من $N$ من الاستجابات التي تم أخذ عينات منها. يوضح المؤلفون أن وجود حالة واحدة من "الإيجابي الكاذب" في مجموعة غير متوازنة للغاية (على سبيل المثال، إجابة واحدة صحيحة من أصل 7 إجابات خاطئة) يشوه إشارة الميزة بشكل غير متناسب. ويكشف التحليل الرياضي أن مثل هذا النوع من عدم التطابق يمكن أن يضخم الميزة الملحوظة بنسبة تصل إلى 60% مقارنة بالمجموعة المتوازنة. وهذا يخلق مفارقة حيث تكون إشارة التعلم في أقوى حالاتها (نجاح نادر وسط العديد من الإخفاقات) ولكنها أيضاً الأكثر عرضة للفساد. وتظهر الاختبارات التجريبية أنه تحت مستويات ضجيج مكافأة اصطناعية تبلغ 20%، ينهار عملية التعلم في GRPO القياسي تماماً، ويفشل في تحقيق أي تقدم ملموس.

2. المنهجية: تحسين السياسة النسبي للمجموعة المستقر (S-GRPO)

لمعالجة هذه الهشاشة، يقترح المؤلفون S-GRPO (تحسين السياسة النسبي للمجموعة المستقر)، وهو تحسين مبدئي يشتق أوزان ميزة مثالية وواعية بالضجيج.

2.1 نموذج ضجيج المكافأة المتماثل

يعالج هذا النهج "عدم التطابق بين التفكير والإجابة" كـ ضجيج تسمية متماثل (symmetric label noise). يفترض النموذج أن كل مكافأة ملحوظة $r_i$ هي قلب مستقل للمكافأة الحقيقية الكامنة $r^*_i$ باحتمالية ثابتة $p$ (حيث $0 \le p < 0.5$ ). وبناءً على متوسط المكافأة الملحوظ $\bar{r}$ للمجموعة، يتم تقدير متوسط المكافأة الحقيقي المتوقع $t$ باستخدام العلاقة:
$t = \frac{\bar{r} - p}{1 - 2p}$

2.2 إعادة الوزن المثالية

الابتكار الجوهري هو اشتقاق وزن مثالي $w^*$ لكل مجموعة. الهدف هو تقليل مربع الخطأ المتوقع بين الميزة الملحوظة المعاد وزنها والميزة الحقيقية غير الملحوظة. ومن خلال حل البحث عن الوزن الذي يقلل هذا الفقد، يشتق المؤلفون حلاً مغلق الصيغة:
$w^*(N, k, p) = \frac{(1 - 2p)t(1 - t)}{\sqrt{\bar{r}(1 - \bar{r}) + \epsilon}\sqrt{t(1 - t) + \epsilon}}$
يمثل هذا الوزن معامل الارتباط بين المكافآت الملحوظة والحقيقية، مكيّفاً بمعامل الضجيج $(1-2p)$ .

2.3 الخصائص الرئيسية للوزن

يُظهر الوزن المشتق $w^*$ ثلاثة سلوكيات حرجة:

التوهين المتكيف مع الضجيج: الوزن محكوم بـ $(1-2p)$ ، مما يؤدي تلقائياً إلى خفض وزن إشارة التعلم مع زيادة مستوى الضجيج المفترض.
الثقة من خلال الإجماع: الوزن مقعر بالنسبة لتكوين المجموعة، حيث يكون أصغر في المجموعات غير المتوازنة للغاية وأكبر في المجموعات المتوازنة ( $k \approx N/2$ ). وهذا يضفي صبغة رسمية على الحدس القائل بأن المجموعات المتوازنة توفر إشارات أكثر موثوقية.
آلية البوابة للضجيج: عندما ينخفض معدل النجاح الملحوظ عن معدل الضجيج المفترض $p$ ، يصبح الوزن صفراً. وهذا يعمل فعلياً على حجب التحديثات من المجموعات التي تكون الإشارة فيها غير موثوقة إحصائياً (على سبيل المثال، إذا كان $p=0.20$ ، فإن المجموعات ذات عدم التوازن الشديد يتم تجاهلها تماماً).

يتكيف هدف التحسين مع هدف البديل المقصوص (clipped surrogate objective) الخاص بـ PPO من خلال دمج هذا الوزن $w^*$ في حد الميزة.

3. المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

صياغة الهشاشة: هي أول عمل يحدد ويصيغ رياضياً الهشاشة المحددة لـ GRPO تجاه "عدم التطابق بين التفكير والإجابة"، موضحاً كيف يضخم عدم توازن المجموعة تأثير ضجيج المكافأة.
خوارزمية S-GRPO: اقتراح امتداد مبدئي لـ GRPO يشتق أوزان ميزة مثالية وواعية بالضجيج لضمان تحديثات سياسة قوية دون الحاجة إلى تغييرات هيكلية أو عمليات حسابية إضافية.
التحقق التجريبي: تجارب شاملة تثبت أن S-GRPO يحسن الأداء، والمتانة، واستقرار التدريب عبر عدة معايير للاستدلال ونطاقات مختلفة للنماذج.

4. النتائج التجريبية

قيم المؤلفون S-GRPO على معايير الاستدلال الرياضي (AMC, MATH500, Minerva, OlympiadBench) باستخدام ثلاثة نماذج أساسية متنوعة: Qwen2.5-Math-7B-Base، و Qwen2.5-Math-1.5B-Instruct، و Llama-3.2-3B-Base.

مكاسب الأداء: تفوق S-GRPO باستمرار على GRPO القياسي و Dr. GRPO القائم على القواعد التجريبية. شملت التحسينات الملحوظة:
- +2.5% على Qwen-Math-7B-Base.
- +2.2% على Llama-3.2-3B-Base.
- +2.4% على Qwen-Math-1.5B-Instruct.
المتانة تجاه الضجيج: في تجارب محكومة مع ضجيج مكافأة اصطناعي بنسبة 20%، فشل GRPO القياسي في التعلم، بينما حافظ S-GRPO على تقدم تعلم مستقر مع حد أدنى من التدهور في الأداء.
ديناميكيات التدريب: أظهر تحليل إنتروبيا السياسة (policy entropy) أن S-GRPO يعزز تقليلاً أكثر سلاسة للإنتروبيا مقارنة بالتقلبات العشوائية التي لوحظت في GRPO القياسي. وهذا يشير إلى انتقال أكثر استقراراً من الاستكشاف إلى الاستغلال وظهور أنماط استدلال أكثر موثوقية.

5. الأهمية والادعاءات

تدعي الورقة أن S-GRPO يقدم حلاً مبدئياً لخلل خوارزمي حرج في نماذج الاستدلال الكبيرة الحالية. وعلى عكس النهج التجريبية السابقة (مثل Dr. GRPO أو DAPO) التي تفتقر إلى الأسس النظرية في نظرية الضجيج، يشتق S-GRPO استراتيجية إعادة الوزن الخاصة به من المبادئ الأولى لتقليل الخطأ المتوقع.

يؤكد المؤلفون أنه مع تحول نماذج الاستدلال إلى بنية تحتية حيوية، فإن القدرة على الحفاظ على تعلم مستقر تحت إشارات مكافأة ضوضائية أمر ضروري للنشر الموثوق. يوضح العمل أن التحليل البسيط والمبني على أسس نظرية للثغرات الخوارزمية يمكن أن يؤدي إلى حلول فعالة تحسن كلاً من الدقة والمتانة في خطوط أنابيب التعلم المعزز من التغذية الراجعة البشرية (RLHF)، وتحديداً في سياق مهام الاستدلال المعقدة حيث يسود "عدم التطابق بين التفكير والإجابة".