ReCo: Reweighting GRPO Against Distributional Concentration

تخيل عالماً لا تكتفي فيه الحواسيب بالدردشة فحسب، بل يمكنها حقاً "التفكير" عبر ألغاز معقدة مثل المسائل الرياضية أو تحديات البرمجة. هذا هو أفق الذكاء الاصطناعي، وتحديداً مجال يُسمى "التعلم التعزيزي" (Reinforcement Learning). فكر في الأمر كتدريب كلب؛ أنت لا تخبر الكلب بما يجب فعله فحسب، بل تتركه يحاول، وإذا جلس، تعطيه مكافأة، أما إذا قفز على الأريكة، فلا تفعل. بمرور الوقت، يتعلم الكلب الجلوس لأنه يريد المكافأة. وفي عالم الذكاء الاصطناعي، نحن نعطي "مكافأة" عندما يحل الكمبيوتر مسألة بشكل صحيح.

إحدى الطرق الشائعة لتدريب هذه "الكلاب" الاصطناعية هي "تحسين السياسة النسبية للمجموعة" (Group Relative Policy Optimization)، أو GRPO. تخيل أنك تطلب من الذكاء الاصطناعي حل مسألة رياضية عشر مرات، فيقوم بتوليد عشر إجابات مختلفة. تنظر GRPO إلى الإجابات العشر، وترى أي منها حصل على "المكافأة" (أي كانت صحيحة)، ثم تدفع الذكاء الاصطناعي ليكون أكثر شبهاً بتلك التي نجحت. إنها حيلة ذكية جعلت الذكاء الاصطناعي أفضل بكثير في التفكير المنطقي. لكن هناك عقبة: أحياناً، من شدة حماس الذكاء الاصطناعي للحصول على المكافأة، يصبح واثقاً بنفسه أكثر من اللازم ويتوقف عن تجربة أشياء جديدة؛ حيث يبدأ في تكرار نفس الحيل القليلة مراراً وتكراراً، متجاهلاً طرقاً ذكية أخرى لحل المسألة قد تكون ناجحة أيضاً.

هذا هو اللغز الذي قرر فريق من الباحثين من جامعة سيول الوطنية حله. لقد لاحظوا أنه بينما تجعل GRPO الذكاء الاصطناعي أكثر ذكاءً في حل المشكلات بسرعة، إلا أنها تجعله في الواقع أقل إبداعاً وأقل قدرة على إيجاد الإجابة الصحيحة إذا منحته فرصاً عديدة للمحاولة. أطلقوا على هذه المشكلة اسم "التركيز التوزيعي" (distributional concentration) — وهي طريقة معقدة للقول بأن الذكاء الاصطناعي يعلق في نمط معين، ويقتصر فقط على استكشاف المسارات التي يعرف بالفعل أنها آمنة.

ولحل هذه المشكلة، ابتكر الفريق طريقة جديدة تسمى ReCo (إعادة وزن GRPO ضد التركيز التوزيعي). إليك كيف تعمل، باستخدام تشبيه بسيط:

تخيل أنك معلم تصحح درجات فصل من الطلاب الذين يحاولون جميعاً حل نفس المسألة الرياضية الصعبة.

• الطريقة القديمة (GRPO): تطلب من الفصل كتابة إجاباتهم. إذا كتب خمسة طلاب نفس الحل تماماً (لأنه الحل الأكثر شيوعاً)، فإنك تولي هذا الحل قدراً هائلاً من الاهتمام. تقول للفصل بأكم: "انظروا! خمسة أشخاص فعلوا هذا! على الجميع فعل هذا!" وفي الوقت نفسه، يتم تجاهل الطالب الوحيد الذي جرب طريقة غريبة ومبتكرة ونجحت أيضاً، لأنهم كانوا وحدهم. يتوقف الفصل عن تجربة أشياء جديدة ويكتفون بمجرد نسخ الإجابة الشائعة.
• الطريقة الجديدة (ReCo): يلاحظ المعلم (ReCo) هذا الانحياز. أولاً، يدرك أن كون خمسة طلاب قد كتبوا نفس الإجابة، فمن المحتمل أن ذلك لأن تلك الإجابة كانت سهلة الوصول إليها، وليس بالضرورة لأنها الإجابة الجيدة الوحيدة. لذا، يقوم بـ خفض أهمية تلك الإجابة الشائعة. يقول: "حسناً، خمسة منكم فعلوا هذا، ولكن بما أنها كانت شائعة جداً، فهي لا تُحتسب بقدر ما تُحتسب الحلول الفريدة". هذا يمنع الفصل من التقليد الأعمى للجمهور.
• الحيلة الثانية: ينظر المعلم أيضاً في كيفية تفكير الطلاب. إذا كان طالب ما متأكداً بنسبة 99% من خطوة معينة في الرياضيات، يقول له المعلم: "رائع، أنت واثق، لكن لا تكن مغروراً جداً! لا يزال هناك احتمال ضئيل بأن تكون مخطئاً، لذا دعنا نبقي عقلك منفتحاً على الاحتمالات الأخرى". ولكن إذا كان الطالب عالقاً عند مفترق طرق حيث لا يكون متأكداً من المسار الذي يجب اتخاذه، فإن المعلم يعطيه دفعة كبيرة من التشجيع لاستكشاف هذا الشك. هذا يمنعهم من حبس أنفسهم في طريقة تفكير واحدة وجامدة في وقت مبكر جداً.

باستخدام هاتين الحيلتين، تغير ReCo طريقة تعلم الذكاء الاصطناعي. فهي تمنع الذكاء الاصطناعي من مجرد حفظ الإجابات "الآمنة" وتجبره على الاستمرار في استكشاف مسارات مختلفة.

اختبر الباحثون هذه الطريقة الجديدة في بعض المسابقات الرياضية الصعبة، مثل AIME (الامتحان الأمريكي المتقدم في الرياضيات) ومسائل الأولمبياد. استخدموا نماذج ذكاء اصطناعي مختلفة، بما في ذلك تلك القائمة على Qwen وLlama. وكانت النتائج واعدة. عندما طلبوا من الذكاء الاصطناعي المحاولة بضع مرات فقط، أدت ReCo أداءً يضاهي الطريقة القديمة. ولكن عندما منحوه فرصاً عديدة للمحاولة (مثل طلب توليد 64 إجابة مختلفة واختيار الأفضل منها)، تألقت ReCo. فقد وجدت إجابات صحيحة فاتت الطريقة القديمة تماماً.

في الواقع، في بعض الاختبارات الأكثر صعوبة، أصبح أداء الطريقة القديمة (GRPO) في الواقع أسوأ من الذكاء الاصطناعي الأصلي غير المدرب عند إعطائه محاولات عديدة، لأنها أصبحت ضيقة الأفق. أما ReCo، فقد حافظت على عقل الذكاء الاصطناعي مفتوحاً. لقد حافظت على القدرة على إيجاد حلول متنوعة، مما يضمن أنه حتى لو فشلت المحاولات الأولى، فإن لدى الذكاء الاصطناعي مجموعة كاملة من الاستراتيجيات المختلفة ليعود إليها.

كما نظر الفريق في سبب حدوث ذلك. رأوا أنه تحت الطريقة القديمة، أصبح "عملية التفكير" لدى الذكاء الاصطناعي مكررة للغاية، مثل أسطوانة مكسورة تعيد تشغيل نفس الأغنية. أما تحت ظل ReCo، فقد استمر الذكاء الاصطناعي في توليد مقاربات فريدة ومتنوعة، حتى عند حل نفس المسألة. كان الأمر يشبه مشاهدة طالب، بدلاً من مجرد نسخ الكتاب المدرسي، بدأ في رسم المخططات، واستخدام صيغ مختلفة، وحتى بناء نماذج مادية لفهم المفهوم.

باختصار، تقترح ReCo أنه لكي نجعل الذكاء الاصطناعي ذكياً حقاً، لا ينبغي لنا فقط مكافأته على الحصول على الإجابة الصحيحة بسرعة، بل نحتاج أيضاً لمكافأته على عدم الوقوع في فخ النمطية. ومن خلال دفع الذكاء الاصطناعي بلطف لتقدير التنوع وعدم اليقين، وجد الباحثون طريقة لإبقاء هذه العقول الرقمية فضولية، ومبدعة، وقادرة على حل المشكلات بطرق لم نكن نتوقعها. إنه تذكير بأن أفضل طريقة للتعلم أحياناً هي إبقاء خياراتك مفتوحة.