PAIR: Pairwise-Aware Inclusion Reweighting for Adaptive Rollout Allocation in RLVR

تخيل أنك تدير مسابقة طبخ ضخمة لتعليم روبوت طباخ كيفية صنع السوفليه المثالي. في عالم الذكاء الاصطناعي، يُسمى هذا "التعلم التعزيزي مع المكافآت القابلة للتحقق" (RLVR). يحاول الروبوت طهي طبق ما، ويقوم حَكَمٌ حاسوبي بتذوقه، وإذا كان جيداً، يحصل الروبوت على نقطة. لكي يتعلم بسرعة، لا يصنع الروبوت طبقاً واحداً فقط؛ بل يصنع مجموعة كاملة منها في وقت واحد. ثم ينظر إلى المجموعة ويقول: "حسناً، هذا كان الأفضل، وهذا كان الأسوأ. سأتعلم من الفرق بينهما".

الجزء الصعب هو أن صنع هذه الأطباق مكلف؛ إذ يتطلب الكثير من قوة الحوسبة والوقت لتوليد كل خطوة من خطوات الوصفة. لذا، حاول الباحثون أن يكونوا أذكياء بشأن أي الوصفات يجب إكمالها. عادةً، ينظرون إلى بداية الوصفة ("البادئة" أو prefix) ويخمنون: "هذه تبدو واعدة، فلنكملها"، أو "هذه تبدو مملة، فلنتوقف". إنهم يعاملون كل وصفة كمتسابق فردي. ولكن ماذا لو كانت قيمة الوصفة لا تأتي من كونها جيدة في حد ذاتها، بل من كيفية مقارنتها بجيرانها؟ ماذا لو كان الدرس الحقيقي مخفياً في "الزوج" من الوصفات، وليس في الوصفة الواحدة؟ هذا هو اللغز الذي تحاول ورقة بحثية جديدة حله.

تجادل الورقة البحثية التي تحمل عنوان PAIR (إعادة الوزن القائم على الوعي بالثنائيات - Pairwise-Aware Inclusion Reweighting)، بأن الطريقة القدية في اختيار الوصفات تغفل خدعة إحصائية حاسمة. فقد اكتشف المؤلفون أنه عندما يتعلم الروبوت من مجموعة، فإنه لا يتعلم في الواقع من الأطباق الفردية؛ بل يتعلم من العلاقات بين كل زوج ممكن من الأطباق في المجموعة. الأمر يشبه ساحة رقص حيث لا تكمن المتعة في مدى رقص الشخص بمفرده، بل في الكيمياء بين كل ثنائي ممكن على الساحة.

تكمن مشكلة الطرق الحالية في أنها تعمل مثل حارس بوابة لا يسمح إلا بدخول "أفضل الراقصين مظهراً". إذا اختار الحارس فقط أفضل الراقصين بناءً على خطواتهم الأولى، فسينتهي به الأمر بمجموعة من الأشخاص يرقصون جميعاً بنفس الطريقة. لا يوجد تباين، ولا توجد توترات، وبالتالي لا توجد دروس مثيرة للاهتمام يمكن تعلمها. تُظهر الورقة البحثية أنه من خلال إيقاف توليد بعض الوصفات مبكراً وإكمال أخرى، كان الباحثون عن غير قصد يخلقون مجموعة منحازة حيث لم تعد "الأزواج" عشوائية؛ لقد اختاروا أزواجاً متشابهة للغاية، مما أفسد الحسابات الرياضية.

ولإصلاح ذلك، بنى المؤلفون نظاماً جديداً يسمى PAIR. بدلاً من مجرد تخمين أي وصفة هي الأفضل، يعامل PAIR المجموعة بأكملها كشبكة ضخمة من الاتصالات. تخيل رسماً بيانياً حيث كل وصفة هي نقطة (رأس) وكل مقارنة بين وصفين هي خط (حافة) يربط بينهما. يتم دفع تكلفة العمل الحاسوبي لتوليد النقاط (الوصفات)، لكن قيمة التعلم تحدث على الخطوط (المقارنات).

إليك كيف يعمل PAIR في الممارسة العملية:

1. اختبار التذوق: يقوم النظام بتوليد "بادئة" قصيرة لكل وصفة مرشحة—ما يكفي فقط لأخذ انطباع عن النكهة.
2. الكرة البلورية: باستخدام هذه البدايات القصيرة، يتوقع مُنبئ صغير شيئين: "هل من المرجح أن تكون هذه الوصفة ناجحة؟" و"كم من قوة الحوسبة ستتطلب لإنهاء هذه الوصفة؟".
3. الميزانية الذكية: بدلاً من اختيار "الأفضل" فقط، يستخدم PAIR خدعة رياضية ذكية (تصميماً محدباً) لتقرير أي الوصفات سيتم إكمالها. إنه يضمن أنه حتى لو بدت وصفة ما محفوفة بالمخاطر، فإن لديها فرصة صغيرة ليتم إكمالها. هذا أمر بالغ الأهمية لأنه يحافظ على بقاء "الشبكة" من الاتصالات مفتوحة.
4. التصحيح: هذا هو "السر السحري". نظرًا لأن النظام لم يختر كل الوصفات، فإن بعض الاتصالات (الأزواج) مفقودة. يقوم PAIR بحساب مدى احتمالية رؤية كل زوج بدقة، ويستخدم هذا الرقم لـ "إعادة وزن" عملية التعلم. إذا كان من الصعب رؤية زوج معين، يتم احتساب درسه بشكل أكبر لتعويض البيانات المفقودة.

النتائج مثيرة للإعجاب. في الاختبارات باستخدام نماذج ذكاء اصطناعي مثل Qwen3-1.7B و Qwen3-4B، تمكن PAIR من جعل الطباخ الروبوت أكثر ذكاءً مع استخدام حوالي 51% إلى 52% أقل من الرموز المولدة (tokens) (الخطوات الحاسوبية) مقارنة بالطريقة القياسية. كما أدى ذلك إلى تحسين متوسط دقة النموذج بمقدار +1.2 إلى +1.4 نقطة مقارنة بأفضل طريقة تالية.

يشير المؤلفون بحذر شديد إلى أن هذا النظام ليس مجرد تخمين محظوظ. لقد أثبتوا رياضياً أن طريقتهم "غير منحازة للتصميم"، مما يعني أنه إذا قمت بتشغيل التجربة مرات عديدة، فإن المتوسط سيصيب الهدف الحقيقي تماماً، على الرغم من أنهم ينظرون فقط إلى جزء من البيانات. كما أجروا تدقيقاً لـ "المجتمع المجمد"، وهو ما يشبه أخذ لقطة لمجموعة ثابتة من الوصفات وإعادة تشغيل عملية الاختيار آلاف المرات لمعرفة ما إذا كانت الرياضيات تصمد. وقد صمدت بالفعل.

ومع ذلك، تحذر الورقة البحثية أيضاً من أن هذا النظام يعتمد على كون "الكرة البلورية" (المُنبئ) دقيقة بشكل معقول. إذا كان المُنبئ سيئاً في تخمين أي الوصفات ستنجح، فقد يهدر النظام ميزانيته على الأزواج الخاطئة. ولكن عندما يكون المُنبئ جيداً، فإن PAIR يحول العملية الفوضوية لتدريب الذكاء الاصطناعي إلى لعبة "توصيل نقاط" عالية الكفاءة ومنضبطة رياضياً، مما يثبت أنه في بعض الأحيان، لكي تتعلم الكثير، لا تحتاج إلى رؤية كل شيء—بل تحتاج فقط إلى رؤية الاتصالات الصحيحة.