💬 NLP

Blockwise Advantage Estimation for Multi-Objective RL with Verifiable Rewards

تقترح الورقة البحثية **تقدير الميزة بالكتل (Blockwise Advantage Estimation)**، وهي طريقة للتعلم التعزيزي متعدد الأهداف تعمل على تخفيف تداخل الأهداف في التوليدات المهيكلة عن طريق تخصيص مزايا محددة لقطع نصية مقابلة باستخدام خط أساس فعال مشروط بالنتيجة يتجنب عمليات التدحرج المتداخلة المكلفة.

المؤلفون الأصليون: Kirill Pavlenko, Alexander Golubev, Simon Karasik, Boris Yangel

نُشر 2026-02-12

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kirill Pavlenko, Alexander Golubev, Simon Karasik, Boris Yangel

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم تقوم بتصحيح امتحان طويل متعدد الأجزاء. في الفصل الدراسي التقليدي، قد تنظر إلى الورقة كاملة وتعطي الطالب درجة واحدة فقط (مثل B+).

ولكن ماذا لو كان الامتحان يتكون من جزأين مختلفين تماماً؟ الجزء الأول هو مسألة رياضية، والجزء الثاني هو تأمل ذاتي حيث يشرح الطالب مدى تأكده من إجابته.

إذا حل الطالب المسألة الرياضية بشكل صحيح ولكنه كان مفرط الثقة بشكل مبالغ فيه (على سبيل المثال يقول "أنا متأكد بنسبة 100%!" بينما ارتكب خطأً بالفعل)، فإن الدرجة الواحدة لن تخبرك أين أخفق. هل فشل في الرياضيات، أم فشل في جزء الصدق؟ هذا التصحيح "المبهم" يجعل من الصعب توجيه الطالب بفعالية.

تقدم هذه الورقة طريقة جديدة لـ "تقييم" نماذج الذكاء الاصطناği تسمى تقدير الميزة القائم على الكتل (Blockwise Advantage Estimation - BAE). إليك تفصيل لكيفية عملها باستخدام تشبيهات بسيطة.

1. المشكلة: "الدرجة المبهمة" (التداخل الموضوعي)

تعامل عمليات تدريب الذكاء الاصطناعي الحالية (وتحديداً طريقة تسمى GRPO) استجابة الذكاء الاصطناعي بالكامل ككتلة واحدة كبيرة. إذا كتب الذكال الاصطناعي حلاً طويلاً ثم درجة ثقة قصيرة، فإن نظام التدريب يعطي الاستجابة بأكملها "إبهاماً للأعلى" أو "إبهاماً للأسفل".

التشبيه: تخيل طباخاً يعد طبقاً يحتوي على قطعة لحم (ستيك) وخضروات جانبية. إذا احترقت قطعة اللحم وكانت الخضروات مثالية، فإن الناقد يعطي الطبق بأكمله درجة "سيئة". لا يعرف الطباخ ما إذا كان يحتاج لإصلاح الشواية (اللحم) أو شراء خضروات أفضل (الخضروات). هو يعرف فقط أن الطبق بأكمله قد فشل. وهذا ما يسمى بـ "سوء إسناد الفضل أو الخطأ" (misattributed credit).

2. الحل: التقييم "القائم على الكتل"

يقترح الباحثون تقسيم استجابة الذكاء الاصطناعي إلى "كتل". حيث يتم تخصيص درجة محددة لكتلة الرياضيات، ودرجة منفصلة لكتلة الثقة.

التشبيد: بدلاً من ناقد واحد للطبق بأكمله، لديك متخصص في اللحوم ومتخصص في الخضروات. متخصص اللحوم يقيم قطعة اللحم فقط، ومتخصص الخضروات يقيم الخضروات الورقية فقط. الآن، يعرف الطباخ بالضبط ما الذي يجب عليه إصلاحه.

3. الحيلة التقنية: "الأساس المشروط بالنتيجة"

هناك عقبة. في "امتحان" الذكاء الاصطناعي، يعتمد الجزء الثاني (درجة الثقة) كلياً على الجزء الأول (الإجابة الرياضية). إذا كانت الإجابة الرياضية خاطئة، فإن "قواعد" درجة الثقة تتغير.

إذا حاولت تقييم درجة الثقة من خلال مقارنتها بكل الطلاب في الفصل، فستكون غير عادل. لا ينبغي لك مقارنة ثقة طالب أجاب بشكل صحيح بثقة طالب أخطأ في الإجابة. الأمر يشبه مقارنة "ثقة" رياضي محترف بـ "ثقة" طفل صغير—السياق مختلف تماماً.

لحل هذه المشكلة، ابتكر الباحثون الأساس المشروط بالنتيجة (Outcome-Conditioned Baseline - OCB).

التشبيه: تخيل وجود "مدرب ثقة". بدلاً من مقارنة جميع الطلاب بمتوسط الفصل، يقوم المدرب بتقسيم الطلاب إلى غرفتين: غرفة "الإجابة الصحيحة" وغرفة "الإجابة الخاطئة".

إذا كنت في غرفة "الصحيح"، سيقارنك المدرب بالأشخاص الذين أصابوا أيضاً.
إذا كنت في غرفة "الخطأ"، فسيتم مقارنتك بمن أخطأوا أيضاً.

هذا يجعل التقييم أكثر دقة و"عدلاً"، مما يسمح للذكاء الاصطناعي بتعلم كيفية أن يكون صادقاً بشأن أخطائه بدقة.

4. لماذا يهم هذا؟ (فائدة "وقت الاختبار")

بسبب قدرة الذكاء الاصطناعي على معرفة متى يخمن بشكل أفضل، يمكننا استخدامه بفعالية أكبر في العالم الحقيقي.

عندما تسأل ذكاءً اصطناعياً سؤالاً، يمكنه الآن تقديم عدة إجابات مختلفة. ولأن الذكاء الاصطناعي أصبح "معايراً جيداً" (أي يعرف نقاط قوته ونقاط ضعفه)، يمكننا أن نأمر الحاسوب: "انظر إلى كل هذه الإجابات، واختر الإجابة التي يقول فيها الذكاء الاصطناعي إنه الأكثر تأكداً منها".

التشبيه: الأمر يشبه امتلاك فريق من الأطباء. بدلاً من الاكتفاء بكلمة أول طبيب، أنت تنظر إلى جميع الأطباء وتقول: "اختر التشخيص الذي يتفق عليه أكثر الأطباء ثقة وخبرة". هذا يجعل النتيجة النهائية أكثر موثوقية بكثير.

الملخص

الطريقة القديمة: درجة واحدة كبيرة لاستجابة طويلة $\leftarrow$ ذكاء اصطناعي مرتبك.
الطريقة الجديدة (BAE): درجات منفصلة لأجزاء منفصلة $\leftarrow$ ذكاء اصطناعي دقيق.
السر (OCB): تقييم الأشخاص بناءً على موقفهم المحدد (صحيح مقابل خاطئ) $\leftarrow$ ذكاء اصطناعي عادل ودقيق.

ملخص تقني: تقدير الميزة القائم على الكتل لتعلم التعزيز متعدد الأهداف

1. بيان المشكلة

تتعامل نماذج تعلم التعزيز (RL) الحالية للنماذج اللغوية الكبيرة (LLMs)، وتحديداً تحسين السياسة النسبي للمجموعات (GRPO)، مع الإكمال المُولد كمسار واحد متجانس (monolithic trajectory). يتبع هذا النهج حساب ميزة (advantage) عددية واحدة وتطبيقها بشكل موحد على جميع الرموز (tokens) في التسلسل.

يفشل هذا الصياغة في مهام التوليد متعددة الأهداف أو المهيكلة (مثل نموذج يحل مسألة رياضية أولاً ثم يقدم درجة ثقة/تأمل ذاتي). في مثل هذه الحالات، يتطلب النهج القياسي "تسكير المزايا" (reward scalarization) — أي دمج إشارات المكافأة المختلفة (مثل الصحة والمعايرة) يدوياً في رقم واحد. يؤدي هذا إلى عدة مشكلات:

تداخل الأهداف: الإشارات من جزء معين (مثل الثقة) يمكن أن تفسد الإشارة التعليمية لجزء آخر (مثل الاستنتاج).
فشل تعيين الائتمان (Credit Assignment): من غير الواضح أي الرموز تحديداً ساهمت في أي جزء من المكافأة.
اختطاف المكافأة (Reward Hacking): قد تحسن النماذج الدرجة المجمعة عبر استغلال نقاط الضعف في التسكير (مثل رفض الإجابة لتقليل عقوبة المعايرة).

2. المنهجية

يقترح المؤلفون تقدير الميزة القائم على الكتل (BAE)، وهو إطار عمل يقوم بتفكيك الإكمالات إلى $K$ من الكتل المتتالية، كل منها مرتبط بمكافأة خاصة به محددة الهدف $r_k$ .

المكونات الرئيسية:

التفكيك القائم على الكتل: بدلاً من ميزة عالمية واحدة، تحسب الطريقة "مزايا تقريبية" $\hat{A}_k$ لكل كتلة. يتم تحديث السياسة عن طريق تطبيق $\hat{A}_k$ فقط على الرموز التي تنتمي إلى الكتلة $k$ .
تحدي خط الأساس الشرطي: لأي كتلة $k > 1$ ، تكون الحالة الابتدائية مشروطة بالبادئة (prefix) المحددة التي تم أخذ عينة منها في الكتل السابقة. يكون متوسط المجموعة القياسي (متوسط المكافآت عبر جميع العينات في المجموعة) غير مثالي لأنه يتجاهل أن العينات المختلفة كانت لها نتائج وسيطة مختلفة (على سبيل المثال، بعض البوادئ كانت صحيحة، وأخرى كانت خاطئة).
خط الأساس المشروط بالنتيجة (OCB): لحل مشكلة خط الأساس دون الحاجة إلى عمليات محاكاة (rollouts) مكلفة من نوع مونت كارلو، قدم المؤلفون OCB. تقوم هذه الطريقة بتقسيم مجموعة GRPO إلى مجموعات فرعية (طبقات) بناءً على نتيجة وسيطة منفصلة $o$ (على سبيل المثال، ما إذا كان الحل السابق "صحيحاً" أو "خاطئاً"). يكون خط الأساس للكتلة هو متوسط مكافأة العينات في المجموعة التي تشاركت نفس النتيجة الوسيطة فقط.

3. المساهمات الرئيسية

إطار عمل جديد لتعلم التعزيز: تقديم BAE، وهو منهج متوافق مع GRPO وخالٍ من الناقد (critic-free)، لتعلم التعزيز متعدد الأهداف الذي يوجه مزايا محددة إلى أجزاء نصية معينة.
تقدير فعال لخط الأساس: تطوير خط الأساس المشروط بالنتيجة (OCB)، والذي يقرب دالة القيمة الشرطية باستخدام إحصائيات داخل المجموعة فقط، متجنباً التكلفة الحسابية العالية لعمليات المحاكاة المتداخلة.
التحسين المجزأ (Modular Optimization): أثبتت BAE أن القدرة على تحسين الأهداف المتسلسلة (مثل الاستنتاج المتبوع بتقدير عدم اليقين) ممكنة دون الحاجة إلى تسكير مكافآت مضبوط يدوياً.

4. النتائج التجريبية

تم تقييم الطريقة على الاستنتاج الرياضي وتقدير الثقة الذاتية باستخدام نماذج Qwen2.5 (نسخ 3B و 7B).

المعايرة والدقة: على مجموعة بيانات MATH500، حقق OCB معايرة فائقة (خطأ معايرة متوقع - ECE أقل) مقارنة بـ GRPO القياسي، وطابق أو تجاوز أساليب المكافأة المتطورة (RLCR).
القوة تجاه تغير التوزيع: بينما أظهر خط الأساس "متوسط المجموعة" القياسي تدهوراً كبيراً في الأداء في مهام خارج التوزيع (OOD) مثل GSM8K، ظل OCB مستقراً وتنافسياً.
توسيع وقت الاختبار (TTS): أظهر المؤلفون أن BAE يحافظ على القدرة على استخدام "التجميع المرجح بالثقة" أثناء الاستدلال. نظرًا لأن النموذج يتعلم ثقة جيدة المعايرة، يمكن للمستخدمين أخذ عينات من حلول متعددة واستخدام درجات النموذج نفسها لاختيار الإجابة الأفضل، مما يعزز الدقة بشكل كبير.
تخفيف اختطاف المكافأة: على عكس GRPG القياسي، الذي قد يقع في فخ "الرفض" عند استخدام مكافآت الانتروبيا التقاطعية الثنائية (BCE)، تسمح BAE بالاستخدام المستقر لـ BCE من خلال عزل العقوبة في كتلة الثقة.
التحسين المتسلسل: تم تطبيق الطريقة بنجاح في إعداد "المحاولة الثانية"، حيث يقوم النموذج بمحاولة استنتاج ثانية بعد التأمل، مما أظهر تحسناً مستمراً عن المحاولة الأولى.

5. الأهمية

توفر هذه الورقة وصفة قابلة للتوسع والنمذجة لتدريب النماذج اللغوية الكبيرة على المهام المعقدة متعددة الخطوات. من خلال الابتعاد عن إشارات المكافأة المتجانسة والتوجه نحو تعيين ائتمان مدرك للأجزاء (segment-aware credit assignment)، فإنها تمكن من التحسين الأكثر كفاءة لسير عمل الوكلاء طويل الأمد والسلوكيات متعددة الأهداف. إنها تجسر الفعالية بين تعلم التعزيز البسيط أحادي المكافأة والمتطلبات المعقدة ومتعددة الأوجه لوكلاء الاستنتاج في العالم الحقيقي.