💬 NLP

Expected Reward Prediction, with Applications to Model Routing

تقدم هذه الورقة طريقة للتنبؤ بالمكافأة المتوقعة التي سيحققها نموذج لغوي كبير (LLM) في مطالبة معينة قبل توليد الاستجابة، مما يثبت أن هذا التنبؤ البسيط يتيح بروتوكول توجيه فعالاً وقابلاً للتوسع يتفوق على النماذج المرجعية القائمة على الفئات من خلال تحسين المقايضة بين المكافأة والتكلفة الحسابية.

المؤلفون الأصليون: Kenan Hasanaliyev, Silas Alberti, Jenny Hamer, Dheeraj Rajagopal, Kevin Robinson, Jasper Snoek, Victor Veitch, Alexander Nicholas D'Amour

نُشر 2026-03-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kenan Hasanaliyev, Silas Alberti, Jenny Hamer, Dheeraj Rajagopal, Kevin Robinson, Jasper Snoek, Victor Veitch, Alexander Nicholas D'Amour

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مدير لمركز اتصالات ضخم وعالي التقنية. لديك فريق من المساعدين الآليين (نماذج اللغات الكبيرة) بمستويات مهارة مختلفة و"أسعار ساعة" مختلفة. بعضهم مساعدون مبتدئون رخيصو التكلفة وسريعون لكنهم قد يرتكبون الأخطاء. وآخرون خبراء متمرسون، بطيئون ومكلفون لكنهم عادة ما يصيبون في إجاباتهم.

في كل مرة يتصل فيها عميل بسؤال ما (الطلب/Prompt)، عليك أن تقرر: أي مساعد يجب أن أرسل هذا الاتصال إليه؟

الطريقة القديمة: التخمين أو التحقق من الجميع

تقليديًا، لاتخاذ هذا القرار، قد تضطر إلى:

التخمين بناءً على فئة السؤال (على سبيل المثال: "الأسئلة الرياضية تذهب لخبير الرياضيات").
أو سؤال كل مساعد على حدة ليكتب إجابة، ثم تقرأ جميع الإجابات، وتختار الأفضل منها، وتدفع ثمن كل العمل الذي لم تستخدمه. كان هذا هدراً هائلاً للوقت والمال.

الطريقة الجديدة: "الكرة البلورية" (توقع المكافأة المتوقعة)

تقدم هذه الورقة البحثية حيلة ذكية تسمى توقع المكافأة المتوقعة (Expected Reward Prediction - ERP). فكر فيها كأنها كرة بلورية يمكنها النظر في سؤال العميل قبل أن يجيب أي مساعد، وتتوقع بدقة مدى جودة أداء مساعد معين.

إليك كيف يعمل ذلك، مقسماً إلى خطوات بسيطة:

1. "بطاقة التقييم" (نماذج المكافأة)

أولاً، تخيل أن لديك حكماً صارماً (نموذج مكافأة) يستمع إلى المحادثات ويعطي درجة من 0 إلى 100 بناءً على مدى فائدة الإجابة.

المشكلة القديمة: الحكم يقيم الإجابة فقط بعد كتابتها.
الرؤية الجديدة: أدرك المؤلفون أن نظام التقييم الخاص بالحكم ثابت للغاية لدرجة أنه يمكنك توقع متوسط الدرجة التي سيحصل عليها المساعد بمجرد النظر إلى السؤال.

2. "الرياضيات البسيطة" (المجسات الخطية)

قد تعتقد أن التنبؤ بهذا يتطلب عقلاً اصطناعياً معقداً للغاية. لكن من المثير للدهشة أن المؤلفين وجدوا أن صيغة رياضية بسيطة جداً (نموذج خطي) تعمل بشكل مثالي.

التشبيه: تخيل أن لديك خريطة للسؤال ("تمثيل متجهي/Embedding"). أنت فقط ترسم خطاً مستقيماً على هذه الخريطة. حيث يصطدم الخط بالخريطة يخبرك: "إذا أجاب المساعد (أ) على هذا، فمن المرجح أن يحصل على 85/100. وإذا أجاب المساعد (ب)، فمن المرجح أن يحصل على 40/100".
الأمر يشبه النظر إلى توقعات الطقس. لا تحتاج إلى محاكاة كل قطرة مطر لتعرف ما إذا كنت بحاجة إلى مظلة؛ أنت فقط تنظر إلى البارومتر.

3. "الموزع الذكي" (توجيه النماذج)

الآن، أصبح لديك الكرة البلورية. عندما يأتي اتصال ما:

تتوقع الكرة البلورية: "المساعد المبتدئ سيحصل على درجة 60. والخبير المتمرس سيحصل على 95".
يتحقق الموزع من التكلفة: "المبتدئ يكلف دولاراً واحداً. والخبير يكلف 10 دولارات".
القرار: إذا كان السؤال بسيطاً، تقول الكرة البلورية إن المبتدئ سيؤدي بشكل جيد (درجة 80)، فيقوم الموزع بإرساله إلى المبتدئ لتوفير المال. أما إذا كان السؤال صعباً، فالكرة البلورية تقول إن المبتدئ سيفشل (درجة 20)، لذا يتم إرساله إلى الخبير.

لماذا يعد هذا أمراً بالغ الأهمية؟

إنه سريع: لا تحتاج إلى توليد إجابات من الجميع لتعرف من هو الأفضل. أنت فقط تقوم بعملية حسابية سريعة.
إنه مرن: إذا وظفت مساعداً جديداً غداً، يمكنك ببساطة تعليم الكرة البلورية كيف يكون أداؤه عادةً. لا تحتاج إلى إعادة تدريب النظام بأكمله أو مقارنته بالآخرين بشكل ثنائي.
إنه يتفوق على "قاعدة الفئة": أحياناً يكون "خبير الرياضيات" سيئاً في نوع معين من الأسئلة الرياضية، لكن "المتخصص العام" قد يكون رائعاً فيها. الكرة البلورية ترى التفاصيل الدقيقة؛ بينما قاعدة بسيطة مثل "الرياضيات تذهب لخبير الرياضيات" لا ترى ذلك.

الارتباط بـ "Zooter"

تشير الورقة إلى نظام معقد يسمى "Zooter" يقوم بشيء مشابه ولكنه أصعب بكثير في البناء. يوضح المؤلفون أن "Zooter" يعمل لأن نظامها يحاول سراً القيام بما تفعله هذه الكرة البلورية البسيطة تماماً: وهو توقع الدرجة المتوقعة. ومن خلال استخدام الطريقة البسيطة، تحصل على 90% من الفائدة بـ 10% فقط من الجهد.

الخلاصة

تثبت هذه الورقة البحثية أنه يمكننا التنبؤ بمدى جودة ذكاء اصطناعي معين في مهمة محددة بمجرد قراءة السؤال، دون انتظار قيام الذكاء الاصطناعي بالعمل فعلياً. وهذا يسمح بتوجيه المهام إلى الذكاء الاصطناعي المناسب فوراً، مما يوفر مبالغ ضخمة من المال والوقت مع الاستمرار في الحصول على إجابات عالية الجودة.

باختصار: بدلاً من طلب خمسة طهاة لطهي وجبة لرؤية من هو الأفضل، يمكنك فقط النظر إلى الوصفة ومعرفة فوراً أي طاهٍ هو المناسب لهذا الطبق تحديداً.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "توقع المكافأة المتوقعة، مع تطبيقات في توجيه النماذج (Expected Reward Prediction, with Applications to Model Routing)."

1. بيان المشكلة

يتم تقييم النماذج اللغوية الكبيرة (LLMs) عادةً باستخدام نماذج المكافأة (Reward Models - RMs)، والتي تمنح درجات للاستجابات الفردية ( $y$ ) لمطالبة معينة ( $x$ ). ومع ذلك، فإن نماذج المكافأة القياسية مصممة لتصنيف الاستجابات من نموذج واحد أو مقارنة استجابتين محددتين. وهي لا توفر بطبيعتها مقياساً لمدى ملاءمة نموذج معين لمطالبة معينة قبل أن يقوم النموذج بتوليد الاستجابة.

تعالج الورقة تحديين أساسيين:

الجدوى النظرية: هل يمكننا التنبؤ بـ المكافأة المتوقعة ( $ER$ $E R$ ) لنموذج لغوي كبير محدد لمطالبة معينة مسبقاً (دون أخذ عينات من الاستجابات)؟
- التحدي 1: النماذج اللغوية الكبيرة غير حتمية؛ حيث يختلف توزيع استجاباتها.
- التحدي 2: غالباً ما يتم تدريب نماذج المكافأة القياسية على بيانات التفضيل الزوجي (نموذج برادلي-تيوري)، والذي يضمن فقط الترتيب النسبي ( $r(x, y_1) - r(x, y_0)$ ) ويسمح بإزاحات (offsets) تعتمد على المطالبة. وهذا يجعل القيمة المتوقعة المطلقة غير قابلة للتحديد نظرياً.
التطبيق: كيف يمكن استخدام هذا التنبؤ لتحسين توجيه النماذج (Model Routing)؟
- في مجموعة من النماذج ذات التكاليف المتفاوتة (مثل 8B مقابل 70B من المعلمات)، كيف نوجه المطالبة إلى النموذج الذي يعظم المكافأة مع تقليل التكلفة الحسابية؟

2. المنهجية

أ. تعريف المكافأة المتوقعة

يصيغ المؤلفون المكافأة المتوقعة للنموذج $\pi$ لمطالبة $x$ تحت دالة مكافأة $r$ كالتالي:
$ER_\pi(x) := \mathbb{E}_{Y \sim \pi(Y|x)} [r(x, Y)]$
الهدف هو تعلم دالة $f(x)$ تتنبأ بهذه الكمية مباشرة من تضمين (embedding) المطالبة.

ب. توليد البيانات والتدريب

مجموعة البيانات: مجموعة بيانات open-perfectblend، التي تحتوي على 4,000 مطالبة عبر أربع فئات: الدردشة العامة، اتباع التعليمات، الرياضيات، والبرمجة.
بناء الحقيقة الأرضية (Ground Truth): لكل مطالبة $x_i$ ونموذج $\pi$ ، يقوم المؤلفون بتوليد $K=32$ استجابة. ثم يحسبون المكافأة لكل استجابة باستخدام نموذج مكافأة مدرب مسبقاً، ويحسبون المتوسط التجريبي ليكون هو الملصق المستهدف (target label): $\hat{ER}_\pi(x_i) = \frac{1}{K} \sum r(x_i, y^{(k)})$ .
بنية المتنبئ: تم تدريب نموذج خطي بسيط بشكل مدهش (انحدار خطي منتظم - ridge-regularized linear regression).
- المدخلات: نواقل تضمين (embeddings) ثابتة الطول للمطالبة $x$ (باستخدام gte-large-en-v1.5).
- المخرجات: المكافأة المتوقعة المتنبأ بها.
- هدف التدريب: تقليل الخطأ التربيعي بين القيمة المتنبأ بها والمتوسط التجريبي للمكافأة.

ج. بروتوكول توجيه النماذج

تقترح الورقة استراتيجية توجيه تعتمد على توقع المكافأة المتوقعة (ERP):

تدريب متنبئ خطي منفصل لكل نموذج في المجموعة للتنبؤ بـ $ER$ الخاص به لأي مطالبة معينة.
عند وقت الاستدلال (inference time)، وبالنسبة لمطالبة $x$ ، يتم حساب $ER$ المتوقع لجميع النماذج.
اختيار النموذج $i$ الذي يعظم درجة معدلة بالتكلفة:
$\rho_\lambda(x) = \arg\max_i \left( \hat{ER}_{\pi_i}(x) - \lambda \cdot c(i) \right)$
حيث $c(i)$ هي التكلفة الحسابية (متناسبة مع حجم النموذج) و $\lambda$ هو معامل قابل للضبط يوازن بين المكافأة والتكلفة.

3. المساهمات الرئيسية

الاكتشاف التجريبي للقابلية للتنبؤ: تثبت الورقة أنه على الرغم من الغموض النظري في نمذجة المكافأة (تحديداً فيما يتعلق بإزاحة برادلي-تيوري)، فإن المكافأة المتوقعة لنموذج لغوي كبير هي قابلة للتنبؤ بدرجة عالية من المطالبة وحدها باستخدام مسبار خطي بسيط على تضمينات المطالبة.
رفع مستوى المكافآت من مستوى الاستجابة إلى مستوى النموذج: نجح المؤلفون في "رفع" تسجيل مستوى الاستجابة إلى تسجيل ملاءمة مستوى النموذج. وهذا يسمح بالتمييز بين النماذج بناءً على خصائص مطالبة معينة دون توليد استجابات فعلية.
توجيه النماذج القابل للتوسع: يوفر نهج ERP ميزة توسع كبيرة مقارنة بالتوجيه القائم على التفضيل (مثل Zooter أو المصنفات الزوجية).
- التوجيه القائم على التفضيل: يتطلب تدريب نموذج على المقارنات الزوجية بين جميع أزواج النماذج (تعقيد $O(N^2)$ ).
- نهج ERP: يتطلب تدريب متنبئ واحد لكل نموذج (تعقيد $O(N)$ ). إضافة نموذج جديد يتطلب فقط تدريب متنبئ جديد واحد، وليس إعادة تدريب النظام بأكمله.
التبرير النظري: تقدم الورقة مقترحاً يوضح أنه إذا كانت توزيعات المكافأة تتبع التوزيع شبه غاوسي (sub-Gaussian)، فإن الفرق في المكافآت المتوقعة يرتبط مباشرة باحتمالية معدل الفوز بين نموذجين.

4. النتائج التجريبية

القابلية للتنبؤ (درجات $R^2$ ):
- حققت النماذج الخطية درجات $R^2$ عالية (تتراوح بين 0.19 و 0.59 اعتماداً على الفئة والنموذج) في التنبؤ بالمكافآت المتوقعة على بيانات الاختبار المحجوزة.
- يشير هذا إلى أن تضمينات المطالبة تحتوي على معلومات كافية لتقدير مدى جودة أداء نموذج معين في مهمة معينة.
- كان الأداء متسقاً عبر عائلات النماذج المختلفة (Llama 3.1, Gemma 2, Gemma 1) والأحجام المختلفة (من 8B إلى 70B).
أداء التوجيه:
- جبهة باريتو (Pareto Frontier): أنشأت سياسة التوجيه القائمة على ERP جبهة باريتو (مقايضة بين التكلفة والندم/regret) تفوقت على جميع النماذج المرجعية غير التنبؤية (non-oracle baselines).
- المقارنة مع النماذج المرجعية:
  - تفوقت على توجيه "نفس النموذج" (ثابت) وتوجيه "العشوائي".
  - تفوقت على "الأفضل لكل فئة" (وهو نموذج مثالي يعرف الفئة ويختار أفضل نموذج متوسط لتلك الفئة).
  - مقابل Zooter: حقق ERP أداءً مقارباً لطريقة "Zooter" الأكثر تعقيداً (التي تتنبأ بتوزيع softmax فوق النماذج الفائزة) ولكن بتعقيد تدريب أقل بكثير.
- التنبؤ الزوجي: عند استخدامه للتنبؤ بأي من نموذجين سيفوز في مطالبة ما، حقق ERP درجات AUROC مطابقة تقريباً للانحدار اللوجستي المدرب مباشرة على التفضيل الزوجي.

5. الأهمية والآثار المترتبة

كفاءة الاستدلال: تتيح هذه الطريقة توجيهاً ديناميكياً واعياً بالتكلفة لتوجيه النماذج أثناء الاستدلال. يمكن للأنظمة توجيه المطالبات السهلة إلى النماذج الصغيرة والرخيصة والمطالبات الصعبة إلى النماذج الكبيرة والمكلفة دون تأخير ناتج عن توليد الاستجابات من عدة نماذج للمقارنة بينها.
تبسيط RLHF/المواءمة: تشير النتائج إلى أن المهمة المعقدة لتعلم توزيعات التفضيل يمكن تبسيطها إلى تعلم توزيعات المكافأة المتوقعة، بشرد أن يكون نموذج المكافأة "جيد السلوك".
القابلية للتوسع: النهج قابل للتوسع بسهولة. مع إضافة نماذج جديدة إلى مجموعة الإنتاج، يمكن دمجها في نظام التوجيه ببساطة عن طريق تدريب متنبئ خطي جديد، مما يتجنب الحاجة إلى إعادة تدريب زوجي هائل.
رؤية حول نماذج المكافأة: يشير نجاح هذه الطريقة إلى أن نماذج المكافأة الحديثة، المدربة على مجموعات بيانات متنوعة، قد تعلمت "مقياساً" ثابتاً للجودة يتعمم عبر المطالبات، بدلاً من مجرد التصنيفات النسبية.

في الختام، تثبت الورقة أن توقع المكافأة المتوقعة هو تقنية قوية وبسيطة وقابلة للتوسع لتحسين نشر النماذج اللغوية الكبيرة، مما يسد بفعالية الفجوة بين تحليل المطالبة واختيار النموذج.