📊 statistics

Reward Learning from Best-of- $N$ Preference Data: Targets, Tradeoffs, and Design Principles

تحلل هذه الورقة تعلم المكافأة من بيانات التفضيل من نوع "الأفضل من N" عبر اشتقاق أهداف ذات صيغة مغلقة للمتغيرات المستقلة، وتوصيف المقايضة بين الهامش والاتصال التي تملي الاختيار الأمثل لـ N، واقتراح مبادئ تصميمية لموازنة تكاليف التوليد مقابل كفاءة التسمية.

المؤلفون الأصليون: Rattana Pukdee, Maria-Florina Balcan, Pradeep Ravikumar

نُشر 2026-06-01

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Rattana Pukdee, Maria-Florina Balcan, Pradeep Ravikumar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم يحاول تعليم طالب (ذكاء اصطناعي) كيفية كتابة قصص جيدة. ليس لديك الوقت لتصحيح كل قصة يكتبها الطالب بدرجة مثالية. بدلاً من ذلك، تستخدم حيلة: تطلب من الطالب كتابة N من النسخ المختلفة من القصة، ثم تختار النسخة الأفضل منها، وبعد ذلك تقارنها بنسخة "مرفوضة".

هذه الورقة البحثية، التي تحمل عنوان "تعلم المكافأة من بيانات التفضيل من أفضل N" (Reward Learning from Best-of-N Preference Data)، تطرح سؤالاً بسيطاً ولكنه عميق: كيف يؤثر عدد المسودات (N) التي تطلبها، وجودة قدرة الطالب الأولية على الكتابة، على ما يتعلمه المعلم فعلياً؟

إليك تفصيل لنتائجهم باستخدام تشبيهات من الحياة اليومية.

1. الإعداد: لعبة "أفضل من N" (Best-of-N)

في عالم الذكاء الاصطناعي، غالباً ما ننشئ بيانات تدريب عبر طلب توليد عدة إجابات من نموذج ما (لنقل 4 أو 8 أو 16 إجابة) ثم اختيار الفائز.

الفائز: هو أفضل إجابة ضمن المجموعة.
الخاسر: إما إجابة عشوائية من المجموعة أو الأسوأ على الإطلاق.
الهدف: تعليم "نموذج المكافأة" (القاضي) كيف يتعرف على ما يجعل الإجابة جيدة، ليتمكن من مساعدة الذكاء الاصطناعي لاحقاً.

الحدس الشائع هو: "إذا طلبت المزيد من المسودات (N أكبر)، سيكون الفائز أفضل، وبالتالي ستكون البيانات أفضل".
تحول الورقة البحثية: هذه ليست القصة كاملة. الأمر لا يتعلق فقط بمدى جودة الفائز؛ بل يتعلق بـ أي المقارنات سيراها المعلم.

2. المقايضتان الكبيرتان: "الهامش" مقابل "الخريطة"

اكتشف المؤلفون أن زيادة N (طلب المزيد من المسودات) تحرك رافعتين في اتجاهين متعاكسين. فكر في الأمر كأنك تحاول تعلم خريطة لمدينة ما.

الرافعة أ: "الهامش" (جعل الفرق واضحاً)

ما هي: "الهامش" هو مدى وضوح قدرتك على التمييز بين إجابة جيدة وإجابة سيئة.
تأثير N الكبيرة: عندما تطلب 100 مسودة، من المرجح أن يكون الفائز مذهلاً، والخاسر سيكون سيئاً للغاية. الفجوة بينهما ضخمة. إنه يشبه مقارنة سيارة فيراري بدراجة هوائية. الفرق واضح، مما يجعل من السهل جداً على المعلم تحديد الفائز.
الفائدة: هذا يجعل إشارة التعلم قوية وواضحة جداً.

الرافعة ب: "الاتصال" (رؤية الصورة الكاملة)

ما هي: "الاتصال" (Connectivity) هو مدى قدرة المعلم على رؤية المنطقة الوسطى. هل يرى المعلم كيف تقارن إجابة "جيدة جداً" بإجابة "سيئة نوعاً ما"؟
تأثير N الكبيرة: إذا كنت تختار دائماً الفيراري والدراجة الهوائية، فلن ترى أبداً المقارنة بين سيارة سيدان ودراجة نارية. ستفقد "المنتصف" من الخريطة. المعلم يرى فقط الأطراف المتطرفة.
التكلفة: مع زيادة N، يتوقف المعلم عن رؤية الخطوات "المتوسطة". تصبح الخريطة متفرقة، حيث ترتبط فقط النقاط الأكثر تميزاً والأكثر سوءاً.

المقايضة:

N صغيرة (مثلاً: مسودتان): ترى الكثير من المقارنات المختلفة (اتصال جيد)، لكن الاختلافات بين الفائز والخاسر قد تكون صغيرة وصعبة التقييم (هامش صغير).
N كبيرة (مثلاً: 16 مسودة): الاختلافات ضخمة وسهلة التقييم (هامش كبير)، ولكنك ترى فقط الأطراف، وتفقد المنطقة الوسطى (اتصال منخفض).

3. القواعد الذهبية للتصميم

بناءً على هذا التجاذب، يقدم المؤلفون قاعدتين عمليتين لكيفية إدارة هذه العملية:

القاعدة رقم 1: اختر N بناءً على "عنق الزجاجة" الخاص بك

إذا كانت مشكلتك هي "عدم كفاية الملصقات البشرية" (الملصقات نادرة/مكلفة):
- التشبيه: لديك عدد قليل جداً من المعلمين المتاحين لتصحيح الأوراق.
- الاستراتيجية: استخدم N كبيرة. بما أنك لا تستطيع تحمل تكلفة تصحيح العديد من الأزواج، اجعل كل زوج يستحق العناء. اطلب 16 مسودة بحيث يكون الفرق بين الفائز والخاسر واضحاً جداً لدرجة أن المعلم يتعلم الكثير من مقارنة واحدة فقط.
إذا كانت مشكلتك هي "عدم كفاية قدرة الكمبيوتر لتوليد المسودات" (التوليد نادر/مكلف):
- التشبيه: لديك آلاف المعلمين، لكن الطالب بطيء في الكتابة.
- الاستراتيجية: استخدم N صغيرة. لا تضيع الوقت في توليد 16 مسودة لكل سؤال. ولد مسودتين، قارنهما، وافعل ذلك لمزيد من الأسئلة. ستحصل على "خريطة" أفضل للمدينة من خلال رؤية المزيد من الشوارع، حتى لو كانت الاختلافات بين السيارات أصغر.

القاعدة رقم 2: شكّل "التوزيع الأساسي" (نقطة انطلاق الطالب)

"التوزيع الأساسي" هو مجموعة المسودات التي يولدها الطالب قبل أن تختار الفائز. تقول الورقة أنه يمكنك "ضبط" هذه المجموعة لمساعدة المعلم على تعلم أشياء محددة.

مبدأ "الكتلة بينية" (Between-Mass Principle): يتعلم المعلم بشكل أفضل عندما يكون هناك العديد من المسودات بين الشيئين اللذين تريد مقارنتهما.
مثال 1 (السلامة): إذا كنت تريد تعليم الذكاء الاصطناعي التمييز بين الإجابات "الضارة" و"الآمنة"، فلا تولد فقط مسودات "آمنة" و"ضارة". ولد الكثير من المسودات "المتوسطة" أو "المعيبة ولكن غير خطيرة" في المنتصف. هذا يخلق مساراً واضحاً ليتعلم المعلم أين يقع الخط الفاصل بين الآمن وغير الآمن بالضبط.
مثال 2 (الاستدلال): إذا كنت تريد تعليم الرياضيات، فلا تولد فقط إجابات "مثالية" و"هراء". ولد إجابات "صحيحة تقريباً". يحتاج المعلم لرؤية الفرق بين "صحيح" و"صحيح تقريباً" ليتعلم الدقة.

4. ماذا أظهرت التجارب؟

اختبر المؤلفون هذه الأفكار على كل من البيانات الوهمية والبيانات الواقعية (مثل مسائل الرياضيات وأسئلة السلامة).

النتيجة: أكدوا أنه عندما كان لديهم عدد قليل جداً من أمثلة التدريب، فإن استخدام N كبيرة كان الأفضل. وعندما كان لديهم كميات هائلة من البيانات، فإن استخدام N صغيرة (وتوليد المزيد من الأزواج) كان يعمل بشكل أفضل.
النتيجة بشأن الضبط: عندما قاموا بتعديل "التوزيع الأساسي" لوضع المزيد من الإجابات "متوسطة الجودة" في المزيج لمهام محددة (مثل السلامة أو الرياضيات)، تعلم الذكاء الاصطناعي تلك المهارات المحددة بشكل أفضل بكثير.

ملخص

تخبرنا هذه الورقة أن Best-of-N ليست مجرد زر سحري للحصول على ذكاء اصطناعي أفضل. إنها أداة ذات مقايضة محددة:

N كبيرة تمنحك اختلافات واضحة وجلية ولكن رؤية ضيقة.
N صغيرة تمنحك رؤية واسعة ولكن اختلافات أكثر دقة.

للحصول على أفضل ذكاء اصطناعي، تحتاج إلى مطابقة حجم "N" الخاص بك مع مواردك (هل لديك المزيد من المعلمين أم المزيد من أجهزة الكمبيوتر؟) وتصميم مجموعة المسودات بعناية لضمان أن الذكاء الاصطناعي يرى المقارنات المحددة التي تهم المهمة التي تريد منه القيام بها.

ملخص تقني: تعلم المكافأة من بيانات تفضيل "الأفضل من N" (Best-of-N)

بيان المشكلة

تُعد عملية أخذ عينات "الأفضل من N" (BoN) آلية مستخدمة على نطاق واسع لبناء بيانات التفضيل الثنائية في أنظمة الذكاء الاصطناعي الحديثة، لا سيما لتدريب نماذج المكافأة ومواءمة النماذج اللغوية الكبيرة (LLMs). في هذه العملية، يتم أخذ عينات من $N$ استجابة مرشحة من توزيع أساسي، ويقوم "خبير" (بشري أو قائم على نموذج) باختيار الاستجابة الأفضل كنموذج "مختار". أما المثال "المرفوض"، فيتم اختياره عادةً إما بشكل موحد من بين المرشحين المتبقين (الأفضل مقابل العشوائي - Best-vs-Random) أو كأدنى مرشح (الأفضل مقابل الأسوأ - Best-vs-Worst).

وعلى الرغم من انتشار هذه الطريقة، إلا أن الخصائص النظرية لتعلم المكافأة من هذه البيانات لا تزال غير واضحة. وتحديداً، لا يزال من غير المفهوم جيداً ما يلي:

ما هي دالة المكافأة المحددة التي يستحثها هذا النوع من البيانات بموجب هدف "برادلي-تيري" (Bradley-Terry - BT) القياسي؟
كيف ينبغي اختيار حجم مجموعة المرشحين $N$ والتوزيع الأساسي لتحسين كفاءة التعلم؟

تشير الحدسية الشائعة إلى أن $N$ الأكبر تعطي بيانات أفضل لأن الاستجابة المختارة تكون ذات جودة مطلقة أعلى. ومع ذلك، تجادل هذه الورقة بأن هذه الحدسية غير مكتملة، حيث تعتمد فائدة البيانات ليس فقط على جودة الاستجابة المختارة، بل أيضاً على المقارنات المحددة التي توفرها مجموعة المرشحين.

المنهجية

يحلل المؤلفون تعلم المكافأة من خلال منظور "توزيع التفضيل الشرطي" (CPD)، بناءً على إطار عمل حديث غير مرتبط بتوزيع معين (Pukdee et al., 2026). يحدد هذا الإطار متى تسمح بيانات التفضيل بتمثيل "برادلي-تيري"، ويحدد أن التعلم في العينات المحدودة محكوم بكميتين رئيسيتين: الهامش (صعوبة التمييز بين الأزواج) والاتصال (تغطية فضاء المقارنة).

تقوم الورقة بتطبيق هذا الإطار على بيانات "الأفضل من N" عبر:

اشتقاق الأهداف ذات الصيغ المغلقة: تحليل المتغيرات "المستقلة" (الأفضل مقابل المستقل - Best-vs-Independent، والأفضل مقابل الأسوأ-المستقل - Best-vs-Worst-Independent) حيث يتم سحب العينة المرفوضة بشكل مستقل عن العينة المختارة. في هذه الإعدادات، يشتق المؤلفون تعبيرات صريحة ذات صيغ مغلقة للمُقلّلات السكانية لخسارة BT.
تحليل المتغيرات العملية: توسيع التحليل ليشمل إعدادات "الأفضل مقابل العشوائي" و"الأفضل مقابل الأسوأ" العملية. في هذه الحالات، تكون الاستجابات المختارة والمرفوضة مقترنة (مأخوذة من نفس مجموعة الـ $N$ مرشح)، مما يعني أن تمثيل "برادلي-تيري" الدقيق يفشل عموماً. يثبت المؤلفون أنه مع نمو $N$ ، تتقارب المُقلّلات لهذه الإعدادات العملية مع أهداف المتغيرات المستقلة.
توصيف المقايضات: استقصاء كيف يؤثر المعامل $N$ في آن واحد على كل من الهامش والاتصال لتوزيع التفضيل المستحث.
التحقق التجريبي: التحقق من التنبؤات النظرية على كل من البيانات الاصطناعية ومجموعات البيانات الواقعية (UltraFeedback, PKU-SafeRLHF, GSM8K) عبر تغيير قيمة $N$ وإعادة تشكيل التوزيع الأساسي.

المساهمات الرئيسية

1. توصيف أهداف المكافأة

المتغيرات المستقلة: بالنسبة لـ "الأفضل مقابل المستقل"، يُظهر أن هدف المكافأة المستحث $r^*_{BI}$ هو نسبة اللوغاريتم لتوزيع "الأفضل من N" إلى التوزيع الأساسي: $r^*_{BI}(x, y) = \log \frac{P_{BoN}(y|x)}{P_{base}(y|x)} + c(x)$ . ومن الأهمية بمكان أن هذا الهدف يحافظ على ترتيب مكافأة الحقيقة الأرضية $r^*$ .
المتغيرات العملية: بالنسبة لـ "الأفضل مقابل العشوائي" و"الأفضل مقابل الأسوأ"، لا تمتلك المُقلّلات السكانية صيغة بسيطة مغلقة بسبب اقتران العينات. ومع ذلك، يثبت المؤلفون أنه مع زيادة $N$ ، تقترب المُقلّلات لهذه الإعدادات من أهداف المتغيرات المستقلة في معيار شبه النور (margin semi-norm). وتحديداً، يتلاشى الفرق بمعدل $O(1/N)$ لـ "الأفضل مقابل العشوائي"، وبشكل أسي لـ "الأفضل مقابل الأسوأ".

2. مقايضة الهامش والاتصال

تحدد الورقة مقايضة جوهرية يتحكم فيها $N$ :

الهامش: زيادة $N$ تزيد من هوامش الأزواج. ينمو الهامش بين نتيجتين $y$ و $y'$ خطياً مع $N$ ، مقاساً بـ "الكتلة البينية" (الكتلة الاحتمالية للتوزيع الأساسي التي تقع بين درجات المكافأة لـ $y$ و $y'$ ). الهوامش الأكبر تجعل المقارنات الفردية أكثر إفادة وأكثر صموداً أمام خطأ التقدير.
الاتصال: زيادة $N$ تقلل من الاتصال. مع نمو $N$ ، يتركز أخذ عينات BoN على النتائج ذات المكافأة العالية، بينما يتركز Worst-of-N على النتائج ذات المكافأة المنخفضة. هذا يضيق نطاق المقارنات المرصودة، مما يترك الأزواج المتوسطة غير ممثلة بشكل كافٍ. يتلاشى درجة الاتصال بشكل أسي مع $N$ .

3. مبادئ التصميم

بناءً على هذه المقايضة، يقترح المؤلفون مبدأين تصميميين قابلين للتطبيق:

مبدأ عنق زجاجة الموارد: يعتمد $N$ $N$ الأمثل على ندرة تسميات التفضيل.
- نظام محدود التسميات: عندما يكون التوسيم البشري هو عنق الزجاجة (حجم عينة $n$ صغير)، يفضل $N$ أكبر. فالهامش المتزايد يساعد في التغلب على خطأ التقدير العالي الناتج عن البيانات المحدودة، حتى لو انخفض الاتصال.
- نظام محدود التوليد: عندما تكون التسميات رخيصة أو مؤتمتة (حجم $n$ كبير)، يفضل $N$ أصغر. فقد يتجاوز فقدان الاتصال الناتج عن $N$ الكبير فائدة الهامش عندما تكون البيانات وفيرة؛ إذ يكون من الأكثر كفاءة استخدام ميزانية الحوسب الموفرة لجمع المزيد من الثلاثيات مع $N$ أصغر.
مبدأ الكتلة البينية: يمكن تشكيل التوزيع الأساسي لتضخيم الهوامش بشكل انتقائي. ينمو الهامش المستحث بين استجابتين مع كمية "الكتلة البينية" الموضوعة بينهما في ترتيب المكافأة. يجب على الممارسين تشكيل التوزيع الأساسي لوضع كتلة بين أزواج الاستجابات المحددة التي تهم توزيع التقييم المستهدف (على سبيل المثال، بين المخرجات الضارة والمقبولة لمهام السلامة).

النتالئج

البيانات الاصطناعية: تؤكد التجارب المقايضة المتوقعة. بالنسبة لأحجام العينات الصغيرة ( $n$ )، تعطي $N$ الأكبر دقة اختبار أعلى. ومع زيادة $n$ ، تنخفض $N$ المثلى، ولأحجام $n$ الكافية، تتفوق $N$ الأصغر (مثل $N=2$ ) على $N$ الأكبر (مثل $N=8$ ) بسبب أفضلية الاتصال.
البيانات الواقعية: في UltraFeedback، يسود نفس الاتجاه: تستفيد $N$ الأكبر من أنظمة البيانات الصغيرة، بينما تكون $N$ الأصغر منافسة أو أفضل في أنظمة البيانات الكبيرة.
إعادة تشكيل التوزيع الأساسي: تُظهر التجارب على مهام السلامة (PKU-SafeRLHF)، والاستدلال (GSM8K)، والمهام العامة (UltraFeedback) أن إعادة تشكيل التوزيع الأساسي لزيادة "الكتلة البينية" للمقارنات الحرجة للمهمة يحسن دقة الاختبار. على سبيل المثال، في مهام السلامة، أدى رفع عينات الاستجابات "المتوسطة" (المعيبة ولكن ليست خطيرة) إلى زيادة الهامش بين المخرجات الضارة والمقبولة، مما حسن الأداء.

الأهمية

توفر هذه الورقة أساساً نظرياً لتعلم المكافأة من بيانات "الأفضل من N". إنها تتجاوز الرؤية القائمة على الحدس بأن "المزيد من المرشحين هو دائماً الأفضل" عبر التوصيف الدقيق لأهداف المكافأة المستحثة ومقايضات تعقيد العينات.

تكمن الأهمية في:

توضيح الإشارة: تحدد بدقة ما هي الإشارة التي يستعيدها تعلم المكافأة من بيانات BoN، وتوضح أنه بينما يتم الحفاظ على الترتيب، فإن دالة المكافأة المحددة تعتمد على $N$ والتوزيع الأساسي.
توجيه تصميم البيانات: تقدم إرشادات عملية ومبدئية للممارسين حول كيفية اختيار $N$ بناءً على قيود الموارد وكيفية هندسة التوزيع الأساسي لتعظيم كفاءة التعلم لمهام محددة لاحقاً.
الربط بين النظرية والتطبيق: تربط المفاهيم المجردة للهامش والاتصال بالآليات العملية لأخذ عينات "الأفضل من N"، مما يفسر لماذا قد يتدهور الأداء مع $N$ الكبيرة جداً في حالات معينة وكيفية التخفيف من ذلك.

يخلص المؤلفون إلى أن بناء بيانات التفضيل ليس مجرد تفصيل تقني، بل هو رافعة تصميمية حاسمة تشكل كلاً من ما يتم تعلمه من مكافأة ومدى كفاءة تعلمها.