💬 NLP

AdaBoN: Adaptive Best-of-N Alignment

تقترح الورقة البحثية AdaBoN، وهي استراتيجية محاذاة "الأفضل من N" (Best-of-N) متكيفة مع المطالبات، تقوم بتخصيص حوسبة وقت الاستدلال بكفاءة عبر تقدير توزيعات المكافأة أولاً باستخدام ميزانية استكشاف صغيرة، ثم توزيع الموارد المتبقية بشكل تكيفي، مما يؤدي إلى التفوق على طرق التخصيص الموحدة مع البقاء منافسةً لميزانيات أكبر بكثير.

المؤلفون الأصليون: Vinod Raman, Hilal Asi, Satyen Kale

نُشر 2026-03-16

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Vinod Raman, Hilal Asi, Satyen Kale

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ موهوب (النموذج اللغوي) يمكنه إعداد أطباق مذهلة. ومع ذلك، في بعض الأحيان، يصبح الطاهي جامحاً قليلاً ويضيف الكثير من الملح أو يحرق الخبز المحمص. لإصلاح ذلك، لديك متذوق (نموذج المكافأة) يقيم كل طبق على مقياس من 1 إلى 10.

هدفك هو تقديم أفضل وجبة ممكنة لزبائنك (المستخدمين).

الطريقة القديمة: "بوفيه القوة الغاشمة" (The Brute Force Buffet)

في الماضي، لضمان تقديم طبق بتقييم 10/10، كنت ستستخدم طريقة تسمى Best-of-N. إليك كيف كانت تعمل:

تطلب من الطاهي طهي 100 نسخة مختلفة من نفس الطبق.
تقدم جميع الـ 100 طبق للمتذوق.
تختار أفضل طبق واحد وتقدمه.
ترمي الـ 99 طبقاً الأخرى.

المشكلة: هذا الأمر مسرف للغاية.

إذا كان الطاهي بارعاً بالفعل في صنع المعكرونة، فربما لم تكن بحاجة إلا لطهي 3 نسخ فقط للعثور على النسخة المثالية. طهي 100 نسخة كان هدراً للوقت والغاز.
إذا كان الطاهي يعاني مع السوشي، فقد تحتاج لطهي 100 نسخة فقط للعثور على نسخة واحدة صالحة للأكل.
لكن الطريقة القديمة لم تكن تهتم. لقد طهت 100 نسخة لكل طلب على حد، سواء كان الطلب سهلاً أو صعباً. هذا جعل المطبخ بطيئاً ومكلفاً.

الط الطريقة الجديدة: "AdaBoN" (التوزيع التكيفي لـ Best-of-N)

يقدم البحث AdaBoN، وهو مدير مطبخ ذكي يغير الاستراتيجية بناءً على الطلب المحدد. إنه يستخدم نهجاً من مرحلتين لتوف توفير الوقت والمال.

المرحلة الأولى: "اختبار التذوق" (الاستكشاف)

بدلاً من طهي 100 طبق فوراً، يقول المدير: "دعونا نطهو 5 عينات صغيرة لكل طلب أولاً".

يصنع الطاهي 5 عينات صغيرة من المعكرونة. يقوم المتذوق بتقييمها.
يصنع الطاهي 5 عينات صغيرة من السوشي. يقوم المتذوق بتقييمها.

المرحلة الثانية: "التخصيص الذكي" (التكيف)

الآن، ينظر المدير إلى البيانات من تلك العينات الخمس ويتخذ قراراً ذكياً:

السيناريو أ (الطلب السهل): كانت عينات المعكرونة كلها بدرجات 9 و10. فكر المدير: "رائع! الطاهي في قمة عطائه. لسنا بحاجة لطهي 95 نسخة أخرى. لنأخذ أفضل نسخة من هذه الـ 5 ونقدمها". النتيجة: توفير هائل.
السيناريو ب (الطلب الصعب): كانت عينات السوشي كلها بدرجات 2 و3. فكر المدير: "أوه لا! الطاهي يعاني مع هذا الطبق. نحن بحاجة للاستمرار في المحاولة. لنستخدم ميزانيتنا المتبقية لطهي 95 طبق سوشي آخر للعثور على الفائز". النتيجة: جودة أعلى، رغم أنها كلف أكثر.

لماذا يعد هذا أمراً هاماً؟

يوضح البحث أن هذا "المدير الذكي" أفضل بكثير من "الطاهي ذو القوة الغاشمة" لثلاثة أسباب رئيسية:

إنه أسرع (زمن استجابة أقل): لأن المدير يطلب فقط العينات الخمس الأولية من الجميع في وقت واحد (بالتوازي)، فإن المطبخ لا يتعطل بانتظار انتهاء طلب واحد قبل بدء الآخر. إنه يحافظ على تدفق العمل.
إنه أرخص: من خلال التوقف مبكراً في الطلبات السهلة، أنت توفر كمية هائلة من "غاز الطهي" (قوة الحوسبة).
إنه أذكى: إنه يعامل طلب كل عميل كحالة فريدة. فهو لا يهدر الموارد على المهام السهلة ولا يبخل بالجهد في المهام الصعبة.

تشبيه "البقاء" (The Survival Analogy)

ابتكر الباحثون أيضاً طريقة ممتعة لقياس النجاح تسمى وقت البقاء المتوقع (Expected Survival Time).
تخيل أن "التوزيع الموحد" (الطريقة القديمة) هو جندي يحمل بندقية قياسية.

AdaBoN هو جندي يحمل بندقية قنص ذكية.
سأل الباحثون: "كم يجب أن تكون بندقية الجندي القديم أكبر ليفوز بنفس عدد المرات التي يفوز بها قناصنا الذكي؟"
وجدوا أن الجندي القديم احتاج لبندقية أكبر بنسبة 20% (أكثر تكلفة، وأكثر استهلاكاً للوقود) فقط ليواكب كفاءة AdaBoN.

الخلا الخلاصة

AdaBoN يشبه توظيف مدير مشروع ذكي يعرف متى يتوقف عن العمل على مهمة لأنها اكتملت بالفعل، ومتى يضغط بقوة أكبر لأن المهمة صعبة. إنه يتوقف عن إضاعة المال في المشكلات السهلة ويركز الطاقة حيث هي مطلوبة بالفعل، مما يجعل الذكاء الاصطناعي أسرع، وأرخص، وبنفس الجودة (أو أفضل) مما كان عليه من قبل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "AdaBoN: Adaptive Best-of-N Alignment".

1. بيان المشكلة (Problem Statement)

تُعد تقنية أخذ العينات من نوع "الأفضل من N" (Best-of-N أو BoN) تقنية شائعة للمحاذاة أثناء الاستدلال، حيث يقوم النموذج اللغوي (LM) بتوليد $N$ من الاستجابات لمطالبة (Prompt) معينة، ثم يقوم نموذج المكافأة (RM) باختيار الاستجابة ذات الدرجة الأعلى. ورغم فعاليتها، تعاني تقنية BoN القياسية من عدم كفاءة حرجة: فهي تطبق ميزانية عينات موحدة ( $N$ ) على جميع المطالبات.

المشكلة: تتباين المطالبات بشكل كبير في "صعوبة المحاذاة". فبعض المطالبات تُنتج استجابات ذات مكافأة عالية بعد عدد قليل من العينات، بينما تتطلب مطالبات أخرى أخذ عينات مكثف. إن استخدام قيمة ثابتة وكبيرة لـ $N$ (والتي غالباً ما تكون ضرورية لمنافسة طرق الضبط الدقيق مثل RLHF أو DPO) يؤدي إلى هدر حسابي هائل في المطالبات "السهلة".
الهدف: تصميم استراتيجية متكيفة مع المطالبة (prompt-adaptive) لتخصيص ميزانية استدلال إجمالية ثابتة ( $B \times K$ ، حيث $B$ هي الميزانية لكل مطالبة و $K$ هو حجم الدفعة) عبر دفعة من المطالبات لتعظيم المكافأة التراكمية، دون زيادة زمن الاستجابة (Latency) بشكل ملحوظ.

2. المنهجية: AdaBoN

يقترح المؤلفون AdaBoN، وهو خوارزمية تخصيص تكيفي من مرحلتين أثناء الاختبار. هذه الخوارزمية مستقلة عن النموذج (تعمل مع أي زوج من LM-RM) ولا تتطلب تدريباً إضافياً.

خطوات الخوارزمية الأساسية

مرحلة الاستكشاف (المرحلة 1):
- لكل مطالبة $x_i$ في دفعة حجمها $K$ ، يخصص النظام ميزانية استكشاف أولية صغيرة $d$ (حيث $d < B$ ).
- يقوم النظام بتوليد $d$ من الاستجابات وجمع مكافآتها.
- باستخدام هذه العينات، يقوم النظام ببناء تقدير $\hat{D}_i$ لتوزيع المكافأة الخاص بتلك المطالبة تحديداً. تستخدم الورقة تقدير كثافة النواة الغاوسي (Gaussian KDE) مع قاعدة سكوت (Scott's rule) لاختيار عرض النطاق، حيث وجدت أن توزيعات المكافأة عادة ما تكون سلسة وقابلة للتعلم بهذه الطريقة.
مرحلة الاستغلال (المرحلة 2):
- يقدر النظام الربح الحدي (marginal gain) من إضافة المزيد من العينات لكل مطالبة. وتحديداً، يحسب الزيادة المتوقعة في أقصى مكافأة في حال تم سحب $j$ من العينات الإضافية من التوزيع المقدر $\hat{D}_i$ .
- رياضياً، يتم تقدير $V_{i,j} = \mathbb{E}[\max(R_{i,1:d}, Z_1, \dots, Z_j)]$ ، حيث $Z$ هي عينات من $\hat{D}_i$ .
- الضمان النظري: يثبت المؤلفون (الخاصية 3.1) أن دالة أقصى مكافأة متوقعة هي مقعرة وتزايدية رتيبة. تسمح هذه الخاصية باستخدام خوارزمية جشعة (Greedy Algorithm) بسيطة لتخصيص الميزانية المتبقية $(B-d)K$ بشكل أمثل عبر المطالبات لتعظيم إجمالي المكافأة المتوقعة.
التنفيذ:
- يقوم النظام بتوليد العينات المخصصة المتبقية لكل مطالبة بشكل متوازٍ.
- المخرج النهائي لكل مطالبة هو أفضل استجابة تم العثور عليها عبر جميع العينات المخصصة.

الخيارات التصميمية الرئيسية

النهج ذو المرحلتين مقابل النهج المتكيف كلياً: اختار المؤلفون نهجاً من مرحلتين بدلاً من الطرق المتكيفة المتسلسلة بالكامل (مثل المخططات متعددة الأذرع - multi-armed bandits) لتقليل زمن الاستجابة (Latency). فالطرق المتكيفة بالكامل تتطلب غالباً أخذ عينات متسلسل، مما يمنع التوازي. أما AdaBoN فلا يتطلب سوى جولتين من استدعاءات النموذج اللغوي (استكشاف + تخصيص نهائي)، مما يسمح بتوازي عملية التوليد الأساسية.
لا يوجد تدريب إضافي: على عكس الأعمال ذات الصلة (مثل Damani et al., 2024) التي تدرب نماذج مساعدة للتنبؤ بمكاسب المكافأة، يقوم AdaBoN بتقدير التوزيعات مباشرة عبر أخذ عينات مونت كارلو أثناء الاختبار. وهذا يجعله مرناً وأقل تكلفة حسابياً للميزانيات الكبيرة.

3. المساهمات الرئيسية

الملاحظة التجريبية: أظهر المؤلفون أن توزيعات مكافأة كل مطالبة على حد سواء لمختلف أزواج LM-RM هي توزيعات سلسة وقابلة للتعلم، مما يجعل تقدير التوزيع ممكناً باستخدام عينات صغيرة.
خوارزمية AdaBoN: مخطط تخصيص بسيط وعملي من مرحلتين يجمع بين تقدير التوزيع عبر KDE واستراتيجية التخصيص الجشعة.
مقاييس تقييم جديدة:
- معدل فوز الدفعة (Batch Win Rate - BWR): احتمال تفوق الاستراتيجية المتكيفة على التخصيص الموحد بنفس إجمالي الميزانية.
- وقت البقاء المتوقع (Expected Survival Time - EST): مقياس يقيس مدى كبر الميزانية الموحدة التي ستكون مطلوبة لمطابقة أداء الاستراتيجية المتكيفة. وهو يقيس حجم التوفير الحسابي.
تقييم شامل: تجارب واسعة عبر 12 زوجاً من LM-RM و3 مجموعات بيانات (AlpacaEval, HH-RLHF, PKU-SafeRLHF) مع 50 دفعة متميزة.

4. النتائج التجريبية

أُجريت التجارب بحجم دفعة $K=5$ وميزانية لكل مطالبة $B=120$ (إجمالي ميزانية 600 استعلام).

التفوق على التخصيص الموحد:
- تفوق AdaBoN باستمرار على التخصيص الموحد عبر جميع الـ 50 دفعة.
- معدل فوز الدفعة (BWR): في كثير من الحالات، تجاوز معدل BWR نسبة 0.60، وفي أزواج محددة (مثل Qwen-Mistral)، وصل إلى 1.00 (الفوز في 100% من الدفعات).
- المتانة: ظلت الطريقة فعالة حتى عندما تم تثبيت ميزانية الاستكشاف $d$ عند $0.75B$ ، مما تطلب حداً أدنى من ضبط المعلمات الفائقة.
مكاسب الكفاءة (EST):
- حقق AdaBoN بميزانية $B$ أداءً تنافسياً مقابل التخصيص الموحد بميزانيات أكبر بنسبة 20% ( $1.2B$ ).
- في بعض الحالات، أشار EST إلى أن AdaBoN بميزانية $B$ كان ينافس التخصيص الموحد الذي يمتلك ميزانيات أكبر بنسبة 33%.
القابلية للتوسع:
- حجم الدفعة: تحسن الأداء (BWR) مع زيادة حجم الدفعة $K$ (من 3 إلى 20)، مما يشير إلى أن الطريقة تستفيد من وجود المزيد من المطالبات للتحسين عبرها.
- الميزانية: ظل الأداء قوياً عبر مختلف الميزانيات الإجمالية ( $B \in \{80, \dots, 160\}$ ).
زمن الاستجابة (Latency):
- كان العبء الإضافي لمنطق التقدير والتخصيص ضئيلاً جداً (~0.08 ثانية لكل دفعة) مقارنة بالدقائق المطلوبة لعملية توليد النصوص الفعلية.

5. الأهمية والقيود

الأهمية:

تقليل التكلفة: يوفر AdaBoN طريقة عملية لتقليل تكاليف الاستدلال لمهام المحاذاة دون التضحية بالجودة، مما يجعل المحاذاة عالية الجودة متاحة أكثر للتطبيقات التي تعمل على الأجهزة أو تلك ذات الموارد المحدودة.
البساطة: يتجنب تعقيد تدريب النماذج المساعدة أو حلقات التعلم عبر الإنترنت المعقدة، مما يسهل نشره مع خطوط إنتاج LM-RM الحالية.
الأساس النظري: الاعتماد على تقعر أقصى مكافأة متوقعة يوفر أساساً نظرياً صلباً لاستراتيجية التخصيص الجشعة.

القيود:

افتراض التوزيع: تفترض الطريقة إمكانية تقريب توزيعات المكافأة باستخدام Gaussian KDE. ويشير المؤلفون إلى أن هذا قد يواجه صعوبة مع نماذج المكافأة شديدة الانقطاع (discrete) أو المعقدة.
متطلب الدفعة: تتطلب الطة دفعة من المطالبات لتعمل بشكل أمثل. وهي أقل ملاءمة لسيناريوهات الاستدلال المتسلسل للمطالبة الواحدة حيث لا توجد مطالبات "مستقبلية" لموازنة الميزانية.
التقدير الساكن: النهج ذو المرحلتين لا يقوم بتحسين التقديرات أثناء مرحلة التخصيص (على عكس المخططات المتكيفة المتسلسلة بالكامل)، مما قد يؤدي إلى تفويت فرص التعديل بناءً على النتائج المتوسطة، وإن كان هذا يمثل مقايضة من أجل تقليل زمن الاستجابة.

في الختام، يمثل AdaBoN خطوة هامة للأمام نحو محاذاة فعالة أثناء الاستدلال، حيث يثبت أن التخصيص الذكي للميزانية يمكن أن يحقق مكاسب أداء كبيرة مقارنة بأخذ العينات الموحد الساذج مع حد أدنى من العبء الحسابي.