🤖 machine learning

Efficient Multi-objective Prompt Optimization via Pure-exploration Bandits

تتناول هذه الورقة الطبيعة متعددة الأوجه لأداء الأوامر البرمجية (prompts) من خلال صياغة اختيار الأوامر كمسألة "بانديت" استكشاف نقي متعددة الأهداف، مقترحةً خوارزميات مبتكرة لاستعادة مجموعة باريتو وتحديد أفضل أمر برمجي قابل للتنفيذ، وهي خوارزميات مضمونة نظرياً ومثبتة تجريبياً في تفوقها على النماذج المرجعية الحالية عبر نماذج لغوية كبيرة متعددة.

المؤلفون الأصليون: Donghao Li, Chengshuai Shi, Weijuan Ou, Cong Shen, Jing Yang

نُشر 2026-05-15

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Donghao Li, Chengshuai Shi, Weijuan Ou, Cong Shen, Jing Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ يحاول العثور على الوصفة المثالية لطبق جديد. لديك كتاب طهي ضخم يحتوي على آلاف الوصفات المحتملة (المطالبات/Prompts)، ولكن ليس لديك سوى قدر محدود من الوقت والمكونات ("الميزانية") لاختبارها.

في عالم النماذج اللغوية الكبيرة (LLMs)، هذه "الوصفات" هي التعليمات التي نعطيها للذكاء الاصطناعي. تكمن المشكلة في أن "الوصفة الجيدة" لا تتعلق فقط بالمذاق (الدقة)؛ بل يجب أن تكون أيضاً سريعة الطهي (الإيجاز)، وصحية (الأمان)، وغير مكلفة (التكلفة). لقد حاولت معظم الطرق السابقة العثور على أفضل وصفة من خلال النظر إلى شيء واحد فقط، مثل المذاق. ولكن في الحياة الواقعية، غالباً ما يتعين عليك موازنة المقايضات: فقد يكون ألذ طبق يستغرق وقتاً طويلاً جداً للطهي، أو قد يكون الأسرع طهياً بلا طعم.

هذه الورقة البحثية، بعنوان "تحسين المطالبات متعدد الأهداف بكفاءة عبر خوارزميات البنديت القائمة على الاستكشاف الصرف" (Efficient Multi-Objective Prompt Optimization via Pure-Exploration Bandits)، تقترح طريقة أذكى للعثور على أفضل التعليمات للذكاء الاصطناعي عندما يتعين عليك الموازنة بين عدة أهداف في وقت واحد، مع مراعاة ضيق الوقت.

إليك تفصيل نهجهم باستخدام تشبيهات بسيطة:

1. المشكلة: معضلة "المذاق مقابل السرعة"

يشير المؤلفون إلى أن تقييم مطالبات الذاء الاصطناعي يشبه تقييم سيارة. لا يمكنك فقط النظر إلى مدى سرعتها (الدقة)؛ بل تحتاج أيضاً إلى فحص كمية الوقود التي تستهلكها (الإيجاز) أو ما إذا كانت آمنة (القيود).

الطريقة القديمة: حاولت الأساليب السابقة دمج كل هذه العوامل في درجة واحدة (مثل قول "السرعة ناقص تكلفة الوقود"). هذا غالباً ما يفتقر إلى الدقة. فأحياناً تريد أسرع سيارة، حتى لو كانت تستهلك الكثير من الوقود، طالما أنها لا تنفجر (قيد السلامة).
الهدف الجديد: تسعى الورقة للوصول إلى شيئين محددين:
1. أفضل مطالبات قابلة للتنفيذ (Best Feasible Prompt): وهي الوصفة الأفضل على الإطلاق التي لا تزال تلبي حداً صارماً من السلامة أو السرعة (مثلاً: "جد ألذ طبق يستغرق أقل من 10 دقائق").
2. مجموعة باريتو (Pareto Set): وهي قائمة "أفضل المقايضات الممكنة". هذه عبارة عن وصفات حيث لا يمكنك تحسين شيء واحد (المذاق) دون جعل شيء آخر أسوأ (السرعة). إنها قائمة بأفضل المنافسين الذين يمثلون التوازن الأمثل.

2. الحل: استراتيجية "قائمة التذوق" (Bandits)

يعامل المؤلفون هذه المشكلة كأنها لعبة عرض تسمى "المتعدد الأذرع" (Multi-Armed Bandit). تخيل صفاً من آلات القمار (المطالبات). لديك عدد محدود من العملات المعدنية (الميزانية) لسحب الأذرع. تريد العثور على أفضل آلة دون إضاعة كل عملاتك على الخاسرين.

لقد قدموا خوارزميتين جديدتين لإدارة هذه اللعبة:

أ. GENSEC: "لعبة الاستبعاد" للقيود

اعتبر هذا بمثبة "تصفيات خروج المغلوب" للعثور على أفضل مطالبات قابلة للتنفيذ.

كيف تعمل: تبدأ بـ 100 وصفة. تتذوق القليل من كل منها.
اللمسة المميزة: في كل جولة، تقوم فوراً باستبعاد الوصفات التي يتضح أنها بطيئة جداً (تخالف القيد) أو التي يتضح أن مذاقها أسوأ من الوصفة الرائدة الحالية.
السحر: بدلاً من معاملة كل وصفة كشيء فريد ومنفصل تماماً، تلاحظ هذه الخوارزمية أن الوصفات غالباً ما تشترك في "مكونات" (سمات). إذا كانت الوصفة (أ) والوصفة (ب) تستخدمان "الثوم"، وتعلمت شيئاً عن الثوم من الوصفة (أ)، يمكنك التنبؤ بشيء عن الوصفة (ب). هذا يسمح لهم بالتعلم بشكل أسرع، مثل الطاهي الذي يعرف أنه إذا كان طبق غني بالثوم مالحاً جداً، فمن المرجح أن يكون طبق آخر غني بالثوم مالحاً أيضاً.
النتيجة: وجدوا أن هذه الطريقة تستعيد 80-90% من الدرجة المثالية المحتملة، بينما الطرق القديمة (التذوق العشوائي فقط) لم تصل إلا إلى 20-50%.

ب. GENPSI: "صانع الخرائط" للمقايضات

صُممت هذه الخوارزمية للعثور على مجموعة باريتو (قائمة أفضل المقايضات).

كيف تعمل: بدلاً من البحث عن فائز واحد، تحاول رسم "الحدود" للاحتمالات. تسأل: "أي الوصفات مميزة لدرجة أنه لا يمكنك تحسين مقياس واحد دون الإضرار بمقياس آخر؟"
الاستراتيجية: تستخدم عملية استبعاد مماثلة ولكنها تنظر إلى "الفجوة" بين الوصفات. إذا كانت هناك وصفة تتفوق عليها وصفة أخرى في كل شيء (أقل جودة في كل المعايير)، يتم استبعادها. أما إذا كانت تمثل مقايضة فريدة (سرعة رائعة، ومذاق مقبول)، فإنها تبقى.
النتيجة: استعادت هذه الطريقة أكثر من 90% من "الحجم الفائق" (Hypervolume - وهو مصطلح تقني يعني المساحة الإجمالية للمقايضات الجيدة) مقار بالحقيقة الأرضية، بينما نجحت النماذج المرجعية في تحقيق حوالي 80% فقط.

3. "الخلطة السرية": التعلم من الروابط

جزء رئيسي من نجاحهم هو إدراك أن المطالبات ليست عشوائية؛ بل هي مرتبطة ببعضها البعض.

التشبيه: تخيل أنك تختبر 100 سيارة مختلفة. إذا اختبرت سيارة رياضية حمراء ووجدتها سريعة، فلست بحاجة لاختبار كل سيارة رياضية حمراء من الصفر. أنت تعلم أنها تشترك في نوع المحرك.
نهج الورقة: يستخدمون "خريطة سمات" (مثل بصمة الإصبع للمطالبة) لرؤية هذه الروابط. ومن خلال استخدام شبكة عصبية (MLP) لفهم هذه الأنماط المشتركة، تتعلم خوارزمياتهم بشكل أسرق بكثير من الطرق التي تعامل كل مطالبة كجزيرة منعزلة.

4. الإثبات: "اختبار المطبخ"

اختبر المؤلفون هذا في مطبخ حقيقي (باستخدام نماذج ذكاء اصطناعي حقيقية مثل Llama-3 و Gemma) مع وصفات حقيقية (تلخيص الأخبار).

الإعداد: كان عليهم تلخيص الأخبار (الدقة) مع الحفاظ على قصر الملخص (الإيجاز).
النتيجة: نجح "طهاة البنديت" (GENSEC و GENPSI) باستمرار في العثور على مطالبات أفضل، وأكثر أماناً، وأكثر توازناً من "المتذوق العشوائي" (Uniform) أو الطرق القياسية الأخرى، خاصة عندما كان لديهم وقت (ميزانية) ضئيل جداً للاختبار.

ملخص

باختصار، تقول هذه الورقة: "توقف عن التخمين العشوائي وتوقف عن النظر إلى رقم واحد فقط."

من خلال معاملة اختيار المطالبات كلعبة استراتيجية حيث تستبعد الخيارات السيئة مبكراً وتتعلم من التشابهات بين المطالبات المختلفة، يمكنك العثور على التوازن المثالي بين الدقة والسرعة والأمان بشكل أسرع بكثير وبمحاولات أقل. إنه يشبه امتلاك مساعد طاهٍ ذكي يعرف أنه إذا كان أحد الأطباق مالحاً جداً، فمن المرجح أن يكون الطبق التالي مالحاً أيضاً، مما يوفر عليك عناء تذوق كل طبق في كتاب الطهي.

ملخص تقني: تحسين الأوامر متعددة الأهداف بكفاءة عبر خوارزميات "البنديت" القائمة على الاستكشاف الصرف

صياغة المشكلة

تعد هندسة الأوامر (Prompt Engineering) أمراً مركزياً للاستفيد من النماذج اللغوية الكبيرة (LLMs)، ومع ذلك، تركز الطرق الحالية بشكل أساسي على تحسين هدف واحد (مثل دقة المهمة). في التطبيقات الواقعية، يكون أداء الأوامر متعدد الأوجه بطبيعته، حيث يتضمن مقايضات بين مقايسات متنافسة مثل التماسك، والأمانة، والطلاقة، والسلامة. نادراً ما يهيمن أمر واحد على جميع الأبعاد. علاوة على ذلك، فإن تقييم الأوامر مكلف، مما يتطلب ميزانية محدودة من الاستعلامات للنموذج اللغوي الكبير.

يتناول هذا البحث مشكلة اختيار الأوامر متعددة الأهداف تحت ميزانية تقييم ثابتة $B$ . وقد حدد المؤلفون هدفين محددين:

تحديد أفضل أمر قابل للتنفيذ (Best Feasible Prompt Identification): تحديد أمر يعظم هدفاً رئيسياً (مثل الدقة) مع تلبية قيود على أهداف أخرى (مثل عتبات السلامة أو الإيجاز).
تحديد مجموعة الأوامر "باريتو" (Pareto Prompt Set Identification): استعادة مجموعة الأوامر غير المهيمنة (جبهة باريتو) التي تمثل أفضل المقايضات بين جميع الأهداف.

تم وضع المشكلة ضمن إطار خوارزميات "البنديت" متعددة الأهداف ذات الاستكشاف الصرف (Pure-Exploration Multi-Objective Bandits). تُعامل مجموعة الأوامر المرشحة $\mathcal{X}$ كمجموعة من "الأذرع" (Arms). وتتمثل عملية سحب ذراع في تقييم أمر ما بناءً على مدخلات عشوائية، مما ينتج عنه متجه مكافأة عشوائي. ويكمكم التحدي في تحديد الذراع (أو الأذرع) المثلى بكفاءة نظراً لتكلفة التقييم العالية وهيكل المقايضات المعقد في تعدد الأهداف.

المنهجية

يقترح المؤلفون إطار عمل عام يستفيد من الارتباطات المتأصلة بين الأوامر لتحسين كفاءة العينات، متجاوزاً التعامل مع كل أمر كذراع مستقل.

إطار العمل العام

يستخدم النهج استراتيجية حذف الأذرع القائمة على الجولات. تتضمن العملية $R$ من الجولات بميزانية إجمالية $B$ . في كل جولة:

تخصيص الميزانية: يتم اختيار الأوامر للتقييم بناءً على مُخصص (مثل أخذ العينات الموحد أو تصميم G-optimal).
التقييم: يتم استعلام الأوامر مقابل النموذج اللغوي الكبير، وتتم ملاحظة متجهات المكافأة.
تقدير المكافأة: يقوم مُقدّر بتحديث متجه الأداء المتوقع $\hat{\mu}(x)$ للأوامر النشطة. يدعم إطار العمل دوال مكافأة عامة $g_\theta(\phi(x))$ ، حيث $\phi(x)$ هو تمثيل الميزات (feature embedding) للأمر و $\theta$ هو معلمة (parameter) مجهولة مشتركة بين جميع الأوامر.
حذف الأذرع: يتم ترتيب الأوامر وحذفها بناءً على معايير محددة اعتماداً على الهدف المطلوب.

الخوارزميات

تم تقديم خوارذيتين محددتين بناءً على هذا الإطار:

خوارزمية GENSEC (الحذف المتتالي المعمم تحت القيود):
- الهدف: تحديد أفضل أمر قابل للتنفيذ.
- الآلية: تقوم ببناء مجموعة قابلة للتنفيذ تجريبياً بناءً على عتبات القيود. يتم ترتيب الأذرع أولاً حسب القابلية للتنفيذ، ثم حسب تقدير الهدف الرئيسي. يتم الاحتفاظ بأفضل $l_r$ من الأذرع للجولة التالية.
- الضمان النظري: في حالات المكافأة الخطية ( $\mu(x) = \phi(x)^\top \theta$ )، يثبت المؤلفون أن احتمال الفشل في تحديد الأمر القابل للتنفيذ الأمثل يتلاشى أسياً مع الميزانية $B$ . والجدير بالذكر أن حد الخطأ يعتمد على $\log_2 K$ (حيث $K$ هو عدد الأوامر) بدلاً من $K^3$ ، مما يحسن القابلية للتوسع بشكل كبير مقارنتائج "البنديت" العشوائية السابقة.
خوارزمية GENPSI (تحديد مجموعة باريتو المعممة):
- الهدف: تحديد مجموعة أوامر "باريتو".
- الآلية: تستخدم فجوة باريتو التجريبية (Empirical Pareto Gap) كمعيار للحذف. تقيس هذه الفجوة مدى صعوبة تصنيف ذراع ما كأمثل في "باريتو" أو غير أمثل. وتعمل الخوارزمية على توحيد وتعميم خوارزميات "البنديت" الموجودة (مثل EGE و GEGE) لكل من الإعدادات القياسية والخطية.

استخدام الميزات

للتعامل مع مجموعات الأوامر الكبيرة بكفاءة، تستخدم الطريقة خريطة ميزات $\phi: \mathcal{X} \to \mathbb{R}^d$ . في الإعداد الخطي، يسمح هذا للخوارزمية بتعلم المعلمة المشتركة $\theta$ عبر جميع الأوامر، مما يسرع التقارب. في التجارب، تم استخراج تمثيلات الأوامر باستخدام GPT-3.5-turbo وتقليصها عبر تحليل المكونات الرئيسية (PCA).

النتائج التجريبية

قيم المؤلفون خوارزميتي GENSEC و GENPSI على اثنين من معايير التلخيص (XSum و CNN/DailyMail) باستخدام LLaMA-3-8B و Gemma-7B. وكانت الأهداف هي ROUGE-L (الجودة) و درجة الإيجاز (الطول).

تحديد أفضل أمر قابل للتنفيذ:
- تفوقت خوارزميات "البنديت" (نسخ CSR و MLP-CSR) بشكل كبير على نماذج أخذ العينات الموحدة المرجعية.
- تحت الميزانيات المقيدة، استعادت الطرق المقترحة 80-90% من منفعة الأمر المقيد الأمثل، بينما حققت النماذج المرجعية 20-50% فقط.
- تفوقت نسخة MLP-CSR، التي تستفيد من البنية المشتركة عبر مُقدّر شبكة عصبية، باستمرار على نسخة CSR المستقلة، مما أظهر فائدة استغلال ارتباطات الأوامر.
تحديد مجموعة باريتو:
- باستخدام مقياس الحجم الفائق (Hypervolume - HV)، استعادت الخوارزميات القائمة على GENPSI (مثل EGE و MLP-EGE) أكثر من 90% من الحجم الفائق لمجموعة "باريتو" الحقيقية.
- ظلت النماذج المرجعية في نطاق الثمانينات المنخفضة إلى المتوسطة.
- أظهرت MLP-EGE ميزة خاصة في أنظمة الميزانية المنخفضة، مما يسلط الض الضوء على كفاءة تعلم المعلمات المشتركة.

المساهمات الرئيسية

الصياغة: يقدم هذا العمل أول صياغة لاختيار الأوامر متعدد المعايير كمسألة "بنديت" ذات استكشاف صرف متعدد الأهداف.
الابتكار الخوارزمي: تقديم GENSEC و GENPSI، اللتين تعممان خوارزميات "البنديت" الموجودة للتعامل مع القيود ومثالية "باريتو" مع استغلال البنى المشتركة بين الأوامر.
الضمانات النظرية: يقدم البحث حدود خطأ نظرية لـ GENSEC في الإعداد الخطي، مما يظهر تحسناً كبيراً في الاعتماد على عدد الأوامر ( $K$ ) مقارنة بالأعمال السابقة.
التحقق التجريبي: تثبت التجارب المكثفة أن النهج القائم على "البنديت" هو نهج مبدئي وفعال، حيث يقدم تحسينات جوهرية على النماذج المرجعية في استعادة الأوامر القابلة للتنفيذ المثلى وجبهات "باريتو" تحت ميزانيات تقييم صارمة.

الأهمية والادعاءات

يزعم البحث وضع "إطار عمل مبدئي وفعال" لتحسين الأوامر متعدد الأهداف. ومن خلال الربط بين هندسة الأوامر و"البنديت" متعدد الأهداف، يجادل المؤلفون بأنه من الممكن تجاوز الاستراتيجيات العشوائية أو أحادية المعيار. يعالج هذا العمل الواقع العملي الذي ينطوي فيه أداء الأوامر على مقايضات متأصلة لا يمكن التقاطها عبر مقايسات خطية (scalarized) وحدها. ويضع المؤلفون طرقهم كحل للسيناريوهات التي تكون فيها ميزانيات التقييم محدودة، كما هو الحال في المجالات المنظمة أو عند التعامل مع استعلامات مكلفة للنماذج اللغوية الكبيرة. ويخلص البحث إلى أن هذا الإطار يفتح آفاقاً جديدة لتحسين الأوامر القابل للتوسع تحت معايير تقييم معقدة، رغم اعترافه بالحاجة إلى عمل مستقبلي لتوسيع هذه الطرق لتشمل مهاماً أكثر تنوعاً ودمج مقايسات أغنى مثل العدالة والكفاءة.