💬 NLP

Inference-Aware Prompt Optimization for Aligning Black-Box Large Language Models

تقدم هذه الورقة إطار عمل IAPO، وهو إطار عمل مبتكر يعمل على تحسين المطالبات واستراتيجيات توسيع الاستدلال (مثل أخذ عينات Best-of-N) بشكل مشترك لتحقيق توافق أفضل بين النماذج اللغوية الكبيرة ذات الصندوق الأسود وتفضيلات المستخدم والميزانيات الحسابية.

المؤلفون الأصليون: Saaduddin Mahmud, Mason Nakamura, Kyle Hollins Wray, Shlomo Zilberstein

نُشر 2026-02-11

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Saaduddin Mahmud, Mason Nakamura, Kyle Hollins Wray, Shlomo Zilberstein

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف طباخاً محترفاً ليطهو من أجل حفلة كبيرة. لديك طريقتان لضمان أن يكون الطعام مثالياً:

الوصفة (المطالبة - The Prompt): يمكنك إعطاء الطباخ وصفة محددة للغاية.
التذوق (توسيع الاستدلال - Inference Scaling): يمكنك أن تطلب من الطباخ طهي خمس نسخ مختلفة من الطبق، ثم اختيار الأفضل بينها.

حتى الآن، حاول معظم الناس حل هذه المشكلة بالتركيز على شيء واحد فقط. فإما أن يقضوا كل وقتهم في إتقان الوصفة، أو يكتفون بقول: "اصنع عشر نسخ واختبر الأفضل".

المشكلة؟ إنهما لا يتواصلان مع بعضهما البعض. فالوصفة التي تعمل بشكل مثالي لطبق سريع واحد قد تكون في الواقع وصفة "سيئة للغاية" إذا كان الطباخ يخطط لصنع عشر نسخ واختيار الأفضل. بعض الوصفات "مستقرة" ومتسقة، بينما البعض الآخر "عالي المخاطر وعالي المكافأة"؛ أي أنها قد تفشل كثيراً، ولكن عندما تنجح، تكون مذهلة.

تقدم هذه الورقة البحثية IAPO، وهي طريقة لتحسين كل من الوصفة وعملية التذوق في آن واحد.

الفكرة الجوهرية: "منظم الحفلات الذكي"

فكر في IAPO كـ منظم حفلات ذكي. بدلاً من مجرد اختيار وصفة، ينظر المنظم إلى حالتك الخاصة ("السياق"):

ميزانيتك: "ليس لدي سوى 50 دولاراً للمكونات".
تفضيلاتك: "أهتم بأن يكون الطعام صحياً أكثر من اهتمامي بكونه فاخراً".

المنظم الذكي لا يختار وصفة فحسب؛ بل يقرر: "بما أن ميزانيتك محدودة، سأستخدم هذه الوصفة البسيطة والموثوقة وسأصنع نسخة واحدة فقط. ولكن بما أن ميزانيتك ضخمة وتريد المثالية، فسأستخدم هذه الوصفة المعقدة والتجريبية وسأصنع 20 نسخة، ثم أختار الأفضل على الإطلاق".

السر الخفي: PSST (طريقة "التقليم")

كيف يتعلم المنظم أي وصفة وأي استراتيجية تذوق هي الأفضل دون إضاعة كل أموالك في اختبار كل تركيبة ممكنة؟ إنهم يستخدمون طريقة تسمى PSST (توسيع المطالبة عبر التقليم المتتالي).

تخيل أن لديك 100 وصفة مختلفة لتجربتها. ليس لديك المال لطهي جميع النسخ المائة لكل وصفة من الوصفات المائة.

بدلاً من ذلك، يقوم المنظم بـ "بطولة النكهات":

الجولة الأولى: يطبخون كمية صغيرة جداً من كل وصفة.
الاستبعاد: يستبعدون فوراً الـ 50% الأدنى من الوصفات التي كان مذاقها سيئاً.
الجولة الثانية: يأخذون "الناجين" المتبقين ويطبخون لهم حصة أكبر قليلاً.
الاستبعاد: يرمون النصف الأدنى مرة أخرى.
النهائي: يستمرون في القيام بذلك حتى تبقى فقط الوصفة البطلة والكمية المثالية من "التذوق".

من خلال "تقليم" الخاسرين مبكراً، يوفرون مبلغاً هائلاً من المال (أو "الميزانية الحسابية") مع الاستمرار في العثور على أفضل طريقة لإشباع جوعك.

لماذا يهم هذا الأمر؟

في عالم الذكاء الاصطناًعي (النماذج اللغوية الكبيرة)، "الطهي" يكلف مالاً وكهرباء.

الطريقة القديمة: كان الناس إما بخلاء للغاية (نتائج سيئة) أو مسرفين للغاية (إنفاق الكثير من المال).
طريقة IAPO: يصبح الذكاء الاصطناعي "واعياً بالاستدلال". فهو يدرك أنه إذا طُلب منه "التفكير بعمق أكبر" (توليد عينات أكثر)، فعليه استخدام مجموعة مختلفة من التعليمات عما لو طُلب منه تقديم إجابة سريعة بلمسة واحدة.

باخت-القول: تعلم هذه الورقة البحثية الذكاء الاصطناعي كيف يكون فعالاً، مما يجعله أكثر ذكاءً عندما يكون لديه وقت للتفكير، وأكثر موثوقية عندما يحتاج إلى السرعة، كل ذلك مع احترام ميزانية المستخدم.

ملخص تقني: تحسين الأوامر (Prompts) المدرك للاستدلال لمحاذاة النماذج اللغوية الكبيرة ذات الصندوق الأسود

1. بيان المشكلة

تعالج هذه الورقة فجوة منهجية حرجة في محاذاة النماذج اللغوية الكبيرة (LLMs) ذات الصندوق الأسود. حالياً، يتم استخدام نموذجين أساسيين للمحاذاة في حالة الصندوق الأسود:

تحسين الأوامر (Prompt Optimization): إعادة صياغة أو إلحاق تعليمات لضبط المخرجات لتتوافق مع أهداف المهمة.
توسيع نطاق الاستدلال (Inference Scaling): استخدام استراتيجيات مثل أخذ العينات من "الأفضل من بين N" (Best-of-N / BoN) أو التصويت بالأغلبية (Majority Voting / MV) لتحسين الأداء مقابل زيادة الحوسبة.

يحدد المؤلفون أن طرق تحسين الأوامر الحالية غير مدركة لاستراتيجية الاستدلال (inference-strategy agnostic). فهي تقوم بتحسين الأوامر دون مراعاة كيفية تجميع مخرجات النموذج (مثل التصويت أو الترتيب) أو الميزانية الحوسبية المتاحة. ويظهر تحليلهم التجريبي أن الأمر المُحسن لفك التشفير أحادي المحاولة (N=1) قد يؤدي أداءً ضعيفاً في ظل ظروف BoN أو MV، وأن "الأمر الأفضل" يتغير بناءً على الميزانية الحوسبية للمستخدم وتفضيلات الأهداف المتعددة (مثل المقايضة بين الفائدة وعدم الضرر).

2. المنهجية

يقترح المؤلفون إطار عمل موحداً يسمى IAPO (تحسين الأوامر المدرك للاستدلال).

أ. الصياغة الرسمية:
يعامل IAPO عملية اختيار الأمر (prompt)، ومعلمات فك التشفين (decoding hyperparameters)، وعدد العينات ( $N$ ) كـ "ذراع" (arm) واحدة في مشكلة تحديد أفضل ذراع سياقية (Contextual Best-Arm Identification - BAI). الهدف هو تعلم سياسة $\pi$ تربط سياق المستخدم $c$ (الذي يحتوي على التفضيلات وقيود الميزانية) بالإعداد الأمثل $a = (p, g, N)$ .

ب. خوارزمية PSST:
لحل هذه المشكلة تحت ميزانية تدريب ثابتة $T$ ، يقدم المؤلفون خوارزمية PSST (تقليص المقياس عبر التسلسل - Prompt Scaling via Sequential Trimming). بخلاف خوارزميات BAI القياسية، تم تصميم PSST لاستغلال الخصائص الهيكلية الفريدة لإطار عمل IAPO:

تكلفة السحب غير المتماثلة (Asymmetric Pull Cost): قيم $N$ الأكبر تكلف أكثر.
إعادة الاستخدام عبر السياقات (Cross-Context Reuse): يمكن استخدام مجموعة واحدة من عينات $N$ لتقدير المكافآت لعدة سياقات مستخدم.
إعادة استخدام العينات المتداخلة (Nested Sample Reuse): يمكن تقسيم العينات من $N$ كبيرة لتقدير مكافآت لقيم $N$ أصغر (على سبيل المثال، استخدام عينات من $N=10$ لتقدير $N=5$ عبر إعادة استخدام الكتل).

تستخدم PSST سياسة تخصيص مدركة للهيكل تعطي الأولوية لأقصى مقياس باقٍ لكل أمر، مما يضمن الاستخدام الفعال للميزانية.

ج. فحص Top-K (استدلالي):
لتحسين الكفاءة في سيناريوهات الميزانية المنخفضة، يقترح المؤلفون استدلال "الإحماء" (warm-up) الذي يقوم بعملية فحص سريع ومنتظم للأوامر عند $N=1$ لاستبعاد المرشحات غير المثالية بوضوح قبل تشغيل خوارزمية PSST الكاملة.

3. المساهمات الرئيسية

الإطار النظري: صياغة الترابط بين تصميم الأوامر وتجميع وقت الاستدلال.
تصميم الخوارزمية: تقديم PSST، وهي خوارزمية تدريب بميزانية ثابتة تستفيد من إعادة استخدام العينات عبر المقاييس والسياقات.
الضمانات النظرية: وضع ضمانات احتمالية للخطأ في الميزانية المحددة لـ PSST، مما يثبت قدرتها على تحديد الذراع المثلى باحتمالية عالية مع توفر ميزانية كافية.
التحقق التجريبي: تقديم تقييم شامل عبر ست مهام متنوعة (الاستنتاج، التلخيص، والتوليد متعدد الأهداف).

4. النتائج

أسفر التقييم التجريبي عبر ست بيئات (بما في ذلك MATH وCommonsenseQA وHelpful-Harmless) عن عدة نتائج رئيسية:

تفوق IAPO: تفوقت طرق IAPO بشكل ملحوظ على الطرق غير المدركة للاستدلال. وتحديداً، تفوق IAPO على التحسين المنفصل (disjoint optimization) بنسبة تصل إلى 25% وعلى تحسين الأوامر فقط بنسبة تصل إلى 50%.
فشل التحسين المنفصل: الطرق التي تحسن الأوامر أولاً ثم تختار $N$ (أو العكس) غالباً ما تقع في فخ الأوامر "المخادعة" — وهي الأوامر التي تبدو جيدة عند $N=1$ ولكنها لا تتوسع بشكل جيد مع زيادة الحوسبة.
فعالية PSST: تفوقت PSST واستدلال Top-K Screening باستمرار على نماذج الاستكشاف القياسية (UCB، $\epsilon$ -greedy، Softmax) عبر جميع مجموعات البيانات.
المتانة: أثبت استدلال Top-K Screening فعالية عالية في الميزانيات الصغيرة، بينما كانت PSST الكاملة أكثر متانة لمتطلبات الدقة العالية والميزانيات المرتفعة.

5. الأهمية

ينقل هذا العمل نموذج محاذاة النماذج اللغوية الكبيرة (LLMs) ذات الصندوق الأسود من "البحث عن أمر واحد جيد" إلى "البحث عن سياسة نشر مثلى". ومن خلال مراعاة التفاعل بين الأمر واستراتيجية الاستدلال، يقدم المؤلفون طريقة منهجية لتعظيم أداء النماذج اللغية الكبيرة مع احترام القيود الواقعية مثل التكلفة الحوسبية وتفضيلات المستخدم متعددة الأهداف. وهذا أمر حيوي بشكل خاص للمطورين الذين يستخدمون واجهات برمجة التطبيقات المملوكة (مثل GPT-4 أو Claude) حيث تكون أوزان النماذج غير متاحة.