💻 computer science

Predicting Performance of Symbolic and Prompt Programs with Examples

تقترح هذه الورقة إطار عمل RAP، وهو إطار للتنبؤ بالأداء يستفيد من المهام المماثلة المسترجعة وبرامج التلقين (prompt programs) لبناء توزيع احتمالي مسبق تقريبي، مما يعالج بفعالية عدم موثوقية التلقين باستخدام النماذج اللغوية الكبيرة عبر التمييز بين توزيع أدائها المنتشر وطبيعة البرامج الرمزية القائمة على مبدأ "الكل أو لا شيء".

المؤلفون الأصليون: Chengqi Zheng, Keya Hu, Shuzhi Liu, Tao Wu, Kevin Ellis, Yewen Pu

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chengqi Zheng, Keya Hu, Shuzhi Liu, Tao Wu, Kevin Ellis, Yewen Pu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مدير توظيف يحاول تحديد ما إذا كان موظف جديد مستعداً لوظيفة كبيرة. لديك نوعان من المرشحين: الروبوت (برنامج رمزي، مثل كود بايثون) والمستقل المبدع (برنامج توجيهي، وهو عبارة عن تعليمات تُعطى لذكاء اصطناعي لأداء مهمة).

تطرح الورقة سؤالاً بسيطاً: إذا اجتاز كلا المرشحين بضعة اختبارات تدريبية صغيرة، فهل يمكننا الوثوق بهما للقيام بالوظيفة الحقيقية؟

يقول المؤلفون: نعم بالنسبة للروبوت، ولكن ربما ليس للمستقل المبدع. وإليك السبب، باستخدام منطق وتشبيهات الورقة نفسها.

1. نوعا "البرامج"

الروبوت (البرنامج الرمزي): هذا يشبه الآلة الحاسبة الصارمة. إذا قلت لها "2 + 2"، فيجب أن تقول "4". إنها تتبع قواعد جامدة. إذا اجتاز اختباراً، فذلك لأنه اتبع القواعد بدقة.
المستقل المبدع (البرنامج التوجيهي): هذا يشبه طلب رسم قطة من فنان ذكي ولكنه غير متوقع قليلاً. أنت تعطي الفنان "توجيهاً" (تعليمات). قد يرسم الفنان قطة رائعة، أو قطة غريبة، أو كلباً. حتى لو اجتاز بضعة اختبارات تجريبية، فقد يكون ذلك مجرد حظ، أو قد تكون التعليمات غير دقيقة تماماً بالنسبة للعالم الحقيقي.

2. نموذج "رمي العملة"

يتخيل المؤلفون كل مرة يعمل فيها البرنامج في اختبار ما، كأنها عملية رمي لعملة معدنية.

صورة (Heads): ينجح البرنامج في الاختبار.
كتابة (Tails): يفشل البرنامج في الاختبار.

الهدف هو تخمين مدى "ثقل" هذه العملة. هل هي عملة عادلة (50/50)؟ أم أنها عملة مخادعة تسقط دائماً على "الصورة" (100% نجاح)؟

3. الاكتشاف الكبير: "شكل" الماضي

قبل أن ننظر حتى إلى نتائج الاختبارات، نظر المؤلفون إلى تاريخ آلاف هذه البرامج ليروا كيف تبدو "أوزان العملات" الخاصة بها عادةً. وقد وجدوا شكلين مختلفين تماماً:

تاريخ الروبوت (الكل أو لا شيء):
تخيل الرسم البياني (Histogram) لجميع برامج الروبوت. يبدو كخطين عموديين عند الطرفين تماماً.
- العمود الأول: معظم الروبوتات مثالية (نجاح بنسبة 100%).
- العمود الثاني: معظم الروبوتات معطلة (نجاح بنسبة 0%).
- المنتصف: لا يوجد شيء تقريباً. الروبوتات نادراً ما تكون "جيدة نوعاً ما". فهي إما مثالية أو تفشل تماماً.
- التشبيه: إنه مثل مفتاح الضوء. إما "تشغيل" أو "إيقاف".
تاريخ المستقل المبدع (السحابة المنتشرة):
تخيل الرسم البياني لجميع برامج المستقل المبدع. يبدو كسحابة واسعة ومسطحة في المنتصف.
- هناك العديد من البرامج التي هي "صحيحة تقريباً" (70%، 80%، 90%).
- هناك عدد قليل جداً من البرامج المثالية، وعدد قليل جداً من الإخفاقات الكلية.
- التشبيه: إنه مثل مفتاح التحكم في شدة الإضاءة (Dimmer). معظم المستقلين المبدعين موجودون في مكان ما في المنتصف، وتتفاوت شدة إضاءتهم.

4. لماذا تخدعك بضعة اختبارات؟

يوضح هذا الاختلاف لماذا تكون بضعة اختبارات ناجحة مضللة للمستقل المبدع ولكنها مطمئنة للروبوت.

بالنسب للروبوت: إذا رأيته يجتاز 3 اختبارات، فأنت تعلم أنه من المرجح أن يكون واحداً من تلك "القمم المثالية". ولأن "المنطقة الوسطى" (حيث قد يكون جيداً فقط) غير موجودة، فإن اجتياز بضعة اختبارات هو ضمان قوي بأنه سيستمر في العمل.
للمستقل المبدع: إذا رأيته يجتاز 3 اختبارات، فقد يكون مجرد واحد من تلك البرامج "الجيدة نوعاً ما" التي حالفها الحظ. ولأن هناك سحابة ضخمة من البرامج "الجيدة نوعاً ما"، فإن اجتياز بضعة اختبارات لا يثبت أنه سيكون مثالياً لاحقاً. يمكنه بسهولة أن يفشل في الاختبار التالي.

5. الحل: RAP (أداة "البحث عن التشابه")

بما أننا لا نستطيع الوثوق ببضعة اختبارات للمستقل المبدع، فقد صمم المؤلفون أداة تسمى RAP (الرائد التقريبي السابق - Retrieved Approximate Prior).

فكر في RAP كأنه أمين مكتبة ذكي.

المشكلة: لديك توجيه (Prompt) لمستقل مبدع جديد وبعض نتائج الاختبارات. أنت لا تعرف ما إذا كان جيداً أم لا.
المكتبة: يمتلك RAP مكتبة ضخمة من "التوجيهات" و"المهام" الأخرى التي تم تجربتها من قبل.
البحث: ينظر RAP إلى التوجيه الجديد الخاص بك ويسأل: "من في المكتبة يشبهك أكثر؟". إنه يجد التوجيهات الأخرى التي حلت مشكلات مشابهة.
التنبؤ: بدلاً من التخمين بناءً على قاعدة عامة، ينظر RAP إلى كيفية أداء تلك التوجيهات "المشابهة" في الماضي. إنه يبني "خريطة تخمين" (Prior) مخصصة لتوجيهك أنت تحديداً.
التحديث: بينما تقوم بتشغيل المزيد من الاختبارات، يقوم RAP بتحديث تخمينه.

النتيجة: RAP أفضل بكثير في التنبؤ بما إذا كان المستقل المبدع سينجح مقارنة بمجرد التخمين أو النظر إلى المكتبة بأكملها دفعة واحدة. إنه يتكيف مع نوع المهمة التي تقوم بها تحديداً.

الملخص

الروبوتات (الكود) ثنائية: إما مثالية أو معطلة. بضعة اختبارات تثبت أنها مثالية.
المستلون المبدعون (التوجيهات) متغيرون: غالباً ما يكونون "جيدين نوعاً ما". بضعة اختبارات لا تثبت مدى موثوقيتهم.
RAP يعالج هذا الأمر من خلال البحث عن أمثلة سابقة مشابهة لجعل تخمين أكثر ذكاءً حول مدى جودة عمل التوجيه الجديد، بدلاً من الاعتماد فقط على بضعة جولات اختبارية محظوظة.

ملخص تقني: التنبؤ بأداء البرامج الرمزية والبرامج المعتمدة على التلقين مع الأمثلة

بيان المشكلة

يُستخدم التلقين (Prompting) في النماذج اللغوية الكبيرة (LLM) على نطاق واسع للمهام المصاغة بشكل طبيعي، ولكنه يعاني من عدم الموثوقية؛ فقد يجتاز التلقين بضعة حالات اختبار، لكنه قد يفشل بشكل غير متوقع عند النشر. في المقابل، تُعتبر البرامج الرمزية (مثل لغة بايثون أو التعبيرات النمطية - Regex) موثوقة غالباً بمجرد اجتيازها لبضع حالات اختبار تمثيلية. يبحث هذا البحث في السؤال الجوهري: لماذا تضمن بضعة اختبارات ناجحة البرامج الرمزية ولا تضمن برامج التلقين؟

يصيغ المؤلفون هذا كـ مشكلة تنبؤ بالأداء: بالنظر إلى برنامج (سواء كان رمزياً أو تلقيناً يتم تنفيذه بواسطة نموذج لغوي كبير) ومجموعة صغيرة من نتائج التنفيذ داخل النطاق (نجاح/فشل)، يتم التنبؤ بأدائه الحقيقي ( $\theta$ ) على مهام غير مرئية من نفس النطاق. الهدف هو استنتاج التوزيع البعدي لمعدل نجاح البرنامج لتحديد مستويات القابلية للنشر والثقة.

المنهجية

1. الإطار النظري: نموذج رمي العملة

يتبنى المؤلفون نهجاً بايزياً (Bayesian approach)، حيث يتم نمذجة تنفيذ كل برنامج على حالة اختبار كمتغير عشوائي برنولي مستقل (عملية رمي عملة).

الملاحظة ( $O$ ): مجموعة تتكون من $a$ من النجاحات و $b$ من الإخفاقات.
الاحتمالية (Likelihood): $P(O|\theta) \propto \theta^a (1-\theta)^b$ .
التوزيع البعدي (Posterior): $P(\theta|O) \propto P(\theta) \cdot \theta^a (1-\theta)^b$ .

الرؤية الحاسمة هي أنه بينما يمكن حساب الاحتمالية بسهولة، فإن الاحتمال القبلي للأداء $P(\theta)$ غير معروف وهو الذي يحدد التوزيع البعدي. يجادل البحث بأن الفرق في القدرة على التنبؤ بين البرامج الرمزية وبرامج التلقين ينبع تماماً من شكل الاحتمالات القبلية الخاصة بكل منهما.

2. الاحتمالات القبلية للأداء التجريبي

لفهم الاحتمالات القبلية، قام المؤلفون بتجميع مجموعة بيانات تضم 700 برنامج رمي (sp) و700 برنامج تلقين (pp) عبر مجالات متنوعة (مثل: Regex، HumanEval، ARC، وقواعد القوائم). قاموا بتقييم كل برنامج على 100 حالة عينة لتقدير أدائه الحقيقي.

البرامج الرمزية (sp): تظهر احتمالاً قبلياً من نوع "الكل أو لا شيء". التوزيع ثنائي المنوال بشكل حاد، ومركز حول $\theta=0.0$ (خاطئ تماماً) و $\theta=1.0$ (مثالي).
برامج التلقين (pp): تظهر احتمالاً قبلياً مشتتاً. هناك كتلة كبيرة في قيم الأداء المتوسطة، مما يمثل البرامج "شبه الصحيحة" التي قد تجتاز بضعة اختبارات عن طريق الصدفة ولكنها تفشل في اختبارات أخرى.

الاستنتاج: بالنسبة للبرامج الرمزية، تؤدي بض few نجاحات إلى نقل كتلة التوزيع البعدي بسرعة نحو 1.0، مما يوفر ثقة عالية. أما بالنسبة لبرامج التلقين، فإن نفس النجاحات لا تؤدي إلا إلى إزاحة طفيفة في الاحتمال القبلي المشتت، مما يترك الأداء الحقيقي غير مؤكد.

3. طريقة RAP (الاحتمال القبلي التقريبي المسترجع)

لمعالجة صعوبة التنبؤ بأداء برامج التلقين، يقترح المؤلفون RAP، وهي طريقة تعتمد على الاسترجاع لبناء احتمال قبلي خاص بالمهمة.

المدخلات: برنامج التلقين المستهدف ( $p_{target}$ )، مجموعة من الأمثلة المرصودة داخل النطاق ( $D$ )، ومجموعة من المهام والتلقينات ( $M$ ).
الاسترجاع:
1. المهام المشابهة: استرجاع أفضل $n$ من المهام من المجموعة التي تشبه الأمثلة المرصودة باستخدام التضمينات النصية (textual embeddings).
2. التلقينات المشابهة: استرجاع أفضل $K$ من برامج التلقين من المجموعة التي تظهر سلوكاً مشابهاً (الاتفاق على الصحة) لـ $p_{target}$ في المهام المسترجعة.
بناء الاحتمال القبلي: يُستخدم أداء التلقينات المسترجعة في المهام المسترجعة لبناء مزيج من توزيعات "بيتا" (Beta distributions) كاحتمال قبلي تقريبي.
التحديث: تقوم النتائج المرصودة ( $O$ ) بتحديث هذا المزيج القبلي عبر خاصية الترافق (conjugacy).
التحسين: تتضمن طريقة RAP ضبط قوة المكون (Component-wise Prior Strength Adjustment). حيث تقوم بتغيير مقاييس معاملات كل مكون من مكونات "بيتا" بناءً على مسافة "الأرض المحركة" (EMD) بين المكون المسترجع والاحتمال القبلي المستمد حصرياً من الملاحظات داخل النطاق. وهذا يمنع بيانات المجموعة غير ذات الصلة من تشويه التوزيع البعدي عندما تكون البيانات داخل النطاق شحيحة.

المساهمات الرئيسية

الصياغة الرسمية: يصيغ البحث التنبؤ بالأداء كاستدلال بايزي تحت نموذج رمي عملة بسيط، مع الفصل الصريح بين الاحتمالية (البيانات المرصودة) والاحتمال القبلي (خصائص نوع البرنامج).
الاكتشاف التجريبي: يقدم أول دليل تجريبي على أن البرامج الرمزية تمتلك احتمالاً قبلياً من نوع "الكل أو لا شيء"، بينما تمتلك برامج التلقين احتمالاً قبلياً مشتتاً مع كتلة كبيرة في الأداء المتوسط. وهذا يفسر فجوة الاعتماد (certification gap) بين نوعي البرامج.
الحل الخوارزمي: تقديم RAP، وهي طريقة تعتمد على الاسترجاع تبني احتمالاً قبلياً تقريبياً خاصاً بالنطاق من خلال مجموعة بيانات. وتتفوق RAP على النماذج المرجعية التي لا تستخدم مجموعة بيانات أو التي تستخدم المجموعة كاملة بشكل عشوائي.

النتائج

قيم المؤلفون طريقة RAP على 60 برنامج تلقين في إعدادات مختلفة (داخل النطاق وخارجه) باستخدام مقاييس كثافة الاحتمال عند الحقيقة الأرضية (SC) والخطأ المطلق (AE).

التفوق: تتفوق RAP باستمرار على النماذج المرجعية (بدون مجموعة بيانات، والمجموعة الكاملة) في كل من الإعدادات داخل النطاق وخارجه.
ميزة داخل النطاق: استخدام الأمثلة داخل النطاق في مجموعة البيانات يحسن دقة التنبؤ بشكل كبير، خاصة عندما يكون عدد حالات الاختبار المرصودة صغيراً.
টি التقارب: مع زيادة عدد الملاحظات داخل النطاق، تتقارب RAP بسلاسة نحو التوزيع البعدي التجريبي، مما يضمن أن حد الاحتمالية سيهيمن في النهاية على الاحتمال القبلي.
المتانة: تظل الطريقة قوية عبر خيارات المعلمات الفائقة (hyperparameters) المختلفة، وأحجام مجموعات البيانات، ونماذج LLM المستخدمة.

الأهمية والادعاءات

يدعي البحث أنه أول عمل يدرس التنبؤ بالأداء لكل من البرامج الرمزية وبرامج التلقين باستخدام إطار عمل بايزي موحد. تكمن أهميته الأساسية في:

تكميم الحدس: تقديم تفسير رياضي لسبب قدرة بضع حالات اختبار على اعتماد البرامج الرمزية دون برامج التلقين، وإرجاع ذلك إلى الاختلافات الهيكلية في احتمالاتها القبلية.
النشر العملي: تقديم طريقة (RAP) لتقدير الثقة في نشر برنامج تلقين عندما تتوفر بيانات اختبار محدودة فقط، وهو أمر بالغ الأهمية للإعدادات غير الحرجة حيث يكون أداء بنسبة 80% ذا قيمة ولكن يجب إدارة عدم اليقين.
القيود: يشير المؤلفون بتواضع إلى أن RAP هي "خط هجوم أول". وهم يقرون بأن استرجاع أفضل $K$ من الأزواج ذات الصلة يصبح مكلفاً حاسوبياً مع نمو حجم مجموعة البيانات، مما يشير إلى عمل مستقبلي في الاستعلام النشط والتقريبات منخفضة الرتبة لمجموعة مهام-التلقين.