💻 computer science

Predicting Performance of Symbolic and Prompt Programs with Examples

यह शोध पत्र RAP का प्रस्ताव करता है, जो एक प्रदर्शन भविष्यवाणी ढांचा (performance prediction framework) है जो एक अनुमानित पूर्व ज्ञान (approximate prior) के निर्माण के लिए पुनर्प्राप्त समान कार्यों और प्रॉम्प्ट प्रोग्रामों का लाभ उठाता है, जो LLM प्रॉम्प्टिंग की अविश्वसनीयता को संबोधित करते हुए इसके विसरित प्रदर्शन वितरण (diffuse performance distribution) को प्रतीकात्मक प्रोग्रामों (symbolic programs) की "सब-या-कुछ-नहीं" (all-or-nothing) प्रकृति से प्रभावी ढंग से अलग करता है।

मूल लेखक: Chengqi Zheng, Keya Hu, Shuzhi Liu, Tao Wu, Kevin Ellis, Yewen Pu

प्रकाशित 2026-05-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chengqi Zheng, Keya Hu, Shuzhi Liu, Tao Wu, Kevin Ellis, Yewen Pu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक हायरिंग मैनेजर हैं जो यह तय करने की कोशिश कर रहे हैं कि क्या एक नया कर्मचारी एक बड़ी नौकरी के लिए तैयार है। आपके पास दो प्रकार के उम्मीदवार हैं: द रोबोट (The Robot) (एक सिम्बोलिक प्रोग्राम, जैसे पायथन कोड) और द क्रिएटिव फ्रीलांसर (The Creative Freelancer) (एक प्रॉम्प्ट प्रोग्राम, जो किसी कार्य को करने के लिए AI को दिया गया एक निर्देश है)।

यह पेपर एक सरल प्रश्न पूछता है: यदि दोनों उम्मीदवार कुछ छोटे अभ्यास परीक्षणों (practice tests) में पास हो जाते हैं, तो क्या हम वास्तविक काम के लिए उन पर भरोसा कर सकते हैं?

लेखक कहते हैं: रोबोट के लिए हाँ, लेकिन फ्रीलांसर के लिए शायद नहीं। यहाँ इसका कारण दिया गया है, जो पेपर के अपने तर्क और उपमाओं (analogies) का उपयोग करता है।

1. "प्रोग्राम" के दो प्रकार

द रोबोट (सिम्बोलिक प्रोग्राम): यह एक सख्त कैलकुलेटर की तरह है। यदि आप इसे "2 + 2" बताते हैं, तो इसे "4" ही कहना होगा। यह कठोर नियमों का पालन करता है। यदि यह एक परीक्षण पास करता है, तो ऐसा इसलिए है क्योंकि इसने नियमों का पूरी तरह से पालन किया है।
द फ्रीलांसर (प्रॉम्प्ट प्रोग्राम): यह एक स्मार्ट लेकिन थोड़े अनिश्चित कलाकार को "एक बिल्ली बनाने" के लिए कहने जैसा है। आप कलाकार को एक प्रॉम्प्ट (निर्देश) देते हैं। कलाकार एक शानदार बिल्ली बना सकता है, एक अजीब बिल्ली बना सकता है, या एक कुत्ता भी बना सकता है। भले ही वे कुछ अभ्यास परीक्षणों में पास हो जाएं, वे शायद केवल भाग्यशाली रहे हों, या वास्तविक दुनिया के लिए निर्देश थोड़े गलत हो सकते हैं।

2. "सिक्का उछालने" का मॉडल (The "Coin Flip" Model)

लेखक कल्पना करते हैं कि जब भी प्रोग्राम एक परीक्षण चलाता है, तो यह सिक्का उछालने जैसा होता है।

हेड्स (Heads): प्रोग्राम सही उत्तर देता है।
टेल्स (Tails): प्रोग्राम गलत उत्तर देता है।

लक्ष्य यह अनुमान लगाना है कि "सिक्का कितना भारी" (weighted) है। क्या यह एक निष्पक्ष सिक्का (50/50) है? या यह एक जादुई सिक्का है जो हमेशा हेड्स (100% सफलता) पर आता है?

3. बड़ी खोज: अतीत का "आकार" (The "Shape" of the Past)

परीक्षणों के परिणामों को देखने से पहले, लेखकों ने हजारों ऐसे प्रोग्रामों के इतिहास को देखा कि उनके "सिक्के के वजन" (coin weights) आमतौर पर कैसे दिखते हैं। उन्होंने पाया कि दो बहुत अलग आकार हैं:

रोबोट का इतिहास (सब-कुछ-या-कुछ-नहीं - All-or-Nothing):
कल्पना कीजिए कि सभी रोबोट प्रोग्रामों का एक हिस्टोग्राम (histogram) है। यह बिल्कुल सिरों पर दो ऊंचे स्पाइक्स (spikes) जैसा दिखता है।
- स्पाइक 1: अधिकांश रोबोट परफेक्ट (100% सफलता) हैं।
- स्पाइक 2: अधिकांश रोबोट टूटे हुए (0% सफलता) हैं।
- बीच का हिस्सा: लगभग कुछ भी नहीं। रोबोट शायद ही कभी "ठीक-ठाक" होते हैं। वे या तो परफेक्ट होते हैं या पूरी तरह विफल हो जाते हैं।
- उपमा: यह एक लाइट स्विच की तरह है। यह या तो चालू (ON) है या बंद (OFF)।
फ्रीलांसर का इतिहास (विस्तृत बादल - The Diffuse Cloud):
कल्पना कीजिए कि सभी फ्रीलांसर प्रोग्रामों का एक हिस्टोग्राम है। यह बीच में एक चौड़े, सपाट बादल जैसा दिखता है।
- कई प्रोग्राम "लगभग सही" (70%, 80%, 90%) होते हैं।
- बहुत कम प्रोग्राम परफेक्ट होते हैं, और बहुत कम प्रोग्राम पूरी तरह से विफल होते हैं।
- उपमा: यह एक डिमर स्विच (dimmer switch) की तरह है। अधिकांश फ्रीलांसर बीच में कहीं होते हैं, जिनकी चमक बदलती रहती है।

4. कुछ परीक्षण आपको धोखा क्यों देते हैं

यह अंतर समझाता है कि क्यों कुछ पास होने वाले परीक्षण फ्रीलांसर के लिए भ्रामक हैं लेकिन रोबोट के लिए आश्वस्त करने वाले हैं।

रोबोट के लिए: यदि आप देखते हैं कि यह 3 परीक्षण पास करता है, तो आप जानते हैं कि यह संभवतः उन "परफेक्ट" स्पाइक्स में से एक है। क्योंकि "बीच का रास्ता" (जहाँ यह केवल ठीक-ठाक हो सकता है) मौजूद ही नहीं है, इसलिए कुछ परीक्षण पास करना इस बात की मजबूत गारंटी है कि यह काम करना जारी रखेगा।
फ्रीलांसर के लिए: यदि आप देखते हैं कि यह 3 परीक्षण पास करता है, तो यह संभव है कि यह उन "लगभग सही" प्रोग्रामों में से एक हो जो भाग्यशाली रहे। क्योंकि "लगभग सही" प्रोग्रामों का एक विशाल बादल मौजूद है, इसलिए कुछ परीक्षण पास करना यह साबित नहीं करता कि यह बाद में भी परफेक्ट होगा। यह अगले परीक्षण पर आसानी से विफल हो सकता है।

5. समाधान: RAP (एक "समानता खोज" टूल)

चूंकि हम फ्रीलांसर के लिए कुछ परीक्षणों पर भरोसा नहीं कर सकते, इसलिए लेखकों ने RAP (रिट्रीव्ड एप्रोक्सिमेट प्रायोर - Retrieved Approximate Prior) नामक एक टूल बनाया है।

RAP को एक स्मार्ट लाइब्रेरियन के रूप में सोचें।

समस्या: आपके पास एक नया फ्रीलांसर प्रॉम्प्ट और कुछ परीक्षण परिणाम हैं। आप नहीं जानते कि वह अच्छा है या नहीं।
लाइब्रेरी: RAP के पास अन्य प्रॉम्प्ट्स और कार्यों की एक विशाल लाइब्रेरी है जिन्हें पहले आज़माया गया है।
खोज: RAP आपके नए प्रॉम्प्ट को देखता है और पूछता है, "लाइब्रेरी में कौन सा व्यक्ति आपके सबसे समान है?" यह उन अन्य प्रॉम्प्ट्स को खोजता है जिन्होंने समान समस्याओं को हल किया था।
भविềnवाणी (Prediction): एक सामान्य नियम के आधार पर अनुमान लगाने के बजाय, RAP देखता है कि उन समान प्रॉम्प्ट्स ने अतीत में कैसा प्रदर्शन किया था। यह विशेष रूप से आपके प्रॉम्प्ट के लिए एक कस्टम "अनुमान मानचित्र" (prior) बनाता है।
अपडेट: जैसे-जैसे आप अधिक परीक्षण चलाते हैं, RAP अपने अनुमान को अपडेट करता है।

परिणाम: RAP यह अनुमान लगाने में बहुत बेहतर है कि एक फ्रीलांसर सफल होगा या नहीं, बजाय इसके कि केवल एक सामान्य अनुमान लगाया जाए या पूरी लाइब्रेरी को एक साथ देखा जाए। यह आपके विशिष्ट कार्य के प्रकार के अनुसार खुद को ढाल लेता है।

सारांश

रोबोट (कोड) बाइनरी (binary) होते हैं: वे या तो परफेक्ट होते हैं या टूटे हुए। कुछ परीक्षण यह साबित करने के लिए पर्याप्त हैं कि वे परफेक्ट हैं।
फ्रीलांसर (प्रॉम्प्ट्स) परिवर्तनशील होते हैं: वे अक्सर "लगभग अच्छे" होते हैं। कुछ परीक्षण यह साबित नहीं करते कि वे विश्वसनीय हैं।
RAP इसे ठीक करता है क्योंकि यह एक नया प्रॉम्प्ट कितना अच्छा काम करेगा, इसके बारे में स्मार्ट अनुमान लगाने के लिए पिछले समान उदाहरणों को देखता है, बजाय इसके कि केवल कुछ भाग्यशाली परीक्षणों पर निर्भर रहे।

तकनीकी सारांश: उदाहरणों के साथ सिम्बोलिक और प्रॉम्प्ट प्रोग्राम्स के प्रदर्शन की भविष्यवाणी करना

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) प्रॉम्प्टिंग को स्वाभाविक रूप से बताए गए कार्यों के लिए व्यापक रूप से अपनाया जाता है, लेकिन यह अविश्वसनीयता से ग्रस्त है; एक प्रॉम्प्ट कुछ परीक्षण मामलों (test cases) में पास हो सकता है, फिर भी परिनियोजन (deployment) के समय अप्रत्याशित रूप से विफल हो सकता है। इसके विपरीत, सिम्बोलिक प्रोग्राम (जैसे, Python, regex) को अक्सर विश्वसनीय माना जाता है यदि वे कुछ प्रतिनिधि परीक्षण मामलों को पास कर लेते हैं। यह शोध पत्र इस मौलिक प्रश्न की जांच करता है: कुछ पास होने वाले टेस्ट केस सिम्बोलिक प्रोग्राम्स को प्रमाणित करते हैं लेकिन प्रॉम्प्ट प्रोग्राम्स को क्यों नहीं करते?

लेखक इसे एक प्रदर्शन भविष्यवाणी समस्या (performance prediction problem) के रूप में देखते हैं: एक प्रोग्राम (या तो सिम्बोलिक या एक LLM द्वारा निष्पादित प्रॉम्प्ट) और इन-डोमेन निष्पादन परिणामों (पास/फेल) के एक छोटे सेट को देखते हुए, उसी डोमेन के अनदेखे कार्यों पर उसके वास्तविक प्रदर्शन ( $\theta$ ) की भविष्यवाणी करना। लक्ष्य प्रोग्राम की सफलता दर पर एक पोस्टीरियर डिस्ट्रीब्यूशन (posterior distribution) का अनुमान लगाना है ताकि परिनियोजन क्षमता और विश्वास के स्तर को निर्धारित किया जा सके।

कार्यप्रणाली (Methodology)

1. सैद्धांतिक ढांचा: कॉइन-फ्लिप मॉडल (The Coin-Flip Model)

लेखक एक बेयसियन दृष्टिकोण अपनाते हैं, जिसमें प्रत्येक प्रोग्राम निष्पादन को एक टेस्ट केस पर एक स्वतंत्र बर्नौली रैंडम वेरिएबल (एक "सिक्का उछाल" या "coin flip") के रूप में मॉडल किया जाता है।

अवलोकन (Observation - $O$ ): $a$ पास और $b$ फेल का एक सेट।
लाइकलीहुड (Likelihood): $P(O|\theta) \propto \theta^a (1-\theta)^b$ ।
पोस्टीरियर (Posterior): $P(\theta|O) \propto P(\theta) \cdot \theta^a (1-\theta)^b$ ।

महत्वपूर्ण अंतर्दृष्टि यह है कि जबकि लाइकलीहुड को आसानी से गणना किया जा सकता है, परफॉरमेंस प्रायर (performance prior) $P(\theta)$ अज्ञात है और पोस्टीरियर डिस्ट्रीब्यूशन को निर्धारित करता है। पेपर का तर्क है कि सिम्बोलिक और प्रॉम्प्ट प्रोग्राम्स के बीच भविष्यवाणी करने की क्षमता में अंतर पूरी तरह से उनके संबंधित प्रायर्स (priors) के आकार से उपजा है।

2. अनुभवजन्य प्रदर्शन प्रायर (Empirical Performance Priors)

प्रायर्स को समझने के लिए, लेखकों ने विविध डोमेन (जैसे, Regex, HumanEval, ARC, List Rules) में 700 सिम्बोलिक प्रोग्राम्स (sp) और 700 प्रॉम्प्ट प्रोग्राम्स (pp) का एक संग्रह तैयार किया। उन्होंने प्रत्येक प्रोग्राम का वास्तविक प्रदर्शन अनुमान लगाने के लिए 100 सैंपल किए गए इंस्टेंस पर उसका मूल्यांकन किया।

सिम्बोलिक प्रोग्राम्स (sp): एक "ऑल-ऑर-नथिंग" (सब-या-कुछ-नहीं) प्रायर प्रदर्शित करते हैं। वितरण द्वि-आयामी (bimodal) है, जो $\theta=0.0$ (पूरी तरह से गलत) और $\theta=1.0$ (पूर्णतः सही) के पास केंद्रित है।
प्रॉम्प्ट प्रोग्राम्स (pp): एक विस्तृत (diffuse) प्रायर प्रदर्शित करते हैं। मध्यवर्ती प्रदर्शन मानों पर पर्याप्त द्रव्यमान (mass) होता है, जो "लगभग-सही" प्रोग्राम्स का प्रतिनिधित्व करता है जो भाग्यवश कुछ टेस्ट पास कर सकते हैं लेकिन अन्य पर विफल हो जाते हैं।

निहितार्थ: सिम्बोलिक प्रोग्राम्स के लिए, कुछ सफलताएं पोस्टीरियर मास को तेजी से 1.0 की ओर ले जाती हैं, जिससे उच्च विश्वास प्राप्त होता है। प्रॉम्प्ट प्रोग्राम्स के लिए, वही सफलताएं विस्तृत प्रायर को केवल थोड़ा ही बदल पाती हैं, जिससे वास्तविक प्रदर्शन अनिश्चित बना रहता है।

3. RAP (रिट्रीव्ड एप्रोक्सिमेट प्रायर)

प्रॉम्प्ट प्रोग्राम के प्रदर्शन की भविष्यवाणी करने की कठिनाई को दूर करने के लिए, लेखक एक कार्य-विशिष्ट प्रायर बनाने के लिए एक रिट्रीवल-आधारित विधि RAP का प्रस्ताव करते हैं।

इनपुट: एक लक्षित प्रॉम्प्ट प्रोग्राम ( $p_{target}$ ), इन-डोमेन उदाहरणों का एक सेट ( $D$ ), और कार्यों एवं प्रॉम्प्ट्स का एक संग्रह ( $M$ )।
रिट्रीवल (Retrieval):
1. समान कार्य (Similar Tasks): टेक्स्टुअल एम्बेडिंग्स का उपयोग करके संग्रह से समान दिखने वाले शीर्ष- $n$ कार्यों को पुनः प्राप्त करें।
2. समान प्रॉम्प्ट (Similar Prompts): संग्रह से शीर्ष- $K$ प्रॉम्प्ट प्रोग्राम्स को पुनः प्राप्त करें जो रिट्रीव किए गए कार्यों पर $p_{target}$ के समान व्यवहार (सत्यता पर सहमति) प्रदर्शित करते हैं।
प्रायर निर्माण (Prior Construction): रिट्रीव किए गए प्रॉम्प्ट्स के रिट्रीव किए गए कार्यों पर प्रदर्शन का उपयोग बीटा डिस्ट्रीब्यूशंस के मिश्रण के रूप में अनुमानित प्रायर बनाने के लिए किया जाता है।
अपडेट (Update): देखे गए परिणाम ( $O$ ) इस मिश्रण प्रायर को कंजुगेसी (conjugacy) के माध्यम से अपडेट करते हैं।
परिष्करण (Refinement): RAP में एक कंपोनेंट-वाइज प्रायर स्ट्रेंथ एडजस्टमेंट शामिल है। यह रिट्रीव किए गए कंपोनेंट और केवल इन-डोमेन अवलोकनों से प्राप्त प्रायर के बीच अर्थ मूवर्स डिस्टेंस (Earth Mover's Distance - EMD) के आधार पर प्रत्येक बीटा कंपोनेंट के पैरामीटर्स को स्केल करता है। यह अप्रासंगिक संग्रह डेटा को पोस्टीरियर को विकृत करने से रोकता है जब इन-डोमेन डेटा कम होता है।

मुख्य योगदान (Key Contributions)

औपचारिकीकरण (Formalization): यह पेपर एक सरल कॉइन-फ्लिप मॉडल के तहत बेयसियन इन्फरेंस के रूप में प्रदर्शन भविष्यवाणी को औपचारिक रूप देता है, जो स्पष्ट रूप से लाइकलीहुड (अवलोकित डेटा) को प्रायर (प्रोग्राम प्रकार की विशेषताएं) से अलग करता है।
अनुभवजन्य खोज (Empirical Discovery): यह पहला अनुभवजन्य प्रमाण प्रदान करता है कि सिम्बोलिक प्रोग्राम्स का "ऑल-ऑर-नथिंग" प्रदर्शन प्रायर होता है, जबकि प्रॉम्प्ट प्रोग्राम्स का प्रायर मध्यवर्ती प्रदर्शन वाले द्रव्यमान के साथ विस्तृत होता है। यह दोनों प्रकार के प्रोग्राम्स के बीच सर्टिफिकेशन गैप की व्याख्या करता है।
एल्गोरिद्मिक समाधान (Algorithmic Solution): एक संग्रह से एक अनुमानित डोमेन-विशिष्ट प्रायर बनाने वाली रिट्रीवल-आधारित विधि RAP का परिचय। RAP, बिना संग्रह वाले और पूरे संग्रह का सहजता से उपयोग करने वाले बेसलाइन की तुलना में बेहतर प्रदर्शन करता है।

परिणाम (Results)

लेखकों ने विभिन्न सेटिंग्स (इन-डोमेन और आउट-ऑफ-डोमेन) में 60 प्रॉम्प्ट प्रोग्राम्स पर ग्राउंड ट्रुथ एट डेंसिटी (SC) और एब्सोल्यूट एरर (AE) मेट्रिक्स का उपयोग करके RAP का मूल्यांकन किया।

श्रेष्ठता: RAP इन-डोमेन और आउट-ऑफ-डोमेन दोनों सेटिंग्स में 'नो-कॉर्पस' और 'ऑल-कॉर्पस' बेसलाइन की तुलना में लगातार बेहतर प्रदर्शन करता है।
इन-डोमेन लाभ: संग्रह में इन-डोमेन उदाहरणों का उपयोग करने से भविष्यवाणी की सटीकता में काफी सुधार होता है, विशेष रूप से तब जब देखे गए टेस्ट केस की संख्या कम होती है।
अभिसरण (Convergence): जैसे-जैसे इन-डोमेन अवलोकनों की संख्या बढ़ती है, RAP सहजता से अनुभवजन्य पोस्टीरियर की ओर अभिसरित होता है, जिससे यह सुनिश्चित होता है कि लाइकलीहुड टर्म अंततः प्रायर पर हावी हो जाए।
मजबूती (Robustness): विधि विभिन्न हाइपरपैरामीटर विकल्पों, संग्रह के आकार और LLM बैकबोन के बावजूद मजबूत बनी रहती है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह एक एकीकृत बेयसियन फ्रेमवर्क का उपयोग करके सिम्बोलिक और प्रॉम्प्ट दोनों प्रोग्राम्स के लिए प्रदर्शन भविष्यवाणी का अध्ययन करने वाला पहला कार्य है। इसका प्राथमिक महत्व है:

अंतर्ज्ञान को मात्रात्मक बनाना (Quantifying Intuition): यह गणितीय स्पष्टीकरण प्रदान करना कि कुछ टेस्ट केस सिम्बोलिक कोड को प्रमाणित करते हैं लेकिन प्रॉम्प्ट्स को क्यों नहीं, जिसका श्रेय उनके प्रदर्शन प्रायर्स के संरचनात्मक अंतर को दिया जाता है।
व्यावहारिक परिनियोजन (Practical Deployment): जब केवल सीमित टेस्ट डेटा उपलब्ध हो, तो एक प्रॉम्प्ट प्रोग्राम को तैनात करने के आत्मविश्वास का अनुमान लगाने के लिए एक विधि (RAP) प्रदान करना, जो गैर-क्रिटिकल सेटिंग्स के लिए एक महत्वपूर्ण आवश्यकता है जहाँ 80% प्रदर्शन मूल्यवान है लेकिन अनिश्चितता का प्रबंधन किया जाना चाहिए।
सीमाएं (Limitations): लेखक विनम्रतापूर्वक नोट करते हैं कि RAP एक "प्रथम प्रहार" (first line of attack) है। वे स्वीकार करते हैं कि जैसे-जैसे संग्रह बढ़ता है, शीर्ष- $K$ प्रासंगिक पेयर्स को पुनः प्राप्त करना कम्प्यूटेशनल रूप से महंगा हो जाता है, जो सक्रिय क्वेरीइंग (active querying) और टास्क-प्रॉम्प्ट संग्रह के लो-रैंक एप्रोक्सिमेशन (low-rank approximations) में भविष्य के कार्य का सुझाव देता है।