💬 NLP

Inference-Aware Prompt Optimization for Aligning Black-Box Large Language Models

यह शोध पत्र IAPO को प्रस्तुत करता है, जो एक नया फ्रेमवर्क है जो ब्लैक-बॉक्स लार्ज लैंग्वेज मॉडल्स को उपयोगकर्ता की प्राथमिकताओं और कम्प्यूटेशनल बजट के साथ बेहतर ढंग से संरेखित करने के लिए प्रॉम्प्ट्स और इन्फरेंस स्केलिंग रणनीतियों (जैसे कि Best-of-N सैंपलिंग) को संयुक्त रूप से अनुकूलित करता है।

मूल लेखक: Saaduddin Mahmud, Mason Nakamura, Kyle Hollins Wray, Shlomo Zilberstein

प्रकाशित 2026-02-11

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Saaduddin Mahmud, Mason Nakamura, Kyle Hollins Wray, Shlomo Zilberstein

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बड़ी पार्टी के लिए खाना पकाने के लिए एक पेशेवर शेफ को काम पर रख रहे हैं। आपके पास भोजन को उत्तम बनाने के दो तरीके हैं:

रेसिपी (द प्रॉम्प्ट): आप शेफ को एक बहुत ही विशिष्ट रेसिपी दे सकते हैं।
टेस्टिंग (इन्फरेंस स्केलिंग): आप शेफ से व्यंजन के पांच अलग-अलग संस्करण बनाने के लिए कह सकते हैं और फिर उनमें से सबसे अच्छा चुन सकते हैं।

अब तक, अधिकांश लोगों ने केवल एक चीज़ पर ध्यान केंद्रित करके इसे हल करने की कोशिश की है। या तो वे पूरी रेसिपी को बेहतर बनाने में अपना सारा समय बिताते हैं, या वे बस शेफ को कहते हैं, "दस संस्करण बनाओ और सबसे अच्छा चुनो।"

समस्या क्या है? वे आपस में बात नहीं कर रहे हैं। एक रेसिपी जो एक त्वरित व्यंजन के लिए पूरी तरह से काम करती है, वह वास्तव में एक बहुत खराब रेसिपी हो सकती है यदि शेफ दस संस्करण बनाने और सबसे अच्छा चुनने की योजना बना रहा है। कुछ रेसिपी "स्थिर" और सुसंगत होती हैं, जबकि अन्य "उच्च-जोखिम, उच्च-पुरस्कार" वाली होती हैं—वे अक्सर विफल हो सकती हैं, लेकिन जब वे सफल होती हैं, तो वे शानदार होती हैं।

यह पेपर IAPO पेश करता है, जो रेसिपी और टेस्टिंग प्रक्रिया दोनों को एक साथ अनुकूलित (optimize) करने का एक तरीका है।

मुख्य विचार: "स्मार्ट पार्टी प्लानर"

IAPO को एक स्मार्ट पार्टी प्लानर के रूप में सोचें। केवल एक रेसिपी चुनने के बजाय, प्लानर आपकी विशिष्ट स्थिति ( "संदर्भ" या "Context") को देखता है:

आपका बजट: "मेरे पास सामग्री के लिए केवल $50 हैं।"
आपकी प्राथमिकताएं: "मुझे भोजन के शानदार होने की तुलना में उसके स्वस्थ होने की अधिक परवाह है।"

स्मार्ट प्लानर केवल एक रेसिपी नहीं चुनता; वह यह निर्णय भी लेता है: "चूंकि आपका बजट कम है, इसलिए मैं इस सरल, विश्वसनीय रेसिपी का उपयोग करूँगा और केवल एक संस्करण बनाऊँगा। लेकिन चूंकि आपका बजट बहुत बड़ा है और आप पूर्णता चाहते हैं, इसलिए मैं इस जटिल, प्रयोगात्मक रेसिपी का उपयोग करूँगा और 20 संस्करण बनाऊँगा, फिर सबसे अच्छा वाला चुनूँगा।"

सीक्रेट सॉस: PSST ("ट्रिमिंग" विधि)

प्लानर यह कैसे सीखता है कि कौन सी रेसिपी और कौन सी टेस्टिंग रणनीति सबसे अच्छा काम करती है, बिना आपके सभी पैसे खर्च किए हर एक संयोजन का परीक्षण किए? वे PSST (प्रॉम्प्ट स्केलिंग वाया सीक्वेंशियल ट्रिमिंग) का उपयोग करते हैं।

कल्पना कीजिए कि आपके पास टेस्ट करने के लिए 100 अलग-अलग रेसिपी हैं। आपके पास उन सभी 100 रेसिपी के सभी संस्करणों को पकाने के लिए पैसे नहीं हैं।

इसके बजाय, प्लानर एक "टूर्नामेंट ऑफ फ्लेवर्स" करता है:

राउंड 1: वे हर रेसिपी का थोड़ा सा हिस्सा पकाते हैं।
कट (छंटनी): वे तुरंत उन निचले 50% रेसिपी को फेंक देते हैं जिनका स्वाद बहुत खराब था।
राउंड 2: वे बचे हुए "उत्तरजीवियों" (survivors) को लेते हैं और उन्हें थोड़ा बड़ा हिस्सा पकाते हैं।
कट (छंटनी): वे फिर से निचले आधे हिस्से को फेंक देते हैं।
फ़िनाले: वे तब तक इसे जारी रखते हैं जब तक कि केवल चैंपियन रेसिपी और "टेस्टिंग" की सही मात्रा शेष न रह जाए।

इन हारने वालों को जल्दी "ट्रिम" करके, वे आपके स्वाद को संतुष्ट करने के लिए सबसे अच्छा तरीका खोजने के साथ-साथ बहुत सारा पैसा (या "कंप्यूटेशनल बजट") बचाते हैं।

यह क्यों मायने रखता है?

AI (लार्ज लैंग्वेज मॉडल्स) की दुनिया में, "खाना पकाने" में पैसा और बिजली लगती है।

पुराना तरीका: लोग या तो बहुत कंजूस थे (बुरे परिणाम) या बहुत फिजूलखर्ची करने वाले (बहुत अधिक पैसा खर्च करना)।
IAPO का तरीका: AI "इन्फरेंस-अवेयर" (inference-aware) बन जाता है। वह जानता है कि यदि उससे "गहराई से सोचने" (अधिक सैंपल जेनरेट करने) के लिए कहा जाएगा, तो उसे एक अलग प्रकार के निर्देशों का उपयोग करना चाहिए बजाय इसके कि वह एक त्वरित, वन-शॉट उत्तर दे।

संक्षेप में: यह पेपर AI को कुशल होना सिखाता है, जिससे वह समय होने पर स्मार्ट बनता है, और जब उसे तेज़ होने की आवश्यकता होती है तो विश्वसनीय बनता है, और यह सब आपके बजट का सम्मान करते हुए किया जाता है।

तकनीकी सारांश: ब्लैक-बॉक्स LLMs को संरेखित करने के लिए इन्फरेंस-अवेयर प्रॉम्प्ट ऑप्टिमाइज़ेशन

1. समस्या विवरण (Problem Statement)

यह शोध पत्र ब्लैक-बॉक्स लार्ज लैंग्वेज मॉडल्स (LLMs) को संरेखित (align) करने में एक महत्वपूर्ण पद्धतिगत अंतराल को संबोधित करता है। वर्तमान में, ब्लैक-बॉक्स संरेखण के लिए दो प्राथमिक प्रतिमान (paradigms) उपयोग किए जाते हैं:

प्रॉम्प्ट ऑप्टिमाइज़ेशन (Prompt Optimization): आउटपुट को कार्य उद्देश्यों के साथ संरेखित करने के लिए निर्देशों को फिर से लिखना या जोड़ना।
इन्फरेंस स्केलिंग (Inference Scaling): बेहतर आउटपुट के लिए अतिरिक्त गणना (computation) का उपयोग करके प्रदर्शन में सुधार करने के लिए Best-of-N (BoN) सैंपलिंग या मेजोरिटी वोटिंग (Majority Voting - MV) जैसी रणनीतियों का उपयोग करना।

लेखक पहचानते हैं कि मौजूदा प्रॉम्प्ट ऑप्टिमाइज़ेशन विधियाँ इन्फरेंस-स्ट्रैटेजी अगनोस्टिक (inference-strategy agnostic) हैं। वे इस बात पर विचार किए बिना प्रॉम्प्ट को अनुकूलित करते हैं कि मॉडल के आउटपुट को कैसे एकत्रित (aggregate) किया जाएगा (जैसे, वोटिंग या रैंकिंग के माध्यम से) या उपलब्ध कम्प्यूटेशनल बजट क्या है। उनका अनुभवजन्य विश्लेषण (empirical analysis) दिखाता है कि एक प्रॉम्प्ट जो सिंगल-शॉट डिकोडिंग (N=1) के लिए अनुकूलित है, वह BoN या MV के तहत खराब प्रदर्शन कर सकता है, और "सर्वश्रेष्ठ" प्रॉम्प्ट उपयोगकर्ता के कम्प्यूटेशनल बजट और बहु-उद्देश्यीय प्राथमिकताओं (जैसे, हेल्पफुलनेस और हार्मलेसनेस के बीच ट्रेड-ऑफ) के आधार पर बदल जाता है।

2. कार्यप्रणाली (Methodology)

लेखक एक एकीकृत ढांचा प्रस्तावित करते हैं जिसे IAPO (Inference-Aware Prompt Optimization) कहा जाता है।

A. औपचारिकीकरण (Formalization):
IAPO एक प्रॉम्प्ट, डिकोडिंग हाइपरपैरामीटर्स और नमूनों की संख्या ( $N$ ) के चयन को कॉन्टेक्स्टुअल बेस्ट-आर्म आइडेंटिफिकेशन (Contextual Best-Arm Identification - BAI) समस्या में एक एकल "आर्म" (arm) के रूप में मानता है। इसका लक्ष्य एक ऐसी पॉलिसी $\pi$ सीखना है जो उपयोगकर्ता के कॉन्टेक्स्ट $c$ (जिसमें प्राथमिकताएं और बजट बाधाएं शामिल हैं) को एक इष्टतम कॉन्फ़िगरेशन $a = (p, g, N)$ से मैप करती है।

B. PSST एल्गोरिदम:
एक निश्चित प्रशिक्षण बजट $T$ के तहत इसे हल करने के लिए, लेखक PSST (Prompt Scaling via Sequential Trimming) पेश करते हैं। मानक BAI एल्गोरिदम के विपरीत, PSST को IAPO ढांचे के अद्वितीय संरचनात्मक गुणों का लाभ उठाने के लिए डिज़ाइन किया गया है:

एसिमेट्रिक पुल कॉस्ट (Asymmetric Pull Cost): बड़े $N$ मानों की लागत अधिक होती है।
क्रॉस-कॉन्टेक्स्ट रियूज (Cross-Context Reuse): एक ही $N$ पूर्णता (completions) का उपयोग कई उपयोगकर्ता कॉन्टेक्स्ट के लिए रिवॉर्ड का अनुमान लगाने के लिए किया जा सकता है।
नेस्टेड सैंपल रियूज (Nested Sample Reuse): बड़े $N$ से प्राप्त नमूनों को छोटे $N$ मानों के लिए रिवॉर्ड का अनुमान लगाने के लिए विभाजित किया जा सकता है (उदाहरण के लिए, ब्लॉक रियूज के माध्यम से $N=10$ के नमूनों का उपयोग $N=5$ का अनुमान लगाने के लिए करना)।

PSST एक स्ट्रक्चर-अवेयर एलोकेशन पॉलिसी का उपयोग करता है जो प्रत्येक प्रॉम्प्ट के लिए अधिकतम जीवित स्केल (surviving scale) को प्राथमिकता देता है, जिससे कुशल बजट उपयोग सुनिश्चित होता है।

C. टॉप-K स्क्रीनिंग (हेयुरिस्टिक):
कम बजट वाले परिदृश्यों में दक्षता में सुधार के लिए, लेखक एक "वार्म-अप" हेयुरिस्टिक प्रस्तावित करते हैं जो पूर्ण PSST एल्गोरिदम चलाने से पहले स्पष्ट रूप से उप-इष्टतम (suboptimal) उम्मीदवारों को हटाने के लिए $N=1$ पर एक त्वरित, यूनिफॉर्म स्क्रीनिंग करता है।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक ढांचा: प्रॉम्प्ट डिजाइन और इन्फरेंस-टाइम एग्रीगेशन के बीच परस्पर निर्भरता को औपचारिक रूप देता है।
एल्गोरिदम डिज़ाइन: PSST पेश करता है, जो एक फिक्स्ड-बजट ट्रेनिंग एल्गोरिदम है जो विभिन्न स्केल्स और कॉन्टेक्स्ट के बीच सैंपल रियूज का लाभ उठाता है।
सैद्धांतिक गारंटी: PSST के लिए सीमित-बजट एरर प्रोबेबिलिटी गारंटी स्थापित करता है, यह सिद्ध करता है कि पर्याप्त बजट होने पर यह उच्च संभावना के साथ इष्टतम आर्म की पहचान कर सकता है।
अनुभवजन्य सत्यापन (Empirical Validation): छह विविध कार्यों (रीजनिंग, समराइजेशन और मल्टी-ऑब्जेक्टिव जनरेशन) में व्यापक मूल्यांकन प्रदान करता है।

4. परिणाम (Results)

छह वातावरणों (MATH, CommonsenseQA, और Helpful-Harmless सहित) में अनुभवजन्य मूल्यांकन ने कई प्रमुख निष्कर्ष दिए:

IAPO की श्रेष्ठता: IAPO विधियों ने इन्फरेंस-अग्नोस्टिक विधियों की तुलना में काफी बेहतर प्रदर्शन किया। विशेष रूप से, IAPO ने डिसजॉइंट ऑप्टिमाइज़ेशन से 25% तक और प्रॉम्प्ट-ओनली ऑप्टिमाइज़ेशन से 50% तक बेहतर प्रदर्शन किया।
डिसजॉइंट ऑप्टिमाइज़ेशन की विफलता: वे विधियाँ जो पहले प्रॉम्प्ट को अनुकूलित करती हैं और फिर $N$ का चयन करती हैं (या इसके विपरीत), अक्सर "भ्रामक" (deceptive) प्रॉम्प्टों में फंस जाती हैं—ऐसे प्रॉम्प्ट जो $N=1$ पर अच्छे दिखते हैं लेकिन बढ़ी हुई गणना के साथ अच्छी तरह से स्केल नहीं हो पाते।
PSST की प्रभावशीलता: PSST और टॉप-K स्क्रीनिंग हेयुरिस्टिक ने सभी डेटासेट्स पर मानक एक्सप्लोरेशन बेसलाइन्स (UCB, $\epsilon$ -greedy, Softmax) को लगातार पछाड़ दिया।
मजबूती (Robustness): टॉप-K स्क्रीनिंग हेयुरिस्टिक छोटे बजट के लिए अत्यधिक प्रभावी साबित हुआ, जबकि पूर्ण PSST उच्च-बजट, उच्च-परिशुद्धता आवश्यकताओं के लिए अधिक मजबूत था।

5. महत्व (Significance)

यह कार्य ब्लैक-बॉक्स LLM संरेखण के प्रतिमान को "एक एकल अच्छा प्रॉम्प्ट खोजने" से बदलकर "एक इष्टतम परिनियोजन नीति (deployment policy) खोजने" की ओर ले जाता है। प्रॉम्प्ट और इन्फरेंस स्ट्रैटेजी के बीच की अंतःक्रिया को ध्यान में रखकर, लेखक वास्तविक दुनिया की बाधाओं जैसे कम्प्यूटेशनल लागत और बहु-उद्देश्यीय उपयोगकर्ता प्राथमिकताओं का सम्मान करते हुए LLM प्रदर्शन को अधिकतम करने का एक सिद्धांतपूर्ण तरीका प्रदान करते हैं। यह उन डेवलपर्स के लिए विशेष रूप से महत्वपूर्ण है जो प्रोप्रायटरी APIs (जैसे GPT-4 या Claude) का उपयोग कर रहे हैं जहाँ मॉडल वेट्स (weights) सुलभ नहीं हैं।