CRAFT: Cost-aware Refinement And Front-aware Tuning of Prompts
CRAFT एक पारेटो-फ्रंट (Pareto-front) प्रॉम्प्ट ऑप्टिमाइज़र है जो वैलिडेशन कॉल्स को एक दुर्लभ संसाधन मानकर स्केलरलाइजेशन कोलैप्स (scalarization collapse) की सीमाओं से बचता है ताकि विभिन्न कार्यों में इष्टतम सटीकता-लागत ट्रेड-ऑफ (accuracy-cost trade-offs) प्रदान करने वाले प्रॉम्प्ट्स के एक विविध सेट को कुशलतापूर्वक खोजा जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन महंगे रोबोट को एक विशिष्ट काम करना सिखाने की कोशिश कर रहे हैं। आप इसे निर्देशों का एक सेट लिखकर करते हैं, जिसे प्रॉम्ट (prompt) कहा जाता है।
समस्या एक कैच-22 (catch-22) जैसी है:
- यदि आप लंबे, विस्तृत निर्देश लिखते हैं, तो रोबोट आमतौर पर काम सही ढंग से करता है (उच्च सटीकता/high accuracy), लेकिन इसे चलाने में बहुत पैसा खर्च होता है क्योंकि इसे हर एक शब्द को पढ़ना पड़ता है।
- यदि आप छोटे, संक्षिप्त निर्देश लिखते हैं, तो यह सस्ता होता है, लेकिन रोबोट भ्रमित हो सकता है और गलतियाँ कर सकता है (कम सटीकता/low accuracy)।
ज्यादातर लोग इसे शुरू करने से पहले ही एक "मध्य मार्ग" चुनकर हल करने की कोशिश करते हैं। वे कहते हैं, "मैं 50% सटीकता और 50% लागत बचत चाहता हूँ," और वे उस एक आदर्श प्रॉम्ट की तलाश करते हैं जो उस विशिष्ट मिश्रण में फिट बैठता हो। इस शोध के लेखक इस दृष्टिकोण को "स्केलरइजेशन कोलैप्स" (Scalarization Collapse) कहते हैं। यह शावर के पानी के तापमान को केवल तभी टेस्ट करने जैसा है जब वह बिल्कुल गुनगुना हो। आप उस विकल्प को मिस कर सकते हैं जो थोड़ा अधिक गर्म लेकिन बहुत आरामदायक हो, या थोड़ा ठंडा लेकिन बहुत ताज़गी भरा हो।
CRAFT से मिलिए: स्मार्ट शॉपर
यह शोध पत्र एक नई विधि पेश करता है जिसे CRAFT (Cost-aware Refinement And Front-aware Tuning) कहा जाता है। एक "परफेक्ट" प्रॉम्ट खोजने के बजाय, CRAFT सर्वश्रेष्ठ विकल्पों के पूरे मेनू की तलाश करता है।
इसे एक स्मार्ट शॉपर की तरह समझें जो कार खरीदने की कोशिश कर रहा है:
- पुराना तरीका: आप सेल्सपर्सन से कहते हैं, "मुझे एक ऐसी कार चाहिए जिसकी कीमत ठीक $30,000 हो और जो ठीक 30 मील प्रति गैलन माइलेज दे।" वे आपको एक कार दिखाते हैं। यदि आप बाद में अपना मन बदलते हैं, तो आपको फिर से शुरुआत करनी पड़ती है।
- CRAFT का तरीका: CRAF कहता है, "मुझे वे सभी कारें दिखाएं जो सबसे अच्छी डील हैं।" यह विकल्पों की एक सूची बनाता है:
- विकल्प A: बहुत तेज़, लेकिन महंगी।
- विकल्प B: बहुत सस्ती, लेकिन थोड़ी धीमी।
- विकल्प C: दोनों का एक बेहतरीन संतुलन।
- विकल्प D: एक अजीब मिश्रण जो पैसे बचाता है लेकिन आश्चर्यजनक रूप से तेज़ है।
CRAFT आपको खोजने से पहले ही एक संतुलन चुनने के लिए मजबूर नहीं करता है। यह पूरे "पारेटो फ्रंट" (Pareto Front) को खोज निकालता है—जो कि सर्वश्रेष्ठ ट्रेड-ऑफ (trade-offs) के लिए एक फैंसी शब्द है, जहाँ आप अधिक भुगतान किए बिना बेहतर सटीकता प्राप्त नहीं कर सकते, या बेहतर प्रदर्शन के बिना सस्ता नहीं हो सकते।
CRAFT कैसे काम करता है (रसोई का उदाहरण)
CRAFT एक रसोई चलाता है जिसमें दो शेफ एक ही रेसिपी पर काम कर रहे हैं, लेकिन उनके लक्ष्य अलग-अलग हैं:
- "रिफाइनर" शेफ (परफेक्शनिस्ट): इस शेफ का एकमात्र काम व्यंजन को अद्भुत बनाना है। वे मसाले जोड़ते रहते हैं, निर्देशों को स्पष्ट करते हैं, और रेसिपी को लंबा और विस्तृत बनाते हैं। उन्हें सामग्री की लागत की परवाह नहीं है।
- "कंडेंसर" शेफ (मिनिमलिस्ट): इस शेफ का एकमात्र काम रेसिपी को छोटा और सस्ता बनाना है। वे फालतू बातें हटा देते हैं, दोहराव वाले चरणों को निकाल देते हैं, और भाषा को सरल बना देते हैं। उन्हें इस बात की परवाह नहीं है कि व्यंजन का स्वाद थोड़ा कम हो गया है, जब तक कि वह खाने योग्य है।
टेस्टिंग सेशन (चखने की प्रक्रिया):
हर राउंड में, ये दोनों शेफ रेसिपी के नए संस्करण बनाते हैं। लेकिन यहाँ एक पेच है: भोजन चखने में पैसा लगता है (इसके लिए महंगे रोबोट को कॉल करना पड़ता है)। आप हर संस्करण को चख नहीं सकते।
इसलिए, CRAF यह तय करने के लिए एक स्मार्ट रणनीति का उपयोग करता है कि क्या चखना है:
- यह अब तक बनाए गए रेसिपी के "मेनू" को देखता है।
- यह पूछता है: "इनमें से किस नए रेसिपी की एक नया सर्वश्रेष्ठ विकल्प होने की सबसे अच्छी संभावना है?"
- यह उन रेसिपीज़ को चुनता है जो या तो बहुत स्वादिष्ट होने की संभावना रखते हैं (उच्च सटीकता), या बहुत सस्ते होने की संभावना रखते हैं, या वे जो मेनू में उस खाली जगह को भरते हैं जहाँ वर्तमान में कोई अच्छा विकल्प मौजूद नहीं है।
अंतिम मेनू:
प्रक्रिया के अंत में, CRAF आपको केवल एक रेसिपी नहीं देता। यह आपको विकल्पों का एक फैला हुआ मेनू देता है।
- यदि आपके पास बड़ा बजट है, तो आप "परफेक्शनिस्ट" रेसिपी चुनते हैं।
- यदि आपका बजट कम है, तो आप "मिनिमलिस्ट" रेसिपी चुनते हैं।
- यदि आप संतुलन चाहते हैं, तो आप बीच में से कोई एक चुनते हैं।
यह क्यों महत्वपूर्ण है
इस शोध पत्र का परीक्षण छह अलग-अलग कार्यों (जैसे ईमेल सॉर्ट करना, लॉजिक पहेलियाँ हल करना और त्रुटियों का पता लगाना) पर किया गया। उन्होंने इसकी तुलना निम्नलिखित से की:
- केवल-सटीकता (Accuracy-only) विधियाँ (जो लंबे, महंगे प्रॉम्ट बनाती थीं)।
- केवल-लागत (Cost-only) विधियाँ (जो छोटे, भ्रमित करने वाले प्रॉम्ट बनाती थीं)।
- वेटेड-सम (Weighted-sum) विधियाँ (जो एक मध्य मार्ग खोजने की कोशिश करती थीं लेकिन एक संकीर्ण स्थान में फंस जाती थीं)।
परिणाम:
CRAFT ही एकमात्र ऐसी विधि थी जिसने सफलतापूर्वक उच्च-सटीकता, उच्च-लागत वाले विकल्पों और कम-लागत, ठीक-ठाक-सटीकता वाले विकल्पों दोनों को खोजा। यह बीच में नहीं फंसा। इसने उपयोगकर्ता को खोज समाप्त होने के बाद सही ट्रेड-ऑफ चुनने की स्वतंत्रता दी, बजाय इसके कि खोज शुरू करने से पहले ही ट्रेड-ऑफ का अनुमान लगाया जाए।
संक्षेप में, CRAFT आपको मेनू देखने से पहले ही एक आदर्श भोजन की कीमत का अनुमान लगाने से रोकता है। इसके बजाय, यह बेहतरीन डील्स का पूरा मेनू तैयार करता है ताकि आप अपनी जेब और अपनी भूख के अनुसार चुनाव कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।