TAPR: Enhancing LLM Performance with a Task-Aware Prompt Rewriter
यह शोध पत्र TAPR को प्रस्तुत करता है, जो ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन के माध्यम से प्रशिक्षित एक टास्क-अवेयर प्रॉम्प्ट रीराइटर है, जो उपयोगकर्ता इनपुट को अनुकूलित प्रॉम्प्ट में पुनर्गठित करता है, जिससे प्रश्न उत्तर देने और अंकगणितीय तर्क जैसे कार्यों पर डाउनस्ट्रीम LLM प्रदर्शन में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट से बात करने की कोशिश कर रहे हैं जो दुनिया की लगभग हर चीज़ जानता है। इस रोबोट को 'लार्ज लैंग्वेज मॉडल' (LLM) कहा जाता है। यह एक जीनियस लाइब्रेरियन की तरह है जिसने अब तक लिखी गई हर किताब पढ़ ली है, लेकिन इसका एक अनोखा स्वभाव है: यह केवल तभी अपना सर्वश्रेष्ठ प्रदर्शन करता है जब आप इससे बहुत विशिष्ट और सटीक तरीके से सवाल पूछते हैं। यदि आप "अंतरिक्ष के बारे में बताओ" जैसा अस्पष्ट सवाल पूछते हैं, तो यह एक उबाऊ और साधारण जवाब दे सकता है। लेकिन यदि आप पूछते हैं, "एक 10 साल के बच्चे को बेकिंग (खाना बनाने) के रूपक का उपयोग करके एक तारे के जीवन चक्र के बारे में समझाएं," तो यह अपनी पूरी क्षमता को अनलॉक कर सकता है और कुछ जादुई दे सकता है।
समस्या यह है कि उन सटीक सवालों को ढूंढना कठिन है। यह रेडियो को एक स्पष्ट स्टेशन खोजने के लिए ट्यून करने जैसा है; यदि आप डायल को थोड़ा सा भी गलत घुमाते हैं, तो आपको केवल शोर (static) सुनाई देगा। अधिकांश लोग "प्रॉम्ट इंजीनियरिंग" (AI के लिए सटीक निर्देश लिखने की कला) के विशेषज्ञ नहीं होते हैं, इसलिए वे अक्सर केवल शोर के साथ फंसकर रह जाते हैं। वैज्ञानिक एक ऐसे सहायक को बनाने की कोशिश कर रहे हैं जो स्वचालित रूप से आपके सवालों को ठीक कर सके, यानी आपके कच्चे और बिखरे हुए अनुरोधों को उन सटीक और पॉलिश किए गए निर्देशों में बदल सके जिन्हें रोबोट पसंद करता है। यह शोध पत्र इसी चुनौती में गहराई से उतरता है: क्या हम एक छोटे AI को एक "प्रॉम्ट एडिटर" बनने के लिए सिखा सकते हैं, जो हमारे बड़े AI दोस्तों को बेहतर प्रदर्शन करने में मदद करे?
TAPR से मिलिए: वह AI एडिटर जो आपके सवालों को बेहतर बनाता है
इस शोध पत्र में, लेखक TAPR (टास्क-अवेयर प्रॉम्ट रीराइटर) नामक एक नए टूल का परिचय देते हैं। TAPR को एक छोटे, विशिष्ट संपादक के रूप में समझें जो आपके और विशाल AI के बीच बैठा है। जब आप कोई प्रश्न टाइप करते हैं, तो TAPR उसे केवल आगे नहीं भेजता; बल्कि वह पहले उसे फिर से लिखता है। यह आपके सरल "प्रश्न का उत्तर दें" को एक विस्तृत और अत्यंत स्पष्ट निर्देश में बदल देता है जो बड़े AI को बताता है कि उसे कैसे सोचना है, किस प्रारूप का उपयोग करना है, और किन चीजों से बचना है।
लेकिन TAPR एक अच्छा संपादक कैसे बनता है? लेखकों ने इसे केवल उदाहरण दिखाकर नहीं सिखाया। इसके बजाय, उन्होंने रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक पद्धति का उपयोग किया, जो एक कुत्ते को इनाम देकर प्रशिक्षित करने जैसा है। यह प्रशिक्षण लूप इस प्रकार काम करता है:
- पुनर्लेखन (The Rewrite): TAPR आपके मूल प्रश्न को लेता है और उसे फिर से लिखता है।
- परीक्षण (The Test): बड़ा AI (जिसे "टास्क LLM" कहा जाता है) उस पुनर्लिखित प्रश्न का उत्तर देने का प्रयास करता है।
- निर्णायक (The Judge): एक विशेष "जज AI" उत्तर और पुनर्लिखित प्रश्न को देखता है और निर्णय लेता है: "क्या इस नए प्रश्न ने बड़े AI को सही उत्तर पाने में मदद की? क्या प्रश्न स्वयं स्पष्ट और अच्छी तरह से लिखा गया है?"
- पुरस्कार (The Reward): यदि जज कहता है "बहुत बढ़िया!", तो TAPR को एक डिजिटल ट्रीट (पुरस्कार) मिलता है। यदि उत्तर गलत था या प्रश्न भ्रमित करने वाला था, तो TAPR को कोई ट्रीट नहीं मिलता।
समय के साथ, TAPR बेहतर और बेहतर प्रश्न लिखना सीख जाता है क्योंकि वह उन पुरस्कारों को पाना चाहता है। लेखकों ने GRPO (ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन) नामक एक विशिष्ट प्रशिक्षण तकनीक का उपयोग किया, जिसे उन्होंने PPO जैसी पुरानी पद्धतियों की तुलना में बहुत अधिक स्थिर और प्रभावी पाया।
उन्हें क्या मिला?
टीम ने TAPR का परीक्षण तीन बहुत अलग प्रकार के कार्यों पर किया:
- प्रश्न उत्तर (Question Answering): जैसे पूछना "अमेरिका का पहला राष्ट्रपति कौन था?"
- सारांश (Summarization): जैसे AI से किसी लंबे समाचार लेख का सारांश बनाने के लिए कहना।
- गणितीय तर्क (Math Reasoning): जैसे चीनी और पानी के मिश्रण से संबंधित एक कठिन शब्द समस्या को हल करना।
परिणाम उत्साहजनक थे, हालांकि यह हर स्थिति के लिए जादू की छड़ी नहीं है।
- अच्छी खबर: जब TAPR (विशेष रूप से Phi-4-mini-instruct मॉडल पर आधारित संस्करण) को प्रशिक्षित किया गया, तो इसने बड़े AI के प्रदर्शन में लगातार सुधार किया। उदाहरण के लिए, GSM8K नामक गणित परीक्षण पर, सटीकता बिना प्रशिक्षित बेस मॉडल के उपयोग करने पर 11.91% से बढ़कर प्रशिक्षण के बाद 83.60% हो गई। Natural Questions नामक प्रश्न-उत्तर परीक्षण पर, सटीकता 48.80% से बढ़कर 59.20% हो गई।
- "सीक्रेट सॉस" (Secret Sauce): लेखकों ने पाया कि TAPR ने ऐसे प्रॉम्ट लिखना सीखा जो अधिक स्पष्ट, संरचित थे, और अक्सर उनमें "चेन-ऑफ-थॉट" (chain-of-thought) निर्देश शामिल थे (जैसे AI को "कदम-दर-कदम सोचने" के लिए कहना)। इसने बड़े AI को समस्याओं को हल करने में बहुत अधिक स्मार्ट बना दिया।
- "जज" का कारक: उनकी सफलता का एक प्रमुख हिस्सा LLM-as-a-Judge का उपयोग करना था। केवल यह जाँचने के बजाय कि क्या उत्तर शब्द-दर-शब्द पाठ्यपुस्तक से मेल खाता है (जो अनुचित हो सकता है यदि उत्तर सही है लेकिन अलग ढंग से लिखा गया है), उन्होंने उत्तर की गुणवत्ता और अर्थ को परखने के लिए एक अन्य AI का उपयोग किया। इसने TAPR को ऐसे प्रॉम्ट लिखना सीखने में मदद की जो वास्तव में बेहतर उत्तर उत्पन्न करते हैं, न कि केवल वे जो चेकलिस्ट पर सही दिखते हैं।
कमी: यह अभी भी पूर्ण नहीं है
लेखक सावधानीपूर्वक यह स्पष्ट करते हैं कि यह कोई सुलझी हुई समस्या नहीं है।
- असंगति (Inconsistency): कभी-कभी, TAPR ने चीजों को बेहतर बनाया, लेकिन अन्य बार परिणाम मिले-जुले या थोड़े खराब भी रहे। उदाहरण के लिए, कुछ सारांश कार्यों में, बिना प्रशिक्षित "बेस मॉडल" ने वास्तव में अच्छा काम किया था, और TAPR हमेशा उसे मात नहीं दे सका।
- "चयन" का विचार: लेखकों ने एक तकनीक आजमाई जहाँ TAPR पांच अलग-अलग पुनर्लिखित प्रश्न उत्पन्न करता और फिर सबसे अच्छे को चुनता। हालांकि इससे कभी-कभी मदद मिली, लेकिन इसने लगातार बेहतर परिणाम नहीं दिए, और इसमें कंप्यूटर पावर अधिक खर्च हुई। उन्होंने कोई पुख्ता सबूत नहीं पाया कि केवल लिखने के लिए प्रशिक्षित होने से TAPR अपने स्वयं के काम का बेहतर "जज" बन गया है।
- लागत: TAPR को प्रशिक्षित करने में समय और कंप्यूटिंग पावर लगती है। लेखक सुझाव देते हैं कि जबकि यह काम करता है, अतिरिक्त लागत हमेशा हर कार्य के लिए सार्थक नहीं हो सकती है, खासकर क्योंकि सरल, सामान्य प्रॉम्ट भी कभी-कभी अच्छा काम करते हैं।
निष्कर्ष
यह शोध पत्र सुझाव देता है कि हम वास्तव में एक छोटे AI को एक प्रॉम्ट एडिटर बनने के लिए सिखा सकते हैं जो बड़े AI को बेहतर प्रदर्शन करने में मदद करे। रीइन्फोर्समेंट लर्निंग और एक स्मार्ट "जज AI" का उपयोग करके, TAPR ने अस्पष्ट प्रश्नों को स्पष्ट और शक्तिशाली निर्देशों में बदलना सीख लिया। हालांकि यह हर समय 100% काम करने वाला कोई पूर्ण समाधान नहीं है, लेकिन यह एक स्पष्ट मार्ग दिखाता है: यदि हम सही प्रश्न पूछने की कला को स्वचालित कर सकते हैं, तो हम विशेषज्ञों के अलावा सभी के लिए AI की पूरी क्षमता को अनलॉक कर सकते हैं। लेखक निष्कर्ष निकालते हैं कि यह एक व्यवहार्य और प्रभावी तकनीक है, लेकिन इसे हर वास्तविक दुनिया के परिदृश्य में विश्वसनीय बनाने के लिए अभी और अधिक सुधार की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।