: Better Prompt Optimization with Fewer Prompts
यह शोध पत्र प्रस्तुत करता है, जो एक ऐसी विधि है जो उपयोगकर्ता प्रॉम्प्ट्स को फ़िल्टर करके उच्च विचलन (high variance) वाले सिस्टम प्रॉम्प्ट प्रदर्शन वाले एक छोटे उपसमूह का चयन करके प्रॉम्प्ट अनुकूलन में सुधार करती है, जिससे बेहतर सिस्टम प्रॉम्प्ट्स की अधिक प्रभावी पहचान सक्षम होती है और यह रीजनिंग बेंचमार्क पर मौजूदा बेसलाइन से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन थोड़ा भ्रमित छात्र (AI) है, जो बहुत कठिन गणित की समस्याओं को हल करने की कोशिश कर रहा है। आप उसके सोचने के तरीके को नहीं बदल सकते (आप मॉडल को फिर से प्रशिक्षित नहीं कर सकते), लेकिन आप उसे सोचने के लिए निर्देशों का एक सेट दे सकते हैं। निर्देशों का यह सेट एक सिस्टम प्रॉम्प्ट (System Prompt) कहलाता है।
लक्ष्य यह पता लगाना है कि हम कितने "परफेक्ट" निर्देश लिख सकते हैं ताकि वह छात्र अधिक समस्याओं को सही ढंग से हल कर सके।
समस्या: क्यों "अधिक डेटा" कभी-कभी चीज़ों को बदतर बना देता है
आमतौर पर, जब आप किसी इंसान को सिखाते हैं, तो आप उसे हजारों उदाहरणों वाली एक विशाल पाठ्यपुस्तक देते हैं। वे जितने अधिक उदाहरण देखते हैं, वे उतने ही बेहतर होते जाते हैं।
शोधकर्ताओं ने पाया कि AI प्रॉम्प्ट्स के साथ एक अजीब चीज़ हो रही थी: AI को गणित की समस्याओं की एक विशाल पाठ्यपुस्तिका देने से वास्तव में आदर्श निर्देश ढूँढना और भी कठिन हो गया।
यहाँ एक उपमा (analogy) है:
कल्पना कीजिए कि आप दौड़ने के लिए सबसे अच्छे जूते ढूँढने की कोशिश कर रहे हैं।
- परिदृश्य A (समरूप कार्य - Homogeneous Task): आप 100 मीटर की दौड़ के लिए प्रशिक्षण ले रहे हैं। आप ट्रैक पर 100 अलग-अलग जोड़ी जूते आज़माते हैं। कुछ बहुत खराब हैं, कुछ बहुत अच्छे। यह देखना बहुत आसान है कि कौन से जूते आपको तेज़ बनाते हैं क्योंकि ट्रैक हर बार एक जैसा ही रहता है।
- परिदृश्य B (विषम कार्य - Heterogeneous Task - गणित की समस्या): आप एक बहु-खेल स्पर्धा (दौड़ना, तैरना और चढ़ना) के लिए प्रशिक्षण ले रहे हैं।
- यदि आप सभी तीन खेलों के लिए "एक परफेक्ट जूता" खोजने की कोशिश करते हैं, तो आप भ्रमित हो जाते हैं। जो जूते दौड़ने के लिए बेहतरीन हैं, वे तैरने के लिए बेकार हैं। जो जूते चढ़ने के लिए हैं, वे दौड़ने के लिए बेकार हैं।
- जब आप 100 अलग-अलग खेलों के परिणामों का औसत निकालते हैं, तो "अच्छे" और "बुरे" जूते एक-दूसरे को काट देते हैं। डेटा शोर (noise) जैसा दिखता है। आप यह नहीं बता सकते कि कौन सा जूता वास्तव में सबसे अच्छा है क्योंकि कार्य बहुत अधिक मिला-जुला हुआ है।
इस शोध पत्र में इसे "वैरिएंस" (Variance) कहा गया है।
- रिस्पॉन्स वैरिएंस (शोर/Noise): AI बस रैंडम व्यवहार कर रहा है। समान निर्देशों के बावजूद, कभी वह भाग्य से सही उत्तर देता है, तो कभी गलत।
- प्रॉम्प्ट वैरिएंस (सिग्नल/Signal): निर्देश परिणाम को वास्तव में कितना बदलते हैं।
कठिन गणित की समस्याओं (जैसे AIME प्रतियोगिता) पर, "शोर" (रैंडमनेस) इतना तेज़ होता है कि वह "सिग्नल" (निर्देशों की गुणवत्ता) को दबा देता है। जब आप प्रशिक्षण सेट में अधिक गणित की समस्याएँ जोड़ते हैं, तो आप अधिक शोर जोड़ते हैं, जिससे सिग्नल को सुनना और भी कठिन हो जाता है।
समाधान: "p1" फ़िल्टर (स्पॉटलाइट विधि)
सभी 30 गणित की समस्याओं की लाइब्रेरी के साथ AI को सिखाने के बजाय, शोधकर्ताओं ने p1 नामक एक विधि प्रस्तावित की।
उपमा:
कल्पना कीजिए कि आप एक कोच हैं जो सर्वश्रेष्ठ दौड़ने वाले जूते चुनने की कोशिश कर रहे हैं। 30 अलग-अलग एथलीटों और 30 अलग-अलग खेलों पर जूतों का परीक्षण करने के बजाय, आप केवल दो ऐसे एथलीट चुनते हैं जो जूते की गुणवत्ता के प्रति अत्यधिक संवेदनशील हैं।
- एथलीट A जूता X में तेज़ दौड़ता है लेकिन जूता Y में लड़खड़ा जाता है।
- एथलीट B जूता Y में तेज़ दौड़ता है लेकिन जूता X में लड़खड़ा जाता है।
केवल इन दो "संवेदनशील" एथलीटों पर ध्यान केंद्रित करके, आप स्पष्ट रूप से देख सकते हैं कि कौन सा जूता बेहतर है। आप उन 28 अन्य एथलीटों को अनदेखा कर देते हैं जिन्हें जूतों से ज्यादा फर्क नहीं पड़ता क्योंकि उनके परिणाम केवल रैंडम शोर हैं।
p1 कैसे काम करता है:
- स्थितियों को परखना: AI कुछ गणित की समस्याओं पर कई तरह के निर्देश आज़माता है।
- "संवेदनशील" समस्याओं को खोजना: यह उन विशिष्ट गणित की समस्याओं को ढूँढता है जहाँ निर्देशों को बदलने से स्कोर में बड़ा अंतर आता है (एक निर्देश से 100% मिलता है, दूसरे से 0%)। ये वे समस्याएँ हैं जहाँ निर्देश वास्तव में महत्व रखते हैं।
- फ़िल्टर करना: यह उन "बोरिंग" समस्याओं को हटा देता है जहाँ निर्देशों से कोई खास बदलाव नहीं दिखता।
- प्रशिक्षण: यह AI को केवल उन कुछ उच्च-संवेदनशीलता वाली समस्याओं पर प्रशिक्षित करता है।
परिणाम: कम ही अधिक है (Less is More)
परिणाम आश्चर्यजनक थे:
- पुराना तरीका (पूर्ण डेटासेट): सभी 30 गणित की समस्याओं पर निर्देशों को अनुकूलित करने की कोशिश करने से लगभग कोई सुधार नहीं हुआ। AI शोर से भ्रमित हो गया था।
- p1 तरीका (फ़िल्टर किया गया डेटासेट): केवल दो सावधानीपूर्वक चुनी गई गणित की समस्याओं पर प्रशिक्षण देकर, AI ने निर्देशों का एक ऐसा सेट सीखा जो पुराने तरीके की तुलना में बहुत बेहतर था।
- सामान्यीकरण (Generalization): इससे भी बेहतर, केवल दो समस्याओं से सीखे गए निर्देश उन अन्य गणित प्रतियोगिताओं पर भी बहुत अच्छे से काम करते थे जिन्हें AI ने पहले कभी नहीं देखा था!
निष्कर्ष (Takeaway)
जब आप एक AI को एक जटिल, अस्त-व्यस्त कौशल (जैसे उन्नत गणित) सिखा रहे हों, तो उसे सब कुछ मत थमा दीजिए।
कभी-कभी, सीखने का सबसे अच्छा तरीका उन विशिष्ट, कठिन उदाहरणों को खोजना है जहाँ "अच्छा" और "बुरा" के बीच का अंतर सबसे स्पष्ट हो, और अपनी पूरी ऊर्जा वहीं केंद्रित करना है। यह रेडियो ट्यून करने जैसा है: यदि आप शोर (static) से भरी स्टेशन की आवाज़ को बहुत तेज़ कर देते हैं, तो आप संगीत नहीं सुन पाएंगे। लेकिन यदि आप एक स्पष्ट फ्रीक्वेंसी (एक संवेदनशील प्रॉम्प्ट) पर ट्यून करते हैं, तो संगीत एकदम स्पष्ट हो जाता है।
संक्षेप में: बेहतर AI निर्देश प्राप्त करने के लिए, सबको खुश करने की कोशिश करना छोड़ दें। उन कुछ समस्याओं को खोजें जहाँ निर्देश सबसे बड़ा अंतर पैदा करते हैं, और उन्हीं पर ध्यान केंद्रित करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।