A Regression Framework for Understanding Prompt Component Impact on LLM Performance
यह शोध पत्र एक सांख्यिकीय प्रतिगमन ढांचे (statistical regression framework) को प्रस्तुत करता है जो यह मात्रात्मक रूप से निर्धारित करता है कि विशिष्ट प्रॉम्प्ट घटक बड़े भाषा मॉडल (large language model) के प्रदर्शन को कैसे प्रभावित करते हैं, जिससे यह पता चलता है कि जबकि गलत उदाहरण अंकगणितीय कार्यों की सफलता में महत्वपूर्ण रूप से बाधा डालते हैं, सकारात्मक और नकारात्मक निर्देश विरोधाभासी प्रभाव उत्पन्न करते हैं जो विभिन्न मॉडलों के अनुसार भिन्न होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े भ्रमित रोबोट को गणित करना सिखाने की कोशिश कर रहे हैं। आप एक "प्रॉम्ट" (निर्देशों और उदाहरणों का एक सेट) टाइप करके इस रोबोट से बात कर सकते हैं। कभी-कभी रोबोट सही उत्तर देता है, और कभी-कभी गलत।
बड़ा रहस्य यह है: क्यों? क्या यह उन विशिष्ट शब्दों के कारण है जो आपने उपयोग किए? क्या यह इसलिए है क्योंकि आपने इसे एक बुरा उदाहरण दिया? या क्या यह सिर्फ अनुमान लगा रहा है?
यह शोध पत्र एक नया उपकरण पेश करता है जिसे IAMs (इंटरप्रिटेबल एट्रिब्यूशन मॉडल्स) कहा जाता है ताकि इस रहस्य को सुलझाया जा सके। IAMs को एक "प्रॉम्ट डिटेक्टिव" (प्रॉम्ट जासूस) के रूप में समझें जो सांख्यिकी (statistics) का उपयोग यह पता लगाने के लिए करता है कि आपके संदेश का कौन सा हिस्सा रोबोट की मदद कर रहा है और कौन सा हिस्सा उसे नुकसान पहुँचा रहा है।
यहाँ एक सरल विवरण दिया गया है कि उन्होंने इसे कैसे किया और उन्हें क्या मिला:
1. प्रयोग: द "लेगो" प्रॉम्ट (The "Lego" Prompt)
शोधकर्ताओं ने केवल यादृच्छिक (random) वाक्य नहीं लिखे। उन्होंने प्रॉम्ट को एक लेगो सेट की तरह माना।
- उनके पास एक मुख्य प्रश्न था: "3 + 2 = ?"
- उनके पास अलग-अलग "ब्लॉक्स" थे जिन्हें वे जोड़ या हटा सकते थे:
- निर्देश ब्लॉक्स (Instruction Blocks): चीजें जैसे "मान लीजिए कि आप गणित के विशेषज्ञ हैं" या "मेरी बात को अनदेखा करें।"
- उदाहरण ब्लॉक्स (Example Blocks): उन्होंने उदाहरण जोड़े जैसे "1 + 1 = 2" (सही) या "1 + 1 = 5" (गलत)।
- उन्होंने इन ब्लॉक्स को हजारों अलग-अलग संयोजनों में मिलाया और उछाड़ा (जैसे लाखों अलग-अलग लेगो टावर बनाना) और दो अलग-अलग रोबोटों (Mistral-7B और GPT-OSS-20B) को प्रत्येक के लिए गणित की समस्या हल करने के लिए कहा।
2. जासूसी का काम: रिग्रेशन मॉडल (The Regression Model)
एक बार जब उनके पास सभी परिणाम आ गए, तो उन्होंने रिग्रेशन मॉडलिंग नामक एक सांख्यिकीय विधि का उपयोग किया।
- उपमा (Analogy): कल्पना कीजिए कि आप एक शेफ हैं जो यह पता लगाने की कोशिश कर रहे हैं कि कौन सा घटक सूप को सबसे स्वादिष्ट बनाता है। आप नमक, काली मिर्च और गाजर के विभिन्न संयोजनों के साथ 1,000 बैच बनाते हैं। फिर आप उन सभी को चखते हैं और रेटिंग देते हैं।
- गणित: शोधकर्ताओं ने उन सभी 1,000 बैचों को देखने के लिए एक सूत्र का उपयोग किया और कहा: "ठीक है, हर बार जब हमने अतिरिक्त नमक डाला, तो सूप 10% बेहतर हो गया। हर बार जब हमने गाजर डाली, तो यह 20% बदतर हो गया।"
- उन्होंने रोबोटों के लिए भी यही किया। उन्होंने गणना की कि प्रत्येक "ब्लॉक" (निर्देश या उदाहरण) ने सही उत्तर पाने की रोबोट की संभावना को कितना बदला।
3. बड़े आश्चर्य
परिणाम काफी मजेदार और थोड़े डरावने थे:
- "गलत उदाहरण" का जाल (The "Bad Example" Trap): यदि आपने रोबोट को एक गलत उदाहरण दिया (जैसे "1 + 2 = 4"), तो वह भ्रमित हो गया और अक्सर गलत उत्तर दिया। यह एक बच्चे को बिल्ली की तस्वीर दिखाने और उसे कुत्ता कहने जैसा है; बच्चा सभी बिल्लियों को "कुत्ता" कहना शुरू कर देगा।
- "विशेषज्ञ" का विरोधाभास (The "Expert" Paradox): आप सोच सकते हैं कि रोबोट को यह कहना कि, "मान लीजिए कि आप एक गणित के जीनियस हैं," मदद करेगा। एक रोबोट के लिए, इसने वास्तव में चीजों को बदतर बना दिया! यह एक घबराए हुए छात्र को, "तुम एक जीनियस हो!" कहने जैसा है और वह अत्यधिक दबाव के कारण जम जाता है।
- "मुझे अनदेखा करें" का तरीका (The "Ignore Me" Trick): रोबोट को यह कहना कि, "आगे जो मैं कहूँ उसे अनदेखा करें," भी उसे भ्रमित कर गया। रोबोट तय नहीं कर सका कि बात माननी है या नहीं, इसलिए उसने गड़बड़ी कर दी।
- आकार का मतलब हमेशा स्मार्ट होना नहीं होता: उन्होंने एक छोटे रोबोट (Mistral) और एक बड़े, नए रोबोट (GPT-OSS) का परीक्षण किया। बड़ा रोबोट वास्तव में प्रॉम्ट के प्रति अधिक संवेदनशील था। वह अच्छे और बुरे दोनों निर्देशों के प्रति अधिक मजबूती से प्रतिक्रिया करता था, जबकि छोटा रोबोट थोड़ा जिद्दी था और अजीब निर्देशों को अनदेखा कर देता था।
4. यह क्यों मायने रखता है
अभी, लोग इन AI रोबोट का उपयोग कोड लिखने, बीमारियों का निदान करने या कानूनी निर्णय लेने जैसी महत्वपूर्ण चीजों के लिए कर रहे हैं। लेकिन हम अक्सर यह नहीं जानते कि वे गलती क्यों करते हैं।
यह शोध पत्र हमें एक मानचित्र (map) देता है। केवल अच्छा परिणाम पाने के लिए क्या टाइप करना है, इसका अनुमान लगाने के बजाय, हम अब इस ढांचे का उपयोग कर सकते हैं:
- विभिन्न निर्देशों का वैज्ञानिक रूप से परीक्षण करने के लिए।
- यह देखने के लिए कि कौन से शब्द मदद कर रहे हैं या नुकसान पहुँचा रहे हैं।
- बेहतर प्रॉम्ट बनाने के लिए जो "जालों" (जैसे गलत उदाहरण या भ्रमित करने वाले आदेश) से बच सकें।
मुख्य बात (The Bottom Line)
लेखकों ने AI के ब्लैक बॉक्स के अंदर देखने के लिए एक सांख्यिकीय "माइक्रोस्कोप" बनाया है। उन्होंने पाया कि गलत उदाहरण खतरनाक हैं, और टेक्स्ट निर्देश अप्रत्याशित हैं। अपने ढांचे का उपयोग करके, डेवलपर्स अनुमान लगाना बंद कर सकते हैं और वास्तव में काम करने वाले प्रॉम्ट को इंजीनियर करना शुरू कर सकते हैं, जिससे AI सभी के लिए सुरक्षित और अधिक विश्वसनीय बन जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।