Navigating the Prompt Space: Improving LLM Classification of Social Science Texts Through Prompt Engineering
यह शोध पत्र यह प्रदर्शित करता है कि जबकि लेबल विवरण, निर्देशात्मक संकेत (instructional nudges) और फ्यू-शॉट उदाहरणों जैसे प्रॉम्प्ट इंजीनियरिंग तत्वों को व्यवस्थित रूप से बदलने से सामाजिक विज्ञान के ग्रंथों के लिए एलएलएम (LLM) वर्गीकरण सटीकता में महत्वपूर्ण सुधार हो सकता है, प्रदर्शन में लाभ अक्सर न्यूनतम संदर्भ वृद्धि के बाद मामूली होता है, अत्यधिक संदर्भ के साथ कभी-कभी घट भी सकता है, और विभिन्न मॉडलों एवं कार्यों में काफी भिन्न होता है, जो सामान्य नियमों पर भरोसा करने के बजाय व्यक्तिगत सत्यापन की आवश्यकता को दर्शाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट लाइब्रेरियन है जो लाखों किताबें पढ़ सकता है और उन्हें तुरंत अलमारियों में छाँट सकता है। सामाजिक वैज्ञानिकों के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) बिल्कुल ऐसे ही हैं। इनका उपयोग टेक्स्ट को छाँटने के लिए किया जा रहा है—जैसे कि कांग्रेस के बिलों को नीतिगत विषयों (policy topics) में वर्गीकृत करना या यह तय करना कि सर्वेक्षण का कोई उत्तर "भावुक" (emotional) है या "तटस्थ" (neutral)।
कुछ समय के लिए, शोधकर्ता बस यह पूछ रहे थे, "क्या यह रोबट यह काम कर सकता है?" जवाब था एक अनिश्चित "शायद"। लेकिन अब, सवाल बदल गया है: "हम रोबोट को सबसे अच्छे निर्देश कैसे दें ताकि वह यह काम पूरी तरह से कर सके?" इसे प्रॉम्ट इंजीनियरिंग (prompt engineering) कहा जाता है।
"प्रॉम्ट" को उस निर्देश पुस्तिका (instruction manual) के रूप में सोचें जो आप रोबोट को देते हैं। इस पेपर के लेखकों ने इन निर्देश पुस्तिकाओं के साथ "क्या होगा अगर?" का एक बड़ा खेल खेलने का फैसला किया। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने दो अलग-अलग रोबोट्स (GPT 4o और Gemini 2.0 Flash) और दो अलग-अलग छँटाई कार्यों के साथ एक बहुत बड़ा प्रयोग चलाया:
- पॉलिसी सॉर्टर (The Policy Sorter): 21 विभिन्न प्रकार के सरकारी बिलों के शीर्षकों को लेकर उन्हें सही नीतिगत श्रेणी में छाँटना।
- मूड सॉर्टर (The Mood Sorter): खुले अंत वाले सर्वेक्षण उत्तरों को पढ़ना और यह तय करना कि वे "भावुक" हैं या "तटस्थ"।
उन्होंने यह देखने के लिए कि क्या सबसे अच्छा काम करता है, निर्देश पुस्तिका के तीन विशिष्ट हिस्सों में बदलाव किया:
- लेबल विवरण (Label Descriptions): क्या उन्होंने रोबट को केवल अलमारियों के नाम की सूची दी (जैसे, "स्वास्थ्य," "शिक्षा"), या उन्होंने प्रत्येक अलमारी के बारे में क्या जाता है, यह समझाने के लिए एक छोटा पैराग्राफ भी लिखा?
- निर्देशात्मक संकेत (Instructional Nudges): क्या उन्होंने रोबोट को छोटे नोट्स दिए जैसे, "हे, सावधान रहें! गर्भपात संबंधी बिल 'नागरिक अधिकार' में जाने चाहिए, 'स्वास्थ्य' में नहीं!"?
- फ्यू-शॉट उदाहरण (Few-Shot Examples): क्या उन्होंने रोबोट को बाकी काम करने से पहले पहले से ही सही ढंग से छाँटे गए बिलों के कुछ उदाहरण दिखाए?
बड़ी हैरानी: अधिक होना हमेशा बेहतर नहीं होता
यहाँ वह सबसे महत्वपूर्ण बात है जो इस पेपर ने पाई है, और यह थोड़ा चौंकाने वाला मोड़ है। आप सोच सकते हैं कि अपनी निर्देश पुस्तिका में रोबोट को अधिक जानकारी देने से वह हमेशा अधिक स्मार्ट हो जाएगा। पेपर सुझाव देता है कि यह सच नहीं है।
वास्तव में, लेखकों ने पाया कि संदर्भ (context) में एक न्यूनतम वृद्धि (थोड़ा सा स्पष्टीकरण या उदाहरण जोड़ना) ने प्रदर्शन में सबसे बड़ी बढ़त दी। लेकिन यदि आप अधिक और अधिक विवरण जोड़ते रहे, तो रोबोट बहुत बेहतर नहीं हुआ। वास्तव में, वह एक ऐसी दीवार से टकरा गया जहाँ अधिक टेक्स्ट जोड़ने से केवल मामूली, लगभग बेकार सुधार ही मिले।
यहाँ तक कि अधिक चिंताजनक बात यह है कि पेपर सुझाव देता है कि कभी-कभी, अधिक संदर्भ जोड़ने से रोबोट अपने काम में बदतर हो जाता है। यह अपने दोस्त को पहेली सुलझाने में मदद करने के लिए एक साथ सारे सुराग चिल्लाकर बताने जैसा है; अंततः, वह भ्रमित हो जाता है और टुकड़े गिरा देता है।
"बैच" का तरीका (The "Batch" Trick)
शोधकर्ताओं ने यह भी परीक्षण किया कि रोबलेट को एक बार में कितने आइटम छाँटने चाहिए। उन्होंने एक बार में केवल 1 बिल, फिर 10, 100, 500, और यहाँ तक कि 1,000 आइटम छाँटने का प्रयास किया।
पेपर सुझाव देता है कि एक बार में केवल एक आइटम को छाँटना आमतौर पर सबसे खराब रणनीति है। यह न केवल रोबोट का उपयोग करने का सबसे महंगा तरीका है, बल्कि इसका प्रदर्शन भी उतना अच्छा नहीं है। इसके बजाय, पेपर संकेत देता है कि बैच वर्गीकरण (batch classification) (रोबोट को एक बार में 100 या 500 आइटम का पूरा ढेर देना) आमतौर पर बेहतर विकल्प है।
"एक आकार सभी के लिए उपयुक्त" का मिथक
शायद सबसे महत्वपूर्ण सबक यह है कि आप एक प्रोजेक्ट से दूसरे प्रोजेक्ट में एक "परफेक्ट प्रॉम्ट" को बस कॉपी-पेस्ट नहीं कर सकते। पेपर सुझाव देता है कि अलग-अलग मॉडल्स, अलग-अलग कार्यों और यहाँ तक कि अलग-अलग बैच साइज के बीच भारी विषमता (substantial heterogeneity) (एक फैंसी शब्द जिसका अर्थ है "बड़े अंतर") होती है।
जो राजनीतिक बिलों को छाँटने के लिए पूरी तरह से काम कर गया, वह सर्वेक्षण भावनाओं को छाँटने के लिए बुरी तरह विफल हो सकता है। यहाँ तक कि एक ही रोबोट अलग तरह से व्यवहार कर सकता है कि आप उससे कैसे पूछते हैं। इस कारण से, लेखक तर्क देते हैं कि शोधकर्ता सामान्य नियमों पर भरोसा नहीं कर सकते। यदि आप अपने स्वयं के शोध के लिए इन रोबोटों का उपयोग करना चाहते हैं, तो आपको यह देखने के लिए अपने स्वयं के विशिष्ट परीक्षण चलाने होंगे कि आपके विशिष्ट कार्य के लिए क्या काम करता है।
"ज़ीरो-टेम्परेचर" का रहस्य
अंत में, पेपर इन रोबोटों के बारे में एक डरावनी बात की ओर इशारा करता है। भले ही शोधकर्ताओं ने रोबोट की "तापमान" (temperature) सेटिंग (एक सेटिंग जो यादृच्छिकता/randomness को नियंत्रित करती है) को शून्य पर सेट कर दिया हो—जो कि रोबोट को एक सख्त, नियत कैलकुलेटर की तरह व्यवहार करने के लिए प्रेरित करता है—परिणाम हमेशा समान नहीं थे। पेपर सुझाव देता है कि सटीक समान प्रॉम्ट के साथ भी, मॉडल और प्रॉम्ट के विवरण के आधार पर रोबोट का आउटपुट थोड़ा भिन्न हो सकता है। इसका मतलब है कि आप यह मान नहीं सकते कि रोबोट दो बार में बिल्कुल वही उत्तर देगा, भले ही आप उसे सुसंगत रहने के लिए मजबूर करने की कोशिश करें।
मुख्य निष्कर्ष (The Bottom Line)
पेपर यह दावा नहीं करता है कि उसने वह "जादुई मंत्र" खोज लिया है जो LLMs को परफेक्ट बनाता है। इसके बजाय, यह सुझाव देता है कि बेहतर परिणामों का मार्ग सावधानीपूर्वक, विशिष्ट परीक्षण है।
- यह न मानें कि प्रॉम्ट में अधिक टेक्स्ट होना बेहतर है।
- एक-एक करके आइटम को न छाँटें यदि आप उन्हें बैच में छाँट सकते हैं।
- यह उम्मीद रखें कि जो एक कार्य के लिए काम करता है वह दूसरे के लिए काम नहीं करेगा।
- अपने स्वयं के सेटअप का परीक्षण करें इससे पहले कि आप परिणामों पर भरोसा करें।
यह एक याद दिलाने वाला तथ्य है कि हालांकि ये AI उपकरण शक्तिशाली हैं, फिर भी वे थोड़े जंगली घोड़ों की तरह हैं: आप बस उन पर एक जीन (saddle) नहीं डाल सकते और सवारी नहीं कर सकते; आपको यह सीखना होगा कि इस विशिष्ट घोड़े को इस विशिष्ट सवारी के लिए ठीक से कैसे संभाला जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।