Prompt Robustness Is Task-Dependent: Comparing Objective and Belief-Style Questions in LLM Evaluation
यह शोध पत्र प्रदर्शित करता है कि प्रॉम्प्ट विविधताओं के प्रति बड़े भाषा मॉडलों की सुदृढ़ता (robustness) काफी हद तक कार्य के प्रकार पर निर्भर करती है, जिसमें मॉडल वस्तुनिष्ठ प्रश्नों के उत्तर देने की तुलना में मूल्यों और विश्वासों के बारे में व्यक्तिपरक पूछताछ के दौरान विभिन्न स्तरों की स्थिरता प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक बहुत ही बुद्धिमान, लेकिन थोड़ा घबराया हुआ रोबोट दुनिया के बारे में क्या सोचता है। आप उससे एक सवाल पूछते हैं, और वह आपको एक जवाब देता है। आप मान लेते हैं कि वह जवाब उसके "विश्वासों" का एक ठोस प्रतिबिंब है।
यह शोध पत्र एक वास्तविकता की जाँच (reality check) की तरह है। शोधकर्ताओं ने पूछा: "क्या यह मायने रखता है कि हम सवाल कैसे पूछते हैं?"
उन्होंने पाया कि जवाब है—एक ज़ोरदार हाँ। वास्तव में, जिस तरह से आप सवाल पूछते हैं, वह रोबोट के जवाब को पूरी तरह से बदल सकता है, और ऐसा तथ्यों (जैसे गणित या विज्ञान) की तुलना में विचारों (जैसे राजनीति या मूल्यों) के बारे में पूछने पर बहुत अधिक होता है।
यहाँ सरल उपमाओं (analogies) का उपयोग करके उनके निष्कर्षों का विवरण दिया गया है:
1. सवालों के दो प्रकार
शोधकर्ताओं ने रोबोटों का दो अलग-अलग प्रकार के "परीक्षणों" के साथ परीक्षण किया:
- तथ्य परीक्षण (वस्तुनिष्ठ/Objective): ये एक गणित की क्विज़ की तरह हैं। "2 + 2 क्या होता है?" इसका केवल एक सही उत्तर है (4)। यदि रोबोट "5" कहता है, तो वह बस गलत है।
- विचार परीक्षण (व्यक्तिपरक/Subjective): ये एक व्यक्तित्व सर्वेक्षण (personality survey) की तरह हैं। "क्या आप गर्मी या सर्दी पसंद करते हैं?" इसका कोई एक सही उत्तर नहीं है। रोबोट को यह बताना चाहिए कि वह क्या "महसूस" करता है।
2. "आकार बदलने वाला" प्रॉम्प्ट (The "Shape-Shifting" Prompt)
शोधकर्ताओं ने केवल एक बार सवाल नहीं पूछे। उन्होंने एक ही सवाल को कई अलग-अलग तरीकों से पूछा, जैसे कि एक जादूगर यह देखने के लिए कि क्या खरगोब अभी भी दिखाई देता है, अपनी ट्रिक को थोड़ा बदल रहा है।
- उन्होंने शब्दों का चयन बदला (पर्यायवाची शब्दों का उपयोग करके)।
- उन्होंने फॉर्मेट बदला (शब्दों को बोल्ड करना, स्पेसिंग बदलना)।
- उन्होंने जवाबों का क्रम बदल दिया (विकल्पों को "समर" के बजाय "विंटर" पहले रखने के बजाय)।
- उन्होंने यह देखने के लिए यहाँ तक कि छोटी वर्तनी की गलतियाँ (spelling mistakes) भी जोड़ीं कि क्या रोबोट भ्रमित हो जाता है।
3. बड़ी खोज: विचार "डगमगाते" हैं (Opinions are "Wobbly")
मुख्य परिणाम यह है कि तथ्य वाले सवालों की तुलना में विचार वाले सवालों के जवाब देते समय रोबots बहुत कम स्थिर थे।
- तथ्य परीक्षण: यदि आपने दस अलग-अलग तरीकों से पूछा "2+2 क्या है?" तो रोबोट लगभग हमेशा "4" ही कहता था। यह एक चट्टान की तरह था; जिसे हिलाना कठिन था।
- विचार परीक्षण: यदि आपने दस अलग-अलग तरीकों से पूछा "क्या आपको गर्मी पसंद है?" तो रोबोट एक संस्करण में "हाँ" कह सकता है और दूसरे में "नहीं"। यह जेली की तरह था; यह डगमगाता था और इसे कैसे भी छेड़ा जाए, यह अपना आकार बदल लेता था।
4. "सीट बदलने" का प्रभाव (The "Seat Switching" Effect)
शोधकर्ताओं ने पाया कि एक विशिष्ट तरीका जिसने रोबोटों को सबसे अधिक परेशान किया: जवाबों का क्रम बदलना।
कल्पना कीजिए कि एक बहुविकल्पीय प्रश्न (multiple-choice question) है जहाँ उत्तर A, B, C, D के रूप में सूचीबद्ध हैं।
- यदि आप उन्हें बदलकर D, C, B, A कर देते हैं, तो रोबोट अक्सर एक अलग अक्षर चुन लेता है, भले ही शब्द वही हों।
- यह बहुत अधिक विचार वाले प्रश्नों के साथ हुआ। ऐसा लग रहा था जैसे रोबोट सोच रहा हो, "ओह, उत्तर अब ऊपर है? मुझे लगता है कि यही वह है जिसे वे चाहते हैं कि मैं चुनूँ!" बजाय इसके कि वह वास्तव में सामग्री के बारे में सोचे।
5. यह क्यों मायने रखता है
यह शोध पत्र हमें चेतावनी देता है कि हम एक रोबोट के एकल उत्तर को उसके "विश्वासों" के प्रमाण के रूप में नहीं मान सकते।
- उपमा: कल्पना कीजिए कि आप अपने एक दोस्त से पूछते हैं, "क्या आपको पिज्जा पसंद है?" वह कहता है, "हाँ।" आप इसे उसके बारे में एक तथ्य के रूप में लिख लेते हैं। लेकिन फिर आप उसी सवाल को फिर से पूछते हैं, लेकिन इस बार आप एक मेनू में "पिज्जा" को आखिरी विकल्प के रूप में रखते हैं, और वह कहता है, "नहीं।"
- निष्कर्ष: आप केवल एक बातचीत के आधार पर यह नहीं कह सकते कि आपका दोस्त "पिज्जा पसंद करता है" या "पिज्जा नापसंद करता है।" आपको उसे कई अलग-अलग तरीकों से पूछना होगा ताकि आप देख सकें कि क्या उसका उत्तर समान रहता है।
मुख्य बात (The Takeaway)
शोध पत्र निष्कर्ष निकालता है कि यदि हम जानना चाहते हैं कि एक AI राजनीति या मूल्यों के बारे में क्या "मानता" है, तो हम केवल एक सवाल पूछकर उसके जवाब को अंतिम सत्य नहीं मान सकते। हमें इसे सवाल के कई अलग-अलग संस्करणों के साथ टेस्ट करना होगा। यदि रोबोट केवल इसलिए अपना मन बदल देता है क्योंकि हमने शब्दों को इधर-उधर कर दिया, तो हमें वास्तव में यह नहीं पता कि वह क्या मानता है—हमें केवल यह पता है कि वह सवाल पूछने के तरीके पर कैसे प्रतिक्रिया देता है।
संक्षेप में: रोबोट का "व्यक्तित्व" नाजुक है। यह सवाल के आकार के आधार पर बदल जाता है, विशेष रूप से तब जब सवाल भावनाओं के बारे में हो न कि तथ्यों के बारे में।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।