Persona Non Grata: LLM Persona-Driven Generations in MCQA are Unstable in Distinct Dimensions
यह शोध पत्र बहुविकल्पीय प्रश्नोत्तर के लिए बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) में व्यक्तित्व-आधारित जनरेशन (पर्सोना-ड्रिवन जनरेशन) की अस्थिरता की जांच करता है, जो यह प्रकट करता है कि प्रदर्शन मॉडल परिवारों, आकार और डोमेन के आधार पर काफी भिन्न होता है, और तापमान (टेम्परेचर) जैसे अन्य हाइपरपैरामीटर्स की तुलना में प्रॉम्प्ट फॉर्मेट के प्रति अधिक संवेदनशील होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट, बहुमुखी रोबोट सहायक है। आप इस रोबोट को कह सकते हैं, "एक वकील होने का नाटक करो," या "एक जीवविज्ञानी होने का नाटक करो," और फिर उससे कई विकल्प वाले प्रश्नों के उत्तर पूछ सकते हैं। इसे पर्सोना-ड्रिवन जनरेशन (PDG) कहा जाता है। विचार यह है कि रोबोट का "चरित्र" उसे बेहतर उत्तर देने में मदद कर सकता है, या कम से कम उसे सुसंगत (consistent) बनाए रख सकता है।
यह शोध पत्र इन रोबोट पात्रों के लिए एक गुणवत्ता नियंत्रण निरीक्षक (quality control inspector) की तरह है। लेखकों ने एक सरल लेकिन डरावना सवाल पूछा: यदि हम एक ही रोबोट को एक ही पात्र बनने के लिए कहें, लेकिन हम प्रश्न पूछने के तरीके के सूक्ष्म विवरणों को बदल दें, तो क्या रोबोट एक ही उत्तर देगा?
उन्होंने पाया कि उत्तर अक्सर नहीं है। रोबोट आश्चर्यजनक रूप से अस्थिर है, जैसे एक गिरगिट जो न केवल पृष्ठभूमि के आधार पर बल्कि आपके पलक झपकने या छींकने के आधार पर भी अपना रंग बदल लेता है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "डगमगाहट" मापने के तीन तरीके
शोधकर्ताओं ने केवल यह नहीं देखा कि रोबोट सही उत्तर दे रहा है या नहीं। उन्होंने तीन विशिष्ट "डगमगाहट मीटर" (shakiness meters) बनाए:
- स्कोर मीटर (प्रदर्शन अस्थिरता - Performance Instability): यदि आप रोबोट से एक ही गणित के प्रश्न को थोड़े अलग निर्देशों के साथ 10 बार पूछते हैं, तो क्या वह हर बार 80% सही उत्तर देता है? या यह 60% और 90% के बीच उछलता रहता है?
- उपमा: कल्पना कीजिए कि एक डार्ट खिलाड़ी है। यदि वे हर बार लक्ष्य (bullseye) पर निशाना साधते हैं, तो वे स्थिर हैं। यदि वे कभी लक्ष्य पर, कभी बाहरी घेरे पर, फिर फर्श पर, और फिर से लक्ष्य पर निशाना साधते हैं, तो वे अस्थिर हैं।
- विजेता मीटर (परिणाम अस्थिरता - Outcome Instability): एक प्रतियोगिता में, कौन सा "चरित्र" सबसे अच्छा है? क्या "वकील" कानूनी सवालों के लिए हमेशा सबसे अच्छा होता है?
- उपमा: एक दौड़ की कल्पना करें। दौड़ के एक संस्करण में, वकील जीतता है। दौड़ के थोड़े अलग संस्करण में (शायद शुरुआती बंदूक की आवाज़ तेज़ थी), जीवविज्ञानी जीत जाता है। शोध पत्र में पाया गया कि दौड़ में कौन जीतता है, यह सेटअप के सूक्ष्म विवरणों पर बहुत अधिक निर्भर करता है।
- प्रश्न मीटर (प्रश्न शुद्धता अस्थिरता - Question Correctness Instability): क्या रोबोट ने वही विशिष्ट प्रश्न सही किए?
- उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। एक संस्करण में, उसने प्रश्न 1, 2 और 3 सही किए। दूसरे संस्करण में, उसने 1, 4 और 5 सही किए। उसने समान स्कोर प्राप्त किया, लेकिन वह अलग-अलग चीजें जानता था। यह मीटर यह जाँचता है कि क्या रोबोट वास्तव में सीख रहा है या केवल अनुमान लगा रहा है।
2. मुख्य निष्कर्ष: रोबोट को क्या डगमगाता है?
"आप कैसे पूछते हैं" यह "आप कितने गर्म हैं" से अधिक महत्वपूर्ण है
शोधकर्ताओं ने तीन चीजों का परीक्षण किया जो रोबोट के व्यवहार को बदल सकती हैं:
- तापमान (Temperature): रोबोट को कितना "रचनात्मक" या यादृच्छिक (random) होने की अनुमति है।
- पर्सोना प्रॉम्प्ट (Persona Prompt): आप रोबोट को बताते हैं कि उसे कौन बनना है (जैसे, "आप एक वकील हैं" बनाम "एक वकील की पहचान अपनाएं")।
- टास्क प्रॉम्प्ट (Task Prompt): आप प्रश्न कैसे पूछते हैं (जैसे, "केवल उत्तर दें" बनाम "अपने तर्क की व्याख्या करें")।
बड़ा आश्चर्य: जिस तरह से आपने टास्क प्रॉम्प्ट (प्रश्न कैसे पूछना है) को तैयार किया, उसने सबसे अधिक उथल-पुथल मचाई।
- उपमा: कल्पना कीजिए कि आप केक बना रहे हैं। आप सोच सकते हैं कि ओवन का तापमान (Temperature) सबसे महत्वपूर्ण है। लेकिन यह शोध पत्र कहता है कि रेसिपी के निर्देश (Task Prompt) वास्तव में समस्या हैं। यदि आप रोबोट को "अपनी सोच की व्याख्या करने" के बजाय केवल "उत्तर देने" के लिए कहते हैं, तो रोबोट का प्रदर्शन बहुत अधिक अप्रत्याशित हो जाता है।
गणित और सामान्य ज्ञान सबसे खराब अपराधी हैं
रोबोट सबसे अधिक अस्थिर था जब वह गणित या सामान्य ज्ञान (Common Sense) के प्रश्नों के उत्तर दे रहा था।
- उपमा: यह एक ऐसे छात्र की तरह है जो इतिहास की तारीखें याद रखने में बहुत अच्छा है लेकिन गणित के सवाल हल करने या बिल्ली चटाई पर क्यों है, यह समझाने के लिए घबरा जाता है और अपना मन बदल लेता है। शोध पत्र का सुझाव है कि ऐसा इसलिए है क्योंकि रोबनों को इन विशिष्ट प्रकार के विषयों पर अन्य विषयों की तुलना में गणितीय तर्क के लिए उतना प्रशिक्षित नहीं किया गया है।
बड़े रोबोट आमतौर पर अधिक स्थिर होते हैं
आम तौर पर, बड़े, अधिक शक्तिशाली मॉडल छोटे मॉडलों की तुलना में अधिक स्थिर थे।
- उपमा: एक विशाल, भारी जहाज छोटी स्पीडबोट की तुलना में लहरों में कम डगमगाता है। हालांकि, एक अपवाद था: एक बहुत बड़ा मॉडल (Qwen 14B) वास्तव में अधिक अस्थिर हो गया जब उसे अपने उत्तरों की "व्याख्या" करने के लिए कहा गया, संभवतः क्योंकि उसने "चेन ऑफ थॉट" (सोच को ज़ोर से बोलना) का उपयोग करना शुरू कर दिया जिससे स्कोरिंग भ्रमित हो गई।
चरित्र (Persona) सेटअप जितना महत्वपूर्ण नहीं है
आप सोच सकते हैं कि "वकील" होना "डॉक्टर" होने से रोबोट को अलग तरह से व्यवहार करने के लिए प्रेरित करता है। शोध पत्र ने पाया कि विशिष्ट चरित्र (persona) का बहुत अधिक महत्व नहीं था।
- उपमा: इससे कोई फर्क नहीं पड़ता कि अभिनेता ने डॉक्टर का कोट पहना है या वकील का सूट; यदि निर्देशक (प्रॉम्प्ट निर्देश) डगमगा रहा है, तो पूरा प्रदर्शन डगमगाएगा। अस्थिरता निर्देशों से आती है, पोशाक से नहीं।
3. यह क्यों मायने रखता है (शोध पत्र के अनुसार)
शोध पत्र चेतावनी देता है कि यदि आप आज यह देखने के लिए प्रयोग चलाते हैं कि कौन सा रोबोट चरित्र सबसे अच्छा है, और आप इसे कल थोड़ा अलग प्रॉम्प्ट फॉर्मेट के साथ फिर से चलाते हैं, तो आपको पूरी तरह से अलग परिणाम मिल सकते हैं।
- "अस्थिर" परिदृश्य: एक सेटिंग में, रोबोट सोचता है कि सवालों के जवाब देने में "वकील" सबसे अच्छा है। एक "अस्थिर" सेटिंग में, यह सोच सकता है कि "जीवविज्ञानी" सबसे अच्छा है, या गणित के सवालों पर एक "हिस्पैनिक व्यक्ति" एक "श्वेत व्यक्ति" की तुलना में अलग प्रदर्शन करता है।
- खतरा: शोध पत्र का तर्क है कि ये अंतर रोबोट के मस्तिष्क में वास्तविक पूर्वाग्रह (biases) नहीं हो सकते हैं। इसके बजाय, वे केवल अस्थिर सेटअप के आर्टिफैक्ट्स (artifacts) हो सकते हैं। यदि रोबोट डगमगा रहा है, तो आप यह बताने के लिए उस पर भरोसा नहीं कर सकते कि वह पक्षपाती है या नहीं।
सारांश
यह शोध पत्र उन लोगों के लिए एक चेतावनी लेबल है जो AI का उपयोग चरित्र निभाने के लिए कर रहे हैं। यह कहता है: "केवल उत्तर पर भरोसा न करें। यह जाँचें कि क्या निर्देश बदलने पर उत्तर बदल जाता है।"
रोबोट का "व्यक्तित्व" नाजुक है। यदि आप प्रश्न पूछने का तरीका बदलते हैं (विशेष रूप से यदि आप इसे अपना काम समझाने के लिए कहते हैं), तो रोबोट इस पर पलट सकता है कि कौन सा "सर्वश्रेष्ठ" पात्र है, वह किन प्रश्नों को सही करता है, और यहाँ तक कि उसका समग्र स्कोर भी बदल सकता है। विश्वसनीय परिणाम प्राप्त करने के लिए, आपको "स्थिर" सेटिंग्स (जैसे बिना स्पष्टीकरण के सरल उत्तर मांगना) को खोजना होगा और उसी पर टिके रहना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।