Demographic Prompting at Scale: When More Attributes Hurt LLM--Human Agreement
यह अध्ययन प्रदर्शित करता है कि जबकि प्रॉम्प्ट्स में एक से तीन उच्च-सिग्नल वाले जनसांख्यिकीय गुणों को प्रदान करने से LLMs और मानव एनोटेशन के बीच संरेखण में सुधार हो सकता है, पूर्ण विशेषता सेटों के साथ अत्यधिक विशिष्टता प्रदर्शन को खराब कर देती है, जो यह प्रकट करता है कि सफल जनसांख्यिकीय प्रॉम्प्टिंग केवल गुणों की मात्रा बढ़ाने के बजाय सिग्नल सीखने की क्षमता (learnability), दिशात्मक सुसंगतता (directional coherence) और कार्य संदर्भ के संयुक्त विचार पर निर्भर करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक सुपर-स्मार्ट रोबोट दोस्त है (एक लार्ज लैंग्वेज मॉडल, या LLM) जो कहानियाँ पढ़ने और लोगों की भावनाओं का अनुमान लगाने में बहुत माहिर है। कभी-कभी, रोबोट एकदम सही अनुमान लगाता है, लेकिन कभी-कभी वह चूक जाता है क्योंकि उसे यह नहीं पता होता कि पढ़ने वाला कौन है।
साउथ फ्लोरिडा यूनिवर्सिटी के शोधकर्ताओं ने एक लोकप्रिय विचार का परीक्षण करने का निर्णय लिया: "क्या होगा यदि हम रोबोट को ठीक-ठीक बता दें कि पाठक कौन है?" उन्होंने रोबोट को एक "पर्सोना" (व्यक्तित्व) देकर, जैसे कि पाठक की आयु, जाति, लिंग, धर्म और अन्य विवरणों को सूचीबद्ध करके, इसे आज़माया। वे यह देखना चाहते थे कि क्या इससे रोबोट वास्तविक मानव पाठकों के साथ बेहतर तालमेल बिठा पाता है।
यहाँ उन्हें क्या मिला, जिसे उन्होंने पाँच अलग-अलग रोबोट दिमागों और पाँच अलग-अलग प्रकार के कठिन कार्यों (जैसे कि विषाक्त टिप्पणियों को पहचानना, यह अनुमान लगाना कि कोई टेक्स्ट कितना विनम्र है, या भावना को समझना) के मिश्रण का उपयोग करके प्रस्तुत किया है।
"गोल्डिलॉक्स" नियम: कम ही अधिक है
सबसे बड़ा आश्चर्य? अधिक जानकारी ने रोबोट को स्मार्ट नहीं बनाया; बल्कि उसे भ्रमित कर दिया।
इसे एक दोस्त को निर्देश देने की तरह समझें। यदि आप कहते हैं, "पार्क जाओ," तो वे रास्ता भटक सकते हैं। यदि आप कहते हैं, "पार्क जाओ, लाल घर के पास बाएं मुड़ें, फिर नीली कार के पास दाएं मुड़ें," तो वे वहाँ पहुँच सकते हैं। लेकिन यदि आप विवरण जोड़ते जाते हैं—"और कुत्ते को भूलना मत, और समय दोपहर 3 बजे का है, और मौसम बरसाती है, और पार्क में एक फव्वारा है, और..."—तो आपका दोस्त शायद जम जाएगा और गलत दिशा में चला जाएगा।
शोधकर्ताओं ने पाया कि अधिकांश रोबोटों के लिए, "स्वीट स्पॉट" (सही संतुलन) एक से तीन विशिष्ट विवरण देना था।
- स्वीट स्पॉट: जब उन्होंने केवल कुछ संकेत दिए (जैसे, "एक व्यक्ति जो LGBTQ+ और अश्वेत है"), तो रोबोट के अनुमान मानव पाठकों के साथ बहुत बेहतर मेल खाते थे।
- ओवरलोड: जब उन्होंने रोबोट को उपलब्ध हर एक विवरण दिया (पूरा एट्रिब्यूट सेट), तो रोबोट का प्रदर्शन वास्तव में खराब हो गया। यह एक साथ पाँच लोगों को बोलने की कोशिश करने जैसा था; रोबोट यह तय नहीं कर पा रहा था कि किसे सुनना है।
"सिग्नल बनाम नॉइज़" का रहस्य
आप सोच सकते हैं, "यदि लोगों का कोई समूह किसी विषय पर वास्तव में असहमत है, तो रोबोट को निश्चित रूप से इसके बारे में पता होना चाहिए!" लेकिन पेपर सुझाव देता है कि ऐसा हमेशा नहीं होता है।
कल्पive करें कि रोबोट सुरागों के आधार पर अपराध सुलझाने की कोशिश कर रहा है।
- मैग्निट्यूड ट्रैप (परिमाण का जाल): सिर्फ इसलिए कि लोगों का एक समूह किसी विषय पर ज़ोर-शोर से बहस करता है (उच्च "मैग्निट्यूड" या अंतर), इसका मतलब यह नहीं है कि रोबोट उस बहस का उपयोग मामला सुलझाने के लिए कर सकता है। शोधकर्ताओं ने पाया कि यह जानना कि मनुष्य कितना असहमत थे, यह अनुमान लगाने में मदद नहीं करता था कि रोबोट बेहतर होगा या नहीं।
- कोहेरेंस की (सामंजस्य की कुंजी): असली रहस्य डायरेक्शनल कोहेरेंस (दिशात्मक सामंजस्य) था। यह एक फैंसी तरीका है यह पूछने का: "क्या इस समूह के विभिन्न लोग इस बात पर सहमत हैं कि संकेतों का अर्थ क्या है?"
- अच्छा सिग्नल: यदि एक समूह के सभी लोग (मान लीजिए, "LGBTQ+ व्यक्ति") इस बात पर सहमत हैं कि "खतरा" शब्द का एक विशिष्ट अर्थ है, तो रोबट इसे सीख सकता है।
- बुरा सिग्नल: यदि समूह का आधा हिस्सा सोचता है कि "खतरा" का अर्थ खतरा है, और दूसरा आधा हिस्सा कुछ और सोचता है, तो रोबोट भ्रमित हो जाता है। भले ही वह समूह अपने विचारों के बारे में "ज़ोरदार" हो, यदि वे विपरीत दिशाओं में खींच रहे हैं, तो रोबोट को "इस समूह की तरह व्यवहार करो" कहना वास्तव में स्थिति को बदतर बना देता है।
"न्यूरॉन" जासूसी कार्य
यह समझने के लिए कि यह क्यों हुआ, शोधकर्ताओं ने रोबोट के मस्तिष्क के अंदर झाँका (एक प्रक्रिया जिसे "न्यूरॉन प्रोबिंग" कहा जाता है)। उन्होंने देखा कि जब उन्हें एक पर्सोना दिया गया, तो रोबोट के मस्तिष्क के कौन से सूक्ष्म हिस्से सक्रिय हुए।
उन्होंने एक विशिष्ट रोबोट, DeepSeek के साथ एक अजीब विरोधाभास पाया।
- हाई-वॉल्यूम पैराडॉक्स (उच्च मात्रा का विरोधाभास): जब DeepSeek को एक पर्सोना दिया गया, तो इसने अन्य किसी भी रोबोट की तुलना में अधिक न्यूरॉन्स को सक्रिय किया। आप सोचेंगे, "वाह, यह कितनी मेहनत कर रहा है!" लेकिन वास्तव में, यह निर्देशों का पालन करने में सबसे खराब था।
- सबक: सिर्फ इसलिए कि एक रोबोट का मस्तिष्क गतिविधि से गूँज रहा है, इसका मतलब यह नहीं है कि वह स्पष्ट रूप से सोच रहा है। कभी-कभी, वह सारा शोर केवल अतिरिक्त निर्देशों से होने वाला भ्रम होता है, न कि पर्सोना की वास्तविक समझ।
इसका आपके लिए क्या अर्थ है
पेपर यह नहीं कहता कि "डेमोग्राफिक प्रॉम्प्टिंग (जनसांख्यिकीय प्रॉम्प्टिंग) खराब है।" इसके बजाय, यह सुझाव देता है कि यह एक उपकरण है जिसका उपयोग सावधानी से किया जाना चाहिए।
- रोबोट पर सब कुछ न थोपें: यदि आप चाहते हैं कि रोबोट किसी विशिष्ट प्रकार के व्यक्ति की तरह व्यवहार करे, तो एक से तीन स्पष्ट और सुसंगत गुण चुनें। उनके पूरे जीवन की कहानी न लिखें।
- सहमति की जाँच करें: यदि आप जिस समूह की नकल करने की कोशिश कर रहे हैं, वह इस बात पर विभाजित है कि चीजों का अर्थ क्या है, तो रोबोट संभवतः मदद नहीं कर पाएगा।
- यह रोबोट पर निर्भर करता है: कुछ रोबोट (जैसे Llama या Qwen) सही संकेतों के साथ इन कार्यों में बेहतर हो गए। अन्य (जैसे DeepSeek) वास्तव में खराब हो गए, चाहे आप उन्हें कुछ भी बताएं।
संक्षेप में, शोधकर्ता सुझाव देते हैं कि रोबोट को "पर्सोना" देना कोई जादुई बटन नहीं है जो सब कुछ ठीक कर देता है। यह एक रेडियो ट्यून करने जैसा है: आपको एक स्पष्ट सिग्नल पाने के लिए सही फ्रीक्वेंसी (सही कुछ गुणों) को खोजना होगा। यदि आप डायल को बहुत अधिक घुमाते हैं या एक साथ बहुत सारे स्टेशनों को सुनने की कोशिश करते हैं, तो आपको केवल शोर (स्टैटिक) मिलेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।