Instruction-Tuned Language Models Cannot Sample from Distributions They Can Describe
यह शोध पत्र प्रकट करता है कि निर्देश-ट्यून किए गए भाषा मॉडल वास्तव में प्रतिक्रिया वितरण (response distributions) से नमूने लेने में विफल रहते हैं, बल्कि संरेखण प्रशिक्षण (alignment training) के कारण नियत (deterministic) आउटपुट में सिमट जाते हैं, लेकिन वे एक ही कॉल में इन वितरणों का सटीक वर्णन कर सकते हैं, एक "KNOWS/DOES" अंतराल जो वितरण विवरण या प्रॉम्प्ट परिवर्तन (prompt perturbation) के माध्यम से मानव सर्वेक्षण डेटा के काफी अधिक सटीक अनुकरण को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मिलियन सवाल पूछकर भविष्य की भविष्यवाणी करने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, वैज्ञानिकों ने "लार्ज लैंग्वेज मॉडल्स" (LLMs) को उस क्रिस्टल बॉल के रूप में उपयोग करना शुरू कर दिया है। असली लोगों से राजनीति, फिल्मों या अर्थव्यवस्था के बारे में पूछने के बजाय, शोधकर्ता एआई को अलग-अलग तरह के लोग होने का नाटक करने के लिए कहते हैं—जैसे कि "ओहियो का एक किशोर" या "फ्लोरिडा की एक सेवानिवृत्त शिक्षिका।" इसे "सिलिकॉन सैंपलिंग" कहा जाता है। विचार सरल है: यदि आप एआई को हजार अलग-अलग लोगों की तरह व्यवहार करने के लिए कहते हैं, तो उसे हजार अलग-अलग उत्तर देने चाहिए, ठीक वैसे ही जैसे एक वास्तविक भीड़ देगी। उन सभी उत्तरों को गिनकर, आप पूरी आबादी की सोच का अनुमान लगा सकते हैं। यह एक विशाल आइसक्रीम शॉप के स्वाद का अंदाजा लगाने जैसा है, जिसमें आप हर एक ग्राहक से एक स्कूप चखते हैं।
लेकिन यहाँ एक पेंच है: इसके काम करने के लिए, एआई को हर बार सवाल पूछने पर "पासा फेंकने" (roll the dice) में सक्षम होना चाहिए। यदि आप एक वास्तविक किशोर से पूछते हैं, "क्या तुम्हें पिज्जा पसंद है?" तो वे आज "हाँ" कह सकते हैं और कल "नहीं" कह सकते हैं, या शायद वे अपने दिमाग में एक सिक्का उछालते हैं। एआई को भी ऐसा ही करना चाहिए, यानी जब भी आप "सेंड" पर क्लिक करें, तो एक नया, रैंडम उत्तर उत्पन्न करना चाहिए। यदि एआई वास्तव में पासा नहीं फेंक सकता—यदि वह एक ही उत्तर पर अड़ा रहता है चाहे आप कितनी भी बार पूछें—तो यह पूरे प्रयोग को बिगाड़ देता है। आप आइसक्रीम शॉप के स्वाद का अंदाजा तब तक नहीं लगा सकते जब तक कि पहला ग्राहक "चॉकलेट" कहे और एआई अगले 999 ग्राहकों को भी "चॉकलेट" कहने के लिए मजबूर कर दे।
यही वह चीज़ है जिसे KAIST के शोधकर्ताओं की एक टीम ने खोजा। उन्होंने पाया कि आज के एआई मॉडल में एक अजीब सी खराबी है: वे वास्तव में रैंडम सैंपलिंग करने में बहुत खराब हैं, भले ही वे आपको यह बताने में उत्कृष्ट हों कि एक रैंडम डिस्ट्रीब्यूशन कैसा दिखता है। यह एक ऐसे जादूगर की तरह है जो ताश के पत्तों के फेंटे जाने का सटीक वर्णन कर सकता है, लेकिन जब उससे एक रैंडम कार्ड निकालने को कहा जाता है, तो वह हमेशा इक्का ही निकालता है।
शोधकर्ताओं ने इसे "KNOWS/DOES स्प्लिट" कहा। मॉडल उत्तर को जानता (KNOWS) है। यदि आप उससे पूछते हैं, "विकल्प A बनाम विकल्प B को कितने प्रतिशत लोग पसंद करते हैं?", तो वह सटीक गणित दे सकता है। लेकिन मॉडल उसे कर (DOES) नहीं पाता। यदि आप उसे एक व्यक्ति होने का नाटक करने और एक उत्तर देने के लिए कहते हैं, तो वह ढह जाता है। विविध प्रतिक्रियाएं देने के बजाय, वह एक ही उत्तर पर अटक जाता है।
इसे साबित करने के लिए, वैज्ञानिकों ने परीक्षणों की एक श्रृंखला चलाई। उन्होंने एआई को 1 और 100 के बीच एक रैंडम नंबर चुनने के लिए कहा। आप उम्मीद करेंगे कि उत्तर हर जगह बिखरे होंगे। इसके बजाय, एआई ने 78% प्रयासों में संख्या 42 चुनी! जब उन्होंने इसे 70/30 के स्प्लिट के साथ दो विकल्पों के बीच चुनने के लिए कहा, तो इसने मिश्रण नहीं दिया; इसने हर बार 70% वाला विकल्प चुना। ऐसा लग रहा था जैसे एआई का आंतरिक पासा रोलर टूटा हुआ था और एक ही तरफ चिपका हुआ था।
टीम ने यह भी पता लगाया कि ऐसा क्यों होता है। उन्होंने इन एआई मॉडल्स के "स्मार्ट" संस्करणों (जिन्हें निर्देश मानने और मददगार होने के लिए प्रशिक्षित किया गया है) की तुलना उनके "रॉ" (raw) संस्करणों (जिन्होंने अभी तक चैट करना नहीं सीखा है) से की। रॉ मॉडल्स पासा फेंकने में बहुत बेहतर थे। हालाँकि, "स्मार्ट" मॉडल्स को इतना सुसंगत और मददगार बनने के लिए प्रशिक्षित किया गया था कि उन्होंने रैंडम होने की क्षमता खो दी। यह एआई को एक अच्छा छात्र बनाने का एक साइड इफेक्ट है; इसने हमेशा "सही" उत्तर देना सीख लिया, भले ही कार्य रैंडम होना हो।
तो, यदि हमें सर्वेक्षणों के लिए इन एआई मॉडल्स का उपयोग करने की आवश्यकता है, तो हम क्या कर सकते हैं? शोधकर्ताओं ने दो चतुर तरीके खोजे।
पहला, यदि आप केवल भीड़ की सामान्य राय (पॉपुलेशन एस्टीमेट) जानना चाहते हैं, तो एआई को 100 अलग-अलग लोगों होने का नाटक करने के लिए न कहें। इसके बजाय, एआई से बस एक प्रश्न पूछें: "यदि आप 100 लोगों से यह प्रश्न पूछेंगे, तो उनके परिणाम कैसे दिखेंगे?" एआई डिस्ट्रीब्यूशन का वर्णन करने में बहुत अच्छा है। जब उन्होंने इस "डिस्क्राइब पाथवे" (Describe Pathway) को आजमाया, तो पुराने तरीके (एआई को कई लोगों होने का नाटक करने के लिए कहने) की तुलना में उनकी भविष्यवाणियों की त्रुटि आधे से अधिक कम हो गई।
दूसरा, यदि आपको वास्तव में एआई से 100 अलग-अलग व्यक्तिगत उत्तर चाहिए (शायद एक वीडियो गेम के लिए जहाँ हर पात्र को एक अद्वितीय व्यक्तित्व की आवश्यकता है), तो आप केवल एक ही सवाल को 100 बार नहीं पूछ सकते। एआई खुद को दोहराता रहेगा। इसके बजाय, शोधकर्ताओं ने "प्रॉम्प्ट-पर्टर्बड आर्गिल" (Prompt-Perturbed Argyle - PPA) नामक एक विधि बनाई। इसमें हर बार सवाल पूछने के तरीके को थोड़ा बदलना शामिल है—जैसे उत्तरों के क्रम को बदलना, प्रश्न की शब्दावली बदलना, या "कैरेक्टर" के विवरण को स्थान बदलना। ये सूक्ष्म परिवर्तन एआई के टूटे हुए डाइस रोलर को "हिलाने" (jiggle) के लिए पर्याप्त हैं, जिससे वह हर बार एक अलग उत्तर देने के लिए मजबूर होता है। इस सरल ट्रिक ने बिना किसी अतिरिक्त लागत या समय के त्रुटि को 21% कम कर दिया।
संक्षेप में, यह पेपर बताता है कि जबकि एआई इस बात का वर्णन करने में अद्भुत है कि दुनिया कैसे काम करती है, यह वर्तमान में दुनिया के एक रैंडम व्यक्ति होने का नाटक करने में बहुत खराब है। लेकिन इस विशेषता को समझकर, हम अभी भी इन शक्तिशाली उपकरणों का उपयोग अच्छे उत्तर प्राप्त करने के लिए कर सकते हैं, हमें बस उन्हें सही तरीके से पूछना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।