Emulate or Estimate? The Divergent Strengths of Base and Post-Trained Language Models for Opinion Simulation
यह शोध पत्र "अनुकरण" (व्यक्तिगत प्रतिक्रियाएँ उत्पन्न करना) और "अनुमान" (वितरणों की भविष्यवाणी करना) के बीच अंतर करके, राय सिमुलेशन के लिए बड़े भाषा मॉडलों के उपयोग पर परस्पर विरोधी निष्कर्षों को सुलझाता है, यह प्रदर्शित करते हुए कि बेस मॉडल पहले में उत्कृष्ट हैं जबकि पोस्ट-ट्रेन्ड मॉडल दूसरे में श्रेष्ठ हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप हर किसी से व्यक्तिगत रूप से पूछे बिना एक विशाल भीड़ के मिजाज को समझने की कोशिश कर रहे हैं। आप कुछ लोगों से पूछ सकते हैं कि वे क्या सोचते हैं, या आप किसी विशेषज्ञ से समग्र माहौल का अनुमान लगाने के लिए कह सकते हैं। यह उसी तरह की पहेली है जिसका सामना वैज्ञानिक तब करते हैं जब वे मानव विचारों को सिम्युलेट करने के लिए आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग करने की कोशिश करते हैं। कंप्यूटर विज्ञान की दुनिया में, विशेष रूप से "नेचुरल लैंग्वेज प्रोसेसिंग" नामक एक क्षेत्र में, शोधकर्ता विशाल AI मॉडल बना रहे हैं जिन्होंने इंटरनेट पर लिखी गई लगभग हर चीज़ को पढ़ा है। ये मॉडल यह अनुमान लगाने में अविश्वसनीय रूप से अच्छे हैं कि आगे कौन से शब्द आएंगे, जो उन्हें ऐसा दिखाने के योग्य बनाता है जैसे कि वे वास्तविक लोगों के सटीक प्रतिनिधि बन सकते हैं। लेकिन यहाँ पेचीदा हिस्सा यह है: सिर्फ इसलिए कि एक AI एक सम्मोहक कहानी लिख सकता है, इसका मतलब यह नहीं है कि वह यह सटीक भविष्यवाणी कर सकता है कि एक पूरा समूह कैसे मतदान करेगा, अर्थव्यवस्था के बारे में कैसा महसूस करेगा, या किसी सर्वेक्षण का उत्तर कैसे देगा। वैज्ञानिक वर्तमान में इस बात पर बहस कर रहे हैं कि क्या ये AI "लोग" वास्तव में मानव विविधता की नकल करने में अच्छे हैं या वे केवल वह होने का ढोंग कर रहे हैं जो वे नहीं हैं।
यह शोध पत्र इस बहस में शामिल होकर एक रहस्य को सुलझाता है: क्यों कुछ अध्ययन कहते हैं कि AI मानव विचारों को सिम्युलेट करने में महान है, जबकि अन्य कहते हैं कि यह बुरी तरह विफल रहता है? इसके लेखक, जो क्वीन यूनिवर्सिटी और यूनिवर्सिटी ऑफ टोरंटो के शोधकर्ता हैं, सुझाव देते हैं कि यह भ्रम दो बहुत अलग कार्यों को आपस में मिलाने से आता है। वे पहले कार्य को एम्यूलेशन (Emulation) कहते हैं। यह एक विशिष्ट चरित्र निभाने के लिए एक अभिनेता को काम पर रखने जैसा है। AI एक वास्तविक व्यक्ति की तरह एक एकल प्रतिक्रिया उत्पन्न करता है, और यदि आप पर्याप्त "अभिनेताओं" से पूछते हैं, तो उनके उत्तर स्वाभाविक रूप से भीड़ की राय के आकार को दिखाने के लिए जुड़ जाते हैं। दूसरा कार्य है एस्टिमेशन (Estimation)। यह एक सांख्यिकीविद् (statistician) से पूछने जैसा है जो भीड़ को देखता है और बस कहता है, "मुझे लगता है कि 60% लोग विकल्प A चुनेंगे।" शोधकर्ताओं ने इस विचार का परीक्षण करने के लिए दो प्रकार के AI को एक-दूसरे के विरुद्ध खड़ा किया: "बेस" मॉडल (कच्चे, बिना पॉलिश किए गए संस्करण) और "पोस्ट-ट्रेन्ड" मॉडल (वे संस्करण जिन्हें सहायक एजेंट के रूप में फाइन-ट्यून किया गया है)।
पीव रिसर्च सेंटर के वास्तविक सर्वेक्षण डेटा पर चलाए गए उनके प्रयोगों के परिणाम एक स्पष्ट विभाजन प्रकट करते हैं। जब कार्य एम्यूलेशन था—यानी, यह देखने के लिए व्यक्तिगत टेक्स्ट प्रतिक्रियाएं उत्पन्न करना कि भीड़ कैसी दिखती है जब आप उन्हें जोड़ते हैं—तो बेस मॉडल विजेता थे। उन्होंने ऐसी प्रतिक्रियाएं उत्पन्न कीं जो वास्तविक मानवीय डेटा के बहुत करीब थीं और समूहों के बीच के अंतर (जैसे डेमोक्रेट्स बनाम रिपब्लिकन या अमीर बनाम गरीब) को स्पष्ट बनाए रखने में बेहतर रहीं। वास्तव में, "पोस्ट-ट्रेन्ड" मॉडल अक्सर उस समस्या का सामना करते हैं जिसे लेखक "पर्सोना कोलैप्स" (persona collapse) कहते हैं, जहाँ वे सभी एक जैसा सुनाई देने लगते हैं, जैसे कि क्लोन का एक समूह, जिससे वास्तविक लोगों की विविध और अव्यवस्थित विविधता खो जाती है।
हालाँकि, कहानी तब पलट जाती है जब कार्य एस्टिमेशन होता है। जब शोधकर्ताओं ने सीधे AI से पूछा कि "कितने प्रतिशत लोग इस उत्तर को चुनेंगे," तो पोस्ट-ट्रेन्ड मॉडल चमक उठे। वे सीधे सही संख्या देने में बहुत बेहतर थे। कच्चे बेस मॉडल इस मामले में ठीक थे, लेकिन पॉलिश किए गए, सहायक एजेंट काफी सटीक अनुमान लगाने में सक्षम थे, बिना एक भी नकली वाक्य उत्पन्न किए।
लेखकों का सुझाव है कि ऐसा इसलिए होता है क्योंकि "पोस्ट-ट्रेनिंग" प्रक्रिया AI को एक सहायक बनने के लिए सिखाती है। जब आप एक सहायक से भीड़ की राय का अनुमान लगाने के लिए कहते हैं, तो वह अपने ज्ञान का उपयोग करके एक स्मार्ट, सीधा उत्तर देता है। लेकिन जब आप उसी सहायक को एक विशिष्ट व्यक्ति की तरह अभिनय करने के लिए कहते हैं, तो वह अपने "सहायक" की भूमिका में फंस जाता है, जो उसे बहुत एकसमान बना देता है और विभिन्न जनसांख्यिकीय विवरणों की अनूठी विशेषताओं को खो देता है। दूसरी ओर, कच्चे बेस मॉडल को एक ही "सहायक" के बक्से में बंद होने के लिए मजबूर नहीं किया गया है, इसलिए जब उन्हें टेक्स्ट उत्पन्न करने के लिए कहा जाता है, तो वे मानव आवाजों के एक व्यापक और अधिक अराजक पूल से जानकारी निकाल सकते हैं।
इसलिए, शोध पत्र यह निष्कर्ष निकालता है कि मनुष्यों को सिम्युलेट करने के लिए कोई एक एकल "सर्वश्रेष्ठ" AI नहीं है। यदि आपको ऐसा टेक्स्ट उत्पन्न करने की आवश्यकता है जो लोगों के विविध समूह जैसा महसूस हो (जैसे कि किसी वीडियो गेम या सामाजिक विज्ञान सिमुलेशन के लिए), तो आपको कच्चे बेस मॉडल का उपयोग करना चाहिए। लेकिन यदि आपको बस एक त्वरित, सटीक भविष्यवाणी की आवश्यकता है कि एक समूह क्या सोचेगा, तो आपको पॉलिश किए गए पोस्ट-ट्रेन्ड मॉडल्स से इसका अनुमान लगाने के लिए कहना चाहिए। इस क्षेत्र में भ्रम इसलिए नहीं था क्योंकि एक प्रकार का AI खराब था; बल्कि इसलिए था क्योंकि शोधकर्ता अपने विशिष्ट कार्य के लिए गलत उपकरण का उपयोग कर रहे थे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।