Rethinking the Evaluation and Optimization of LLM-Based Social Simulation
यह शोध पत्र व्यवहारिक परिवर्तनशीलता को मापने के लिए एक व्यक्तिपरकता गुणांक (subjectivity coefficient) पेश करके और सब्जेक्टिविटी-एडेप्टिव सॉफ्ट-लेबल ट्रेनिंग (SALT) का प्रस्ताव देकर LLM-आधारित सामाजिक सिमुलेशन के लिए सटीकता-आधारित मूल्यांकन और हार्ड-लेबल प्रशिक्षण की सीमाओं को संबोधित करता है, जिसे नए निर्मित SUBJSIM बेंचमार्क पर मान्य किया गया है जो मानव प्रतिक्रियाओं की अंतर्निहित व्यक्तिपरकता को प्रभावी ढंग से संभालता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सामाजिक विज्ञान के शांत कोनों में, शोधकर्ता लंबे समय से यह समझने की कोशिश कर रहे हैं कि लोग कैसे सोचते हैं, निर्णय लेते हैं और परस्पर क्रिया करते हैं। दशकों से, इस कार्य के लिए प्राथमिक उपकरण सर्वेक्षण और नियंत्रित प्रयोग रहे हैं, जहाँ वास्तविक लोगों से प्रश्न पूछे जाते हैं या उन्हें स्थितियों में रखा जाता है ताकि यह देखा जा सके कि वे कैसी प्रतिक्रिया देते हैं। ये विधियाँ शक्तिशाली हैं, लेकिन वे धीमी, महंगी और राजनीतिक ध्रुवीकरण या बाजार के बदलावों जैसी जटिल वैश्विक घटनाओं का अध्ययन करने के लिए बड़े पैमाने पर लागू करने में कठिन भी हैं। हाल ही में, एक नया उपकरण उभरा है: लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल)। ये परिष्कृत कंप्यूटर प्रोग्राम हैं जो कहानियाँ लिख सकते हैं, प्रश्नों के उत्तर दे सकते हैं और बातचीत कर सकते हैं। वैज्ञानिकों ने मानव व्यवहार का अनुकरण करने के लिए उनका उपयोग करना शुरू कर दिया है, जिससे डिजिटल आबादी बनाई जा रही है जिसे आभासी वातावरण में परखा जा सकता है। उम्मीद यह है कि ये सिमुलेशन समाज का अध्ययन करने के लिए एक कम लागत वाला, नियंत्रणीय तरीका प्रदान कर सकते हैं। हालाँकि, एक मौलिक समस्या इस क्षेत्र को पीछे खींच रही है। जब एक कंप्यूटर प्रोग्राम मानव की नकल करने की कोशिश करता है, तो हमें कैसे पता चलेगा कि वह वास्तव में अच्छा काम कर रहा है? इसे जाँचने का मानक तरीका एक सरल प्रश्न पूछना रहा है: क्या कंप्यूटर ने ठीक वही उत्तर चुना जो एक वास्तविक व्यक्ति ने दिया था? यदि उत्तर मेल खाता है, तो सिमुलेशन को सफल माना जाता है। लेकिन यह दृष्टिकोण यह मान लेता है कि मानव व्यवहार एक गणितीय समस्या की तरह है, जहाँ एक ही सही उत्तर खोजने के लिए प्रतीक्षा की जाती है। वास्तव में, मानव विकल्प कहीं अधिक तरल होते हैं। एक ही व्यक्ति, दो अलग-अलग दिनों में एक ही स्थिति का सामना करते हुए, तर्कसंगत रूप से अलग चुनाव कर सकता है। समान पृष्ठभूमि वाले लोगों का एक समूह कई विकल्पों के बीच अपने वोट विभाजित कर सकता है। एक एकल मानव प्रतिक्रिया को एकमात्र सत्य मानने से वह स्वाभाविक विविधता और अनिश्चितता अनदेखी हो जाती है जो हमारे वास्तविक जीवन को परिभाषित करती है।
रेन्मिन यूनिवर्सिटी ऑफ चाइना के शोधकर्ताओं की एक टीम ने अब इस मानक दृष्टिकोण को चुनौती दी है, उनका तर्क है कि इन सामाजिक सिमुलेशनों को परीक्षण करने और प्रशिक्षित करने का वर्तमान तरीका मौलिक रूप से त्रुटिपूर्ण है। वे प्रस्तावित करते हैं कि मानव व्यवहार एक निश्चित लक्ष्य नहीं बल्कि संभावनाओं का एक बादल है, और एक कंप्यूटर को उस बादल के भीतर एक एकल बिंदु पर प्रहार करने के लिए मजबूर करना एक गलती है। इसे सिद्ध करने के लिए, टीम ने "विषयनिष्ठता" (subjectivity), या इस बात का एक नया तरीका पेश किया कि निर्णय व्यक्तिगत भावना पर कितना निर्भर करता है बजाय वस्तुनिष्ठ तथ्य के। उन्होंने पाया कि कोडिंग या गणित जैसे कार्यों के लिए, जहाँ एक स्पष्ट सही उत्तर होता है, पुराने तरीके ठीक काम करते हैं। लेकिन सामाजिक प्रश्नों के लिए, जहाँ लोगों की राय व्यापक रूप से भिन्न होती है, पुराने तरीके विफल हो जाते हैं। जब शोधकर्ता एक मॉडल को केवल उस एकल उत्तर की नकल करने के लिए प्रशिक्षित करते हैं जो किसी व्यक्ति ने दिया था, तो मॉडल कठोर और संकीमित हो जाता है। यह उन अन्य तर्कसंगफल विकल्पों को भूल जाता है जो एक व्यक्ति ने किए होते, जिससे मानव अप्रत्याशितता का मूल सार ही खो जाता है। इसके अलावा, जब वे मॉडल की सफलता को यह जाँचकर आंकने की कोशिश करते हैं कि क्या वह उस एकल उत्तर से मेल खाता है, तो वे अक्सर गुमराह होते हैं। एक मॉडल मानव विचार की पूरी श्रृंखला को पकड़ने में बहुत खराब हो सकता है लेकिन फिर भी केवल भाग्य से उच्च स्कोर प्राप्त कर सकता है, या एक आदर्श मॉडल कम स्कोर प्राप्त कर सकता है क्योंकि उसने उस विशिष्ट उत्तर का अनुमान नहीं लगाया जिसे टेस्टर ने चुना था।
इसे ठीक करने के लिए, शोधकर्ताओं ने एक नई विधि विकसित की जिसे सब्जेक्टिविटी-एडेप्टिव सॉफ्ट-लेबल ट्रेनिंग (Subjectivity-Adaptive soft-Label Training) या SALT कहा जाता है। एक विशिष्ट उत्तर को याद करने के लिए कंप्यूटर को मजबूर करने के बजाय, SALT उसे संभावित उत्तरों के परिदृश्य को समझने की शिक्षा देता है। यह प्रणाली उन कई स्थितियों को देखती है जो अध्ययन की जा रही स्थिति के समान हैं और उन उत्तरों को एकत्र करती है जो लोगों ने उन आस-पास की स्थितियों में दिए थे। फिर यह इन उत्तरों को मिलाकर एक "सॉफ्ट" लक्ष्य बनाता है, जो एक मानचित्र है कि विभिन्न विकल्पों की संभावना कितनी है। महत्वपूर्ण रूप से, यह प्रणाली यह जानने के लिए पर्याप्त स्मार्ट है कि कितना मिश्रण करना है। यदि कोई प्रश्न बहुत वस्तुनिष्ठ है, जैसे कि गणित की समस्या, तो यह बहुत कम मिश्रण करता है और देखे गए एकल उत्तर के करीब रहता है। लेकिन यदि कोई प्रश्न अत्यधिक विषयनिष्ठ है, जैसे व्यक्तिगत मूल्यों के बारे में पूछना, तो यह मानव राय के पूर्ण प्रसार को पकड़ने के लिए समान स्थितियों के एक बहुत बड़े घेरे से उत्तरों को मिलाता है। यह मॉडल को मानव व्यवहार के केवल एक स्नैपशॉट के बजाय उसके वास्तविक आकार को सीखने की अनुमति देता है।
इस विचार का परीक्षण करने के लिए, टीम को कुछ ऐसा बनाना पड़ा जो पहले अस्तित्व में नहीं था: एक विशाल डेटासेट जहाँ वे मानव विकल्पों की पूरी श्रृंखला देख सकें, न कि केवल एक। उन्होंने 100 विभिन्न सर्वेक्षण प्रश्नों पर उत्तर देने के लिए 193 लोगों को नियुक्त किया, जिसमें राजनीति, स्वास्थ्य और संस्कृति जैसे विषय शामिल थे। लेकिन केवल एक उत्तर चुनने के बजाय, प्रत्येक व्यक्ति से सभी संभावित विकल्पों पर 'प्रोबेबिलिटी पॉइंट्स' (संभावना अंक) वितरित करने के लिए कहा गया, जो प्रभावी रूप से शोधकर्ताओं को यह बता रहा था कि वे प्रत्येक विकल्प को कितना संभावित मानते थे। इसने 19,300 अद्वितीय परिदृश्यों का एक समृद्ध मानचित्र बनाया, जो दिखाता है कि लोगों की राय कैसे वितरित थी। इस नए बेंचमार्क का उपयोग करके, उन्होंने अपने मॉडलों को प्रशिक्षित किया। परिणाम आश्चर्यजनक थे। मानक पद्धति, जो एक एकल उत्तर की नकल करने की कोशिश करती है, खराब प्रदर्शन करती है, और अक्सर मानव विचार की वास्तविक विविधता को पकड़ने में विफल रहती है। हालाँकि, नई SALT विधि ने हर अन्य दृष्टिकोण को काफी पीछे छोड़ दिया। इसने मानव व्यवहार की भविष्यवाणी करने में त्रुटि को बड़े अंतर से कम कर दिया, विशेष रूप से सबसे विषयनिष्ठ प्रश्नों के लिए जहाँ मानव राय सबसे विविध होती है। सबसे कठिन मामलों में, जहाँ लोगों के उत्तर व्यापक रूप से बिखरे हुए थे, नए तरीके ने पुराने प्रशिक्षण की तुलना में पूर्ण प्रतिक्रिया वितरण की भविष्यवाणी में लगभग 97 प्रतिशत का सुधार किया, जैसा कि KL डाइवर्जेंस (KL divergence) में कमी द्वारा मापा गया।
अध्ययन ने यह भी खुलासा किया कि पुराने तरीके क्यों संघर्ष कर रहे थे। जब शोधकर्ताओं ने ऐसी तकनीकों का उपयोग करने का प्रयास किया जो लोगों को उम्र या नौकरी जैसे व्यापक श्रेणियों द्वारा समूहीकृत करती हैं, तो परिणाम अभी भी शोर भरे और गलत थे। यह पता चला कि कुंजी केवल लोगों को समूहीकृत करना नहीं था, बल्कि यह देखना था कि समानता के लिए सही स्तर क्या है। SALT की अनुकूलन योग्य प्रकृति ने इसे स्वचालित रूप से इस संतुलन को खोजने की अनुमति दी, जिससे यह बिना असंबंधित विचारों को मिलाए, एक विश्वसनीय चित्र बनाने के लिए पर्याप्त समान उदाहरणों को खींच सका। शोधकर्ताओं ने पाया कि यह दृष्टिकोण तब सबसे अच्छा काम करता है जब मॉडल को अनिश्चित होने की अनुमति दी जाती है, जो मानव व्यवहार का दर्पण है। यह कार्य सुझाव देता है कि समाज का वास्तव में अनुकरण करने के लिए, हमें मानव विकल्पों को सुधारा जाने वाले त्रुटियों के रूप में मानना बंद करना होगा और उन्हें उनकी पूर्ण जटिलता में समझे जाने वाले डेटा के रूप में मानना शुरू करना होगा। एक एकल सही उत्तर की कठोर खोज से संभावनाओं की एक लचीली समझ की ओर स्थानांतरित होकर, हम ऐसे सिमुलेशन बना सकते हैं जो न केवल सांख्यिकीय रूप से सटीक हैं, बल्कि मानव जीवन की अव्यवस्थित, अद्भुत अप्रत्याशितता के प्रति वास्तव में निष्ठावान भी हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।