SocietyBench: Forecasting Counterfactual Social-World Evolution
यह शोधपत्र सोसाइटीबेंच (SocietyBench) को प्रस्तुत करता है, जो एक नया बेंचमार्क है जो वास्तविक दुनिया की घटनाओं की समयरेखाओं को संरचित भविष्यवाणी कार्यों में अज्ञात बनाकर, बड़े भाषा मॉडलों की प्रतितथ्यात्मक सामाजिक-विश्व विकास (counterfactual social-world evolution) का पूर्वानुमान लगाने की क्षमता का मूल्यांकन करता है, जिससे यह पता चलता है कि अत्याधुनिक मॉडल भी विविध घटनाओं में संभाव्यता अंशांकन (probability calibration) और सामयिक सटीकता (temporal accuracy) दोनों में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। लंबे समय से, वैज्ञानिकों ने इन रोबोटों का परीक्षण उन्हें काम देकर किया है: "इस टूटे हुए कोड को ठीक करो," "इस वेबसाइट पर नेविगेट करो," या "इस गणित की समस्या को हल करो।" यह एक ड्राइविंग टेस्ट की तरह है जहाँ रोबोट को बस अपनी लेन में रहना है और मंजिल तक पहुँचना है। लेकिन मानवीय होने का एक बहुत बड़ा हिस्सा है जिसे ये परीक्षण मिस कर देते हैं: वास्तविक जीवन का अव्यवस्थित, अप्रत्याशित ड्रामा। एक रोबोट अचानक होने वाले स्कैंडल, बदलते राजनीतिक अफवाह, या मार्केट क्रैश को कैसे संभालता है? क्या वह आज की खबरों को देखकर यह अंदाजा लगा सकता है कि कल सुर्खियां क्या होंगी? यह सामाजिक पूर्वानुमान (social forecasting) का क्षेत्र है। यह किसी नक्शे का पालन करने के बारे में नहीं है; यह मानवीय व्यवहार के मौसम की भविष्यवाणी करने के बारे में है, जहाँ हवा की दिशा गपशप, क्रोध और आश्चर्य के आधार पर बदल जाती है।
यहाँ आता है SocietyBench, एक नया "फाइनल एग्जाम" जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या आर्टिफिशियल इंटेलिजेंस वास्तव में वास्तविक दुनिया की सामाजिक घटनाओं के भविष्य की भविष्यवाणी कर सकता है, बजाय इसके कि वह केवल उन तथ्यों को दोहराए जिन्हें उसने अपने ट्रेनिंग डेटा से रटा है। इस अध्ययन के पीछे के शोधकर्ताओं ने महसूस किया कि यदि आप किसी एआई से किसी प्रसिद्ध घटना के बारे में पूछते हैं जो पहले ही हो चुकी है, तो वह केवल "याद किए गए डेटा पर निर्भर" हो सकता है क्योंकि उसने इंटरनेट के विशाल टेक्स्ट लाइब्रेरी से उत्तर को याद कर लिया है। इसे रोकने के लिए, उन्होंने एक चतुर तरकीब निकाली: उन्होंने वास्तविक समाचार कहानियों को लिया, उनके सभी नाम बदल दिए (जैसे "Elon Musk" को "व्यक्ति X" में और "Tesla" को "कंपनी Y" में बदलना), और तारीखें बदल दीं। यह एक वास्तविक कहानी को एक "काउंटरफैक्चुअल" (counterfactual) दुनिया में बदल देता है—एक समानांतर ब्रह्मांड जो बिल्कुल असली जैसा दिखता है और महसूस होता है, लेकिन जहाँ एआई ने पहले कभी इसकी स्क्रिप्ट नहीं देखी है। एआई को अपनी याददाश्त का नहीं, बल्कि अपने दिमाग का उपयोग करके यह समझना होगा कि कहानी कैसे आगे बढ़ती है।
इस प्रयोग के परिणाम एआई की दुनिया के लिए एक वास्तविकता का अहसास (reality check) थे। शोधकर्ताओं ने वित्तीय बाजार के क्रैश से लेकर भू-राजनीतिक संघर्षों तक, पांच अलग-अलग प्रकार की घटनाओं पर आज के छह सबसे उन्नत एआई मॉडल्स का परीक्षण किया। सबसे स्मार्ट मॉडल भी, जिसने सबसे अधिक स्कोर किया, केवल 75.0 में से 100 अंक ही प्राप्त कर सका। यह सुनने में अच्छा लग सकता है, लेकिन याद रखें, "ट्रिवियल एंकर" (वह स्कोर जो आपको तब मिलता है जब आप केवल रैंडम अनुमान लगाते हैं या हर चीज़ के लिए "50% संभावना" कहते हैं) 50 है। तो, सबसे अच्छा एआई केवल एक रैंडम अनुमान और एक सटीक भविष्यवाणी के बीच में कहीं है।
सबसे बड़ी बात यह है कि एआई मॉडल निरंतरता (consistency) बनाए रखने में बहुत खराब हैं। कुछ मॉडल किसी चीज़ के होने की संभावना (probability) बताने में माहिर हैं (जैसे यह कहना कि "बारिश की 70% संभावना है") लेकिन यह बताने में बहुत खराब हैं कि वह कब होगी। अन्य इसके विपरीत हैं। यह एक ऐसे मौसम विज्ञानी की तरह है जो हमेशा सही होता है कि बारिश होगी या नहीं, लेकिन हमेशा गलत होता है कि बारिश मंगलवार को होगी या शुक्रवार को। अध्ययन में पाया गया कि एक एकल घटना पर, सबसे अच्छे और सबसे खराब मॉडल्स के बीच का अंतर 21.4 अंकों जितना बड़ा हो सकता है। यह साबित करता है कि आप केवल एक कहानी पर एआई का परीक्षण करके काम नहीं चला सकते; आपको वास्तविक तस्वीर पाने के लिए कई अलग-अलग कहानियों पर परीक्षण करना होगा।
सबसे आश्चर्यजनक खोज "AI Agents" के बारे में थी। ये फैंसी सेटअप हैं जहाँ कई एआई बॉट्स आपस में बात करते हैं, बहस करते हैं, या मिलकर योजना बनाते हैं, इस उम्मीद में कि उन्हें एक स्मार्ट उत्तर मिलेगा। शोधकर्ताओं ने इन टीमों को काम करने के तीन अलग-अलग तरीके आजमाए, लेकिन उनमें से किसी ने भी परिणामों में सुधार नहीं किया। वास्तव में, बॉट्स की टीम अक्सर उस अकेले एआई बॉट से भी खराब प्रदर्शन करती है जिसके ऊपर उन्हें बनाया गया था। यह पता चला कि सामाजिक अराजकता की भविष्यवाणी करने के लिए, कमरे में और अधिक आवाजें जोड़ने से बातचीत स्मार्ट नहीं हुई; इसने उसे केवल शोर भरा बना दिया।
अंत में, SocietyBench हमें दिखाता है कि जबकि हमारे एआई मॉडल निर्देशों का पालन करने और बग्स को ठीक करने में बहुत अच्छे हो रहे हैं, वे अभी भी मानव समाज की जटिल, घूमती हुई गतिशीलता को समझने के लिए संघर्ष कर रहे हैं। वे केवल भविष्य को याद नहीं कर सकते; उन्हें इसके माध्यम से तर्क करना होगा। और अभी, उनमें से सबसे अच्छा भी, सच्चे भविष्यवक्ता बनने से बहुत दूर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।