Readable, Faithful, Used: Three Dissociable Properties of Demographic Identity in a Language Model
यह शोध पत्र यह प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) में, जनसांख्यिकीय पहचान (demographic identity) के पठनीय (readable), निष्ठापूर्वक संरचित (faithfully structured) और कारणवश उपयोग (causally used) होने के गुण तीन अलग-अलग घटनाएँ हैं, जो यह प्रकट करती हैं कि हालांकि विशिष्ट अटेंशन हेड्स उच्च निष्ठा के साथ सर्वेक्षण-समान समूह अंतरों को एनकोड कर सकते हैं, लेकिन यह एनकोडिंग अनिवार्य रूप से प्रतिक्रिया उत्पन्न करने के लिए मॉडल के वास्तविक कारण संबंधी उपयोग (causal usage) में परिवर्तित नहीं होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) से सामाजिक विज्ञान अनुसंधान में मनुष्यों के विकल्प के रूप में कार्य करने के लिए तेजी से कहा जा रहा है। विभिन्न समूहों की राजनीति, धर्म या अर्थशास्त्र के बारे में भावनाओं को समझने के लिए हजारों वास्तविक लोगों का साक्षात्कार करने में महीनों और लाखों डॉलर खर्च करने के बजाय, शोधकर्ता बस एक कंप्यूटर प्रोग्राम से उन प्रतिक्रियाओं का अनुकरण करने के लिए कह सकते हैं। उम्मीद यह है कि ये डिजिटल प्रतिनिधि, एक युवा डेमोक्रेट और एक वृद्ध रिपब्लिकन के बीच, या एक हिंदू और एक ईसाई के बीच के सूक्ष्म अंतरों को ठीक उसी तरह पकड़ पाएंगे, जैसा कि एक वास्तविक सर्वेक्षण करता है। लेकिन प्रमाणों का एक बढ़ता हुआ समूह सुझाव देता है कि ये सिमुलेशन विफल हो रहे हैं। कंप्यूटर के उत्तर बहुत अधिक एकरूप, बहुत अधिक सहमत और एक-दूसरे के बहुत समान होते हैं, चाहे प्रॉम्प्ट के साथ कोई भी जनसांख्यिकीय लेबल जुड़ा हो। केंद्रीय रहस्य यह रहा है कि क्या यह विफलता इसलिए होती है क्योंकि मॉडल वास्तव में इन समूहों के बीच के अंतर को नहीं जानता, या इसलिए क्योंकि वह अंतरों को जानता है लेकिन बोलने के समय उनका उपयोग करने का विकल्प चुनता है।
इसे हल करने के लिए, एक शोधकर्ता ने यह देखने के लिए कि जनसांख्यिकीय जानकारी वास्तव में कहाँ रहती है, एक लार्ज लैंग्वेज मॉडल के "मस्तिष्क" के भीतर झांकने का प्रयास किया। जांच एक विशिष्ट मॉडल, मिस्ट्रल-7B (Mistral-7B) पर केंद्रित थी, और तीन अलग-अलग प्रश्न पूछे गए। पहला, क्या उत्तर देने वाले के बारे में जानकारी मॉडल के आंतरिक संकेतों से पठनीय है? दूसरा, क्या वह जानकारी इस तरह व्यवस्थित है जो वास्तविक दुनिया का दर्पण है, जहाँ कंप्यूटर के मन में दो समूहों के बीच की दूरी वास्तविकता में उनके बीच की दूरी से मेल खाती है? और तीसरा, क्या मॉडल उत्तर उत्पन्न करते समय वास्तव में इस आंतरिक मानचित्र का उपयोग करता है? अध्ययन ने इन तीन प्रश्नों को अलग-अलग गुणों के रूप में माना, यह समझते हुए कि एक मॉडल के पास एक निष्ठावान आंतरिक मानचित्र हो सकता है बिना कभी राय बनाने के लिए उसका परामर्श किए।
शोधकर्ताओं ने मॉडल के आंतरिक परिदृश्य को मैप करना शुरू किया। उन्होंने 169 विभिन्न प्रतिच्छेदी समूहों (intersectional groups) के लिए प्रॉम्प्ट बनाए, जैसे कि युवा एशियाई डेमोक्रेट या मध्यम आयु वर्ग के हिंदू रिपब्लिकन, और मॉडल की आंतरिक स्थिति का उसके प्रसंस्करण के बिल्कुल अंत में परीक्षण किया। उन्होंने मॉडल की आंतरिक व्यवस्था की तुलना प्यू रिसर्च सेंटर (Pew Research Center) के वास्तविक सर्वेक्षण डेटा से की, जिसने यह 'ग्राउंड ट्रुथ' प्रदान किया कि ये समूह वास्तव में अपनी राय में कैसे भिन्न होते हैं। परिणामों ने खुलासा किया कि मॉडल का मन पढ़ने का मानक तरीका—अंतिम आउटपुट लेयर को देखना—भ्रामक रूप से कमजोर था। इसने सुझाव दिया कि मॉडल का दृष्टिकोण जनसांख्यिकीय अंतरों के प्रति धुंधला और अस्पष्ट है। हालांकि, जब शोधकर्ताओं ने गहराई से देखा, मॉडल के प्रसंस्करण को बनाने वाले विशिष्ट घटकों पर, तो उन्हें एक बहुत अधिक स्पष्ट चित्र मिला।
सूचना खोई नहीं थी; वह बस विशिष्ट, संकीर्ण चैनलों में छिपी हुई थी। अध्ययन ने पाया कि मॉडल की आंतरिक ज्यामिति 'इंडिविजुअल अटेंशन हेड्स' (individual attention heads) द्वारा नियंत्रित है, जो मॉडल के भीतर विशिष्ट उप-प्रोसेसर हैं। परीक्षण किए गए छह में से पांच प्रकार के जनसांख्यिकीय गुणों में, सबसे अच्छे एकल अटेंशन हेड ने मॉडल के संपूर्ण अंतिम आउटपुट लेयर की तुलना में समूह के अंतर का कहीं अधिक सटीक मानचित्र प्रदान किया। एक विशिष्ट अटेंशन हेड, जो मॉडल की 11वीं लेयर में स्थित था, उल्लेखनीय रूप से निष्ठावान पाया गया। इसने छह जनसांख्यिकीय प्रकारों—आयु, शिक्षा, आय, धर्म, राजनीतिक दल और राजनीतिक विचारधारा—का एक प्रतिनिधित्व धारण किया था, जो इस बात से निकटता से मेल खाता था कि ये समूह वास्तव में कैसे भिन्न होते हैं। इस एकल घटक ने एक ऐसा मानचित्र धारण किया जहाँ समूहों के बीच के संबंध इतनी सटीकता के साथ व्यवस्थित थे कि वह मापने योग्य सैद्धांतिक सीमा के लगभग 70% तक पहुँच गया, यहाँ तक कि इस तथ्य को ध्यान में रखते हुए भी कि स्वयं सर्वेक्षण डेटा में कुछ शोर (noise) होता है।
फिर भी, मॉडल के भीतर एक निष्ठावान मानचित्र मिलने का मतलब यह नहीं था कि मॉडल उसका उपयोग कर रहा था। शोधकर्ताओं ने फिर परीक्षण किया कि क्या यह सटीक आंतरिक व्यवस्था वास्तव में मॉडल के उत्तरों को प्रभावित करती है। उन्होंने एक कारणत्मक प्रयोग (causal experiment) किया जहाँ उन्होंने प्रॉम्प्ट में जनसांख्यिकीय पहचान को बदला और देखा कि मॉडल की अनुमानित राय कैसे बदलती है। परिणाम स्पष्ट था: प्रॉम्प्ट में व्यक्ति की पूरी पहचान बदलने से मॉडल की अनुमानित प्रतिक्रियाएं उनके कुल त्रुटि के 2% से भी कम विस्थापित हुईं। मॉडल विभिन्न समूहों के लिए थोड़े अलग, लेकिन समान रूप से गलत उत्तर देता था। और भी आश्चर्यजनक रूप से, शोधकर्ताओं ने पाया कि जिस स्थान पर सबसे निष्ठावान मानचित्र था, वह वह स्थान नहीं था जो उत्तरों को संचालित करता था। सबसे स्पष्ट कारणत्मक मार्ग (causal pathway), जहाँ आंतरिक स्थिति को बदलने से वास्तव में मॉडल का अनुमान सत्य की ओर बढ़ जाता था, उस जनसांख्यिकीय प्रकार में पाया गया जिसका आंतरिक मानचित्र सबसे कमजोरों में से एक था। इसके विपरीत, सबसे निष्ठावान रूप से व्यवस्थित प्रकार ने कोई पता लगाने योग्य कारणत्मक प्रभाव नहीं दिखाया जब शोधकर्ताओं ने उस पर हस्तक्षेप करने का प्रयास किया।
यह विच्छेद सुझाव देता है कि इन मॉडलों की जनसंख्या का अनुकरण करने में विफलता केवल ज्ञान की कमी नहीं है। मॉडल के पास एक विस्तृत, सटीक मानचित्र है कि विभिन्न समूह कैसे भिन्न होते हैं, विशेष रूप से राजनीतिक और आर्थिक कारकों के संबंध में, जबकि नस्ल और धर्म के बारे में उसकी समझ कमजोर और अस्थिर बनी रहती है। हालाँकि, मॉडल बोलने के समय इस मानचित्र का परामर्श नहीं करता है। आंतरिक ज्यामिति निष्ठावान रूप से व्यवस्थित है लेकिन अंतिम आउटपुट से कारणत्मक रूप से विच्छेदित है। अध्ययन ने यह भी पाया कि उस एकल निष्ठावान अटेंशन हेड पर गणितीय प्रोब (mathematical probe) का उपयोग करके सीधे इस आंतरिक मानचित्र को पढ़ने से, मॉडल के अपने उत्पन्न उत्तरों की तुलना में वास्तविक सर्वेक्षण सत्य के 21% से 31% अधिक करीब के परिणाम प्राप्त हुए। हालाँकि, यहाँ तक कि यह बेहतर 'रीड-आउट' भी व्यक्तिगत प्रश्नों के लिए व्यक्तिगत विचारों के विशिष्ट क्रम की भविष्यवाणी मॉडल के अपने त्रुटिपूर्ण उत्तरों से बेहतर नहीं कर सका।
इन निष्कर्षों के निहितार्थ उन सभी के लिए महत्वपूर्ण हैं जो मानव समाज को समझने के लिए कृत्रिम बुद्धिमत्ता (AI) का उपयोग करने का प्रयास कर रहे हैं। यह शोध प्रदर्शित करता है कि जनसंख्या का अनुकरण करने की क्षमता को केवल इसलिए नहीं माना जा सकता क्योंकि एक मॉडल को किसी विशिष्ट व्यक्ति की तरह कार्य करने के लिए प्रेरित किया जा सकता है। मॉडल के पास ज्ञान है, लेकिन वह इसका उपयोग उस तरह से नहीं कर रहा है जैसा शोधकर्ता आशा करते हैं। इसके अलावा, अध्ययन चेतावनी देता है कि जनसांख्यिकीय गुण विनिमेय (interchangeable) नहीं हैं; जहाँ मॉडल के पास राजनीतिक और आर्थिक पहचान की मजबूत पकड़ है, वहीं नस्लीय और धार्मिक पहचान की उसकी समझ नाजुक है और प्रश्न पूछने के तरीके में मामूली बदलाव होने पर टूट जाती है। कार्य यह निष्कर्ष निकालता है कि मॉडल के आंतरिक ज्ञान और उसके बाहरी व्यवहार को एक ही चीज़ मानना ही वह कारण है जिससे इन मॉडलों द्वारा जनसंख्या का अनुकरण करने की क्षमता पर बहस अनसुलझी बनी हुई है। मॉडल के पास मानचित्र है, लेकिन वह मार्ग का अनुसरण नहीं कर रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।