LEX-EC: A Lexical Evidence-Channel Audit Framework for Zero-Shot LLM Personality Classification in Black-Box Settings
यह शोध पत्र LEX-EC को प्रस्तुत करता है, जो एक ब्लैक-बॉक्स ऑडिट फ्रेमवर्क है जो विविध टेक्स्ट जॉनर में ज़ीरो-शॉट लार्ज लैंग्वेज मॉडल व्यक्तित्व वर्गीकरण के दौरान मार्जिनल डिस्ट्रीब्यूशन प्रभावों और वास्तविक ट्रेट-एसोसिएटेड सिग्नल्स के बीच अंतर करने के लिए प्रिवैलेंस डायग्नोस्टिक्स, लेक्सिकल एब्लेशन और प्रॉम्प्ट सेंसिटिविटी एनालिसिस को संयोजित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो किसी के द्वारा लिखे गए एक अकेले नोट को पढ़कर उनके व्यक्तित्व को समझने की कोशिश कर रहे हैं। आप अनुमान लगा सकते हैं कि वे "मिलनसार" हैं क्योंकि उन्होंने विस्मयादिबोधक चिह्नों (!) का उपयोग किया है, या "गंभीर" हैं क्योंकि उन्होंने अपने पद का उल्लेख किया है। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है: अत्यंत बुद्धिमान कंप्यूटर प्रोग्राम जो टेक्स्ट पढ़ते हैं और मानवीय गुणों जैसे कि कोई व्यक्ति मिलनसार, चिंतित या रचनात्मक है, इसका अनुमान लगाने की कोशिश करते हैं। वैज्ञानिक इन अनुमानों को "बिग फाइव" व्यक्तित्व लेबल कहते हैं। लेकिन यहाँ एक पेचीदा बात है: सिर्फ इसलिए कि एक कंप्यूटर कहता है, "यह व्यक्ति निश्चित रूप से मिलनसार है," इसका मतलब यह नहीं है कि वह वास्तव में उस व्यक्ति को जानता है। हो सकता है कि वह केवल नोट की लंबाई, विषय (जैसे पार्टियों के बारे में बात करना), या यहाँ तक कि लेखक की उम्र और लिंग के आधार पर अनुमान लगा रहा हो। बड़ा सवाल शोधकर्ताओं के लिए यह है: क्या ये एआई (AI) जासूस वास्तव में व्यक्ति को पढ़ रहे हैं, या वे केवल आसान सुरागों को पकड़ रहे हैं और भाग्यशाली अनुमान लगा रहे हैं?
यह शोध पत्र एक नया डिटेक्टिव टूल पेश करता है जिसे LEX-EC कहा जाता है ताकि इस रहस्य को सुलझाया जा सके। LEX-EC को एक "लेक्सिकल एविडेंस-चैनल ऑडिट" (lexical evidence-channel audit) के रूप में समझें। सरल भाषा में, यह परीक्षण करने का एक तरीका है कि क्या एक एआई वास्तव में व्यक्तित्व को समझ रहा है या केवल नकल कर रहा है। शोधकर्ताओं ने तीन अलग-अलग प्रकार के लेखन—लंबे, स्वतंत्र रूप से लिखे गए निबंध, स्नातक छात्रों के संक्षिप्त परिचय, और छोटे फेसबुक स्टेटस अपडेट—को लिया और विभिन्न एआई मॉडलों से लेखकों के व्यक्तित्व का अनुमान लगाने के लिए कहा। फिर, उन्होंने शब्दों के साथ "लुका-छिपी" का खेल खेला। उन्होंने विशिष्ट विषयों (जैसे "मुझे हाइकिंग पसंद है" या "मैं अटलांटा में रहता हूँ") और जनसांख्यिकीय विवरणों (जैसे "मैं 22 वर्ष का हूँ") को मिटाने के लिए एक डिजिटल इरेज़र का उपयोग किया, जिससे केवल भाषा का "कंकाल" बचा: छोटे जोड़ने वाले शब्द, भावनात्मक शब्द और शैलीगत मार्कर। फिर उन्होंने एआई से केवल इस छंटनी किए गए टेक्स्ट का उपयोग करके व्यक्तित्व का अनुमान लगाने के लिए कहा।
परिणाम आश्चर्यों और पुष्टियों का मिश्रण थे। जब एआई ने लंबे निबंधों को देखा, तो विशिष्ट विषयों को मिटा देने के बाद भी वह व्यक्तित्व का एक धुंधला संकेत ढूंढ सका, जिससे पता चलता है कि वह कुछ गहरे शैलीगत अभ्यासों को पकड़ रहा था। हालाँकि, जब एआई ने छोटे फेसबुक स्टेटस देखे (जिनकी औसत लंबाई केवल लगभग 17 शब्द थी), तो विषय हटने के बाद व्यक्तित्व के सुराग लगभग पूरी तरह से गायब हो गए। यह सुझाव देता है कि बहुत छोटे टेक्स्ट के लिए, एआई शायद पूरी तरह से उन विशिष्ट चीजों पर निर्भर था जिनके बारे में लोग बात कर रहे थे, न कि वास्तव में वे कौन हैं।
अध्ययन ने यह भी परीक्षण किया कि एआई अपने अनुमानों को कैसे "समझाता" है। जब शोधकर्ताओं ने एआई को यह ध्यान केंद्रित करने के लिए कहा कि व्यक्ति कैसे लिखता है (उसकी शैली और भावनाओं पर) न कि उसने क्या लिखा (विषय पर), तो एआई के स्पष्टीकरण नए निर्देशों के अनुरूप बदल गए। हालाँकि, एआई अनिवार्य रूप से अधिक सटीक नहीं हुआ; इसने केवल अपनी कहानी बदल दी। लेखकों ने पाया कि एआई की व्यक्तित्व का अनुमान लगाने की क्षमता कोई एक एकल महाशक्ति नहीं थी; यह इस पर बहुत अधिक निर्भर थी कि कितना टेक्स्ट उपलब्ध है और वह किस प्रकार का लेखन है। संक्षेप में, शोध पत्र सुझाव देता है कि जबकि एआई लंबे, समृद्ध टेक्स्ट में व्यक्तित्व के पैटर्न को पहचान सकता है, उसे छोटे अंशों के साथ बहुत संघर्ष करना पड़ता है, और अक्सर वह विषय को ही व्यक्ति समझ लेता है। इसका अर्थ यह है कि हमें केवल कुछ वाक्यों के आधार पर लोगों को आंकने के लिए इन उपकरणों का उपयोग करने के बारे में बहुत सावधान रहना चाहिए, क्योंकि एआई वास्तविक मानव के बजाय मशीन में दिखने वाले भ्रमों (ghosts in the machine) को देख रहा हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।