Quantifying the Sources of Instability in LLM-Based Stance Analysis of Public Discourse
यह अध्ययन प्रदर्शित करता है कि जबकि सार्वजनिक विमर्श के एलएलएम-आधारित रुख विश्लेषण (stance analysis) में कुल सेंटिमेंट अनुपात विभिन्न प्रीप्रोसेसिंग पाइपलाइनों में स्थिर रहते हैं, भावनात्मक वैलेंस (affective valence) और एपिस्टेमिक मोडैलिटी (epistemic modality) के बीच युग्मन (coupling) के संबंध में विशिष्ट निष्कर्ष कम-नमूना वक्ताओं के लिए पाइपलाइन विविधताओं के प्रति, और अधिक महत्वपूर्ण रूप से, एलएलएम और कीवर्ड-लेक्सिकन मापन विधियों के बीच व्यवस्थित असहमति के प्रति अत्यधिक संवेदनशील होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि एक प्रसिद्ध व्यक्ति वास्तव में क्या महसूस कर रहा है और वह अपने शब्दों को लेकर कितना आश्वस्त है। आपके पास वीडियो इंटरव्यूओं का एक विशाल ढेर है। लेकिन अपना अनुसंधान शुरू करने से पहले, आपको कच्चे वीडियो को एक मशीन से गुजारना होगा जो तीन काम करती है: यह ऑडियो सुनती है, यह पहचानती है कि कौन बोल रहा है (अतिथि या साक्षात्कारकर्ता), और भाषण को वाक्यों में काटती है।
यह शोध पत्र एक सरल लेकिन पेचीदा सवाल पूछता है: क्या आपके द्वारा अपनी मशीन को सेट करने का तरीका अंतिम निर्णय को बदल देता है?
शोधकर्ताओं ने, बो चेन के नेतृत्व में, 2ंगी (256) यूट्यूब इंटरव्यू के साथ एक व्यापक प्रयोग किया, जिसमें वित्त, राजनीति और मीडिया से जुड़े 41 प्रसिद्ध लोगों को शामिल किया गया। उन्होंने इन वीडियो को दो अलग-अलग "मशीनों" (प्रीप्रोसेसिंग पाइपलाइन) के माध्यम से चलाया और फिर टेक्स्ट का विश्लेषण करने के लिए दो अलग-अलग "जासूसों" (मापन विधियों) का उपयोग किया।
दो मशीनें: "कट-एंड-पेस्ट" बनाम "ऑडियो कान"
पहली मशीन को एक टेक्स्ट-ओनली डिटेक्टिव (केवल टेक्स्ट वाला जासूस) के रूप में सोचें। यह यूट्यूब के ऑटो-जेनरेटेड सबटाइटल को पकड़ता है, उन्हें साफ करता है, और अनुमान लगाने की कोशिश करता है कि कौन बोल रहा है। यह तेज़ है, लेकिन यूट्यूब कैप्शन के अस्त-व्यस्त तरीके के कारण कभी-कभी भ्रमित हो जाता है।
दूसरी मशीन ऑडियो-ओनली डिटेक्टिव (केवल ऑडियो वाला जासूस) है। यह वास्तविक ध्वनि तरंगों को सुनती है, आवाजों की पहचान करती है, और जो कहा गया उसे लिख देती है। यह एक अधिक महंगी, उच्च-तकनीकी पद्धति है।
शोधकर्ता यह देखना चाहते थे कि क्या टेक्स्ट-ओनली डिटेक्टिव से ऑडियो-ओनली डिटेक्टिव पर स्विच करने से वक्ताओं के बारे में उनके द्वारा बताई गई कहानी बदल जाएगी।
दो जासूस: "AI ब्रेन" बनाम "वर्ड लिस्ट"
एक बार जब टेक्स्ट तैयार हो गया, तो उन्हें दो चीजों को मापने की आवश्यकता थी:
- वेलेंस (Valence): क्या वक्ता खुश (सकारात्मक) है या दुखी/क्रोधित (नकारात्मक) है?
- मोडैलिटी (Modality): क्या वक्ता बहुत आत्मविश्वासी (प्रभावी) है या अनिश्चित (हिचकिचाने वाला) है?
इसे मापने के लिए, उन्होंने दो अलग-अलग उपकरणों का उपयोग किया:
- द AI ब्रेन (LLM): एक शक्तिशाली आर्टिफिशियल इंटेलिजेंस जो टेक्स्ट को पढ़ता है और वक्ता की भावनाओं और आत्मविश्वास पर एक रिपोर्ट लिखता है।
- द वर्ड लिस्ट (कीवर्ड लेक्सिकॉन): एक कठोर नियम पुस्तिका जो बस विशिष्ट "क्रोधित" या "आत्मविश्वासी" शब्दों की गिनती करती है।
बड़ा आश्चर्य: मशीन आपकी सोच से कम मायने रखती है (कुछ के लिए)
यहाँ पहला मोड़ आता है। शोधकर्ताओं ने पाया कि वीडियो को काटने का तरीका बहुत मायने रखता है, लेकिन केवल तभी जब आपके पास शुरुआत में पर्याप्त वीडियो न हों।
यदि किसी प्रसिद्ध व्यक्ति के पास केवल कुछ ही वीडियो (5 या उससे कम) हैं, तो परिणाम पूरी तरह से गड़बड़ हो जाते हैं। टेक्स्ट-ओनली डिटेक्टिव से ऑडियो-ओनली डिटेक्टिव पर स्विच करना परिणामों को पूरी तरह से पलट सकता है, जिससे एक "आत्मविश्वासी" वक्ता "हिचकिचाने वाला" बन सकता है। यह एक अकेले बादल को देखकर मौसम का अनुमान लगाने जैसा है; यह बहुत अधिक शोर (noise) है।
हालाँकि, यदि किसी वक्ता के पास बहुत सारे वीडियो (16 या अधिक) हैं, तो मशीन का चुनाव बहुत कम मायने रखता है। अध्ययन में सबसे अच्छी तरह से सैंपल किए गए चार सितारों के लिए, मशीन बदलने से परिणाम केवल मामूली रूप से बदले (औसत बदलाव 0.13)। मशीन चाहे जो भी हो, कहानी वही रही।
असली विलेन: जासूस का चुनाव
यहाँ कहानी और दिलचस्प हो जाती है। जबकि मशीन (प्रीप्रोसेसिंग) ने अच्छी तरह से सैंपल किए गए सितारों के लिए कहानी को ज्यादा नहीं बदला, जासूस (मापन विधि) ने बिल्कुल बदल दिया।
शोधकर्ताओं ने पाया कि AI ब्रेन और वर्ड लिस्ट अक्सर एक ही व्यक्ति के बारे में बिल्कुल विपरीत कहानियाँ बताते थे, भले ही वे बिल्कुल एक ही टेक्स्ट को पढ़ रहे हों।
- लगभग 49% मामलों में, दोनों जासूस इस बात पर असहमत थे कि वक्ता आत्मविश्वासी था या हिचकिचाने वाला।
- कुछ बहुत प्रसिद्ध, अच्छी तरह से सैंपल किए गए वक्ताओं (जैसे अर्थशास्त्री केन रोगोफ, जिनके 17 वीडियो हैं) के लिए, AI ने एक बात कही, और वर्ड लिस्ट ने ठीक उसके विपरीत बात कही।
यह सुझाव देता है कि अस्थिरता का सबसे बड़ा स्रोत आपका डेटा साफ करना नहीं है, बल्कि वह टूल है जिसे आप विश्लेषण के लिए चुनते हैं। एक टूल किसी वक्ता को "क्रोधित और निश्चित" के रूप में देख सकता है, जबकि दूसरा उन्हें "शांत और अनिश्चित" के रूप में देख सकता है।
सुरक्षा का भ्रम
आप सोच सकते हैं, "खैर, शायद अगर हम सभी का औसत देख लें, तो सब कुछ संतुलित हो जाएगा?" शोधकर्ताओं ने इसकी जांच की, और उत्तर एक कड़ा 'नहीं' है।
उन्होंने पाया कि यदि आप सभी वीडियो में नकारात्मक शब्दों के कुल प्रतिशत को देखते हैं, तो आंकड़े बहुत स्थिर दिखते हैं। आप चाहे कोई भी मशीन या जासूस इस्तेमाल करें, "बुरे शब्दों" की कुल संख्या में बहुत कम बदलाव आता है (6 प्रतिशत अंक से भी कम का बदलाव)।
लेकिन यह स्थिरता एक जाल है। यह इस तथ्य को छिपा देता है कि व्यक्तिगत वक्ताओं के लिए, निष्कर्ष पूरी तरह से अलग हैं। यह ऐसा है जैसे कहना कि एक कक्षा "औसत" है क्योंकि गणित का जीनियस और टेस्ट में फेल होने वाला छात्र एक-दूसरे को संतुलित कर रहे हैं। आप इस तथ्य को भूल जाते हैं कि एक छात्र संघर्ष कर रहा है और दूसरा फल-फूल रहा है।
मुख्य निष्कर्ष (Takeaway)
यह शोध पत्र सार्वजनिक विमर्श का अध्ययन करने वाले किसी भी व्यक्ति के लिए एक चेतावनी के साथ समाप्त होता है: सिर्फ एक सेटअप पर भरोसा न करें।
- अपने सैंपल साइज की जाँच करें: यदि आपके पास केवल कुछ ही वीडियो हैं, तो आप जो भी करें, आपके परिणाम अविश्वसनीय होने की संभावना है।
- केवल एक जासूस पर निर्भर न रहें: यदि आपका AI टूल और आपका वर्ड-काउंटिंग टूल असहमत हैं, तो आपने अभी तक सच्चाई नहीं खोज ली है। आपको यह देखने की आवश्यकता है कि क्या वे सहमत हैं, इससे पहले कि आप अपने निष्कर्ष प्रकाशित करें।
- शोर को अलग करें: आपको यह पता लगाना होगा कि आपके परिणाम इसलिए बदल रहे हैं क्योंकि आपने मशीन (प्रीप्रोसेसिंग) बदली है या क्योंकि आपने मापने वाला टूल (मापन विधि) बदला है।
संक्षेप में, आपके डेटा को तैयार करने का तरीका मायने रखता है, लेकिन जिस टूल से आप इसे मापते हैं, वह उससे भी अधिक मायने रखता है। और यदि आप केवल बड़े औसत को देखते हैं, तो आप पूरी कहानी को मिस कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।