ContextClaim: A Context-Driven Paradigm for Verifiable Claim Detection
यह शोध पत्र ContextClaim पेश करता है, जो एक नवीन दृष्टिकोण है जो डिटेक्शन प्रक्रिया में अपस्ट्रीम विकिपीडिया-आधारित संदर्भ पुनर्प्राप्ति (context retrieval) और LLM-जनित सारांशों को एकीकृत करके सत्यापन योग्य दावे के पता लगाने (verifiable claim detection) को बढ़ाता है, जो केवल दावे के पाठ पर निर्भर रहने वाले तरीकों की तुलना में विविध डेटासेट और डाउनस्ट्रीम सत्यापन कार्यों में बेहतर प्रदर्शन प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट के विशाल और शोर-शराबे वाले परिदृश्य में, गलत जानकारी भयानक गति से फैलती है, जो किसी के रोकने से पहले ही विचारों को आकार देती है और लोकतांत्रिक प्रक्रियाओं को विकृत कर देती है। इससे लड़ने के लिए, शोधकर्ताओं ने स्वचालित प्रणालियाँ बनाई हैं जिन्हें डिजिटल तथ्य-जांचकर्ताओं (fact-checkers) के रूप में कार्य करने के लिए डिज़ाइन किया गया है। ये प्रणालियाँ आमतौर पर चरणों में काम करती हैं: पहले, वे एक कथन पाते हैं; दूसरा, वे यह निर्णय लेते हैं कि क्या इसकी जाँच करना वास्तव में सार्थक भी है; और अंत में, वे यह देखने के लिए प्रमाण की तलाश करते हैं कि क्या वह सत्य है। दूसरा चरण एक महत्वपूर्ण फ़िल्टर है। यदि कोई कंप्यूटर ऐसे कथन को सत्यापित करने का प्रयास करता है जिसे सिद्ध करना असंभव है—जैसे कि कोई मज़ाक, व्यक्तिगत राय, या किसी काल्पनिक पात्र के बारे में दावा—तो वह बहुमूल्य समय और कंप्यूटिंग शक्ति बर्बाद करता है। लक्ष्य केवल उन कथनों की पहचान करना है जिन्हें, सिद्धांत रूप में, वास्तविक दुनिया के साक्ष्यों के विरुद्ध जांचा जा सकता है। वर्षों से, इन प्रणालियों ने केवल कथन को पढ़कर, उसके शब्दों में सुराग खोजकर यह निर्णय लेने का प्रयास किया है। लेकिन इस दृष्टिकोण में एक कमी है। एक वाक्य गंभीर तथ्य जैसा दिख सकता है, फिर भी वह ऐसी पृष्ठभूमि जानकारी पर निर्भर हो सकता है जो कंप्यूटर के पास नहीं है, जिससे बिना बाहरी मदद के उसे सत्यापित करना असंभव हो जाता है।
क्वीन मैरी यूनिवर्सिटी ऑफ लंदन के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने का एक नया तरीका प्रस्तावित किया है। उनका तर्क है कि यह जानने के लिए कि क्या कोई दावा जांचने योग्य है, एक कंप्यूटर को उस दावे में उल्लेखित व्यक्तियों और स्थानों के बारे में जानना चाहिए, ठीक वैसे ही जैसे एक मानव तथ्य-जांचकर्ता करता है। उन्होंने 'ContextClaim' नामक एक विधि विकसित की है, जो संचालन के क्रम को बदल देती है। साक्ष्य एकत्र करने के लिए बिल्कुल अंत तक प्रतीक्षा करने के बजाय, यह प्रणाली शुरुआत में ही पृष्ठभूमि जानकारी एकत्र कर लेती है, इससे पहले कि यह तय किया जाए कि क्या दावा जाँचने योग्य है। जब प्रणाली एक कथन का सामना करती है, तो वह सबसे पहले उसमें मौजूद लोगों, स्थानों या संगठनों के नामों की पहचान करती है। फिर वह उन विशिष्ट संस्थाओं के बारे में संक्षिप्त सारांश खोजने के लिए विकिपीडिया, जो एक संरचित विश्वकोश है, की खोज करती है। अंत में, वह मूल कथन और इन नए सारांशों दोनों को एक भाषा मॉडल (language model) में डाल देती है, जो इस बात पर अंतिम निर्णय लेता है कि क्या दावा सत्यापन योग्य है।
शोधकर्ताओं ने इस विचार का परीक्षण पाठ के दो बहुत अलग प्रकारों पर किया: महामारी के बारे में ट्वीट्स का एक संग्रह और राजनीतिक बहसों से वाक्यों का एक सेट। उन्होंने अपनी नई विधि की तुलना पुराने सिस्टम से की जो केवल दावा पाठ को पढ़ते थे। परिणामों ने दिखाया कि पृष्ठभूमि संदर्भ जोड़ने से कंप्यूटर को बेहतर निर्णय लेने में आम तौर पर मदद मिली। कई मामलों में, प्रणाली उन दावों को पहचानने में अधिक सटीक हो गई जिन्हें सत्यापित किया जा सकता था। हालाँकि, सुधार समान नहीं था। सफलता का स्तर उपयोग किए गए कंप्यूटर मॉडल के प्रकार और उसके प्रशिक्षण पर बहुत अधिक निर्भर था। कुछ मॉडल नई जानकारी को सहजता से एकीकृत करने में सक्षम थे, जबकि अन्य इससे भ्रमित हो गए, और कभी-कभी पहले से भी खराब प्रदर्शन किया। शोधकर्ताओं ने पाया कि सबसे निरंतर लाभ तब आया जब मॉडलों को केवल चलते-फिरते उदाहरण सीखने के बजाय, विशिष्ट कार्य के लिए सावधानीपूर्वक समायोजित किया गया था।
उनकी खोज का एक प्रमुख हिस्सा यह समझना था कि अतिरिक्त जानकारी कभी-कभी विफल क्यों हो जाती है। यह प्रणाली विकिपीडिया लेखों को संक्षिप्त, उपयोगी नोट्स में सारांशित करने के लिए एक बड़े भाषा मॉडल पर निर्भर करती है। जबकि ये सारांश विषय के लिए सामान्यतः प्रासंगिक थे, लेकिन उनमें अक्सर उस विशिष्ट "संकेत" (signal) की कमी थी जो कंप्यूटर को यह बताने के लिए आवश्यक हो कि क्या कोई दावा तथ्य है या राय। उदाहरण के लिए, यदि कोई दावा किसी प्रसिद्ध राजनेता का उल्लेख करता है, तो प्रणाली उस राजनेता के करियर का सारांश सफलतापूर्वक खोज लेगी। लेकिन यदि वह दावा उस राजनेता के बारे में एक मज़ाक था, तो उनके करियर का सारांश यह स्पष्ट नहीं कर पाएगा कि वह मज़ाक सत्यापन योग्य तथ्य नहीं था। कंप्यूटर, उस गंभीर पृष्ठभूमि जानकारी को देखते हुए, गलती से यह निर्णय ले सकता था कि दावा सत्यापन योग्य है। इसने एक सूक्ष्म दोष को उजागर किया: सही जानकारी होना पर्याप्त नहीं है; जानकारी को इस तरह प्रस्तुत किया जाना चाहिए जो दावे की प्रकृति को स्पष्ट रूप से उजागर करे।
टीम ने यह भी देखा कि क्या सूचना का यह प्रारंभिक संग्रह प्रक्रिया के बाद के चरणों में उपयोगी हो सकता है। उन्होंने डिटेक्शन स्टेज (पहचान चरण) के लिए बनाए गए सारांशों को लिया और उनका उपयोग एक अलग डेटासेट पर दावों की सत्यता को सत्यापित करने के लिए एक अलग प्रणाली की सहायता करने हेतु किया। आश्चर्यजनक रूप से, इस प्रारंभिक संदर्भ ने उस डाउनस्ट्रीम प्रणाली की भी मदद की, जिससे सत्य खोजने की उसकी क्षमता में सुधार हुआ। यह सुझाव देता है कि यह कार्य कि क्या कोई दावा जांचने योग्य है, सत्य को सिद्ध करने के लिए एक आधार के रूप में भी काम कर सकता है। अध्ययन निष्कर्ष निकालता है कि हालांकि तथ्य-जांच के शुरुआती चरणों में बाहरी ज्ञान लाना एक शक्तिशाली उपकरण है, लेकिन इसके लिए सावधानीपूर्वक प्रबंधन की आवश्यकता होती है। प्रणाली को न केवल तथ्य प्राप्त करने चाहिए, बल्कि उसे यह भी सुनिश्चित करना चाहिए कि तथ्यों को इस तरह से प्रस्तुत किया जाए कि वे कंप्यूटर को यह अंतर करने में मदद करें कि क्या सिद्ध किया जा सकता है और क्या नहीं। इस पृष्ठभूमि जानकारी को एकत्र करने और सारांशित करने के तरीके को परिष्कृत करके, स्वचालित तथ्य-जांच काफी अधिक विश्वसनीय हो सकती है, जो शोर को छानकर मानवीय और मशीन के प्रयासों को उन दावों पर केंद्रित कर सकती है जो वास्तव में महत्वपूर्ण हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।