Conflict aware abstention does not improve selective accuracy over confidence ranking in FEVER claim verification
यह शोध पत्र प्रदर्शित करता है कि जबकि FEVER दावा सत्यापन में संघर्ष-जागरूक अपवर्जन (conflict-aware abstention) उत्तर न देने के लिए एक व्याख्यात्मक तर्क प्रदान करता है, यह समान कवरेज स्तरों पर मानक विश्वास-आधारित रैंकिंग की तुलना में चयनात्मक सटीकता में सुधार करने में विफल रहता है और वैज्ञानिक साक्ष्य पर लागू होने पर खराब प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह बढ़ती हुई अपेक्षा है कि कंप्यूटर सिस्टम को न केवल सवालों के जवाब देने चाहिए, बल्कि उन्हें यह भी पता होना चाहिए कि कब चुप रहना है। एक ऐसे छात्र की कल्पना करें जो परीक्षा देते समय इतना आत्मविश्वासी है कि वह उत्तर तभी लिखता है जब उसे यकीन हो कि वह सही है, और जब प्रश्न बहुत कठिन हो या जानकारी अधूरी हो, तो वह पन्ने को खाली छोड़ देता है। यह विचार, जिसे 'चयनात्मक भविष्यवाणी' (selective prediction) कहा जाता है, एआई को विश्वसनीय बनाने के लिए केंद्रीय है। तथ्य जाँचने वाले सिस्टम के लिए, लक्ष्य पाठ के एक बड़े पुस्तकालय में साक्ष्य खोजकर किसी दावे की पुष्टि करना है। यदि साक्ष्य दावे का समर्थन करते हैं, तो सिस्टम "सत्य" कहता है; यदि वे दावे का खंडन करते हैं, तो वह "असत्य" कहता है; और यदि साक्ष्य गायब हैं या भ्रमित करने वाले हैं, तो उसे यह स्वीकार करना चाहिए कि वह नहीं जानता। चुनौती मशीन को इस भ्रम को पहचानने के लिए सिखाने में निहित है। ऐसा करने का एक सरल तरीका यह देखना है कि कंप्यूटर अपने उत्तर के बारे में कितना "निश्चित" महसूस करता है। एक अधिक जटिल तरीका यह है कि कंप्यूटर वास्तव में साक्ष्य को पढ़े, उन्हें समर्थन और विरोध के ढेरों में विभाजित करे, और केवल तभी चुप रहने का निर्णय ले जब वे ढेर आपस में मिले-जुले हों या खाली हों। शोधकर्ताओं के लिए बड़ा सवाल यह है कि क्या यह अधिक जटिल, साक्ष्य-जागरूक (evidence-aware) दृष्टिकोण केवल कंप्यूटर के आत्मविश्वास स्कोर पर भरोसा करने की तुलना में बेहतर परिणाम देता है।
एक हालिया अध्ययन ने इस प्रश्न का उत्तर देने के लिए दो अलग-अलग निर्णय लेने वाली रणनीतियों को परीक्षण के दायरे में रखा। शोधकर्ता यह देखना चाहते थे कि क्या एक सिस्टम जो स्पष्ट रूप से विरोधाभासी साक्ष्यों की जाँच करता है, उस सिस्टम से बेहतर प्रदर्शन करता है जो केवल तब रुक जाता है जब उसका आंतरिक आत्मविश्वास कम होता है। उन्होंने अपने प्रयोग दो अलग-अलग डेटा सेटों पर चलाए। पहला एक सामान्य ज्ञान से लिए गए 1,200 दावों का एक बड़ा, संतुलित संग्रह था, जहाँ उत्तर पहले से ही ज्ञात और सत्यापित थे। दूसरा वैज्ञानिक साहित्य से लिया गया 209 दावों का एक छोटा, अधिक कठिन सेट था, जहाँ भाषा विशिष्ट है और तर्क अक्सर सूक्ष्म होता है। लक्ष्य यह देखना था कि क्या "साक्ष्य-जागरूक" विधि "आत्मविश्वास-आधारित" विधि की तुलना में अधिक बार सही उत्तर पा सकती है, विशेष रूप से जब दोनों विधियों को समान संख्या में प्रश्नों के उत्तर देने के लिए मजबूर किया जाए।
परिणाम स्पष्ट और कुछ हद तक आश्चर्यजनक थे। जब शोधकर्ताओं ने सामान्य ज्ञान के सेट पर दोनों विधियों की तुलना की, तो उन्होंने पाया कि साक्ष्य-जागरूक सिस्टम सरल आत्मविश्वास-आधारित सिस्टम से बेहतर प्रदर्शन नहीं कर सका। दोनों विधियों ने लगभग समान संख्या में प्रश्नों के उत्तर दिए—कुल का लगभग 54 प्रतिशत। जिन प्रश्नों के उत्तर उन्होंने दिए, उनमें दोनों विधियाँ 90 प्रतिशत बार सही थीं। साक्ष्य-जागरूक सिस्टम 90.05 प्रतिशत बार सही था, जबकि आत्मविश्वास-आधारित सिस्टम 90.36 प्रतिशत बार सही था। यह मामूली अंतर बताता है कि साक्ष्य को ढेरों में छाँटने के अतिरिक्त प्रयास से कोई मापने योग्य सुधार नहीं हुआ। वास्तव में, दोनों सिस्टमों ने लगभग एक ही तरह के प्रश्नों को चुनने का निर्णय लिया, और अपने विकल्पों पर 97 प्रतिशत सहमति जताई। अध्ययन सुझाव देता है कि सामान्य तथ्य-जाँच के लिए, साक्ष्य संरचना का विश्लेषण करने वाली जटिल प्रक्रिया, मॉडल के आत्मविश्वास स्कोर पर भरोसा करने की तुलना में कोई वास्तविक लाभ नहीं देती है।
कहानी में थोड़ा बदलाव तब आया जब शोधकर्ताओं ने वैज्ञानिक साहित्य को देखा। यहाँ, कार्य बहुत कठिन साबित हुआ, और साक्ष्य-जागरूक सिस्टम काफी संघर्ष करता दिखा। यह वैज्ञानिक दावों के केवल आधे हिस्से का ही उत्तर दे सका, और जब इसने उत्तर दिया, तो यह 84 प्रतिशत बार सही था। मुख्य समस्या यह थी कि सिस्टम अक्सर उन दावों का उत्तर देने से इनकार कर देता था जो वास्तव में सत्य थे। इन छूटे हुए अवसरों की 81 मामलों की विस्तृत मैन्युअल समीक्षा से पता चला कि सिस्टम क्यों विफल हो रहा था। ऐसा इसलिए नहीं था क्योंकि साक्ष्य विरोधाभासी थे, बल्कि इसलिए था क्योंकि सिस्टम उस समर्थन को पहचान नहीं सका जो वैज्ञानिक शब्दावली, अप्रत्यक्ष तर्क या सावधानीपूर्वक योग्यताओं के पीछे छिपा हुआ था। उदाहरण के लिए, एक दावा एक ऐसे वाक्य द्वारा समर्थित हो सकता है जो अलग शब्दों का उपयोग करता है या जिसके लिए कई तथ्यों को जोड़ना आवश्यक है, और सिस्टम ने इसे "अपर्याप्त जानकारी" मानकर चुप रहना चुन लिया। अध्ययन ने पाया कि सिस्टम इन कड़ियों को जोड़ने में विफल रहा, जिससे वह तब भी चुप रह गया जब उसे बोलना चाहिए था।
शोधकर्ताओं ने यह भी देखा कि क्या सिस्टम वास्तव में तर्क करने के बजाय केवल डेटा में पैटर्न के आधार पर अनुमान लगा रहा है। उन्होंने पाया कि वैज्ञानिक डेटासेट में सत्य दावों की ओर एक मजबूत झुकाव था, और पाठ की लंबाई या विशिष्ट शब्दों जैसे सरल लक्षण भी आश्चर्यजनक सटीकता के साथ उत्तर की भविष्यवाणी कर सकते थे। इसका अर्थ यह है कि वैज्ञानिक सेट पर कम प्रदर्शन का कारण आंशिक रूप से कार्य की कठिनाई हो सकती है, लेकिन यह भी है कि सिस्टम अभी तक वैज्ञानिक लेखन की बारीकियों को संभालने के लिए पर्याप्त परिष्कृत नहीं था। अध्ययन निष्कर्ष निकालता है कि हालांकि साक्ष्य-जागरूक दृष्टिकोण यह बताने के लिए एक अच्छा स्पष्टीकरण प्रदान करता है कि सिस्टम अनिश्चित क्यों है—जो केवल कम आत्मविश्वास स्कोर के बजाय समर्थन और संघर्ष के मिश्रण की ओर संकेत करता है—लेकिन यह सिस्टम को वास्तव में स्मार्ट या अधिक सटीक नहीं बनाता है। अतिरिक्त जटिलता बेहतर परिणाम में परिवर्तित नहीं होती है, विशेष रूप से जब सामान्य ज्ञान से विशेषज्ञ विज्ञान की दुनिया में कदम रखा जाता है।
अंततः, यह कार्य आर्टिफिशियल इंटेलिजेंस के क्षेत्र के लिए एक सावधानीपूर्ण जाँच के रूप में कार्य करता है। यह दिखाता है कि तर्क की अधिक परतें जोड़ने से स्वचालित रूप से बेहतर प्रदर्शन नहीं होता है। शोधकर्ताओं ने पाया कि सामान्य तथ्यों के लिए आत्मविश्वास स्कोर पर निर्भर रहने की सरल विधि, साक्ष्य-छाँटने वाली अधिक जटिल विधि जितनी ही प्रभावी थी। वैज्ञानिक दावों के लिए, समस्या यह नहीं थी कि सिस्टम बहुत अधिक सतर्क था, बल्कि यह था कि उसमें वैज्ञानिक साक्ष्य जिस सूक्ष्म तरीके से दावे का समर्थन करते हैं, उसे समझने की क्षमता की कमी थी। अध्ययन सुझाव देता है कि भविष्य के सुधार संभवतः वैज्ञानिक भाषा और तर्क पर बेहतर प्रशिक्षण से आएंगे, न कि साक्ष्य को छाँटने के बारे में अधिक नियम जोड़ने से। सबसे महत्वपूर्ण बात यह है कि फिलहाल, यह समझाने की क्षमता कि सिस्टम अनिश्चित क्यों है, मूल्यवान तो है, लेकिन यह गारंटी नहीं देती कि सिस्टम अधिक बार सही होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।