SciClaimEval: Cross-modal Claim Verification in Scientific Papers
यह शोध पत्र SciClaimEval को प्रस्तुत करता है, जो एक क्रॉस-मोडल वैज्ञानिक दावा सत्यापन डेटासेट है जिसमें प्रकाशित शोध पत्रों के चित्रों और तालिकाओं में संशोधन करके प्राप्त प्रामाणिक दावों और साक्ष्यों की विशेषता है, जो वर्तमान मल्टीमॉडल फाउंडेशन मॉडल्स और मानव विशेषज्ञों के बीच, विशेष रूप से चित्र-आधारित सत्यापन में, महत्वपूर्ण प्रदर्शन अंतराल को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हाई-स्टेक्स कोर्टरूम में जज हैं। वकील (वैज्ञानिक) अपना पक्ष रख रहे हैं, यह दावा करते हुए कि उनकी नई खोजें सच हैं। वे सबूत पेश करते हैं: चार्ट, ग्राफ और डेटा टेबल। आपका काम तय करना है: क्या वकील सच बोल रहा है, या वह एक ऐसी कहानी बुन रहा है जो सबूतों से मेल नहीं खाती?
यह पेपर एक नए टूल SciClaimEval को पेश करता है, जो मूल रूप से आर्टिफिशियल इंटेलिजेंस (AI) के लिए एक "ट्रेनिंग जिम" है ताकि वह इस जज की तरह बनना सीख सके।
यहाँ बताया गया है कि शोधकर्ताओं ने क्या किया, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. समस्या: नकली ट्रेनिंग डेटा
अतीत में, AI को झूठ पकड़ना सिखाने के लिए, शोधकर्ताओं ने "नकली" ट्रेनिंग डेटा बनाया। वे एक सच्चे कथन को लेते थे और उसमें बस "नहीं" (not) शब्द जोड़ देते थे।
- उपमा: कल्पना कीजिए कि आप एक बच्चे को नकली सिक्के की पहचान करना सिखा रहे हैं, इसके लिए कि एक असली सिक्के पर काला बिंदु लगा दिया जाए। बच्चा काले बिंदु को खोजने के लिए सीखता है, न कि यह समझने के लिए कि असली सिक्का कैसा दिखता है।
- समस्या: वास्तविक वैज्ञानिक झूठ केवल "नहीं" जोड़ा गया सच्चा कथन नहीं होते। वे सूक्ष्म होते हैं। मौजूदा डेटासेट बहुत आसान थे और वास्तविक दुनिया के विज्ञान को प्रतिबिंबित नहीं करते थे।
2. समाधान: SciClaimEval (असली चीज़ वाला जिम)
लेखकों ने तीन क्षेत्रों: मशीन लर्निंग, नेचुरल लैंग्वेज प्रोसेसिंग (जैसे चैटबॉट्स), और मेडिसिन (चिकित्सा) से वास्तविक वैज्ञानिक शोध पत्रों का उपयोग करके एक नया डेटासेट बनाया।
झूठ को बनाने के बजाय, उन्होंने एक चतुर ट्रिक का उपयोग किया: उन्होंने सबूत को ही बिगाड़ दिया।
- उपमा: कल्पना कीजिए कि एक शेफ दावा करता है, "इस सूप का स्वाद नमकीन है क्योंकि मैंने इसमें नमक डाला है।" AI को झूठ पकड़ना सिखाने के लिए, शोधकर्ताओं ने वाक्य को बदलकर "यह सूप मीठा है" नहीं किया। इसके बजाय, उन्होंने फोटो में नमक के डिब्बे को गुप्त रूप से चीनी के डिब्बे से बदल दिया।
- उन्होंने यह कैसे किया: उन्होंने शोध पत्रों से वास्तविक आंकड़े (चार्ट) और टेबल लिए और उन्हें सूक्ष्म रूप से बदल दिया।
- टेबल्स के लिए: उन्होंने नंबर बदले, पंक्तियाँ (rows) इधर-उधर कीं, या सेल वैल्यू बदल दी।
- फिगर्स (आकृतियों) के लिए: उन्होंने ग्राफ को पलट दिया, लेजेंड लेबल बदल दिए, या यहाँ तक कि नकली डेटा पॉइंट्स भी जोड़ दिए।
- परिणाम: AI को वास्तव में उस चित्र या टेबल को देखना होगा और यह महसूस करना होगा कि, "रुको, चित्र X कह रहा है, लेकिन वाक्य Y कह रहा है। वे मेल नहीं खाते!"
3. विविधता: सिर्फ चित्रों तक सीमित नहीं
अधिकांश डेटासेट केवल AI को एक टेबल की तस्वीर देते हैं। SciClaimEval एक स्विस आर्मी नाइफ की तरह है; यह AI को कई प्रारूपों में साक्ष्य देता है:
- इमेज (Images): बिल्कुल वैसे ही जैसे किसी चार्ट की फोटो देखना।
- LaTeX/HTML/JSON: टेबल के पीछे का "सोर्स कोड" या कच्चा डेटा।
- यह क्यों मायने रखता है: यह एक मैकेनिक को केवल टूटे हुए इंजन की फोटो देने के बजाय, उसके ब्लूप्रिंट और वास्तविक पुर्जों की सूची देने जैसा है। इससे AI को अलग-अलग तरीकों से विज्ञान को पढ़ना सीखने में मदद मिलती है।
4. परीक्षण: AI कितना स्मार्ट है?
शोधकर्ताओं ने 11 अलग-अलग AI मॉडल्स (ओपन-सोर्स और महंगे "प्रोपराइटरी" मॉडल जैसे OpenAI का o4-mini दोनों) को इस जिम में उतारा।
परिणाम:
- "टेबल" चुनौती: AI टेबल्स की जांच करने में काफी अच्छा रहा। वह लगभग एक मानव विशेषज्ञ जितना ही सक्षम था। इसे AI द्वारा स्प्रेडशीट पढ़ने में कुशल होने के रूप में समझें।
- "फिगर" चुनौती: AI चार्ट और ग्राफ के मामले में काफी संघर्ष करता रहा। सबसे स्मार्ट AI मॉडल्स ने भी ऐसी गलतियाँ कीं जो इंसानों ने नहीं की थीं।
- उपमा: AI मेनू (टेबल्स) पढ़ने में अच्छा है लेकिन जटिल पेंटिंग (फिगर्स) की व्याख्या करने में भ्रमित हो जाता है। यह अक्सर सूक्ष्म विवरणों को मिस कर देता है, जैसे कि पलटा हुआ एक्सिस (axis) या बदला हुआ लेबल।
- अंतर: सबसे अच्छे AI और मानव विशेषज्ञ के बीच अभी भी एक बड़ा अंतर है, खासकर विजुअल डेटा के मामले में।
5. यह क्यों मायने रखता है
यह पेपर एक चेतावनी है। जैसे-जैसे AI वैज्ञानिक शोध पत्र लिखना और उनकी समीक्षा करना शुरू कर रहा है, हमें यह सुनिश्चित करने की आवश्यकता है कि वह वास्तव में काम की जांच कर सके, न कि केवल अनुमान लगा सके।
- वर्तमान स्थिति: AI टेक्स्ट पढ़ने में बेहतर हो रहा है, लेकिन चार्ट और ग्राफ में सच्चाई "देखने" के मामले में वह अभी भी अनाड़ी है।
- भविष्य का लक्ष्य: हमें ऐसे AI बनाने की आवश्यकता है जो केवल पैटर्न को याद न करें, बल्कि वास्तव में एक वैज्ञानिक के दावे और उसके द्वारा दिए गए विजुअल प्रमाण के बीच के संबंध को समझ सकें।
संक्षेप में: लेखकों ने वास्तविक वैज्ञानिक शोध पत्रों का उपयोग करके AI के लिए एक यथार्थवादी "झूठ पकड़ने वाला" टेस्ट बनाया। उन्होंने पाया कि जबकि AI डेटा टेबल पढ़ने में अच्छा हो रहा है, उसे वैज्ञानिक चार्ट और ग्राफ में झूठ पकड़ने के लिए अभी भी बहुत कुछ सीखना बाकी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।