SciClaimSeekers at CheckThat! 2026: Retrieving Scientific Sources for Social Media Claims with LLM Reranking
इस शोध पत्र में प्रस्तुत SciClaimSeekers प्रणाली BM25 और मल्टीलिंगुअल E5 के संयोजन वाले एक हाइब्रिड रिट्रीवल पाइपलाइन और रिकिप्रोकल रैंक फ्यूजन का उपयोग करके सोशल मीडिया वैज्ञानिक दावों को सत्यापित करने की चुनौती का समाधान करती है, जिसके बाद Qwen2.5-14B-Instruct रीरैंकिंग का उपयोग किया गया, जिसने CLEF-2026 CheckThat! टास्क 1 टेस्ट सेट पर 64.39% MRR@5 प्राप्त किया और यह प्रदर्शित किया कि इस तरह के सावधानीपूर्वक निर्मित पाइपलाइन फाइन-ट्यून्ड दृष्टिकोणों का मुकाबला कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट की कल्पना एक विशाल, अराजक पुस्तकालय के रूप में करें जहाँ कोई भी एक मीनार के ऊपर से एक "तथ्य" चिल्लाकर बोल सकता है। कभी-कभी ये चिल्लाहटें सच होती हैं, लेकिन अक्सर वे केवल अफवाहें या वास्तविक विज्ञान की गलतफहमियां होती हैं। समस्या यह है कि जब लोग सोशल मीडिया पर इन वैज्ञानिक विचारों को साझा करते हैं, तो वे शायद ही कभी अपने साथ मूल पुस्तक या विशेषज्ञ की रिपोर्ट लेकर आते हैं। यह वैसा ही है जैसे कोई कहे, "मैंने पढ़ा है कि ब्रोकली खाने से आपको अलौकिक शक्ति मिलती है," लेकिन वह आपको यह बताने से इनकार कर दे कि उसने यह किस पुस्तक में पढ़ा है। यह समझना कठिन बना देता है कि कहानी सच है या केवल एक मनगढ़ंत मिथक। वैज्ञानिकों और तथ्य-जांचकर्ताओं (fact-checkers) को इन दावों के "स्रोत कोड" (source code) को खोजने का एक तरीका चाहिए—यानी अकादमिक लेखन के उस विशाल पुस्तकालय में छिपे वास्तविक शोध पत्र। यही "सोर्स रिट्रीवल" (source retrieval) की चुनौती है: एक अव्यवस्थित, अनौपचारिक सोशल मीडिया पोस्ट को लेकर उस एक विशिष्ट, औपचारिक वैज्ञानिक शोध पत्र को खोजना जिसके बारे में वह बात कर रहा है।
आप जो शोध पत्र पढ़ने जा रहे हैं, जिसका शीर्षक "SciClaimSeekers at CheckThat! 2026" है, वह ठीक इसी पहेली को सुलझाने के लिए बनाए गए एक चतुर नए सिस्टम का वर्णन करता है। शोधकर्ताओं ने एक डिजिटल जासूसी टीम बनाई है जिसे SciClaimSeekers कहा जाता है। इस सिस्टम को 10,000 वैज्ञानिक शोध पत्रों की लाइब्रेरी में सही किताब खोजने की एक तीन-चरणीय प्रक्रिया के रूप में समझें। सबसे पहले, यह एक ही समय में दो अलग-अलग "सर्च इंजन" का उपयोग करता है: एक जो शब्दों के सटीक मिलान को खोजता है (जैसे कि किसी किताब को इसलिए ढूंढना क्योंकि उसके शीर्षक में "ब्रोकली" शब्द है) और दूसरा जो वाक्य के अर्थ को समझता है (जैसे कि किसी किताब को इसलिए ढूंढना क्योंकि वह "अलौकिक शक्ति" के बारे में बात करती है, भले ही वहां "ब्रोकली" शब्द न हो)। दूसरा, यह दोनों सर्च इंजन से मिली सूचियों को मिलाकर संभावित उम्मीदवारों की एक एकल, छोटी सूची बनाता है। अंत में, और सबसे महत्वपूर्ण बात यह है कि, यह एक शक्तिशाली आर्टिफिशियल इंटेलिजेंस (AI) मस्तिष्क का उपयोग करता है जो सोशल मीडिया पोस्ट और शीर्ष उम्मीदवारों को एक-एक करके पढ़ता है, और पूछता है, "क्या यह वही शोध पत्र है जिसके बारे में यह पोस्ट बात कर रही है?" और उसे एक स्कोर देता है।
टीम ने पाया कि यह "AI मस्तिष्क" वाला चरण ही असली जादू था। जबकि पहले दो चरणों ने चीजों को सीमित करने में मदद की, AI रीरैंकिंग (reranking) चरण ने सिस्टम की सफलता दर को काफी बढ़ा दिया। सोशल मीडिया पोस्टों के एक परीक्षण सेट पर, उनके सिस्टम ने लगभग 64.39% बार शीर्ष पांच अनुमानों में सही वैज्ञानिक शोध पत्र की सही पहचान की। यह एक बड़ी छलांग थी—केवल साधारण शब्द-मिलान वाले सर्च इंजन का उपयोग करने की तुलना में लगभग 13.6 प्रतिशत अंक बेहतर। परिणाम बताते हैं कि इन बड़े, प्री-ट्रेंड AI मॉडल्स का सावधानीपूर्वक, चरण-दर-चरण पाइपलाइन में उपयोग करना वैज्ञानिक दावों को सत्यापित करने का एक बहुत मजबूत तरीका है, भले ही इसके लिए शून्य से कस्टम AI को प्रशिक्षित करने की आवश्यकता न हो। यह सिस्टम इतना प्रभावी है कि इसने एक प्रमुख अंतरराष्ट्रीय प्रतियोगिता में 37 टीमों में से 11वां स्थान प्राप्त किया, जो यह साबित करता है कि सरल खोज और स्मार्ट AI रीडिंग का यह मिश्रण सोशल मीडिया के शोर को वैज्ञानिक सत्य से जोड़ने के लिए बहुत अच्छा काम करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।