Contradiction to Consensus: Dual Perspective, Multi Source Retrieval Based Claim Verification with Source Level Disagreement using LLM
यह शोध पत्र एक नवीन ओपन-डोमेन क्लेम वेरिफिकेशन सिस्टम का प्रस्ताव करता है जो विरोधाभासी जानकारी सहित विविध दृष्टिकोणों से साक्ष्य एकत्र करने के लिए लार्ज लैंग्वेज मॉडल्स और मल्टी-सोर्स रिट्रीवल का लाभ उठाता है, जिससे पारंपरिक सिंगल-सोर्स दृष्टिकोणों की तुलना में सत्यापन सटीकता, पारदर्शिता और व्याख्यात्मकता में वृद्धि होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दो दोस्तों के बीच एक विशिष्ट तथ्य पर चल रही गरमागरम बहस को सुलझाने की कोशिश कर रहे हैं, जैसे कि "क्या चॉकलेट खाने से जुकाम ठीक हो जाता है?"
अतीत में, स्वचालित फैक्ट-चेकर्स (तथ्य-जांचकर्ता) एक अकेले, काम से लदे हुए लाइब्रेरियन की तरह थे। आप उनसे पूछते, "क्या यह सच है?" और वे तुरंत एक विशिष्ट बुकशेल्फ़ (आमतौर पर विकिपीडिया) की ओर दौड़ते, चॉकलेट का उल्लेख करने वाला पहला पृष्ठ ढूंढते, और कहते, "हाँ, यह सच है!" या "नहीं, यह झूठ है!" वे शायद ही कभी दूसरे बुकशेल्फ़ देखते, और उन्होंने कभी यह नहीं पूछा, "क्या होगा अगर इसका विपरीत सच हो?"
यह शोध पत्र एक नए, सुपर-स्मार्ट फैक्ट-चेकर का परिचय देता है जो एक साथ काम करने वाले खोजी पत्रकारों की एक टीम की तरह काम करता है। यह कैसे काम करता है, यहाँ सरल चरणों में दिया गया है:
1. "डेविल्स एडवोकेट" रणनीति (दोहरा दृष्टिकोण)
अधिकांश फैक्ट-चेकर्स केवल उस साक्ष्य की तलाश करते हैं जो किसी दावे का समर्थन करता है। यह शोध पत्र कहता है, "यह पक्षपाती है! आइए दूसरे पक्ष को भी देखें।"
- पुराना तरीका: आप पूछते हैं, "क्या यह सच है कि चॉकलेट जुकाम ठीक करती है?" सिस्टम "चॉकलेट जुकाम ठीक करती है" की खोज करता है।
- नया तरीका: सिस्टम एक ही समय में दो प्रश्न पूछता है:
- "क्या यह सच है कि चॉकलेट जुकाम ठीक करती है?"
- "क्या यह सच है कि चॉकलेट जुकाम नहीं ठीक करती है?" (नकारात्मक दावा)।
उपमा (Analogy): कल्पना कीजिए कि आप एक वकील रख रहे हैं। पुराना तरीका एक ऐसा वकील रखने जैसा है जो केवल आपको निर्दोष साबित करने की कोशिश करता है। नया तरीका दो वकील रखता है: एक जो आपको निर्दोष साबित करने की कोशिश करता है, और दूसरा (जो "डेविल्स एडवोकेट" है) जो आपको दोषी साबित करने की कोशिश करता है। दोनों पक्षों को सुनकर, जज (AI) को सच्चाई की बहुत स्पष्ट तस्वीर मिलती है।
2. "ऑल-हैंड्स मीटिंग" (बहु-स्रोत एकत्रीकरण)
पुराने लाइब्रेरियन केवल विकिपीडिया की जाँच करते थे। यह नया सिस्टम एक ही समय में तीन अलग-अलग पुस्तकालयों की जाँच करता है:
- विकिपीडिया: सामान्य ज्ञान के लिए अच्छा है।
- पबमेड (PubMed): विशाल चिकित्सा पुस्तकालय (स्वास्थ्य संबंधी दावों के लिए बेहतरीन)।
- गूगल (Google): विशाल, अव्यवस्थित इंटरनेट खोज।
उपमा: एक व्यक्ति से मौसम पूछने के बजाय, आप एक किसान, एक मौसम विज्ञानी और उस व्यक्ति से पूछते हैं जिसने अभी खिड़की से बाहर देखा है। यदि तीनों कहते हैं "बारिश हो रही है," तो आप बहुत आश्वस्त होते हैं। यदि किसान "बारिश" कहता है लेकिन मौसम विज्ञानी "धूप" कहता है, तो आप जानते हैं कि वहां एक संघर्ष है और आपको सावधान रहने की आवश्यकता है।
3. "कॉन्फ्लिक्ट डिटेक्टर" (असहमति को मापना)
यह सबसे शानदार हिस्सा है। सिस्टम आपको केवल "सच" या "झूठ" का उत्तर नहीं देता है। यह आपको यह भी बताता है कि स्रोत कितने सहमत थे।
- उच्च विश्वास (High Confidence): यदि विकिपीडिया, पबमेड और गूगल तीनों कहते हैं "सच है," तो सिस्टम आपको उच्च-विश्वास वाला "सच" देता है और एक हरी बत्ती दिखाता है।
- कम विश्वास/असहमति (Low Confidence/Disagreement): यदि विकिपीडिया कहता है "सच है" लेकिन गूगल कहता है "झूठ है," तो सिस्टम कहता है, "खैर, यह जटिल है। यहाँ स्रोत A क्या सोचता है, और यहाँ स्रोत B क्या सोचता है।"
उपमा: मौसम के पूर्वानुमान के बारे में सोचें।
- पुराना सिस्टम: "बारिश होगी।" (बस इतना ही।)
- नया सिस्टम: "बारिश होगी। हालांकि, राष्ट्रीय मौसम सेवा 90% सुनिश्चित है, लेकिन स्थानीय किसान केवल 40% सुनिश्चित है क्योंकि उसका बैरोमीटर ठीक से काम नहीं कर रहा है। यहाँ दोनों का डेटा दिया गया है।"
यह क्यों मायने रखता है?
शोधकर्ताओं ने इस प्रणाली का परीक्षण चार अलग-अलग प्रकार के पेचीदा विषयों (विज्ञान, स्वास्थ्य, राजनीति और सामान्य समाचार) पर पाँच अलग-अलग शक्तिशाली AI दिमागों (LLMs) का उपयोग करके किया।
परिणाम:
- बेहतर सटीकता: दोनों पक्षों को देखने और तीन अलग-अलग पुस्तकालयों की जाँच करने से, यह प्रणाली उन प्रणालियों की तुलना में बहुत अधिक बार सही निकली जो केवल एक पक्ष या एक लाइब्रेरी को देखती थीं।
- अधिक ईमानदारी: यह भ्रम को छिपाता नहीं है। यदि स्रोत असहमत हैं, तो सिस्टम इसे स्वीकार करता है। यह मनुष्यों को बेहतर निर्णय लेने में मदद करता है क्योंकि वे केवल एक पॉलिश किए हुए सारांश को नहीं, बल्कि पूरी तस्वीर को देखते हैं।
निष्कर्ष
यह शोध पत्र हमें सिखाता है कि एक अस्त-व्यस्त दुनिया में सच्चाई खोजने के लिए, आपको केवल एक स्थान से एक प्रश्न नहीं पूछना चाहिए। आपको:
- भी विपरीत प्रश्न भी पूछना चाहिए।
- कई विशेषज्ञों से पूछना चाहिए।
- यह सुनना चाहिए कि वे कहाँ सहमत हैं और कहाँ लड़ रहे हैं।
ऐसा करके, हम एक ऐसा फैक्ट-चेकिंग सिस्टम बनाते हैं जो न केवल स्मार्ट है, बल्कि पारदर्शी और भरोसेमंद भी है, जो हमें दुनिया की जटिलता दिखाने के बजाय यह दिखावा नहीं करता कि सब कुछ सरल है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।