ConflictScore: Identifying and Measuring How Language Models Handle Conflicting Evidence
यह शोधपत्र ConflictScore प्रस्तुत करता है, जो एक नवीन मीट्रिक और बेंचमार्क है जिसे यह मापने के लिए डिज़ाइन किया गया है कि भाषा मॉडल अपने ग्राउंडिंग दस्तावेजों में विरोधाभासी साक्ष्यों को कितनी अच्छी तरह स्वीकार करते हैं, जो प्रतिक्रियाओं को परमाणु दावों (atomic claims) में विभाजित करके और सहायक एवं विरोधाभासी साक्ष्यों के बीच के अनुपात और संतुलन को मापकर किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल एक गवाह नहीं है, बल्कि दस लोगों से भरी एक कमरा है जो अपनी गवाही दे रहे हैं। कुछ कहते हैं कि संदिग्ध पार्क में था; अन्य कसम खाकर कहते हैं कि उन्होंने उसे पुस्तकालय में देखा था।
समस्या: "हाँ, लेकिन..." का अंधा मोड़ (The "Yes, But..." Blind Spot)
वर्तमान AI मॉडल (जैसे कि वे चैटबॉट्स जिनका आप उपयोग करते हैं) जानकारी खोजने में बहुत अच्छे हैं। लेकिन जब उन्हें विरोधाधी कहानियाँ मिलती हैं, तो वे अक्सर एक जिद्दी बच्चे की तरह व्यवहार करते हैं जो सबसे तेज़ आवाज़ को चुन लेता है और बाकी सबको नज़रअंदाज़ कर देता है। वे कह सकते हैं, "संदिग्ध पार्क में था!" और वहीं रुक जाते हैं, यह पूरी तरह भूलकर कि पांच अन्य गवाहों ने इसके विपरीत कहा था।
AI के सच बोलने की जाँच करने वाले मौजूदा उपकरण एक साधारण "पास/फेल" टेस्ट की तरह हैं। वे पूछते हैं: "क्या किसी भी गवाह ने इस कहानी का समर्थन किया?" यदि एक व्यक्ति ने "पार्क" कहा, तो AI को पास होने का ग्रेड मिल जाता है, भले ही अन्य नौ ने "लाइब्रेरी" कहा हो। यह सुरक्षा का एक झूठा अहसास देता है।
समाधान: ConflictScore
इस शोध पत्र के लेखक ConflictScore नामक एक नया उपकरण पेश करते हैं। इसे एक "कॉन्फ्लिक्ट डिटेक्टिव" (संघर्ष का जासूस) समझें जो केवल यह नहीं पूछता कि क्या किसी कहानी का समर्थन किया गया है, बल्कि यह पूछता है कि: "क्या इस कहानी का अन्य गवाहों द्वारा विरोध किया जा रहा है?"
यह कैसे काम करता है, यहाँ तीन सरल चरणों में दिया गया है:
टुकड़ों में तोड़ना (Claim Decomposition):
कल्पना कीजिए कि AI एक लंबा पैराग्राफ लिखता है। ConflictScore इस पैराग्राफ को छोटे-छोटे, व्यक्तिगत वाक्यों (एटॉमिक क्लेम) में तोड़ देता है। यह एक बड़े केक को काटकर उसके प्रत्येक टुकड़े का निरीक्षण करने जैसा है।गवाह का मंच (Evidence Evaluation):
हर एक वाक्य के लिए, यह टूल AI द्वारा उपयोग किए गए प्रत्येक दस्तावेज़ की जाँच करता है। यह पूछता है: "क्या दस्तावेज़ A इस वाक्य का समर्थन करता है? क्या दस्तावेज़ B इसका खंडन करता है?"
- समर्थन (Support): दस्तावेज़ सहमत है।
- खंडन (Contradict): दस्तावेज़ असहमत है।
- अप्रासंगिक (Irrelevant): दस्तावेज़ इसके बारे में बात नहीं करता है।
- स्कोरकार्ड (The Metrics):
यह टूल दो स्कोर देता है:
- ConflictScore-Count (CS-C): यह एक "परेशानी की गिनती" (Trouble Count) है। यह आपको बताता है कि AI के कितने प्रतिशत वाक्य साक्ष्यों के साथ लड़ रहे हैं। यदि 6 में से 4 वाक्यों के खिलाफ गवाह बहस कर रहे हैं, तो स्कोर अधिक है (जिसका अर्थ है कि AI मुसीबत में है)।
- ConflictScore-Ratio (CS-R): यह एक "संतुलन पैमाना" (Balance Scale) है। यह मापता है कि साक्ष्य कैसे विभाजित हैं। क्या यह 50/50 का विभाजन है (एक वास्तविक बहस), या 9 बनाम 1 का (एक भारी बहुमत)? यह समझ में आता है कि असहमति कितनी गंभीर है।
टेस्ट ड्राइव: ConflictBench
अपने नए जासूसी उपकरण को परखने के लिए, लेखकों ने ConflictBench नामक एक जिम बनाया। उन्होंने हजारों प्रश्न एकत्र किए जहाँ उत्तर उलझे हुए थे:
- अस्पष्टता (Ambiguity): जैसे "क्लीवलैंड कितना बड़ा है?" (क्लीवलैंड नाम के कई शहर हैं)।
- विरोधाभास (Contradiction): दस्तावेज़ जो स्पष्ट रूप से विपरीत बातें कहते हैं (जैसे, "घटना 1990 में हुई थी" बनाम "घटना 1995 में हुई थी")।
- राय (Opinion): प्रश्न जहाँ लोग वास्तव में असहमत होते हैं (जैसे, "क्या यह वेब डिज़ाइन तकनीक अच्छी है?")।
उन्होंने इस जिम पर अपने टूल का परीक्षण किया और पाया कि यह पहचानने में बहुत अच्छा था कि AI कब बहस करने वाले गवाहों को नज़रअंदाज़ कर रहा है।
उन्होंने क्या पाया
- AI अति-आत्मविश्वासी है: भले ही दस्तावेज़ स्पष्ट रूप से असहमत थे, AI मॉडल एक पक्ष चुनने और उसे पूर्ण सत्य की तरह पेश करने की प्रवृत्ति रखते थे। वे अक्सर "लाइब्रेरी" वाले गवाहों को नज़रअंदाज़ करते हुए "पार्क" के बारे में चिल्लाते रहे।
- बातचीत करने से सुधार नहीं होता: लेखकों ने AI को उसके निर्देशों में "कोमल अनुस्मारक" (जैसे, "कृपया सावधान रहें और सभी पक्षों पर विचार करें") देकर आज़माया। इससे थोड़ा मदद मिली, लेकिन AI फिर भी अक्सर गलत साबित हुआ। यह एक जिद्दी कुत्ते को "अच्छा बनो" कहने जैसा है, लेकिन वह फिर भी डाकिया को काट लेता है।
- "दोबारा करने" की ट्रिक (The "Do-Over" Trick): सबसे रोमांचक खोज TruthfulQA प्रयोग में थी। जब उन्होंने ConflictScore का उपयोग करके AI को बताया, "हे, तुमने एक विरोधाभास मिस कर दिया है, फिर से प्रयास करो," तो AI वास्तव में बेहतर हुआ। यह एक छात्र को परीक्षा में लाल पेन से सुधार मिलने जैसा था, जिसने अपनी गलती को समझा और अपना उत्तर सही ढंग से फिर से लिखा।
निष्कर्ष (The Bottom Line)
ConflictScore यह मापने का एक नया तरीका है कि क्या एक AI वास्तविक दुनिया की उलझनों के प्रति ईमानदार है। यह केवल यह नहीं जाँचता कि क्या AI के पास कुछ सबूत है; यह जाँचता है कि क्या AI यह स्वीकार करने के लिए पर्याप्त साहसी है कि सबूत उलझे हुए और विरोधाभासी हैं।
सीमाएँ (The Catch)
लेखक स्वीकार करते हैं कि इस टूल को चलाने के लिए बहुत अधिक कंप्यूटर शक्ति की आवश्यकता होती है क्योंकि इसे हर वाक्य की हर दस्तावेज़ के साथ जाँच करनी पड़ती है। यह 100 वकीलों की एक टीम को एक ही पैराग्राफ की समीक्षा करने के लिए नियुक्त करने जैसा है—यह सटीक है, लेकिन महंगा और धीमा है। साथ ही, यह टूल सभी दस्तावेज़ों को समान मानता है; यह नहीं जानता कि एक दस्तावेज़ एक प्रसिद्ध समाचार पत्र है या कोई रैंडम ब्लॉग पोस्ट। यह केवल "दस्तावेज़ A" बनाम "दस्तावेज़ B" देखता है।
संक्षेप में, ConflictScore हमें यह देखने में मदद करता है कि कब एक AI आत्मविश्वास के साथ गलत होता है क्योंकि उसने अपने सामने मौजूद तर्कों को नज़रअंदाज़ कर दिया था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।