VetScore: Risk-Weighted Fact Verification for Veterinary Long-Form QA with Citations
यह शोध पत्र VetScore को प्रस्तुत करता है, जो पशु चिकित्सा संबंधी दीर्घ-रूप (long-form) प्रश्नोत्तर के लिए एक जोखिम-भारित मूल्यांकन ढांचा है, जो संभावित नुकसान के आधार पर दावों को प्राथमिकता देते हुए स्रोत अंशों के प्रति उत्पन्न दावों की सत्यनिष्ठा का आकलन करता है और विशेषज्ञ निर्णयों के साथ उच्च संरेखण प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन किसी अपराध स्थल के बजाय, आप एक बहुत ही बुद्धिमान, लेकिन कभी-कभी अति-आत्मविश्वासी रोबोट द्वारा लिखी गई एक लंबी, विस्तृत कहानी को देख रहे हैं। यह रोबोट एक आर्टिफिशियल इंटेलिजेंस (AI) है जिसने हजारों किताबें पढ़ी हैं और वह आपके द्वारा पूछे गए लगभग किसी भी प्रश्न का उत्तर दे सकता है। हालाँकि, चिकित्सा की दुनिया में—चाहे वह मनुष्यों के लिए हो या उनके प्यारे, पंख वाले और स्केली (शल्क वाले) दोस्तों के लिए—किसी तथ्य को गलत बताना केवल खराब ग्रेड मिलने जैसा नहीं है; यह खतरनाक हो सकता है। यदि रोबोट कहता है कि एक कुत्ते को एक विशिष्ट मात्रा में दवा की आवश्यकता है, लेकिन उसने संख्या गलत कर दी, तो कुत्ता बीमार पड़ सकता है।
रोबोट को तथ्य गढ़ने से रोकने के लिए, वैज्ञानिकों ने इसे "अपना काम दिखाने" के लिए साइटेशन (उद्धरण) जोड़ने के लिए प्रशिक्षित किया है, जैसे कि छोटे फुटनोट जो उन मूल पुस्तकों की ओर इशारा करते हैं जिन्हें इसने पढ़ा है। यह एक किताब के बारे में ऐसा कहने जैसा है कि "मैंने यह इस किताब में पढ़ा है!" लेकिन यहाँ पेच है: सिर्फ इसलिए कि रोबोट एक किताब की ओर इशारा करता है, इसका मतलब यह नहीं है कि उसने वास्तव में सही पन्ना पढ़ा है, या उसने वाक्य को सही ढंग से समझा है। कभी-कभी, रोबोट कुत्तों के बारे में बात करते समय बिल्लियों के बारे में एक किताब की ओर इशारा कर सकता है, या वह एक ऐसा वाक्य बना सकता है जो उस किताब में होने जैसा लगता है लेकिन वास्तव में वहाँ नहीं है। यहीं से असली जासूसी का काम शुरू होता है: हमें न केवल यह जांचने की आवश्यकता है कि क्या रोबोट ने स्रोत का उल्लेख किया है, बल्कि यह भी कि क्या रोबोट द्वारा बताई गई कहानी वास्तव में उस स्रोत से मेल खाती है, और यदि कहानी गलत हुई तो वह कितनी गंभीर होगी।
यही वह चीज़ है जिसे पेपर "VETSCORE" संबोधित करता है। शोधकर्ताओं ने, पशु चिकित्सा विशेषज्ञों के साथ मिलकर, इन AI-जनित उत्तरों को ग्रेड देने के लिए एक नया टूल बनाया। उन्होंने महसूस किया कि सभी गलतियाँ एक जैसी नहीं होती हैं। यदि रोबट एक तारीख गलत बताता है (जैसे कि यह कहना कि एक अध्ययन 2021 में हुआ था जबकि वह 2022 में हुआ था), तो यह कष्टप्रद है, लेकिन एक कुत्ता इससे घायल नहीं होगा। लेकिन यदि रोबोट हृदय की दवा की खुराक गलत बता देता है, तो यह एक आपदा है। इसलिए, उन्होंने एक ऐसी प्रणाली बनाई जो केवल गलतियों को गिनती नहीं है; बल्कि उन्हें महत्व (वेटेज) देती है। वे AI के लंबे उत्तर को छोटे, सुपाच्य तथ्यों में तोड़ देते हैं। फिर, प्रत्येक तथ्य के लिए, वे दो प्रश्न पूछते हैं: "क्या रोबोट को यह वास्तव में उस पुस्तक में मिला जिसका उसने उल्लेख किया है?" और "यदि यह गलत हुआ तो इससे कितना नुकसान हो सकता है?" अंत में, वे इन उत्तरों को एक एकल स्कोर में मिला देते हैं जो हमें बताता है कि AI की सलाह वास्तव में कितनी सुरक्षित और विश्वसनीय है।
टीम ने इस प्रणाली का परीक्षण वास्तविक पशु चिकित्सा प्रश्नों के उत्तर उत्पन्न करने के लिए AI मॉडल का उपयोग करके किया, और फिर मानव विशेषज्ञों (पशु चिकित्सकों और छात्रों) से उन्हीं उत्तरों को ग्रेड देने के लिए कहा। उन्होंने पाया कि उनका नया "VETSCORE" टूल मानव विशेषज्ञों के निर्णयों से मेल खाने में बहुत अच्छा था, भले ही ग्रेडिंग के लिए छोटे, तेज़ AI मॉडल का उपयोग किया गया हो। परिणाम बताते हैं कि गलतियों के संख्या पर ध्यान केंद्रित करने के बजाय, गलती के जोखिम पर ध्यान केंद्रित करके, हम पशु चिकित्सा जैसे उच्च-जोखिम वाले क्षेत्रों में AI की जाँच करने का एक बहुत अधिक सुरक्षित तरीका बना सकते हैं। यह एक सुरक्षा निरीक्षक रखने जैसा है जो केवल यह नहीं गिनता कि दीवार में कितनी ईंटें ढीली हैं, बल्कि विशेष रूप से यह जाँचता है कि छत को सहारा देने वाली ईंटें सुरक्षित हैं या नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।