Deterministic Fact Validation for Retrieval-Augmented Generation of Clinical Data Reviewer's Guides: A Proposed Architecture
यह शोध पत्र नैदानिक डेटा रिव्यूअर्स गाइड (Data Reviewer's Guides) के लिए एक नियतात्मक, गैर-एलएलएम (non-LLM) सत्यापन आर्किटेक्चर प्रस्तावित और सिम्युलेट करता है जो, संकीर्ण कवरेज के बावजूद, संभाव्य जांच (probabilistic checks) को प्रत्यक्ष मेटाडेटा लुकअप से बदलकर त्रुटि का पता लगाने और अंतिम दस्तावेज़ की सटीकता में एलएलएम-आधारित स्व-सत्यापन से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक चिकित्सा की दुनिया में, हर नई दवा को मरीजों तक पहुँचने से पहले परीक्षणों की एक कठोर प्रक्रिया से गुजरना पड़ता है। जब कोई फार्मास्युटिकल कंपनी क्लिनिकल ट्रायल पूरा करती है, तो उसे सरकारी नियामकों को साक्ष्यों का एक विशाल पैकेज जमा करना होता है। इस पैकेज में दो अलग-अलग प्रकार के दस्तावेज़ होते हैं जिन्हें बिल्कुल एक ही कहानी बतानी होती है। पहला है कच्चा डेटा (raw data), जिसे सख्त, मशीन-पठनीय तालिकाओं में व्यवस्थित किया जाता है जो प्रत्येक स्वयंसेवक से लिए गए हर माप को रिकॉर्ड करता है। दूसरा है एक वर्णनात्मक मार्गदर्शिका (narrary guide), जो एक मानव-लिखित दस्तावेज़ है जो डेटा की व्याख्या करता है, और बताता है कि क्या महत्वपूर्ण है और क्यों। यदि ये दोनों दस्तावेज़ एक-दूसरे के विरोधाभासी होते हैं, तो पूरी सबमिशन को खारिज किया जा सकता है, जिससे जीवन रक्षक उपचारों में देरी हो सकती है।
इस प्रक्रिया को तेज करने के लिए, कंपनियाँ इन वर्णनात्मक मार्गदर्शिकाओं को लिखने के लिए आर्टिफिशियल इंटेलिजेंस का उपयोग करना शुरू कर रही हैं। यह तकनीक कंप्यूटर को कच्चा डेटा और अध्ययन के नियम खिलाकर, फिर टेक्स्ट का मसौदा तैयार करने के लिए कहती है। हालाँकि, इन कंप्यूटर प्रोग्रामों में एक ज्ञात दोष है: वे कभी-कभी पूरे आत्मविश्वास के साथ तथ्य गढ़ देते हैं, जिसे 'हैलुसिनेशन' (hallucination) कहा जाता है। यदि कंप्यूटर लिख देता है कि एक अध्ययन में 500 प्रतिभागी थे जबकि वास्तव में 450 थे, और किसी ने भी गलती नहीं पकड़ी, तो वह त्रुटि आधिकारिक रिकॉर्ड में शामिल हो सकती है। शोधकर्ताओं के लिए मुख्य चुनौती यह है कि इस प्रक्रिया को धीमा किए बिना या मानव समीक्षकों के काम को असंभव बनाए बिना, इन एआई-निर्मित तथ्यों को कैसे रोका जाए।
एक नया अध्ययन इस समस्या को हल करने का एक विशिष्ट तरीका प्रस्तावित करता है, जो कंप्यूटर के अपने काम की जाँच करने के तरीके को बदलकर है। लेखक, साई कृष्णा पुली, सुझाव देते हैं कि पहले एआई के ड्राफ्ट की समीक्षा करने के लिए दूसरे आर्टिफिशियल इंटेलिजेंस का उपयोग करने के बजाय, हमें एक सरल, नियम-आधारित प्रणाली का उपयोग करना चाहिए जो एक कैलकुलेटर की तरह कार्य करती है। यह प्रणाली ड्राफ्ट में विशिष्ट संख्याओं और तथ्यों को देखेगी, जैसे कि एक उपचार समूह में लोगों की संख्या, और तुरंत उन्हें मूल अध्ययन रिकॉर्ड में खोज लेगी। यदि संख्याएँ मेल खाती हैं, तो तथ्य को सत्यापित (verified) माना जाता है। यदि वे मेल नहीं खाती हैं, तो सिस्टम तुरंत त्रुटि को फ्लैग कर देता है। यह दृष्टिकोण सत्यापन को एक निर्णय लेने की प्रक्रिया के रूप में नहीं, बल्कि एक सीधे लुकअप (lookup) के रूप में मानता है, ठीक वैसे ही जैसे एक स्प्रेडशीट यह जाँचती है कि कोई फॉर्मूला सही है या नहीं।
यह शोध पत्र ऐसे सिस्टम का वर्णन नहीं करता है जिसे किसी वास्तविक अस्पताल या नियामक कार्यालय में बनाया और टेस्ट किया गया हो। इसके बजाय, लेखक ने एक विस्तृत सिमुलेशन बनाया ताकि यह देखा जा सके कि यह विचार सैद्धांतिक रूप से कैसे काम करेगा। सिमुलेशन ने यह देखने के लिए चार अलग-अलग परिदृश्यों के लिए प्रत्येक के 2,000 नकली दस्तावेज़ बनाए कि वे कैसा प्रदर्शन करते हैं। पहला परिदृश्य बिना किसी सहायता के एक बुनियादी एआई था। दूसरा ने लिखने से पहले डेटा प्राप्त करने की मानक विधि का उपयोग किया। तीसरे ने पहले के काम की जाँच करने के लिए दूसरे एआई को जोड़ा। चौथा, और जो लेखक द्वारा प्रस्तावित था, उसने तथ्यों की जाँच के लिए नियम-आधारित कैलकुलेटर सिस्टम को जोड़ा।
सिमुलेशन के परिणामों ने एक आश्चर्यजनक ट्रेड-ऑफ (trade-off) का खुलासा किया। वह सिस्टम जिसने काम की जाँच के लिए दूसरे एआई का उपयोग किया, बहुत तेज़ था और इसने दावा किया कि इसने हर एक वाक्य की जाँच की। हालाँकि, इसने उन वास्तविक त्रुटियों में से केवल आधे को ही पकड़ पाया जिन्हें इसे ढूंढना था। अधिक महत्वपूर्ण बात यह है कि जब इसने गलत तथ्य को सही बताने की गलती की, तो मानव समीक्षक स्वयं उस गलती को पकड़ने की संभावना बहुत कम रखते थे, जिसे 'ऑटोमेशन कॉम्प्लेसेन्सी' (automation complacency) कहा जाता है। समीक्षकों ने हरे रंग के टिक मार्क्स पर बहुत अधिक भरोसा किया और बारीकी से देखना बंद कर दिया।
इसके विपरीत, प्रस्तावित नियम-आधारित प्रणाली ने कम वाक्यों की जाँच की क्योंकि यह केवल उन्हीं तथ्यों की जाँच कर सकती थी जिनसे कोई स्पष्ट संख्या या श्रेणी जुड़ी हुई थी। इसने उन जटिल, व्याख्यात्मक वाक्यों को छोड़ दिया जिनमें मानवीय निर्णय की आवश्यकता होती है। हालाँकि, जिन तथ्यों की इसने जाँच की, उनके लिए यह लगभग पूर्ण थी, जिसने 99.5 प्रतिशत त्रुटियों को पकड़ा। क्योंकि यह इतना विश्वसनीय था, मानव समीक्षक सतर्क रहे। भले ही इस सिस्टम को चलने में थोड़ा अधिक समय लगा और समीक्षकों को प्रति दस्तावेज़ अधिक समय खर्च करने की आवश्यकता पड़ी, लेकिन अंतिम परिणाम कहीं अधिक सटीक था। इस पद्धति से तैयार किए गए दस्तावेजों की अंतिम सटीकता दर 34.6 प्रतिशत थी, जबकि दूसरे एआई द्वारा काम की जाँच करने वाले सिस्टम के लिए यह केवल 16.1 प्रतिशत थी।
अध्ययन निष्कर्ष निकालता है कि दूसरे कंप्यूटर प्रोग्राम के माध्यम से सब कुछ सत्यापित करने की कोशिश वास्तव में अंतिम उत्पाद को बदतर बना सकती है क्योंकि यह मनुष्यों को सुरक्षा की झूठी भावना में डाल देती है। एक संकीर्ण, अधिक कठोर प्रणाली जो केवल उसी की जाँच करती है जिसे वह सीधे लुकअप के साथ सिद्ध कर सकती है, मानव समीक्षक को व्यस्त रखती है और सुनिश्चित करती है कि सबसे महत्वपूर्ण तथ्य सही हों। लेखक इस बात पर जोर देते हैं कि ये निष्कर्ष एक सिमुलेशन पर आधारित हैं और अगला कदम वास्तविक दस्तावेजों और मानव समीक्षकों के साथ एक वास्तविक दुनिया का परीक्षण होना चाहिए। जब तक ऐसा नहीं होता, यह विचार एक सिद्ध समाधान के बजाय एक आशाजनक डिज़ाइन बना हुआ है, लेकिन यह एआई-सहायता प्राप्त मेडिकल राइटिंग को सुरक्षित और अधिक विश्वसनीय बनाने के लिए एक स्पष्ट मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।