Every-successful-replay route admission changes first-token latency rankings in clinical question answering

कल्पना कीजिए कि आप एक विशाल पुस्तकालय में हैं जहाँ स्वास्थ्य के बारे में आपके सवालों के जवाब देने के लिए एक रोबोट लाइब्रेरियन को काम पर रखा गया है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस लाइब्रेरियन को "रिट्रीवल-ऑगमेंटेड जनरेशन" (RAG) सिस्टम कहा जाता है। यह पहले अलमारियों तक दौड़कर किताबें (साक्ष्य) उठाने और फिर जो कुछ भी उसने पढ़ा है उसके आधार पर उत्तर लिखने का काम करता है। आमतौर पर, हम इस लाइब्रेरियन को इस आधार पर आंकते हैं कि वह उत्तर लेकर आपके पास कितनी जल्दी वापस आता है। लेकिन यहाँ एक पेंच है: क्या होगा अगर लाइब्रेरियन बहुत तेज़ी से वापस आता है क्योंकि उसने गलत किताबें उठा लीं, किसी चेतावनी संकेत को अनदेखा कर दिया, या दस साल पुरानी किताब का उपयोग किया जिसे अपडेट कर दिया गया था? यदि हम केवल गति को गिनते हैं, तो हम उस लाइब्रेरियन को गोल्ड स्टार दे सकते हैं जो वास्तव में आपको खतरनाक या पुराना परामर्श दे रहा है, सिर्फ इसलिए क्योंकि वह तेज़ था। यह "बेंचमार्क वैधता" (benchmark validity) की समस्या है—यह सुनिश्चित करना कि हम गति को मापते समय सुरक्षा और सत्यता को अनदेखा न करें।

हिल रिसर्च की एक टीम द्वारा लिखित यह शोध पत्र इन AI लाइब्रेरियनों का परीक्षण करने का एक नया तरीका पेश करता है जिसे MedRouteGuard कहा जाता है। केवल इस बात को मापने के बजाय कि रोबोट कितनी तेज़ी से दौड़ता है, उन्होंने एक सख्त "एडमिशन गेट" (प्रवेश द्वार) स्थापित किया है जो उत्तर मिलने से पहले ही उसकी गुणवत्ता की जांच करता है। उन्होंने पाया कि जब आप सिस्टम को यह साबित करने के लिए मजबूर करते हैं कि उसका साक्ष्य ताज़ा, सही और पूर्ण है, तो "सबसे तेज़" उत्तर अक्सर बदल जाते हैं। वास्तव में, हर 100 में से लगभग 7 सवालों के लिए, वह मार्ग जो सबसे तेज़ लग रहा था, वास्तव में अयोग्य घोषित कर दिया गया क्योंकि उसने महत्वपूर्ण सुरक्षा जांचों को छोड़ दिया था। एक "वैध" उत्तर के बारे में अधिक सख्त होकर, शोधकर्ताओं ने दिखाया कि एक विश्वसनीय सिस्टम की वास्तविक गति वास्तव में थोड़ी धीमी (95वें पर्सेंटाइल के मामलों के लिए लगभग 0.35 सेकंड अधिक) है, लेकिन बहुत अधिक सुरक्षित है। उन्होंने सिद्ध किया कि यदि आप साक्ष्य की जांच नहीं करते हैं, तो आप एक खतरनाक शॉर्टकट को विजेता के रूप में रैंक कर सकते हैं।

वह दौड़ जो निष्पक्ष नहीं थी

एक ऐसी दौड़ की कल्पना करें जहाँ धावक अपने दोस्त तक एक संदेश पहुँचाने की कोशिश कर रहे हैं। नियम सरल है: जो सबसे पहले पहुँचता है वही जीतता है। लेकिन इस दौड़ में, कुछ धावक शॉर्टकट ले रहे हैं। एक धावक "रास्ता बंद है" के बोर्ड को अनदेखा करता है और निर्माण क्षेत्र के माध्यम से शॉर्टकट लेता है। दूसरा धावर 1990 का एक नक्शा उठाता है जिसमें लिखा है कि एक पुल खुला है, जबकि वह वर्षों पहले ढह गया था। तीसरा धावक बस उत्तर का अनुमान लगा लेता है क्योंकि उसके पास नक्शा पढ़ने का समय नहीं था। यदि आप केवल अपने स्टॉपवॉच पर समय मापते हैं, तो शॉर्टकट लेने वाले धावक जीत जाते हैं। लेकिन वास्तविक दुनिया में, विशेष रूप से जब संदेश चिकित्सा के बारे में हो, तो एक "तेज़" उत्तर जो गलत या पुराना है, विनाशकारी हो सकता है।

इस शोध पत्र के लेखकों ने महसूस किया कि जिस तरह से हम वर्तमान में चिकित्सा सहायकों का परीक्षण करते हैं, वह उस अनुचित दौड़ के समान है। हम अक्सर "फर्स्ट-टोकन लेटेंसी" (first-token latency) को मापते हैं, जो मूल रूप से वह समय है जो AI को अपने उत्तर का पहला शब्द बोलने में लगता है। यदि कोई AI यह जांचने में चूक जाता है कि क्या उसका साक्ष्य अपडेटेड है या वह डेटा में विरोधाभास को अनदेखा कर देता है, तो वह तेज़ हो सकता है। लेकिन वह गति एक भ्रम है। यह शोध पत्र तर्क देता है कि हमें दौड़ के नियम बदलने की आवश्यकता है। हमें केवल धावक का समय नहीं मापना चाहिए; हमें उनके बैग की जांच करनी चाहिए ताकि यह सुनिश्चित हो सके कि वे वास्तव में सही नक्शा लाए हैं और उन्होंने किसी खतरे के संकेत को अनदेखा नहीं किया है।

नया गेटकीपर: MedRouteGuard

इसे ठीक करने के लिए, टीम ने Med-RouteGuard नामक एक सिस्टम बनाया है। इसे एक वीआईपी क्लब के दरवाजे पर खड़े एक बहुत ही सख्त बाउंसर के रूप में समझें। AI को "मैं सबसे तेज़ हूँ" कहने की अनुमति देने से पहले, बाउंसर चार विशिष्ट चीजों की जांच करता है:

1. प्रोवेनेंस (रसीद): क्या AI ने वास्तव में स्रोत को देखा? उसे यह साबित करने के लिए एक "रसीद" दिखानी होगी कि उसने अपनी जानकारी कहाँ से प्राप्त की। यदि वह कोई तथ्य मनगढ़ंत बनाता है या किताब की ओर इशारा नहीं कर सकता, तो वह बाहर है।
2. टेम्पोरल वैलिडिटी (एक्सपायरी डेट): क्या जानकारी ताज़ा है? यदि प्रश्न आज की किसी दवा के दुष्प्रभावों के बारे में है, तो AI 2010 के अध्ययन का उपयोग नहीं कर सकता जिसे अपडेट कर दिया गया है। साक्ष्य सही समय सीमा के भीतर होना चाहिए।
3. कॉन्फ्लिक्ट प्रिजर्वेशन (चेतावनी संकेत): क्या AI ने किसी विरोधाभास को छिपा दिया? यदि एक अध्ययन कहता है "दवा X सुरक्षित है" और दूसरा कहता है "दवा X खतरनाक है," तो AI केवल सुरक्षित वाले को चुनकर चेतावनी को अनदेखा नहीं कर सकता। उसे दोनों पक्षों को दिखाना होगा।
4. फ्रेशनेस (कैश चेक): क्या AI ने पुराने, कैश्ड (cached) डेटा का पुन: उपयोग किया जो बदल गया हो सकता है? उसे यह सुनिश्चित करना होगा कि उसने जो जानकारी ली है वह स्टोर किए जाने के बाद से अपडेट नहीं हुई है।

यह सिस्टम दो चरणों में काम करता है। पहले, यह जांचता है कि क्या AI दौड़ना शुरू करने से पहले ये चीजें कर सकता है (Pre-execution)। फिर, AI के दौड़ने और उत्तर वापस लाने के बाद, बाउंसर वास्तविक उत्तर की जांच करता है कि क्या उसने नियमों का पालन किया है (Post-execution)। यदि AI इनमें से किसी भी जांच में विफल रहता है, तो उसे तेज़ होने का श्रेय नहीं मिलता, भले ही वह सबसे पहले समाप्त हुआ हो। विफल होने में लगा समय भी गिना जाता है, क्योंकि वास्तविक दुनिया में, एक असफल प्रयास में भी समय लगता है।

बड़ी खोज: गति बनाम सुरक्षा

शोधकर्ताओं ने डॉक्टरों द्वारा लिखे गए 847 वास्तविक प्रश्नों के साथ एक बड़ा प्रयोग चलाया। उन्होंने अलग-अलग मार्गों (AI द्वारा उत्तर देने के विभिन्न तरीकों) का उपयोग करके उन्हीं प्रश्नों को 2,541 बार दोहराया। फिर उन्होंने दो परिदृश्यों की तुलना की:

• परिदृश्य A (पुराना तरीका): उन्होंने केवल यह देखा कि कौन पहले समाप्त हुआ, चाहे उत्तर वैध हो या न हो।
• परिदृश्य B (MedRouteGuard का तरीका): उन्होंने केवल उन विजेताओं को गिना यदि उत्तर ने सभी चार सुरक्षा जांचों को पास कर लिया।

परिणाम आंखें खोल देने वाले थे। "पुराने तरीके" वाली दौड़ में, AI अविश्वसनीय रूप से तेज़ लग रहा था। लेकिन जब उन्होंने सख्त "MedRouteGuard" नियम लागू किए, तो रैंकिंग बदल गई। 847 में से 61 सवालों के लिए (लगभग 7.2%), विजेता अलग था। वह मार्ग जो पुराने रेस में सबसे तेज़ लग रहा था, वास्तव में अयोग्य घोषित कर दिया गया क्योंकि उसने या तो सुरक्षा जांच छोड़ दी थी या पुराने डेटा का उपयोग किया था।

इसके अलावा, एक विश्वसनीय सिस्टम की "वास्तविक" गति धीमी थी। 95वें पर्सेंटाइल तक पहुँचने में लगा समय (जिसका अर्थ है कि 95% उत्तर इससे तेज़ थे) 2.89 सेकंड से बढ़कर 3.24 सेकंड हो गया। यह 0.35 सेकंड का अंतर है। यह बहुत अधिक नहीं लग सकता है, लेकिन AI बेंचमार्क की दुनिया में, यह साबित करता है कि "तेज़" उत्तर अक्सर कोने काटकर धोखाधड़ी कर रहे थे।

वास्तविक लोगों के लिए यह क्यों मायने रखता है

इस शोध पत्र ने केवल नंबरों पर ही नहीं रोका; उन्होंने इसे एक विशिष्ट, उच्च-दांव वाले क्षेत्र पर परखा: दवा सुरक्षा। उन्होंने दवाओं के बीच परस्पर क्रिया (interactions) और चेतावनियों के बारे में प्रश्नों को देखा। उन्होंने पाया कि जब उन्होंने AI को बिना सुरक्षा गेट के "सबसे तेज़" मार्ग चुनने दिया, तो इसने साक्ष्य की वैधता के संबंध में काफी अधिक गलतियाँ कीं—लेकिन यह नाटकीय अंतर एक विशिष्ट समूह तक सीमित था। उन 180 में से 14 सवालों में जहाँ सुरक्षा नियमों ने वास्तव में AI द्वारा चुने गए उत्तर को बदल दिया, "सुरक्षित" चयन ने भौतिक साक्ष्य-वैधता त्रुटियों को 78.6 प्रतिशत अंक (13 त्रुटियों से घटकर केवल 2 रह गईं) कम कर दिया और खतरनाक चूकों (omissions) को 64.3 प्रतिशत अंक कम कर दिया।

अनिवार्य रूप से, यह शोध पत्र दिखाता है कि यदि आप चाहते हैं कि AI डॉक्टरों और रोगियों के लिए वास्तव में उपयोगी हो, तो आप केवल गति को पुरस्कृत नहीं कर सकते। आपको अखंडता (integrity) को पुरस्कृत करना होगा। इन नियमों को लागू करके, सिस्टम कागज़ पर थोड़ा धीमा हो सकता है, लेकिन इसकी संभावना बहुत अधिक है कि यह आपको महत्वपूर्ण चेतावनी छोड़े बिना सही उत्तर देगा।

निष्कर्ष

यह अध्ययन सुझाव देता है कि जिस तरह से हम वर्तमान में चिकित्सा सहायकों को रैंक करते हैं, वह दोषपूर्ण है क्योंकि यह शॉर्टकट को पुरस्कृत करता है। साक्ष्य वैधता, समय की सटीकता और संघर्ष प्रबंधन की जांच करने के लिए एक "रूट एडमिशन" प्रणाली पेश करके, लेखकों ने पाया कि "सबसे तेज़" AI अक्सर सबसे अच्छा नहीं होता है। उन्होंने सिद्ध किया कि जब आप सुरक्षा जांचों को शामिल करने के लिए नियमों को ठीक करते हैं, तो लीडरबोर्ड बदल जाता है, और उत्तर काफी अधिक विश्वसनीय हो जाते हैं। यह एक याद दिलाने वाला है कि चिकित्सा में, सही होना तेज़ होने से अधिक महत्वपूर्ण है, और हमारे AI परीक्षण उपकरणों को भी ऐसा ही होना चाहिए।