Retrieval‑Augmented Clinical Question‑Answering System for Bariatric Surgery Built on the ASMBS Textbook: From Good to Great

कल्पना कीजिए कि आप एक विशाल, अराजक पुस्तकालय में प्रवेश कर रहे हैं जहाँ किताबें लगातार खुद को फिर से लिख रही हैं। यह आधुनिक आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया है, विशेष रूप से "लार्ज लैंग्वेज मॉडल्स" (LLMs) की, जो चैट कर सकते हैं, लिख सकते हैं और सवालों के जवाब दे सकते हैं। ये डिजिटल मस्तिष्क अविश्वसनीय रूप से स्मार्ट हैं, लेकिन उनकी एक कठिन आदत है: कभी-कभी, जब उन्हें उत्तर नहीं पता होता, तो वे आत्मविश्वास के साथ एक मनगढ़ंत उत्तर बना लेते हैं। चिकित्सा जगत में, इसे "हैलुसिनेटिंग" (hallucinating) कहा जाता है, और यह एक ऐसे टूर गाइड की तरह है जो एक नकली इमारत की ओर इशारा करता है और दावा करता है कि वही असली संग्रहालय है। यदि कोई डॉक्टर AI से किसी जटिल सर्जरी के बारे में पूछता है और AI एक ऐसी प्रक्रिया का आविष्कार कर देता है जिसका अस्तित्व ही नहीं है, तो परिणाम खतरनाक हो सकते हैं।

इसे ठीक करने के लिए, वैज्ञानिक "रिट्रीवल-ऑगमेंटेड जनरेशन" (Retrieval-Augmented Generation) या RAG नामक तकनीक का उपयोग करते हैं। RAG को एक सख्त नियम के रूप में समझें: "आपको अनुमान लगाने की अनुमति नहीं है। आपको इस विशिष्ट, विश्वसनीय पाठ्यपुस्तक को खोलना होगा, सटीक पृष्ठ ढूँढना होगा और उत्तर को ज़ोर से पढ़ना होगा।" AI की अपनी याददाश्त (जो धुंधली या मनगढ़ंत हो सकती है) पर भरोसा करने के बजाय, RAG उसे बोलने से पहले सत्यापित स्रोत में तथ्यों को खोजने के लिए मजबूर करता है। यह शोध इस बात की जांच करता है कि क्या यह "देखकर उत्तर देने" की रणनीति AI को अपने दम पर अनुमान लगाने देने की तुलना में बेहतर काम करती है, विशेष रूप से बैरियाट्रिक सर्जरी (वजन घटाने वाली सर्जरी) के उच्च-दांव वाले क्षेत्र के लिए।

---

बड़ा प्रयोग: टेक्स्टबुक के साथ AI बनाम अपने आप चलता AI

इस अध्ययन में, शोधकर्ताओं की एक टीम ने एक विशेष प्रश्न-उत्तर प्रणाली बनाई जिसे बैरियाट्रिक सर्जरी में मदद करने के लिए डिज़ाइन किया गया था। वे देखना चाहते थे कि क्या एक AI बेहतर हो सकता है यदि उसे The ASMBS Textbook of Bariatric Surgery को अपने सत्य के एकमात्र स्रोत के रूप में उपयोग करने के लिए मजबूर किया जाए।

इसका परीक्षण करने के लिए, उन्होंने 200 कठिन प्रश्नों का एक "टेस्ट बैंक" बनाया। ये रैंडम प्रश्न नहीं थे; इन्हें सीधे पाठ्यपुस्तक के अध्याय के अंत में दिए गए क्विज़ से लिया गया था, जिसमें शरीर द्वारा वसा जलाने के तरीके से लेकर सर्जिकल जटिलताओं को संभालने तक सब कुछ शामिल था। इसके बाद उन्होंने तीन अलग-अलग संस्करणों वाले AI (जिन्हें GPT-4o-mini, GPT-4, और GPT-5 नाम दिया गया है) से इन प्रश्नों के उत्तर दो तरीकों से पूछे:

1. "रॉ" (Raw) तरीका: AI को बिना पाठ्यपुस्तक देखे अपनी याददाश्त से उत्तर देना था।
2. "RAG" तरीका: AI को पहले पाठ्यपुस्तक में उत्तर खोजने के लिए RAG सिस्टम का उपयोग करना था, और फिर केवल उसी के आधार पर उत्तर देना था जो उसने वहां पाया।

परिणाम: टेक्स्टबुक की जीत

परिणाम स्पष्ट थे: AI को टेक्स्टबुक देने से वह काफी स्मार्ट हो गया।

• सर्वश्रेष्ठ प्रदर्शन करने वाला: सबसे उन्नत AI, GPT-5, ने अपने दम पर अनुमान लगाते समय 87.0% प्रश्नों के सही उत्तर दिए। लेकिन जब इसने टेक्स्टबुक (RAG) का उपयोग किया, तो इसका स्कोर बढ़कर 94.0% हो गया। यह 200 में से 14 अतिरिक्त सही उत्तर थे।
• सबसे बड़ा सुधार: छोटा AI, GPT-4o-mini, अकेले 70.5% के स्कोर से शुरू हुआ। टेक्स्टबुक के साथ, यह 84.5% तक पहुँच गया, यानी इसने 28 अधिक प्रश्न सही किए।
• मध्यम स्तर: GPT-4 टेक्स्टबुक की मदद से 81.0% से सुधरकर 89.5% पर पहुँच गया।

शोधकर्ताओं ने पाया कि बुनियादी तथ्यों और सर्जरी से पहले की देखभाल के प्रश्नों के लिए यह प्रणाली पूरी तरह से (100% सटीकता के साथ) काम करती है। हालांकि, यह सबसे जटिल विषयों पर थोड़ा संघर्ष करती रही, जैसे कि सर्जरी के विशिष्ट चरण या जटिलताओं को कैसे प्रबंधित किया जाए, जहाँ इसने लगभग 88.9% सही उत्तर दिए। टेक्स्टबुक के साथ भी, AI एकदम सटीक नहीं था, लेकिन यह "अच्छा" होने के बजाय "महान" होने के बहुत करीब था।

AI कहाँ अटका

शोधकर्ताओं ने केवल स्कोर की गिनती नहीं की; उन्होंने यह समझने के लिए कि गलतियाँ क्यों हुईं, सबसे अच्छे AI (GPT-5 के साथ RAG) द्वारा गलत किए गए 12 प्रश्नों का विश्लेषण किया। उन्होंने गलतियों के कई दिलचस्प लेकिन गंभीर कारण पाए:

• "मोस्ट प्रॉमिनेंट" (सबसे प्रमुख) का जाल: कभी-कभी पाठ्यपुस्तक में एक मानक का कई बार उल्लेख किया जाता था, लेकिन उसे 'शीर्ष' उत्तर के रूप में नहीं दिखाया जाता था। AI ने "स्टैंडर्ड 6" शब्द को कई बार देखा और उसे चुन लिया, भले ही प्रश्न उस मानक के बारे में पूछ रहा था जिसमें सबसे अधिक कमियां थीं, जो वास्तव में "स्टैंडर्ड 2" था। AI वास्तविक तर्क के बजाय इस बात से भटक गया कि एक शब्द कितनी बार आया है।
• "एक्सेप्ट" (Except/के अलावा) का भ्रम: कुछ प्रश्न पूछते थे, "निम्नलिखित में से सभी सत्य हैं सिवाय..." AI कभी-कभी गलत कथन को खोजने के लिए देखना भूल जाता था और इसके बजाय एक सही कथन को चुन लेता था, जिससे उसका तर्क उल्टा हो जाता था।
• "हिस्ट्री" (इतिहास) का घालमेल: सर्जरी की उत्पत्ति के बारे में पूछे जाने पर, AI ने एक सर्जन द्वारा पहली बार कैमरे पर सर्जरी करने (एक मील का पत्थर) पर ध्यान केंद्रित किया, बजाय इसके कि प्रक्रिया के वास्तविक आविष्कार की वंशावली क्या थी।
• "रेड फ्लैग" (चेतावनी) के प्रति अंधापन: आपातकालीन स्थितियों में, जैसे सर्जरी के बाद गंभीर दर्द होने पर, AI कभी-कभी पहले एक्स-रे लेने का सुझाव देता था। वास्तव में, पाठ्यपुस्तक कहती थी कि दर्द का वह विशिष्ट पैटर्न यह दर्शाता है कि मरीज को तत्काल सर्जरी की आवश्यकता है, और इमेजिंग (तस्वीर) का इंतज़ार करना खतरनाक हो सकता है। AI ने "सामान्य" नियम के बजाय "आपातकालीन" नियम का पालन किया।

इसका क्या अर्थ है

यह अध्ययन दिखाता है कि जबकि AI स्मार्ट हो रहा है, इसे अभी भी एक सुरक्षा जाल की आवश्यकता है। AI को एक एकल, आधिकारिक पाठ्यपुस्तक से जोड़कर, शोधकर्ता तथ्यों को मनगढ़ंत बनाने से रोकने में सक्षम हुए और इसकी सटीकता में उल्लेखनीय सुधार किया। सबसे अच्छे सेटअप (GPT-5 के साथ टेक्स्टबुक) ने पिछले रिकॉर्ड को 11 प्रतिशत अंक से पीछे छोड़ दिया।

हालांकि, यह पेपर यह चेतावनी भी देता है कि यह कोई जादुई समाधान नहीं है। AI अभी भी उन प्रश्नों के साथ संघर्ष करता है जिनमें जटिल, बहु-चरणीय तर्क या चिकित्सा दिशानिर्देशों के शाब्दिक शब्दों के बजाय उनके "भाव" को समझने की आवश्यकता होती है। लेखक सुझाव देते हैं कि हालांकि यह "टेक्स्टबुक-से-जुड़ा" दृष्टिकोण सर्जरी में AI को विश्वसनीय बनाने की दिशा में एक बड़ा कदम है, हमें अभी भी इन प्रणालियों को सबसे कठिन और सूक्ष्म चिकित्सा पहेलियों को संभालने के लिए परिष्कृत करने की आवश्यकता है। फिलहाल, सबक सरल है: उच्च-दाव वाले चिकित्सा क्षेत्र में, एक ऐसा AI जो चीजें खोजना जानता है, उस AI से कहीं बेहतर है जो बस याद रखने की कोशिश करता है।