CareGuardAI: Context-Aware Multi-Agent Guardrails for Clinical Safety & Hallucination Mitigation in Patient-Facing LLMs
CareGuardAI एक संदर्भ-जागरूक, मल्टी-एजेंट फ्रेमवर्क है जो दोहरी जोखिम मूल्यांकन (SRA और HRA) के साथ एक मल्टी-स्टेज इन्फरेंस पाइपलाइन का उपयोग करके, रिलीज से पहले प्रतिक्रियाओं को फ़िल्टर और परिष्कृत करके क्लिनिकल सुरक्षा सुनिश्चित करता है और पेशेंट-फेसिंग LLMs में मतिभ्रम (hallucinations) को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, जानकार रोबोट सहायक है जिसे चिकित्सा के बारे में बहुत कुछ पता है। आप उससे पूछते हैं, "क्या मैं गर्भावस्था के दौरान एस्पिरिन ले सकती हूँ?" रोबोट, मदद करने के लिए उत्सुक होकर, कह सकता है, "हाँ, कम खुराक अक्सर ठीक होती है।"
हालाँकि यह उत्तर कुछ लोगों के लिए तकनीकी रूप से सही हो सकता है, लेकिन यह एक गर्भवती महिला के लिए बिना डॉक्टर की विशिष्ट अनुमति के खतरनाक रूप से अधूरा है। रोबोट ने संदर्भ को मिस कर दिया: गर्भावस्था एक विशेष, उच्च-जोखिम वाली स्थिति है।
यही वह समस्या है जिसे CareGuardAI हल करता है। यह एक नया "सेफ्टी नेट" (सुरक्षा जाल) सिस्टम है जिसे मेडिकल AI को पकड़ने के लिए डिज़ाइन किया गया है, इससे पहले कि वह मरीज को नुकसान पहुँचाने वाली सलाह दे। इसे एक अकेले डॉक्टर के रूप में नहीं, बल्कि एक हाई-टेक ट्राइएज टीम के रूप में देखें जो यह सुनिश्चित करने के लिए मिलकर काम करती है कि हर उत्तर सुरक्षित और सत्य हो।
यहाँ यह सिस्टम कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:
1. द ट्राइएज नर्स (द कंट्रोलर)
जब कोई मरीज सवाल पूछता है, तो CareGuardAI सबसे पहले उसे "ट्राइएज नर्स" (एक छोटा, तेज़ AI) के पास भेजता है।
- काम: यह नर्स अभी सवाल का जवाब नहीं देती है। इसके बजाय, वे एक अस्पताल के इंटेक क्लर्क की तरह काम करती हैं। वे सवाल को स्कैन करती हैं कि कहीं कुछ छूट तो नहीं गया है।
- उपमा: कल्पना कीजिए कि आप डॉक्टर के क्लिनिक में जाते हैं। नर्स आपको सीधे पर्चा नहीं थमा देती; बल्कि वे पूछती हैं, "क्या आप गर्भवती हैं? क्या आपको एलर्जी है? आपकी उम्र क्या है?"
- यह क्या करती है: यदि मरीज एस्पिरिन के बारे में पूछता है, तो ट्राइएज नर्स "गर्भवती" शब्द को पहचान लेती है और इसे High Risk (उच्च जोखिम) के रूप में फ्लैग करती है। यह सिस्टम के अगले हिस्से को बताती है: "बहुत सावधान रहें! यह एक संवेदनशील स्थिति है। कोई विशिष्ट चिकित्सा निर्देश न दें।"
2. द राइटर (द जनरेटर)
एक बार जब ट्राइएज नर्स नियम निर्धारित कर देती है, तो "राइटर" (एक शक्तिशाली AI) उत्तर का मसौदा तैयार करता है।
- काम: राइटर उत्तर देने की कोशिश करता है, लेकिन वह ट्राइएज नर्स द्वारा प्रदान किए गए "सुरक्षा चश्मे" पहनकर काम करता है।
- उपमा: यदि ट्राइएज नर्स ने कहा, "यह एक उच्च-जोखिम वाली गर्भावस्था है," तो राइटर को बताया जाता है, "आप यह नहीं कह सकते कि 'यह गोली लें।' आपको कहना होगा, 'अपने डॉक्टर से मिलें।'"
- परिणाम: एस्पिरिन लेने का सुझाव देने के बजाय, राइटर कहता है, "कृपया अपने OB-GYN से परामर्श लें, क्योंकि गर्भावस्था के दौरान एस्पिरिन जोखिम भरी हो सकती है।"
3. द डबल-चेक इंस्पेक्टर्स (द इवैलुएटर्स)
मरीज को उत्तर दिखाए जाने से पहले, यह दो सख्त निरीक्षकों (इंस्पेक्टर्स) के माध्यम से गुजरता है जो समानांतर में काम करते हैं।
- निरीक्षक A (सेफ्टी चेक): यह निरीक्षक उत्तर को देखता है कि क्या वह चिकित्सकीय रूप से खतरनाक है। वे 1 से 5 के पैमाने का उपयोग करते हैं (जैसे तूफान की चेतावनी)।
- स्तर 1: केवल जानकारी।
- स्तर 5: "यह किसी को मार सकता है।"
- नियम: यदि स्कोर 2 से अधिक है, तो उत्तर को खारिज कर दिया जाता है।
- निरीक्षक B (ट्रुथ चेक): यह निरीक्षक Hallucinations (भ्रम/गलत तथ्य) (झूठ या मनगढ़ंत तथ्य) के लिए देखता है।
- स्तर 1: पूरी तरह से सत्य।
- स्तर 5: एक खतरनाक झूठ।
- नियम: यदि स्कोर 2 से अधिक है, तो उत्तर को खारिज कर दिया जाता है।
4. द "रेड लाइट, ग्रीन लाइट" गेट (द डिसीजन लेयर)
यह अंतिम बॉस है। यह दोनों निरीक्षकों के स्कोर को देखता है।
- ग्रीन लाइट (हरा संकेत): यदि दोनों स्कोर कम हैं (सुरक्षित ≤ 2 और सत्यता ≤ 2), तो उत्तर मरीज को भेज दिया जाता है।
- रेड लाइट (लाल संकेत): यदि कोई भी स्कोर बहुत अधिक है, तो उत्तर को ब्लॉक कर दिया जाता है।
- "डू-ओवर" लूप: यदि उत्तर लगभग सुरक्षित है लेकिन उसमें एक छोटी सी गलती है, तो सिस्टम उसे केवल डिलीट नहीं करता है। यह इसे एक नोट के साथ राइटर के पास वापस भेजता है: "आपने X कहा, लेकिन यह जोखिम भरा है। फिर से प्रयास करें।" राइटर इसे फिर से लिखता है, और निरीक्षक इसे फिर से जांचते हैं। वे ऐसा तीन बार तक कर सकते हैं। यदि यह अभी भी असुरक्षित है, तो सिस्टम इसे पूरी तरह से ब्लॉक कर देता है और मरीज को मानव डॉक्टर से मिलने के लिए कहता है।
यह वर्तमान में हमारे पास जो है उससे अलग क्यों है?
अधिकांश वर्तमान मेडिकल AI एक ऐसे छात्र की तरह हैं जिसने पाठ्यपुस्तक रट ली है। वे लिखित परीक्षा में पूरी तरह से पास हो सकते हैं, लेकिन यदि आप उनसे एक उलझा हुआ, वास्तविक जीवन का सवाल पूछते हैं (जैसे "मैं गर्भवती हूँ और मुझे सिरदर्द है"), तो वे एक पाठ्यपुस्तक वाला उत्तर दे सकते हैं जो वास्तविक दुनिया के खतरे को अनदेखा करता है।
CareGuardAI पेशेवरों की एक टीम (एक नर्स, एक लेखक और दो निरीक्षक) की तरह है जो उत्तर बाहर भेजने से पहले रुककर सोचते हैं, "रुको, क्या यह इस विशिष्ट व्यक्ति के लिए सुरक्षित है?"
परिणाम (पेपर में क्या पाया गया)
शोधकर्ताओं ने हजारों कठिन चिकित्सा प्रश्नों पर इस प्रणाली का परीक्षण किया।
- सुरक्षा: इस सिस्टम के बिना, AI ने 20% समय खतरनाक सलाह दी। CareGuardAI के साथ, यह घटकर 3% से भी कम हो गया।
- सत्यता: सिस्टम ने AI को गलत चिकित्सा तथ्य बनाने से रोका।
- गति: एक प्रश्न को प्रोसेस करने में लगभग 14 सेकंड लगते हैं। यह एक चैटबॉट की तुलना में थोड़ा धीमा है, लेकिन पेपर का तर्क है कि यह सुनिश्चित करने के लिए कि उत्तर किसी को नुकसान न पहुँचाए, यह प्रतीक्षा करना सार्थक है।
संक्षेप में: CareGuardAI केवल AI को स्मार्ट बनाने की कोशिश नहीं करता है; यह AI के चारों ओर एक सुरक्षा पिंजरा (सेफ्टी केज) बनाता है ताकि यह सुनिश्चित हो सके कि वह खतरनाक या झूठी सलाह न दे, खासकर जब मरीज की स्थिति जटिल या अस्पष्ट हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।