💻 computer science

ProtoMedAgent: Multimodal Clinical Interpretability via Privacy-Aware Agentic Workflows

ProtoMedAgent एक गोपनीयता-जागरूक, मल्टीमॉडल फ्रेमवर्क है जो त्रुटि-प्रवण RAG विधियों को एक न्यूरो-सिम्बोलिक, एजेंटिक वर्कफ़्लो से बदलकर नैदानिक व्याख्यात्मकता और दस्तावेज़ीकरण को बढ़ाता है, जो डेटा की गुमनामी को $k$ -anonymity और $\ell$ -diversity के माध्यम से सुनिश्चित करते हुए मतिभ्रम (hallucinations) को रोकने के लिए LLM जनरेशन को गणितीय रूप से बाधित करता है।

मूल लेखक: Alvaro Lopez Pellicer, Plamen Angelov, Marwan Bukhari, Yi Li, Eduardo Soares, Jemma Kerns

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alvaro Lopez Pellicer, Plamen Angelov, Marwan Bukhari, Yi Li, Eduardo Soares, Jemma Kerns

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक डॉक्टर हैं जो किसी मरीज को एक जटिल मेडिकल स्कैन समझाने की कोशिश कर रहे हैं। आपके पास एक सुपर-स्मार्ट कंप्यूटर है जो एक्स-रे को देखता है और कहता है, "यह टूटी हुई हड्डी जैसा लग रहा है।" लेकिन कंप्यूटर बोल नहीं सकता; वह केवल एक नंबर या एक कच्ची इमेज (raw image) देता है। यदि आप एक मानक AI (जैसे कि एक बहुत ही बातूनी रोबोट) से इसके लिए स्पष्टीकरण लिखने को कहते हैं, तो वह बहुत अधिक रचनात्मक हो सकता है। वह कह सकता है, "कंप्यूटर देख रहा है कि फ्रैक्चर है क्योंकि हड्डी एक पेड़ की टहनी जैसी दिखती है," भले ही कंप्यूटर ने कभी पेड़ की टहनी का जिक्र ही न किया हो। वह खुद को विश्वसनीय दिखाने के लिए कहानियाँ गढ़ लेता है। इसे "हैलुसिनेशन" (hallucination) कहा जाता है, और चिकित्सा में, मनगढ़ंत बातें करना खतरनाक है।

यह शोध पत्र ProtoMedAgent पेश करता है, जो एक नया सिस्टम है जिसे AI को मनगढ़ंत बातें करने से रोकने और मरीज के रहस्यों को सुरक्षित रखने के लिए डिज़ाइन किया गया है। यह कैसे काम करता है, इसके लिए सरल उपमाओं (analogies) का उपयोग किया गया है:

1. समस्या: "हाँ में हाँ मिलाने वाला" रोबोट (The "Yes-Man" Robot)

कल्पना कीजिए कि आपके पास एक सख्त, मौन विशेषज्ञ (प्रोटोटाइप नेटवर्क) है जो मरीज के स्कैन को देखता है और कहता है, "यह केस #42 से मेल खाता है।"

पुराना तरीका (Standard RAG): आप एक बातूनी AI से पूछते हैं कि यह केस #42 से क्यों मेल खाता है। AI, आपको खुश करने की चाह में, मनगढ़ंत कारण बना सकता है जैसे, "यह इसलिए मेल खाता है क्योंकि हड्डी की बनावट स्पंज जैसी है," भले ही विशेषज्ञ ने ऐसा कभी न कहा हो। वह विशेषज्ञ की बातों से सहमत होने के लिए एक ऐसी कहानी बनाने की कोशिश करता है जो फिट बैठती हो।
परिणाम: रिपोर्ट सुनने में अच्छी लगती है लेकिन तथ्यात्मक रूप से अविश्वसनीय होती है।

2. समाधान: "सख्त लाइब्रेरियन" सिस्टम (The "Strict Librarian" System)

ProtoMedAgent नियमों को बदल देता है। AI को स्वतंत्र रूप से लिखने देने के बजाय, यह उसे एक सख्त लाइब्रेरियन की तरह कार्य करने के लिए मजबूर करता है जो केवल विशिष्ट, पूर्व-अनुमोदित कार्डों का ही उपयोग कर सकता है।

"प्रोटोकार्ड्स" (The "ProtoCards" - मेमोरी बैंक): इससे पहले कि AI किसी मरीज को देखे, सिस्टम हजारों पिछले मेडिकल मामलों को सरल, अलग-अलग "कार्डों" में बदल देता है। प्रत्येक कार्ड में कुछ बुलेट पॉइंट्स होते हैं: "हड्डी यहाँ घनी (dense) दिखती है," "मरीज 80 वर्ष का है," "जोखिम कारक: धूम्रपान।"
प्राइवेसी गेट (The Privacy Gate - रेडैक्शन फ़िल्टर): इन कार्डों को AI को दिखाने से पहले, एक सुरक्षा गार्ड उनकी जांच करता है। यदि कोई कार्ड बहुत अधिक विशिष्ट है (जैसे "शहर का एकमात्र 80 वर्षीय धूम्रपान करने वाला"), तो गार्ड उन विशिष्ट विवरणों को रेडैक्ट (ब्लैक आउट/मिटा) देता है ताकि AI यह अनुमान न लगा सके कि मरीज कौन है। यह मेडिकल तथ्यों को धुंधला किए बिना मरीज की गोपनीयता को सुरक्षित रखता है।

3. प्रक्रिया: "लेखक और आलोचक" लूप (The "Scribe and Critic" Loop)

जब एक नया मरीज आता है, तो सिस्टम केवल AI को रिपोर्ट लिखने के लिए नहीं कहता। यह दो चरणों वाला खेल चलाता है:

लेखक (The Scribe): AI केवल उन्हीं अनुमोदित कार्डों के आधार पर रिपोर्ट लिखने की कोशिश करता है जो उसे दिए गए हैं।
आलोचक (The Critic - तथ्य-जांचकर्ता): दूसरा AI एजेंट एक सख्त संपादक के रूप में कार्य करता है। वह रिपोर्ट की कार्डों के साथ जांच करता है।
- क्या लेखक ने कहा कि हड्डी "स्पंजी" है?
- आलोचक कार्ड चेक करता है: "नहीं, कार्ड केवल 'घनी' (dense) कहता है।"
- आलोचक कहता है: "वह वाक्य हटा दें। आपने इसे मनगढ़ंत बनाया है।"
- लेखक फिर से लिखता है: "हड्डी घनी है।"

यह लूप तब तक चलता रहता है जब तक कि रिपोर्ट साक्ष्यों के साथ पूरी तरह से संरेखित न हो जाए। AI को नए तथ्य गढ़ने की अनुमति नहीं है; वह केवल दिए गए तथ्यों को पुनर्व्यवस्थित कर सकता है।

4. परिणाम: भरोसेमंद और सुरक्षित

शोधकर्ताओं ने 4,000 से अधिक मरीजों पर इसका परीक्षण किया।

विश्वसनीयता (Faithfulness): नया सिस्टम तथ्यों पर टिके रहने में 91% सटीक था, जबकि मानक "बातूनी" AI की सटीकता केवल 46% थी। इसने AI को मनगढ़ंत कारण बनाने से रोका।
गोपनीयता (Privacy): "प्राइवेसी गेट" का उपयोग करके, सिस्टम ने इस जोखिम को लगभग 10% कम कर दिया कि कोई व्यक्ति यह पता लगा सके कि रिपोर्ट किस विशिष्ट मरीज के बारे में है। इसने यह सिद्ध किया कि आप मरीज की पहचान छिपाते हुए भी मेडिकल विवरणों को स्पष्ट रख सकते हैं।

5. मुख्य निष्कर्ष (The Bottom Line)

ProtoMedAgent मेडिकल AI के लिए एक सुरक्षा हार्नेस (safety harness) की तरह है।

यह AI को स्मार्ट बनाने की कोशिश नहीं करता; यह बस उसे झूठ बोलने से रोकता है।
यह AI को एक ऐसे अनुवादक के रूप में कार्य करने के लिए मजबूर करता है जो केवल उसी भाषा में बोल सकता है जो उसे साक्ष्यों से मिली है।
यह सुनिश्चित करता है कि मेडिकल रिपोर्ट का हर वाक्य एक विशिष्ट, सत्यापित तथ्य से जोड़ा जा सके, जिससे पूरी प्रक्रिया पारदर्शी और सुरक्षित बनती है।

संक्षेप में, यह एक "रचनात्मक लेखक" को "वफादार रिपोर्टर" में बदल देता है, यह सुनिश्चित करता है कि जब AI किसी मरीज के बारे में बोलता है, तो वह अपनी बनाई हुई कहानी नहीं, बल्कि साक्ष्यों के आधार पर सच बोल रहा होता है।

तकनीकी सारांश: ProtoMedAgent

समस्या विवरण

यद्यपि व्याख्यात्मक प्रोटोटाइप नेटवर्क नैदानिक निदान के लिए केस-आधारित तर्क (case-based reasoning) प्रदान करते हैं (जैसे कि "यह वैसा ही दिखता है जैसे वह"), उनके कच्चे आउटपुट—निरंतर फीचर मैप्स और स्केलर समानता स्कोर—चिकित्सकीय दस्तावेज़ीकरण के लिए आवश्यक अर्थपूर्ण संरचना का अभाव रखते हैं। बड़े भाषा मॉडल (LLMs) के साथ मानक रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) का उपयोग करके इस अंतर को पाटने का प्रयास अक्सर विफल रहता है। अनियंत्रित विज़ुअल फीचर्स और क्लिनिकल प्रायर्स (clinical priors) की व्याख्या करने के कार्य में, LLMs "रिट्रीवल सायकफैसी" (retrieval sycophancy) प्रदर्शित करते हैं, जहाँ वे नेटवर्क के भविष्यवाणियों के साथ संरेखित होने के लिए पोस्ट-हॉक औचित्य (post-hoc rationalizations) गढ़ते हैं, न कि साक्ष्य को निष्ठापूर्वक रिपोर्ट करते हैं। इसके अलावा, कच्चे प्रशिक्षण नमूनों (training exemplars) को सीधे LLMs के सामने उजागर करना गंभीर गोपनीयता जोखिम पैदा करता है, जिसमें मेंबरशिप इन्फरेंस और एट्रिब्यूट इन्फरेंस हमले शामिल हैं, जबकि मानक डिफरेंशियल प्राइवेसी अक्सर सघन चिकित्सा इमेजरी के लिए आवश्यक क्लिनिकल फिडेलिटी (fidelity) को कम कर देती है।

कार्यप्रणाली

ProtoMedAgent इन चुनौतियोंों को एक सख्त न्यूरो-सिंबोलिक बॉटलनैक (neuro-symbolic bottleneck) पर संचालित होने वाले इटरेटिव, ज़ीरो-ग्रेडिएंट टेस्ट-टाइम ऑप्टिमाइज़ेशन समस्या के रूप में औपचारिक रूप देता है। यह ढांचा डायग्नोस्टिक फॉरवर्ड पास को साक्ष्य दस्तावेज़ीकरण से अलग करता है, जो एक फ्रोजन प्रोटोटाइप बैकबोन (ProtoMedX) और समर्पित एजेंटों के समूह का उपयोग करता है।

1. ऑफलाइन मेमोरी डिस्टिलेशन और प्राइवेसी

कच्चे प्रशिक्षण चित्रों और सारणीबद्ध डेटा (tabular data) को कच्चे नमूनों को उजागर करने के बजाय "प्रोटोकार्ड्स" ( $C_j$ ) के एक असतत अर्थपूर्ण मेमोरी बैंक में डिस्टिल किया जाता है।

एब्स्ट्रैक्शन (Abstraction): एक परसेप्शन एजेंट (विज़न-लैंग्वेज मॉडल) विज़ुअल एसर्शन (visual assertions) निकालता है, जबकि एक टैबुलर एजेंट पेशेंट वेरिएबल्स को क्वांटाइज़ करता है।
सेमेंटिक प्राइवेसी गेट: एक नॉन-डिफरेंशिएबल रेगुलराइज़र इन कार्ड्स के रिलीज़ सिग्नेचर पर $k$ -anonymity और $\ell$ -diversity लागू करता है। यदि कोई प्रोटोटाइप प्राइवेसी थ्रेशोल्ड (जैसे, इक्विवेलेंस क्लास में अपर्याप्त विविधता) को पूरा नहीं करता है, तो उसे LLM के कॉन्टेक्स्ट से हटा दिया जाता है, हालांकि यह अभी भी डायग्नोस्टिक फॉरवर्ड पास में योगदान दे सकता है।

2. ऑनलाइन रिफ्लेक्टिव टेस्ट-टाइम ऑप्टिमाइज़ेशन

अनुमान (inference) के दौरान, एक नए पेशेंट क्वेरी को "केसकार्ड" (CaseCard) में एब्स्ट्रैक्ट किया जाता है। ढांचा रिपोर्ट उत्पन्न करने के लिए स्क्राइब-क्रिटिक लूप (Scribe-Critic loop) का उपयोग करता है:

डिटरमिनिस्टिक डिफरेंशियल: एक सुपरवाइजर एजेंट क्वेरी के एसर्शन और रिट्रीव किए गए प्रोटोकार्ड्स के बीच सटीक सेट-थ्योरेटिक डिफरेंशियल ( $\Delta_j$ ) की गणना करता है। यह एक पूर्ण एडमिसेबल स्टेट स्पेस को परिभाषित करता है, जो LLM को डेटा में मौजूद न होने वाले सहसंबंधों को गढ़ने से रोकता है।
विज़ुअल डिफ़रल (Visual Deferral): यदि क्वेरी और रिट्रीव किए गए प्रोटोटाइप के बीच संरेखण (alignment) थ्रेशोल्ड से नीचे गिर जाता है, तो सिस्टम विरोधाभासों के औचित्य को जबरदंत बनाने से बचने के लिए इमेज-आधारित समानताओं को दबा देता है।
इटरेटिव ऑप्टिमाइज़ेशन: रिपोर्ट जनरेशन को ज़ीरो-ग्रेडिएंट सर्च के रूप में फ्रेम किया गया है। एक स्क्राइब एजेंट प्राकृतिक भाषा रिपोर्ट प्रस्तावित करता है, जबकि एक क्रिटिक एजेंट एक एनर्जी फंक्शन ( $E_{critic}$ ) के विरुद्ध उनका मूल्यांकन करता है जो स्कीमा अमान्यता, साइटेशन हेलोसिनेशन, टाइप विसंगतियों और तार्किक निहितार्थ विफलताओं को दंडित करता है। यह लूप तब तक चलता है जब है जब तक कि रिपोर्ट साक्ष्य के साथ पूर्ण न्यूरो-सिंबोलिक संरेखण प्राप्त नहीं कर लेती।

मुख्य योगदान

एजेंटिक LLM-इन-द-लूप टेस्ट-टाइम ऑप्टिमाइज़ेशन: लेखक क्लिनिकल रिपोर्टिंग को एक ज़ीरो-ग्रेडिएंट ऑप्टिमाइज़ेशन प्रक्रिया के रूप में औपचारिक रूप देते हैं। एक ऑफलाइन प्राइवेसी-गेटेड मेमोरी और एक ऑनलाइन रिफ्लेक्टिव रीजनिंग लूप का लाभ उठाकर, यह ढांचा जेनेरेटिव मॉडल को ग्रेडिएंट अपडेट की आवश्यकता के बिना, एक फ्रोजन प्रोटोटाइप क्लासिफायर को सुरक्षित रूप से डिकोड करता है।
न्यूरो-सिंबोलिक वेरिफिकेशन: यह कार्य ह्यूरिस्टिक LLM तुलनाओं को डिटरमिनिस्टिक सेट-थ्योरेटिक डिफरेंशियल से बदल देता है। एक इटरेटिव स्क्राइब-क्रिटिक लूप साइटेशन सटीकता और टाइप-वैल्यू कंसिस्टेंसी की गारंटी देता है, जो रिट्रीवल सायकफैसी को मौलिक रूप से कम करता है।
प्रूवेबल प्राइवेसी-यूटिलिटी बाउंड्स: निरंतर प्रोटोटाइप मेमोरी के लिए $k$ -anonymity और $\ell$ -diversity का उपयोग करने वाला एक नवीन सेमेंटिक रिलीज़ गेट पेश किया गया है। यह दृष्टिकोण शोर-इंजेक्शन (noise-injection) विधियों के विपरीत, सूचना प्रकटीकरण जोखिम को गणितीय रूप से सीमित करता है और एम्पिरिकल फिडेलिटी में सुधार करता है।

परिणाम

हड्डियों के स्वास्थ्य की जांच (DEXA स्कैन और टैबुलर रिस्क फैक्टर्स) के लिए 4,160-पेशेंट क्लिनिकल कोहॉर्ट पर मूल्यांकन किए जाने पर, ProtoMedAgent बेसलाइन्स की तुलना में महत्वपूर्ण सुधार प्रदर्शित करता है:

फिथफुलनेस (Faithfulness): सिस्टम 91.2% कंपेरिजन सेट फिथफुलनेस (CSF-Precision) प्राप्त करता है, जो मानक RAG (46.2%) और डोमेन-एडेप्टेड LoRA मॉडल्स (63.1%) से काफी बेहतर है। यह पुष्टि करता है कि न्यूरो-सिंबोलिक बॉटलनैक असमर्थ नैरेटिव दावों को प्रभावी ढंग से प्रतिबंधित करता है।
प्राइवेसी: ढांचा एक बाइंडिंग $\ell$ -diversity फेज ट्रांजिशन का लाभ उठाता है। चयनित ऑपरेटिंग पॉइंट ( $k=5, \ell=2$ ) पर, यह मानक RAG की तुलना में आर्टिफैक्ट-लेवल मेंबरशिप इन्फरेंस जोखिमों को 9.8% और एट्रिब्यूट इन्फरेंस जोखिमों को 8.4% कम करता है, बिना मूल जेनेरेटिव मॉडल वेट्स को बदले।
क्वालिटेटिव परफॉरमेंस: जनरेटेड रिपोर्ट्स क्लिनिकल फ्लुएंसी बनाए रखती हैं और साक्ष्य-कैलिब्रेटेड रीजनिंग प्रदर्शित करती हैं। सिस्टम रेडैक्टेड साक्ष्य के अनुकूल अधिक रूढ़िवादी भाषा का उत्पादन करके अनुकूलित होता है, बजाय इसके कि गायब विवरणों को गढ़ने की कोशिश करे।

महत्व और दावे

पेपर यह दावा करता है कि ProtoMedAgent निरंतर विज़ुअल रीजनिंग और असतत क्लिनिकल दस्तावेज़ीकरण के बीच के सेमेंटिक गैप को सफलतापूर्वक पाटता है। LLM को एक अनियंत्रित कन्फ़ैबुलेटर के बजाय एक सत्यापन योग्य व्याख्यात्मक परत (interpretability layer) के रूप में पुनर्गठित करके, यह ढांचा महंगी मॉडल रिट्रेनिंग के बिना स्टेट-ऑफ-द-आर्ट रिपोर्टिंग फिडेलिटी प्राप्त करता है।

लेखक दावा करते हैं कि प्राइवेसी-अवेयर रिपोर्टिंग को एक स्पष्ट ऑपरेटिंग-पॉइंट ऑप्टिमाइज़ेशन के रूप में फ्रेम करने से एक संरचनात्मक गुण प्रकट होता है जहाँ $\ell$ -diversity एक बाइंडिंग कंस्ट्रेंट के रूप में कार्य करता है, जो एडमिसेबल इक्विवेलेंस क्लासेस को संतृप्त (saturate) करता है और सूचना प्रवाह को सीमित करता है। यह डिज़ाइन उभरते हुए यूरोपीय नियमों (EU AI Act और EU Data Act) के अनुरूप है, जो स्पष्ट मानव ओवरसाइट और रोबस्ट क्लिनिकल AI प्रदान करता है।

पेपर विनम्रतापूर्वक सीमाओं को स्वीकार करता है: ढांचा अपस्ट्रीम परसेप्शन एजेंट के संभावित विज़ुअल ब्लाइंड स्पॉट्स द्वारा सीमित है, और जबकि न्यूरो-सिंबोलिक बॉटलनैक संरचनात्मक दावों के हेलोसिनेशन को रोकता है, यह बैकबोन की धारणा की पूर्ण सत्यता की गारंटी नहीं देता है। इसके अतिरिक्त, प्राइवेसी गारंटी $k$ -anonymity और $\ell$ -diversity पर आधारित है, जिनमें आउट-ऑफ-स्कीमा ऑक्ज़िलरी नॉलेज रखने वाले विरोधियों के खिलाफ डिफरेंशियल प्राइवेसी जैसी वर्स्ट-केस थ्योरिटिकल गारंटी का अभाव है।