💬 NLP

CARE: A Conformal Safety Layer for Medical Summarization

यह शोध पत्र CARE को प्रस्तुत करता है, जो एक पोस्ट-हॉक (post-hoc), मॉडल-अज्ञेय (model-agnostic) सुरक्षा परत है जो LLM-जनित चिकित्सा सारांशों में मतिभ्रम (hallucinations) और चिकित्सकीय रूप से महत्वपूर्ण लोपों (omissions) को सीमित करने के लिए कॉन्फॉर्मल रिस्क कंट्रोल (conformal risk control) का उपयोग करके औपचारिक, परिमित-नमूना गारंटी प्रदान करता है, जिससे कठोर सुरक्षा मानकों को बनाए रखते हुए नैदानिक समीक्षा के बोझ को काफी कम किया जा सकता है।

मूल लेखक: Suhana Bedi, Bridget Lin, Anson Y. Zhou, Chloe O. Stanwyck, Jenelle A. Jindal, Sanmi Koyejo, David Stutz, Nigam H. Shah

प्रकाशित 2026-06-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Suhana Bedi, Bridget Lin, Anson Y. Zhou, Chloe O. Stanwyck, Jenelle A. Jindal, Sanmi Koyejo, David Stutz, Nigam H. Shah

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक अत्यधिक कुशल लेकिन कभी-कभी लापरवाह मेडिकल स्क्राइब (एक AI) की कल्पना करें जो डॉक्टर और मरीज के बीच की बातचीत को सुनता है और एक सारांश नोट लिखता है। यह स्क्राइब तेज़ और स्मार्ट है, लेकिन यह दो विशिष्ट प्रकार की गलतियाँ करता है:

"घोस्ट" (भूत) वाली गलती (Hallucination): यह ऐसी बातें बना देता है जो कभी हुई ही नहीं, जैसे कि यह कहना कि मरीज को बुखार है जबकि उसे बुखार नहीं है।
"गायब पन्ना" वाली गलती (Omission): यह उन महत्वपूर्ण विवरणों को लिखना भूल जाता है जिनका डॉक्टर ने उल्लेख किया था, जैसे कि कोई विशिष्ट एलर्जी या नया लक्षण।

अतीत में, यदि आप इन गलतियों को पकड़ना चाहते थे, तो आपको या तो पूरा नोट खुद पढ़ना पड़ता था (जो धीमा और उबाऊ था) या एक "स्टॉप साइन" सिस्टम का उपयोग करना पड़ता था जो पूरे नोट को खारिज कर देता था यदि वह थोड़ा भी संदिग्ध दिखता था। लेकिन डॉक्टर पूरे नोट को केवल एक छोटी सी गलती के कारण फेंकना नहीं चाहते; वे बस यह जानना चाहते हैं कि उन्हें ठीक कहाँ देखना है।

पेश है CARE (कॉन्फ़ॉर्मल असेसमेंट फॉर रिस्क इवैल्यूएशन)। CARE को एक स्मार्ट, कैलिब्रेटेड हाइलाइटर पेन के रूप में समझें जो डॉक्टर के देखने से पहले AI के ड्राफ्ट पर चलता है।

यह "हाइलाइटर" कैसे काम करता है

CARE न तो AI के काम को फिर से लिखता है और न ही AI को दोबारा प्रशिक्षित करता है। इसके बजाय, यह एक सुरक्षा परत के रूप में कार्य करता है जो टेक्स्ट में दो प्रकार के रंगीन झंडे (flags) जोड़ता है:

लाल झंडे (Red Flags): "हे, यह वाक्य एक 'घोस्ट' (hallucification) जैसा लग रहा है। यह शायद मनगढ़ंत है।"
नीले झंडे (Blue Flags): "हे, मूल बातचीत से यह वाक्य महत्वपूर्ण है, लेकिन AI ने इसे सारांश में लिखना भूल गया है। आपको मूल स्रोत की जाँच करनी चाहिए।"

गुप्त नुस्खा: "रिस्क बजट" का नॉब

सबसे चतुर हिस्सा यह है कि CARE यह तय करने के लिए कि पेज पर कितने झंडे लगाने हैं, क्या करता है। यह एक "रिस्क बजट" (जिसे ग्रीक अक्षर अल्फा, $\alpha$ द्वारा दर्शाया गया है) का उपयोग करता है।

कल्पना कीजिए कि आप अस्पताल के प्रभारी डॉक्टर हैं। आपके पास एक रिस्क बजट 15% का है। इसका मतलब है कि आप स्वीकार करने के लिए तैयार हैं कि औसतन, 15% खतरनाक गलतियाँ बिना किसी झंडे के निकल सकती हैं।

यदि आप बजट को कम (बहुत सख्त) रखते हैं, तो हाइलाइटर पागल हो जाता है, लगभग हर चीज़ पर झंडा लगा देता है। यह सुरक्षित है, लेकिन डॉक्टर बहुत सारे झंडों से परेशान हो जाते हैं।
यदि आप बजट को उच्च (बहुत ढीला) रखते हैं, तो हाइलाइटर आलसी हो जाता है, लगभग कुछ भी फ्लैग नहीं करता है। यह कुशल है, लेकिन खतरनाक है।

CARE सही मध्य मार्ग खोज लेता है। यह आपके 15% के रिस्क बजट के भीतर रहने के लिए आवश्यक झंडों की सटीक संख्या की गणना करता है, जबकि कम से कम वाक्यों को फ्लैग करता है। यह एक स्मार्ट सुरक्षा गार्ड की तरह है जो जानता है कि इमारत को सुरक्षित रखने के लिए कितने लोगों को दरवाजे पर रोकना है, बिना ट्रैफिक जाम किए।

यह अलग क्यों है (दो-आयामी पहेली)

अधिकांश पिछले उपकरणों ने "लापता जानकारी" को एक साधारण हाँ/ना के प्रश्न के रूप में माना। लेकिन CARE ने महसूस किया कि लापता जानकारी वास्तव में एक दो-आयामी पहेली है:

क्या गायब हिस्सा महत्वपूर्ण है? (क्या डॉक्टर ने जीवन रक्षक दवा का उल्लेख किया?)
क्या वह वास्तव में गायब है? (क्या AI ने उसे लिखना भूल गया?)

यदि आप केवल एक की जाँच करते हैं, तो आप या तो वास्तविक खतरों को मिस कर देते हैं या बहुत सारी महत्वहीन चीजों को फ्लैग कर देते हैं। CARE इसे दोनों को एक साथ जाँचकर हल करता है। यह एक सुरक्षा स्कैनर की तरह है जो दोनों की जाँच करता है: "क्या यह एक हथियार है?" और "क्या यह एक ऐसा हथियार है जो अभी महत्वपूर्ण है?"

ऐसा करके, CARE ने पाया कि यह अन्य तरीकों के समान ही गलतियों को पकड़ सकता है, लेकिन इसके लिए डॉक्टरों को 5 गुना कम वाक्यों की समीक्षा करने की आवश्यकता पड़ी। यह एक डॉक्टर को 100 पन्नों के नोट्स पढ़ने के बजाय केवल 2-20 पन्नों के फ्लैग किए गए हाइलाइट्स पढ़ने के लिए कहने के बीच का अंतर है।

प्रमाण (The Proof in the Pudding)

शोधकर्ताओं ने पांच अलग-अलग प्रकार के मेडिकल नोट्स (रेडियोलॉजी रिपोर्ट से लेकर डिस्चार्ज समरी तक) पर इस "हाइलाइटर" का परीक्षण किया।

परिणाम: 100 अलग-अलग परीक्षणों में, CARE ने सफलतापूर्वक "स्लिप-थ्रू" (गलतियों के निकल जाने की) दर को 15% के लक्ष्य के बराबर या उससे नीचे रखा।
मानवीय परीक्षण: उन्होंने तीन वास्तविक डॉक्टरों को CARE झंडों के साथ और बिना CARE झंडों के नोट्स की समीक्षा करने के लिए कहा। झंडों के साथ, डॉक्टरों ने बिना झंडों के मुकाबले 28.6% अधिक लापता जानकारी पाई। उन्होंने नोट्स की समीक्षा करने में थोड़ा कम समय भी लिया।

निचोड़

CARE एक ऐसा उपकरण है जो AI को तेज़ी से मेडिकल नोट्स लिखने देता है लेकिन इसमें गणितीय रूप से गारंटीकृत सुरक्षा की एक परत जोड़ता है। यह पूर्ण होने की कोशिश नहीं करता; इसके बजाय, यह डॉक्टरों को एक ट्यूनेबल नॉब (बदलने योग्य बटन) देता है जिससे वे यह तय कर सकें कि वे अपने समय के बदले कितना जोखिम उठाने के लिए तैयार हैं। यह एक अराजक, त्रुटिपूर्ण प्रक्रिया को एक लक्षित, कुशल प्रक्रिया में बदल देता है, यह सुनिश्चित करते हुए कि जब कोई डॉक्टर किसी नोट को देखे, तो उसे पता हो कि संभावित जाल कहाँ हैं।

तकनीकी सारांश: CARE – मेडिकल समराइजेशन के लिए एक कॉन्फॉर्मल सेफ्टी लेयर

1. समस्या विवरण (Problem Statement)

मेडिकल समराइजेशन कार्यों, जैसे कि क्लिनिकल नोट्स ड्राफ्ट करना, रेडियोलॉजी निष्कर्षों को बदलना और डिस्चार्ज सारांश उत्पन्न करना, के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग तेजी से बढ़ रहा है। हालांकि, ये सिस्टम दो महत्वपूर्ण विफलता मोड प्रदर्शित करते हैं जो क्लिनिकल सुरक्षा के लिए खतरा पैदा करते हैं:

ओमिशन (Omissions): स्रोत टेक्स्ट से चिकित्सकीय रूप से महत्वपूर्ण सामग्री सारांश में अनुपस्थित होती है। अध्ययन नियंत्रित सेटिंग्स में 3-4% से लेकर एन्काउंटर-लेवल इवैल्यूएशन में 47% तक ओमिशन रेट की रिपोर्ट करते हैं।
हैलुसिनेशन (Hallucinations): सारांश में ऐसे दावे होते हैं जो स्रोत टेक्स्ट द्वारा समर्थित नहीं होते हैं। इनकी दर नियंत्रित सेटिंग्स में 1-2% से लेकर ओपन-एंडेड एन्काउंटर्स में 42% तक होती है।

वर्तमान पहचान विधियां ह्यूरिस्टिक स्कोरिंग या "LLM-as-a-judge" मूल्यांकन पर निर्भर करती हैं जो अनकैलिब्रेटेड (uncalibrated) स्कोर उत्पन्न करती हैं। इन दृष्टिकोणों में निर्णय थ्रेशोल्ड (decision thresholds) चुनने या छूटे हुए एरर्स की दर को औपचारिक रूप से नियंत्रित करने के लिए कोई सिद्धांत आधारित तंत्र नहीं है। फलस्वरूप, तैनाती (deployment) के सामने एक ट्रेड-ऑफ खड़ा होता है: उदार थ्रेशोल्ड (permissive thresholds) असुरक्षित त्रुटियों को क्लीनिशियन तक पहुँचने देते हैं, जबकि रूढ़िवादी थ्रेशोल्ड (conservative thresholds) क्लीनिशियन को अत्यधिक फ्लैग्स के साथ अभिभूत कर देते हैं, जिससे AI-असिस्टेड डॉक्यूमेंटेशन के दक्षता लाभ कम हो जाते हैं। इसके अलावा, टेक्स्ट जनरेशन के लिए मौजूदा कॉन्फॉर्मल प्रेडिक्शन मेथड्स आमतौर पर रिस्पॉन्स लेवल पर काम करते हैं (पूरे आउटपुट से बचने या उसे फिर से लिखने के बजाय), जो क्लिनिकल वर्कफ़्लो के साथ मेल नहीं खाता है जिसमें पूरे ड्राफ्ट को खारिज करने के बजाय लक्षित, वाक्य-स्तर के मार्गदर्शन की आवश्यकता होती है।

2. कार्यप्रणाली: CARE फ्रेमवर्क (Methodology: CARE Framework)

लेखक CARE (Conformal Assessment for Risk Evaluation) का प्रस्ताव करते हैं, जो एक पोस्ट-हॉक, मॉडल-एग्नोस्टिक सेफ्टी लेयर है जो मूल समराइज़र को पुन: प्रशिक्षित (retrain) किए बिना LLM-जेनरेटेड सारांशों पर कैलिब्रेटेड ओमिशन और हैलुसिनेशन फ्लैग्स को ओवरले करती है। CARE, फाइन-सैंपल, डिस्ट्रीब्यूशन-फ्री गारंटी प्रदान करने के लिए कॉन्फॉर्मल रिस्क कंट्रोल (CRC) का उपयोग करता है।

2.1 पाइपलाइन ओवरव्यू

यह सिस्टम चार चरणों में संचालित होता है:

ओरेकल लेबलिंग (Offline): एक उच्च-क्षमता वाला ओरेकल LLM (GPT-5) एक कैलिब्रेशन सेट के लिए रेफरेंस लेबल जेनरेट करता है। ये लेबल परिभाषित करते हैं:
- सपोर्ट (Support): क्या सारांश का एक वाक्य स्रोत द्वारा समर्थित है ( $Y_{sup}$ )।
- महत्व (Importance): क्या स्रोत का एक वाक्य चिकित्सकीय रूप से महत्वपूर्ण है ( $Y_{imp}$ ), जिसे क्लिनिशियन द्वारा लिखे गए रेफरेंस सारांश से निकाला गया है।
- कवरेज (Coverage): क्या स्रोत का एक वाक्य सारांश में प्रस्तुत है ( $Y_{cov}$ )।
  एक "ट्रू ओमिशन" को एक महत्वपूर्ण स्रोत वाक्य के रूप में परिभाषित किया गया है जो सारांश में कवर नहीं हुआ है।
जज मॉडल द्वारा स्कोरिंग (Online/Offline): एक सस्ता "जज" मॉडल (GPT-5-mini) परिनियोजन (deployment) के समय वाक्यों को स्कोर देता है। बाइनरी लेबल के बजाय, यह तीन-स्तरीय रूब्रिक (Supported/Essential, Partial/Relevant, Unsupported/Omitted) का उपयोग करता है जिसे स्कोर $\{0, 0.5, 1\}$ में मैप किया गया है। स्टोकेस्टिसिटी (stochasticity) को कम करने के लिए, जज प्रति वाक्य $m=5$ स्वतंत्र प्रतिकृति (replicates) प्रदान करता है, जिनका औसत निकाला जाता है।
कॉन्फॉर्मल रिस्क कंट्रोल (Offline): सिस्टम ऐसे थ्रेशोल्ड चुनता है जो उपयोगकर्ता द्वारा निर्दिष्ट स्तरों ( $\alpha$ $α$ ) के नीचे जोखिम बनाए रखने की गारंटी देते हैं।
- हैलुसिनेशन कंट्रोलर: उन सारांश वाक्यों को फ्लैग करता है जिनका सपोर्ट स्कोर $\hat{p}_{sup} \le \lambda$ है। यह इस संभावना को सीमित करता है कि एक दस्तावेज़ में कम से कम एक अनफ्लैगड हैलुसिनेटेड वाक्य मौजूद है।
- ओमिशन कंट्रोलर: उन स्रोत वाक्यों को सामने लाता है जहाँ महत्व $\hat{p}_{imp} \ge \tau$ AND गैर-कवरेज $\hat{p}_{ncov} \ge \gamma$ है। यह समीक्षा के लिए सामने लाए गए "ट्रू ओमिशन" के अपेक्षित अंश को सीमित करता है।
डिप्लॉयमेंट (Deployment): CARE कैलिब्रेटेड थ्रेशोल्ड $(\lambda^*, \tau^*, \gamma^*)$ को नए सारांशों पर लागू करता है, जो मूल ड्राफ्ट को रेड फ्लैग्स (हैलुसिनेशन) और ब्लू फ्लैग्स (महत्वपूर्ण ओमिशन) के साथ बढ़ाकर वापस करता है।

2.2 मुख्य तकनीकी नवाचार: जॉइंट 2D कैलिब्रेशन

पेपर का एक केंद्रीय अंतर्दृष्टि यह है कि ओमिशन कंट्रोल स्वाभाविक रूप से महत्व ( $\tau$ ) और गैर-कवरेज ( $\gamma$ ) पर एक दो-आयामी (two-dimensional) कैलिब्रेशन समस्या है।

चुनौती: केवल एक आयाम को कैलिब्रेट करना (जैसे, $\gamma=0$ को फिक्स करना) या मार्जिनल डिकम्पोजिशन का उपयोग करना (जैसे, यूनियन बाउंड के माध्यम से प्रत्येक आयाम के लिए जोखिम बजट $\alpha/2$ को विभाजित करना) या तो लक्ष्य जोखिम सीमा का उल्लंघन कर सकता है या अत्यधिक रूढ़िवादी हो सकता है, जिससे बहुत अधिक वाक्य सामने आ सकते हैं।
समाधान: CARE Learn-Then-Test Fixed-Sequence (LTT-FST) प्रक्रिया को नियोजित करता है। यह $(\tau, \gamma)$ ग्रिड के लिए एक नियत (deterministic), डेटा-स्वतंत्र क्रम (कम वर्कलोड को प्राथमिकता देते हुए) को परिभाषित करता है और पहले थ्रेशोल्ड पेयर को चुनता है जो एम्पीरिकल रिस्क बाउंड को संतुष्ट करता है। यह दृष्टिकोण औपचारिक गारंटी को सुरक्षित रखते हुए भी सामने आने वाले वाक्यों की संख्या को कम करता है।

3. मुख्य योगदान (Key Contributions)

ओमिशन और हैलुसिनेशन के लिए एक कॉन्फॉर्मल फ्रेमवर्क: CARE एब्स्ट्रैक्टिव मेडिकल टेक्स्ट जनरेशन में दोनों विफलता मोड के लिए पोस्ट-हॉक, मॉडल-एग्नोस्टिक, वाक्य-स्तर की रिस्क गारंटी प्रदान करने वाला पहला फ्रेमवर्क पेश करता है।
जॉइंट टू-डायमेंशनल कैलिब्रेशन: लेखक प्रदर्शित करते हैं कि आंशिक कैलिब्रेशन (partial calibration) रिस्क बाउंड का उल्लंघन करता है, जबकि मार्जिनल डिकम्पोजिशन वैध तो हैं लेकिन अक्षम हैं; जॉइंट कैलिब्रेशन पूरे $(\tau, \gamma)$ स्पेस पर गारंटी बनाए रखते हुए भी अन्य कैलिब्रेटेड बेसलाइन्स की तुलना में 5 गुना कम वाक्य सामने लाता है।
बहु-डोमेन वैलिडेशन: इस फ्रेमवर्क को 2,123 दस्तावेजों का उपयोग करके पांच मेडिकल समराइजेशन टास्क (डायलॉग-टू-नोट, हॉस्पिटल-कोर्स सिंथेसिस, रेडियोलॉजी, डिस्चार्ज सारांश, और बायोमेडिकल एब्स्ट्रैक्ट्स) में मान्य किया गया।
क्लिनिकल यूटिलिटी साक्ष्य: तीन क्लीनिशियन्स के साथ एक प्रारंभिक इन-सब्जेक्ट स्टडी ने दिखाया कि CARE के फ्लैग्स ने ओमिशन डिटेक्शन में 28.6 प्रतिशत अंक (50.4% से बढ़कर 79.0%) का सुधार किया, जबकि प्रति वाक्य समीक्षा समय में मामूली कमी आई।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग पांच डेटासेट्स (ACI-Bench, MIMIC-BHC, MIMIC-CXR, Priv-DS, SumPubMed) में $\alpha = 0.15$ के लक्ष्य जोखिम स्तर के साथ किए गए थे।

सुरक्षा गारंटी: 100 रैंडम कैलिब्रेशन/टेस्ट रिस्प्लिट्स (resplits) में, CARE दोनों कंट्रोलर्स के लिए लक्ष्य रिस्क बाउंड को संतुष्ट करता है। एम्पीरिकल मीन वायलेशन रेट्स $\alpha$ के स्तर पर या उससे नीचे रहे (उदाहरण के लिए, हैलुसिनेशन वायलेशन 5.7% से 12.8% के बीच थे; ओमिशन वायलेशन 9.3% से 14.0% के बीच थे)।
दक्षता (Efficiency): CARE ने हैलुसिनेशन के लिए 8-24% सारांश वाक्यों को फ्लैग किया और ओमिशन के लिए 11-66% स्रोत वाक्यों को सामने लाया (डेटासेट कंप्रेशन और लंबाई के आधार पर)।
बेसलाइन्स के साथ तुलना:
- LTT-FST (CARE) ने गारंटी बनाए रखते हुए वर्कलोड को कम करने में 1D और Union Bound बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन किया। उदाहरण के लिए, ACI-Bench पर, LTT-FST ने 18.9% वाक्यों को सामने लाया, जबकि 1D-Imp ने 48.9% को।
- अनकैलिब्रेटेड बेसलाइन्स (जैसे, Max-F1, Fixed-0.5) अक्सर वर्कलोड को कम करते हैं लेकिन महत्वपूर्ण रूप से रिस्क बाउंड का उल्लंघन करते हैं (जैसे, वायलेशन रेट 47.8% तक)।
- आंशिक कैलिब्रेशन (Partial Calibration): कवरेज डायमेंशन को अनकैलिब्रेटेड छोड़ने के परिणामस्वरूप विनाशकारी विफलता हुई, जिसमें वायलेशन रेट 49.8% तक पहुँच गया।
मजबूती (Robustness): सिस्टम कैलिब्रेशन साइज (केवल ~100 लेबल किए गए दस्तावेजों की आवश्यकता), प्रॉम्प्ट डिजाइन, और समराइज़र के चुनाव (Llama-3.3-70B, Gemini 2.5 Pro, और Claude Opus 4.6 के साथ परीक्षण किया गया) में भिन्नता के प्रति मजबूत बना रहा।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि LLM-असिस्टेड मेडिकल समराइजेशन के लिए वाक्य-स्तर की सुरक्षा गारंटी संभव है। रिस्पॉन्स-लेवल एब्स्टेंशन से आगे बढ़कर, CARE एक ट्यूनेबल मैकेनिज्म (रिस्क बजट $\alpha$ के माध्यम से) प्रदान करता है जो अवशिष्ट जोखिम (residual risk) और क्लीनिशियन समीक्षा प्रयास के बीच संतुलन बनाता है।

लेखक इस बात पर जोर देते हैं कि उनकी गारंटी मार्जनल (कैलिब्रेशन डिस्ट्रीब्यूशन पर) और फाइन-सैंपल है। वे सीमाओं को भी स्वीकार करते हैं, जिसमें कैलिब्रेशन और डिप्लॉयमेंट डेटा के बीच एक्सचेंजैबिलिटी (exchangeability) पर निर्भरता, ओरेकल लेबलिंग त्रुटियों की संभावना (हालांकि क्लिनिशियन एनोटेशन के विरुद्ध मान्य किया गया), और कवरेज लेबल्स की बाइनरी प्रकृति शामिल है। प्रारंभिक क्लिनिकल अध्ययन को निश्चित प्रमाण के बजाय "दिशात्मक साक्ष्य" (directional evidence) के रूप में प्रस्तुत किया गया है, जिसमें ट्रस्ट, अलर्ट बर्डन और ओवरराइड व्यवहार का आकलन करने के लिए बड़े, वर्कफ़्लो-ओरिएंटेड अध्ययनों की आवश्यकता बताई गई है।

अंततः, CARE यह प्रदर्शित करता है कि कॉन्फॉर्मल रिस्क कंट्रोल को लक्षित, क्लीनिशियन-एक्शनेबल हस्तक्षेपों के लिए संचालित किया जा सकता है, जिससे उच्च-दांव वाले मेडिकल डॉक्यूमेंटेशन में LLMs का सुरक्षित परिनियोजन संभव हो पाता है।