🤖 machine learning

WISTERIA: Learning Clinical Representations from Noisy Supervision via Multi-View Consistency in Electronic Health Records

WISTERIA इलेक्ट्रॉनिक स्वास्थ्य रिकॉर्ड के लिए एक कमजोर रूप से पर्यवेक्षित (weakly supervised) प्रतिनिधित्व शिक्षण ढांचा है जो नैदानिक लेबल को स्टोकेस्टिक अवलोकनों के रूप में मॉडल करके और विषम पर्यवेक्षण संकेतों को स्पष्ट रूप से शोर-मुक्त करने के लिए मल्टी-व्यू निरंतरता लागू करके भविष्य कहनेवाला प्रदर्शन और क्रॉस-संस्थागत सामान्यीकरण में सुधार करता है।

मूल लेखक: Ruan Dong, Yuanyun Zhang, Shi Li

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ruan Dong, Yuanyun Zhang, Shi Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को यह सिखाने की कोशिश कर रहे हैं कि मरीज के स्वास्थ्य इतिहास को कैसे समझा जाए। अतीत में, शोधकर्ताओं ने मेडिकल रिकॉर्ड्स को एक आदर्श पाठ्यपुस्तक (textbook) की तरह माना। उन्होंने यह मान लिया था कि प्रत्येक डायग्नोसिस कोड, बिलिंग टैग, या डॉक्टर द्वारा लिखे गए नोट एक पूर्ण, अपरिवर्तनीय सत्य हैं। उन्होंने अपने AI मॉडल्स को इन रिकॉर्ड्स को ठीक वैसे ही याद करने के लिए प्रशिक्षित किया जैसे वे दिखाई देते थे।

WISTERIA पेपर तर्क देता है कि यह दृष्टिकोण त्रुटिपूर्ण है क्योंकि वास्तविक दुनिया के मेडिकल रिकॉर्ड्स अव्यवस्थित होते हैं। वे "शोर" (noise) से भरे होते हैं। एक ही बीमारी हो सकती है लेकिन अलग-अलग अस्पतालों में जाने, अलग-अलग बिलिंग सिस्टम का उपयोग करने, या अलग-अलग डॉक्टरों द्वारा नोट लिखे जाने के आधार पर उसके कोड अलग हो सकते हैं। इन अपूर्ण नोट्स को पूर्ण सत्य मानना एक धुंधली और विकृत तस्वीर को देखकर पहाड़ के आकार को सीखने की कोशिश करने जैसा है।

मुख्य विचार: "शोर वाले विशेषज्ञों की एक समिति" (A Committee of Noisy Experts)

एक एकल सत्य स्रोत पर भरोसा करने के बजाय, WISTERIA मेडिकल लेबल्स को शोर वाले विशेषज्ञों की एक समिति की तरह मानता है।

कल्पना कीजिए कि आप उस शहर में मौसम का अनुमान लगाने की कोशिश कर रहे हैं जहाँ आप कभी नहीं गए। आपके पास कोई एक सटीक मौसम रिपोर्ट नहीं है। इसके बजाय, आप पाँच अलग-अलग लोगों से पूछते हैं:

विशेषज्ञ A सरकारी मौसम केंद्र की जाँच करता है (लेकिन उनका सेंसर पुराना है)।
विशेषज्ञ B खिड़की के माध्यम से आकाश को देखता है (लेकिन कांच गंदा है)।
विशेषज्ञ C एक स्थानीय किसान से पूछता है (जो बारिश का अनुमान लगाने में अच्छा है लेकिन हवा के बारे में बुरा है)।
विशेषज्ञ D एक ब्लॉग पोस्ट पढ़ता है (जो अक्सर गलत होता है)।
विशेषज्ञ E सैटेलाइट इमेज देखता है (जो स्पष्ट है लेकिन कम रिज़ॉल्यूशन वाली है)।

यदि आप केवल विशेषज्ञ A की बात सुनते हैं, तो आप गलत हो सकते हैं क्योंकि उनका सेंसर खराब है। यदि आप विशेषज्ञ D की बात सुनते हैं, तो आप पूरी तरह से भटक जाएंगे। लेकिन, यदि आप उन पाँचों से पूछते हैं और देखते हैं कि वे सभी किस बात पर सहमत हैं, तो आप वास्तविक मौसम का पता लगा सकते हैं। वे जिन बातों पर असहमत होते हैं, वे केवल उनकी व्यक्तिगत गलतियाँ या पूर्वाग्रह होते हैं।

WISTERIA मरीज के डेटा के साथ बिल्कुल यही करता है। यह कई "विशेषज्ञों" (जिन्हें वीक सुपरविज़न ऑपरेटर्स कहा जाता है) का निर्माण करता है जो एक ही मरीज के रिकॉर्ड को देखते हैं और मरीज की स्थिति के बारे में अलग-अलग, थोड़ी शोर वाली भविष्यवाणियाँ उत्पन्न करते हैं।

एक "विशेषज्ञ" बिलिंग कोड का उपयोग कर सकता है।
दूसरा मेडिकल टेक्स्टबुक्स पर आधारित नियमों के एक सेट का उपयोग कर सकता है।
तीसरा इस बात पर नज़र रख सकता है कि कुछ बीमारियाँ कितनी बार एक साथ दिखाई देती हैं।

यह कैसे काम करता है: "सहमति" का खेल

AI मॉडल को केवल एक विशेषज्ञ को खुश करने के लिए नहीं, बल्कि एक ऐसी "छिपी हुई सच्चाई" खोजने के लिए प्रशिक्षित किया जाता है जो एक ही समय में सभी विशेषज्ञों को संतुष्ट कर सके।

सेटअप: मॉडल मरीज के इतिहास को देखता है और भविष्यवाणी करने की कोशिश करता है कि स्थिति क्या है।
संघर्ष: यह अपनी भविष्यवाणी की तुलना सभी पाँच "विशेषज्ञों" के साथ करता है।
सबक: यदि मॉडल विशेषज्ञ A के साथ सहमत है लेकिन विशेषज्ञों B, C, D और E के साथ असहमत है, तो वह जान जाता है कि वह संभवतः विशेषज्ञ A के विशिष्ट पूर्वाग्रह या गलती का अनुसरण कर रहा है। यह उस शोर को अनदेखा करना सीख जाता है।
डिनोइजिंग (Denoising): इन कई शोर वाले विशेषज्ञों में से बहुमत को संतुष्ट करने वाला समाधान खोजने के लिए मॉडल को मजबूर करके, यह स्वचालित रूप से त्रुटियों को फ़िल्टर कर देता है। यह "शोर" (अव्यवस्थित कागजी कार्रवाई) के माध्यम से "सिग्नल" (वास्तविक बीमारी) को देखना सीख जाता है।

एक मानचित्र जोड़ना: "ऑन्टोलॉजी" दिशासूचक (The "Ontology" Compass)

पेपर एक विशेष नियम भी जोड़ता है जिसे ऑन्टोलॉजी रेगुलराइजेशन कहा जाता है। इसे मॉडल को चिकित्सा अवधारणाओं का एक मानचित्र देने के रूप में समझें।

चिकित्सा में, "टाइप 1 डायबिटीज" और "टाइप 2 डायबिटीज" संबंधित हैं, लेकिन "डायबिटीज" और "टूटी हुई हड्डी" नहीं हैं। यदि मॉडल भविष्यवाणी करता है कि मरीज की हड्डी टूटी है, लेकिन "विशेषज्ञ" डायबिटीज के बारे में फुसफुसा रहे हैं, तो मॉडल भ्रमित नहीं होना चाहिए। मानचित्र मॉडल को बताता है: "हे, ये अवधारणाएं मानचित्र पर पड़ोसी हैं। यदि आप एक के करीब हैं, तो आपको दूसरे के करीब होना चाहिए।"

यह मॉडल को यह समझने में मदद करता है कि भले ही विशिष्ट कोड अव्यवस्थित हों, उनके पीछे का अर्थ जुड़ा रहता है। यह AI को इस बात में खो जाने से रोकता है कि विभिन्न अस्पताल अपने नोट्स कैसे लिखते हैं।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

लेखकों ने इस पद्धति का परीक्षण मानक AI मॉडल्स के विरुद्ध किया जो केवल रिकॉर्ड को याद करने की कोशिश करते हैं। यहाँ उन्हें क्या मिला:

कठिन कार्यों में बेहतर: मॉडल उन कार्यों में बहुत बेहतर था जहाँ डेटा अव्यवस्थित या अधूरा होता है, जैसे विशिष्ट बीमारियों या पेशेंट फेनोटाइप्स की भविष्यवाणी करना। इसने केवल कोड को याद नहीं किया; इसने अंतर्निहित स्वास्थ्य स्थिति को समझा।
गलतियों के प्रति लचीलापन: जब शोधकर्ताओं ने जानबूझकर डेटा को "दूषित" किया (लेबल्स को और अधिक शोर वाला बनाया), तो WISTERIA मॉडल विफल नहीं हुआ। यह अच्छी तरह से काम करता रहा क्योंकि इसे शोर को अनदेखा करने की आदत थी। मानक मॉडल, जो लेबल्स के पूर्ण होने पर निर्भर करते हैं, बिखर गए।
यात्रा करने में सक्षम (Traveling Well): जब उन्होंने एक अस्पताल के डेटा पर मॉडल को प्रशिक्षित किया और दूसरे अस्पताल के डेटा पर इसका परीक्षण किया (अलग-अलग कोडिंग आदतों के साथ), तो WISTERIA ने बहुत बेहतर प्रदर्शन किया। इसने मरीज को सीखा, न कि केवल अस्पताल के कागजी काम को।

बड़ा निष्कर्ष

यह पेपर चिकित्सा AI बनाने के हमारे तरीके में एक मौलिक बदलाव का सुझाव देता है। मेडिकल रिकॉर्ड्स को याद किए जाने वाले एक पूर्ण, निश्चित सत्य के रूप में देखने के बजाय, हमें उन्हें एक छिपी हुई वास्तविकता के शोर वाले, अपूर्ण अवलोकन के रूप में मानना चाहिए।

एक ऐसा सिस्टम बनाकर जो डेटा को लेबल करने के कई अलग-अलग, अपूर्ण तरीकों के बीच सहमति की तलाश करता है, हम AI को वास्तविक दुनिया की चिकित्सा की उलझन के पार देखना सिखा सकते हैं और वह सीख सकते हैं जो वास्तव में मायने रखता है: मरीज की वास्तविक नैदानिक स्थिति। यह एक छात्र को केवल उस एक शिक्षक की नकल करने के बजाय, जो शायद अपना बुरा दिन बिता रहा हो, बल्कि पूरी कक्षा के शिक्षकों को सुनकर सीखने के लिए प्रेरित करने जैसा है।

तकनीकी सारांश: WISTERIA

समस्या विवरण
इलेक्ट्रॉनिक हेल्थ रिकॉर्ड्स (EHR) से प्रतिनिधित्व (representations) सीखने के वर्तमान प्रतिमान (paradigms) काफी हद तक प्राकृतिक भाषा प्रसंस्करण (NLP) तकनीकों पर निर्भर करते हैं, जो रोगी के इतिहास को डिस्क्रीट टोकन (निदान, प्रक्रियाएं, दवाएं) के अनुक्रम के रूप में देखते हैं और पुनर्निर्माण (reconstruction) या अगले-टोकन भविष्यवाणी के लिए अनुकूलित होते हैं। इस दृष्टिकोण की एक मौलिक सीमा यह निहित धारणा है कि देखे गए नैदानिक लेबल (clinical labels) 'ग्राउंड ट्रुथ' के रूप में कार्य करते हैं। वास्तव में, नैदानिक पर्यवेक्षण (clinical supervision) स्वाभाविक रूप से कमजोर, शोर युक्त (noisy) और विषम होता है। लेबल अक्सर प्रत्यक्ष शारीरिक मापों के बजाय बिलिंग कोड, ह्यूरिस्टिक फेनोटाइपिंग नियमों, या संस्थान-विशिष्ट एनोटेशन पाइपलाइनों से उत्पन्न होते हैं। फलस्वरूप, अनुक्रम-आधारित प्रीट्रेनिंग उद्देश्य अक्सर नैदानिक रूप से सार्थक संरचना को कोडिंग प्रथाओं और दस्तावेजीकरण पूर्वाग्रहों द्वारा प्रेरित आर्टिफैक्ट्स (artifacts) के साथ उलझा देते हैं, जिससे ऐसे प्रतिनिधित्व प्राप्त होते हैं जिनमें विभिन्न संस्थानों में मजबूती और सामान्यीकरण (generalizability) का अभाव होता है।

कार्यप्रणाली (Methodology)
लेखक WISTERIA (Weakly-supervised Inference of Structured laTent Embeddings for clRinical representAtions) प्रस्तावित करते हैं, जो EHR प्रतिनिधित्व शिक्षण को शोर युक्त, मल्टी-व्यू पर्यवेक्षण संकेतों से एक अंतर्निहित नैदानिक अवस्था ( $z$ ) के अनुमान (inference) के रूप में पुनर्गठित करता है।

स्टोकेस्टिक पर्यवेक्षण मॉडल (Stochastic Supervision Model): लेबल को निश्चित लक्ष्यों के रूप में मानने के बजाय, WISTERIA नैदानिक लेबल ( $y$ ) को संस्थान-विशिष्ट लेबलिंग कार्यों ( $\psi$ ) के माध्यम से एक अंतर्निहित लेटेंट स्टेट ( $z$ ) से उत्पन्न स्टोकेस्टिक अवलोकनों के रूप में मॉडल करता है। मॉडल यह मानता है कि देखे गए लेबल एक व्यापक पर्यवेक्षण प्रक्रिया के शोर युक्त यथार्थ (realizations) हैं।
मल्टी-व्यू वीक सुपरविजन (Multi-View Weak Supervision): ढांचा $K$ कमजोर पर्यवेक्षण ऑपरेटरों $\{W_k\}_{k=1}^K$ का एक सेट बनाता है। प्रत्येक ऑपरेटर एक रोगी रिकॉर्ड $x$ को एक छद्म-लेबल वितरण (pseudo-label distribution) $\tilde{y}_k$ में मैप करता है। ये ऑपरेटर पर्यवेक्षण के विविध स्रोतों को कैप्चर करते हैं, जिसमें नियम-आधारित फेनोटाइपिंग, ऑन्टोलॉजी-आधारित लेबल प्रसार, सह-उपस्थिति सांख्यिकी (co-occurrence statistics), और क्रॉस-मोडल सहमति शामिल है। किसी भी एक ऑपरेटर को सही नहीं माना जाता है; प्रत्येक एक पक्षपाती, आंशिक दृश्य प्रदान करता है।
कंसिस्टेंसी ऑब्जेक्टिव (Consistency Objective): मुख्य शिक्षण उद्देश्य इन पर्यवेक्षण दृश्यों के बीच निरंतरता (consistency) को लागू करता है। मॉडल एक साझा एनकोडर $h_\theta(x)$ $h_{θ} (x)$ और प्रेडिक्शन हेड्स का एक सेट $\{g_{\theta,k}\}$ ${g_{θ, k}}$ सीखता है। लॉस फंक्शन ( $L_{WISTERIA}$ $L_{W I S T E R I A}$ ) दो पदों से बना है:
- अलाइनमेंट (Alignment): प्रत्येक प्रेडिक्शन हेड $g_{\theta,k}(h_\theta(x))$ और उसके संबंधित वीक सुपरविजन सिग्नल $\tilde{y}_k$ के बीच विचलन (जैसे, क्रॉस-एन्ट्रॉपी) को कम करना।
- एग्रीमेंट (Agreement): विभिन्न प्रेडिक्शन हेड्स के बीच असहमति (जैसे, सिमेट्रिक KL डाइवर्जेंस) को कम करना। यह पद एक अंतर्निहित डीनोइजिंग तंत्र के रूप में कार्य करता है, जो प्रतिनिधित्व को ऐसी संरचना कैप्चर करने के लिए प्रोत्साहित करता है जो विषम लेबलिंग तंत्रों में अपरिवर्तनीय (invariant) हो।
ऑन्टोलॉजी-अवेयर रेगुलराइजेशन (Ontology-Aware Regularization): नैदानिक संरचना को शामिल करने के लिए, विधि एक लेबल-स्पेस ज्योमेट्री रेगुलराइज़र पेश करती है। एक क्लिनिकल ऑन्टोलॉजी ग्राफ $G=(V, E)$ का उपयोग करते हुए, भविष्यवाणियों को ग्राफ लैपलेसियन $L$ के सापेक्ष सुचारू (smooth) होने के लिए रेगुलराइज़ किया जाता है। यह सुनिश्चित करता है कि अर्थ संबंधी रूप से संबंधित नैदानिक अवधारणाएं सुसंगत संभाव्यता द्रव्यमान (probability mass) प्राप्त करें, जिससे कोडिंग सिस्टमों में सामान्यीकरण में सहायता मिलती है और लॉन्ग-टेल सेटिंग्स में मजबूती आती है।
सुपरविजन के माध्यम से स्केलिंग (Scaling via Supervision): डेटासेट के आकार या मॉडल क्षमता पर निर्भर पारंपरिक स्केलिंग लॉ के विपरीत, WISTERIA एक नया स्केलिंग अक्ष पेश करता है: कमजोर पर्यवेक्षण ऑपरेटरों की संख्या और विविधता। $K$ को बढ़ाने से लेटेंट प्रतिनिधित्व पर प्रतिबंध बढ़ते हैं, जिससे अतिरिक्त लेबल किए गए डेटा की आवश्यकता के बिना पहचान क्षमता (identifiability) में सुधार होता है।

प्रमुख योगदान

पर्यवेक्षण का पुनर्गठन (Reframing Supervision): यह पेपर EHR लर्निंग के इंडक्टिव बायस को लेबल को 'ग्राउंड ट्रुथ' मानने से बदलकर, पर्यवेक्षण प्रक्रिया को स्वयं एक स्टोकेस्टिक, मल्टी-व्यू घटना के रूप में मॉडल करने की ओर स्थानांतरित करता है।
मल्टी-व्यू कंसिस्टेंसी (Multi-View Consistency): यह एक विषम पर्यवेक्षण संकेतों को एकत्रित करने वाला उद्देश्य पेश करता है, जो शोर युक्त लेबलिंग कार्यों से एक साझा लेटेंट सिग्नल को पुनः प्राप्त करने के लिए सहमति को लागू करता है।
स्ट्रक्चर्ड लेबल स्पेस (Structured Label Space): यह प्रक्रिया में ऑन्टोलॉजी-अवेयर रेगुलराइजेशन को सीधे एकीकृत करता है, जिससे मॉडल को नैदानिक ज्ञान के अनुरूप तरीके से शोर युक्त लेबल को सुलझाने में मदद मिलती है।
सुपरविजन-सेंट्रिक स्केलिंग (Supervision-Centic Scaling): यह प्रदर्शित करता है कि पर्यवेक्षण ऑपरेटरों की विविधता बढ़ाने से प्रतिनिधित्व की गुणवत्ता और मजबूती में सुधार हो सकता है, जो डेटा वॉल्यूम बढ़ाने के पूरक स्केलिंग रणनीति के रूप में कार्य करता है।

परिणाम
मानक EHR बेंचमार्क (Mortality, Readmission, Diagnosis, Phenotyping) पर अनुभवजन्य मूल्यांकन (Empirical evaluation) दर्शाता है कि WISTERIA, सुपरवइज्ड लर्निंग, मास्क्ड लैंग्वेज मॉडलिंग, ऑटोरेग्रेसिव प्रीट्रेनिंग और कंट्रास्टिव लर्निंग सहित बेसलाइन्स से बेहतर प्रदर्शन करता है।

भवि 예측 प्रदर्शन (Predictive Performance): WISTERIA सभी कार्यों में स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करता है, विशेष रूप से डायग्नोसिस प्रेडिक्शन (मैक्रो-F1: 0.538 बनाम कंट्रास्टिव का 0.512) और फेनोटाइपिंग (AUROC: 0.846 बनाम 0.821) में महत्वपूर्ण लाभ दिखता है।
शोर के प्रति मजबूती (Robustness to Noise): इंजेक्ट किए गए लेबल शोर (30–50%) के साथ प्रयोगों में, WISTERIA बेसलाइन्स की तुलना में एक सपाट गिरावट वक्र (flatter degradation curve) प्रदर्शित करता है, और वहां प्रदर्शन बनाए रखता है जहां सिंगल-व्यू या सुपरवइज्ड दृष्टिकोण तेजी से गिर जाते हैं।
क्रॉस-इंस्टीट्यूशनल जनरलाइजेशन (Cross-Institutional Generalization): मॉडल बेहतर ट्रांसफ़रेबिलिटी प्रदर्शित करता है, एक संस्थान पर प्रीट्रेनिंग करने और दूसरे पर टेस्ट करने पर एब्लेटेड वेरिएंट की तुलना में उच्च AUROC (0.812) प्राप्त करता है।
कैलिब्रेशन और सिमेंटिक्स (Calibration and Semantics): सीखे गए एम्बेडिंग्स (embeddings) निकटतम-पड़ोसी रिट्रीवल और क्लस्टरिंग में नैदानिक अर्थ विज्ञान (clinical semantics) के साथ बेहतर संरेखण दिखाते हैं। इसके अलावा, WISTERIA बेहतर-कैलिब्रेटेड भविष्यवाणियां (Expected Calibration Error of 0.021) उत्पन्न करता है, जो एब्लेटेड मॉडल्स की तुलना में ओवरकॉन्फिडेंस को कम करता है।

महत्व
यह शोध पत्र तर्क देता है कि पर्यवेक्षण प्रक्रिया को स्पष्ट रूप से मॉडल करना—लेबल को निश्चित लक्ष्यों के रूप में मानने के बजाय—EHR डेटा से मजबूत और नैदानिक रूप से सार्थक प्रतिनिधित्व सीखने के लिए अधिक उपयुक्त इंडक्टिव बायस प्रदान करता है। इनपुट स्पेस के बजाय पर्यवेक्षण स्पेस में अपरिवर्तनीयता (invariance) को लागू करके, WISTERIA इस वास्तविकता को संबोधित करता है कि नैदानिक लेबल अक्सर शारीरिक अवस्थाओं के अविश्वसनीय प्रॉक्सी होते हैं। लेखक सुझाव देते हैं कि यह परिप्रेक्ष्य स्वास्थ्य सेवा फाउंडेशन मॉडल्स के लिए एक नया डिज़ाइन स्पेस खोलता है, जहाँ पर्यवेक्षण की संरचना और विविधता, अनुक्रम-केंद्रित प्रीट्रेनिंग उद्देश्यों से आगे बढ़कर, सीखे गए प्रतिनिधित्वों को आकार देने में केंद्रीय भूमिका निभाती है।

मुख्य विचार: "शोर वाले विशेषज्ञों की एक समिति" (A Committee of Noisy Experts)

यह कैसे काम करता है: "सहमति" का खेल

एक मानचित्र जोड़ना: "ऑन्टोलॉजी" दिशासूचक (The "Ontology" Compass)

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

बड़ा निष्कर्ष

इसी तरह के और पेपर