Determinants of Training Corpus Size for Clinical Text Classification
MIMIC-III डेटा का उपयोग करने वाला यह अध्ययन प्रदर्शित करता है कि जबकि 600 एनोटेटेड दस्तावेज़ नैदानिक पाठ वर्गीकरण (clinical text classification) में निकट-इष्टतम प्रदर्शन प्राप्त करने के लिए आम तौर पर पर्याप्त हैं, विशिष्ट लर्निंग कर्व और सटीकता केवल कॉर्पस के आकार के बजाय शोर वाले शब्दावली (noisy vocabulary) के मुकाबले मजबूत भविष्य कहने वाले शब्दों के अनुपात द्वारा महत्वपूर्ण रूप से निर्धारित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन शुरुआत में पूरी तरह से खाली दिमाग वाले रोबोट को यह सिखाने की कोशिश कर रहे हैं कि केवल अस्पताल के डिस्चार्ज नोट्स पढ़कर विशिष्ट चिकित्सा स्थितियों (medical conditions) को कैसे पहचाना जाए। मुख्य सवाल जो शोधकर्ताओं ने पूछा था वह था: "रोबोट को विशेषज्ञ बनने के लिए वास्तव में कितने नोट्स पढ़ने की आवश्यकता है?"
अतीत में, डॉक्टर और शोधकर्ता अक्सर अनुमान लगाते थे कि अच्छे परिणाम प्राप्त करने के लिए उन्हें मैन्युअल रूप से 200 से 500 दस्तावेज़ों को लेबल करने की आवश्यकता होगी। लेकिन वे वास्तव तक यह नहीं जानते थे कि यह संख्या क्यों चुनी गई थी, या क्या यह पर्याप्त थी।
यहाँ अध्ययन के निष्कर्ष दिए गए हैं, जिन्हें सरल उपमाओं (analogies) के माध्यम से समझाया गया है:
1. "स्मार्ट स्टार्टर" बनाम "खाली स्लेट"
शोधकर्ताओं ने एक मूर्ख रोबोट से शुरुआत नहीं की। उन्होंने एक प्री-ट्रेंड "लार्ज लैंग्वेज मॉडल" (जैसे BERT) का उपयोग किया। इस मॉडल को एक ऐसे रोबोट के रूप में सोचें जिसने पहले ही लाखों किताबें पढ़ ली हैं और जानता है कि भाषा कैसे काम करती है, लेकिन उसने अभी तक विशिष्ट चिकित्सा रोगों के बारे में नहीं सीखा है।
चूंकि रोबोट पहले से ही भाषा के "व्याकरण" को समझता है, इसलिए उसे बुनियादी बातें सीखने के लिए पुस्तकालय भर के नोट्स पढ़ने की आवश्यकता नहीं है। उसे बस उस विशिष्ट "बोली" (dialect) को सीखने की आवश्यकता है जिसे वह खोज रहा है।
2. जादुई संख्या: 600 नोट्स
टीम ने 10 अलग-अलग चिकित्सा स्थितियों (जैसे मधुमेह, हार्ट फेलियर, या हाई ब्लड प्रेशर) का परीक्षण किया। उन्होंने नोट्स के छोटे समूहों (100) से शुरुआत की और उन्हें तब तक बढ़ाते गए जब तक कि वे 10,000 तक नहीं पहुँच गए।
खोज:
प्रत्येक चिकित्सा स्थिति के लिए जिसका टीम ने परीक्षण किया, एक बार जब रोबोट ने लगभग 600 नोट्स पढ़ लिए, तो उसने लगभग वह सब कुछ सीख लिया था जो वह कभी भी सीख सकता था।
- उपमा: कल्पना कीजिए कि आप एक नया गाना सीखने की कोशिश कर रहे हैं। आप शुरुआती कुछ छंदों में संघर्ष कर सकते हैं, लेकिन जब तक आपने 600 बार अभ्यास कर लिया है, आप उस गाने को पूरी तरह से जान जाते हैं। 10,000 बार अभ्यास करने से आप दस गुना बेहतर नहीं होते; यह आपको केवल थोड़ा अधिक सुसंगत बनाता है। अध्ययन ने पाया कि 600 नोट्स ने रोबोट को उसकी अधिकतम संभावित कुशलता के 95% तक पहुँचा दिया था।
3. "सिग्नल" बनाम "नॉइज़" (शोर)
कुछ कार्य दूसरों की तुलना में तेजी से आसान क्यों हो गए? शोधकर्ताओं ने नोट्स के अंदर के शब्दों को देखा। उन्होंने पाया कि दो प्रकार के शब्द थे:
- मजबूत भविष्यवक्ता (सिग्नल/संकेत): ये "धुआं छोड़ने वाले सबूत" (smoking guns) की तरह हैं। मधुमेह के लिए, "इंसुलिन", "चीनी", या "मेटफॉर्मिन" जैसे शब्द मजबूत संकेत हैं। वे चिल्लाकर कहते हैं, "यह मधुमेह है!"
- शोर वाले भविष्यवक्ता (नॉइज़/शोर): ये वे शब्द हैं जो लगभग हर नोट में दिखाई देते हैं लेकिन किसी विशिष्ट बीमारी की पहचान करने में मदद नहीं करते हैं। शब्द जैसे "अस्पताल", "रोगी", "भर्ती", या "साथ" शोर हैं। वे रेडियो पर आने वाली खरखराहट की तरह हैं।
उपमा:
कल्पना कीजिए कि आप एक भीड़ भरे कमरे में किसी विशिष्ट व्यक्ति को खोजने की कोशिश कर रहे हैं।
- यदि कमरा चमकदार लाल टोपी पहने लोगों (मजबूत भविष्यवक्ता) से भरा है, तो आप उन्हें तुरंत ढूंढ लेंगे, भले ही कमरा छोटा हो।
- यदि कमरा धूसर (grey) शर्ट (शोर) पहने लोगों से भरा है और केवल कुछ लोगों ने लाल टोपियाँ पहनी हैं, तो आपको निश्चित होने के लिए बहुत से लोगों को देखना होगा कि आपने किसी को छोड़ा तो नहीं है।
अध्ययन में पाया गया कि यदि किसी बीमारी के नोट्स "शोर" वाले शब्दों से भरे थे, तो रोबोट को उन्हें फ़िल्टर करने के लिए अधिक डेटा की आवश्यकता थी। यदि नोट्स "मजबूत" शब्दों से भरे थे, तो रोबोट बहुत जल्दी सीख गया।
4. शोधकर्ताओं के लिए इसका क्या अर्थ है
यह पेपर सुझाव देता है कि शोधकर्ताओं को तब तक हजारों दस्तावेज़ों को लेबल करने में समय और पैसा बर्बाद करने की आवश्यकता नहीं है जब तक कि उन्हें इसकी आवश्यकता न हो।
- "600 का नियम": यदि आप एक क्लासिफायर (वर्गीकरण करने वाला टूल) बना रहे हैं, तो लगभग 600 उच्च-गुणवत्ता वाले, लेबल किए गए उदाहरणों का लक्ष्य रखें। यह आमतौर पर लगभग सटीक परिणाम प्राप्त करने के लिए पर्याप्त है।
- स्केल करने से पहले सफाई करें: केवल अधिक डेटा प्राप्त करने के बजाय, आपके पास जो डेटा है उसे साफ करना अक्सर बेहतर होता है। यदि आप नोट्स से "शोर" (अप्रासंगिक शब्दों) को हटा सकते हैं, तो रोबत तेजी से सीखेगा। यह एक बड़ी खिड़की खरीदने के बजाय एक छोटी खिड़की को साफ करने जैसा है; एक साफ छोटी खिड़की एक गंदी बड़ी खिड़की की तुलना में बेहतर दृश्य प्रदान करती है।
सारांश
यह अध्ययन साबित करता है कि आधुनिक AI उपकरणों के साथ, एक अच्छा क्लासिफायर बनाने के लिए आपको लेबल किए गए मेडिकल नोट्स के विशाल पुस्तकालय की आवश्यकता नहीं है। लगभग 600 उदाहरण आमतौर पर पर्याप्त होते हैं, बशर्ते कि नोट्स में स्पष्ट "सिग्नल" शब्द हों। यदि नोट्स "शोर" के साथ अस्त-व्यस्त हैं, तो आपको थोड़े अधिक डेटा की आवश्यकता हो सकती है, लेकिन कुंजी केवल दस्तावेजों की संख्या नहीं, बल्कि शब्दों की गुणवत्ता पर ध्यान केंद्रित करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।