💬 NLP

Before the Labels: How Dataset Construction Shapes Suicidality Detection in Clinical Text

यह शोध पत्र तर्क देता है कि नैदानिक (क्लिनिकल) एनएलपी मॉडल आत्महत्या की प्रवृत्ति का पता लगाने के लिए अक्सर डेटासेट लेबल को ही सत्य (ग्राउंड ट्रुथ) मानकर गलत व्याख्या करते हैं, और इस बात की अनदेखी करते हैं कि ScAN जैसे डेटासेट्स में निर्माण संबंधी विकल्प कैसे आत्महत्या की विशिष्ट और सीमित परिचालन परिभाषाओं (ऑपरेशनलाइजेशन) को समाहित करते हैं जो नैदानिक अस्पष्टता और विषमता को ओझल कर देते हैं।

मूल लेखक: Priyanshi Garg, Ishita Rao, Jieqiong Ding, Amandalynne Paullada

प्रकाशित 2026-06-19

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Priyanshi Garg, Ishita Rao, Jieqiong Ding, Amandalynne Paullada

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को मानवीय उदासी और आत्म-क्षति (self-harm) के विचारों को समझना सिखाने की कोशिश कर रहे हैं। इसे करने के लिए, आप रोबोट को डॉक्टरों के नोट्स की एक विशाल लाइब्रेरी देते हैं। यह शोध पत्र तर्क देता है कि इस रोबोट के जवाबों पर भरोसा करने से पहले, हमें इस बात को करीब से देखने की जरूरत है कि उस लाइब्रेरी को कैसे बनाया गया था, क्योंकि जिस तरह से किताबों को व्यवस्थित किया जाता है, उससे रोबोट वास्तव में क्या सीखता है, वह बदल जाता है।

यहाँ शोध पत्र की कहानी है, जिसे सरल अवधारणाओं और उपमाओं (analogies) में तोड़ा गया है।

1. मुख्य समस्या: "फ़िल्टर्ड" दृश्य (The "Filtered" View)

शोध पत्र एक बड़े विचार से शुरू होता है: इलेक्ट्रॉनिक हेल्थ रिकॉर्ड्स (EHRs) किसी मरीज के मन की सीधी खिड़की नहीं हैं। वे एक विशिष्ट लेंस के माध्यम से ली गई तस्वीर की तरह अधिक हैं।

लेंस: "लेंस" डॉक्टर है। डॉक्टर उन बातों के आधार पर नोट्स लिखते हैं जो मरीज कहते हैं, जो वे देखते हैं, अस्पताल के नियम, और उनकी अपनी सहजता (comfort levels)।
विकृति (Distortion): यदि कोई मरीज आत्महत्या के बारे में बात करने में हिचकिचा रहा है, या यदि डॉक्टर ने सवाल इस तरह पूछा है जिससे मरीज "नहीं" कह दे, तो नोट में लिखा होगा "कोई आत्महत्या का जोखिम नहीं" (no suicide risk)। रोबोट "कोई जोखिम नहीं" देखता है, लेकिन वास्तविकता बहुत अधिक जटिल हो सकती है।
शोध पत्र का दावा: जब शोधकर्ता इन नोट्स को डेटा लेबल (जैसे "आत्मघाती" या "आत्मघाती नहीं") में बदलते हैं, तो वे मरीज की भावनाओं की कच्ची सच्चाई को नहीं पकड़ रहे होते हैं। वे उन भावनाओं के बारे में डॉक्टर के दस्तावेजी निर्णय को पकड़ रहे होते हैं।

2. केस स्टडी: "ScAN" डेटासेट

लेखकों ने ScAN नामक एक विशिष्ट डेटासेट का अध्ययन किया, जो वास्तविक अस्पताल के रिकॉर्ड (MIMIC-III) से बना है। उन्होंने इस डेटासेट को एक अपराध स्थल की जांच (crime scene investigation) की तरह माना ताकि यह देखा जा सके कि "सबूत" कैसे एकत्र किए गए थे। उन्होंने पाया कि डेटा को "आकार" देने या "फ़िल्टर" करने के तीन मुख्य तरीके थे:

A. "एकल आवाज" फ़िल्टर (दस्तावेजीकरण-मध्यस्थ - Documentation-Mediated)

उपमा: एक समाचार रिपोर्ट की कल्पना करें जहाँ केवल पुलिस अधिकारी की आवाज़ सुनी जाती है, और गवाह के सीधे उद्धरण कभी रिकॉर्ड नहीं किए जाते।
वास्तविकता: डेटासेट में केवल डॉक्टरों द्वारा लिखे गए नोट्स शामिल हैं। इसमें मरीजों द्वारा भरे गए जर्नल, इंटेक फॉर्म, या सीधी बातचीत को बाहर रखा गया है।
परिणाम: रोबोट यह सीखता है कि डॉक्टर क्या सोचते हैं कि मरीज क्या महसूस कर रहे हैं, न कि मरीज वास्तव में क्या महसूस कर रहे हैं। यदि डॉक्टर कोई संकेत (cue) चूक जाता है, तो रोबोट भी उसे चूक जाता है।

B. "स्नैपशॉट" फ़िल्टर (एपिसोडिक - Episodic)

उपमा: किसी व्यक्ति के जन्मदिन पर ली गई एक अकेली फोटो देखकर उनके पूरे जीवन की कहानी समझने की कोशिश करें।
वास्तविकता: यह डेटासेट आत्महत्या के जोखिम को अस्पताल में बिताए गए एक एकल प्रवास (stay) के "स्नैपशॉट" के रूप में मानता है। यह उन दौरों के बीच के संबंध को नहीं जोड़ता जो वर्षों पहले हुए थे या जो भविष्य में होंगे।
परिणाम: आत्महत्या अक्सर एक लंबी, बार-बार होने वाली लड़ाई है। डेटा को अलग-अलग "अस्पताल के प्रकरणों" (hospital episodes) में काटकर, यह डेटासेट एक लंबी फिल्म को एक स्थिर चित्र (still image) में बदल देता है, जिससे संदर्भ (context) खो जाता है।

C. "हाँ/नहीं" फ़िल्टर (इरादा-समाधान - Intent-Resolved)

उपमा: एक शिक्षक की कल्पना करें जो एक टेस्ट को ग्रेड कर रहा है जहाँ "मुझे नहीं पता" और "उत्तर निश्चित रूप से गलत है" दोनों को एक ही लाल "F" के साथ चिह्नित किया गया है।
वास्तविकता: वास्तविक दुनिया में, डॉक्टर अक्सर ऐसे नोट्स लिखते हैं जो अस्पष्ट होते हैं (जैसे, "मरीज अनिश्चित लग रहा है," या "इरादा स्पष्ट नहीं है")। इस डेटासेट में, इन "अनिश्चित" मामलों को प्रशिक्षण के उद्देश्य से "निश्चित रूप से आत्मघाती नहीं" वाले मामलों के साथ मिला दिया गया था।
परिणाम: रोबोट वास्तविक भ्रम को स्पष्ट "नहीं" के रूप में मानना सीख जाता है। यह अनिश्चितता की सूक्ष्मता (nuance) को मिटा देता है, जो कि नैदानिक निर्णय (clinical judgment) का एक बहुत ही महत्वपूर्ण हिस्सा है।

3. भाषाई जासूसी (Linguistic Detective Work)

अपने बिंदु को सिद्ध करने के लिए, लेखकों ने भाषाविदों की तरह काम किया, और नोट्स में उपयोग किए गए वास्तविक शब्दों को देखा। उन्होंने पाया कि समान लेबल बहुत अलग कहानियों को छिपाते थे।

"वर्तमान" का झूठ: उन्होंने पाया कि "वर्तमान आत्मघाती विचार" (Current Suicidal Ideation - जिसका अर्थ है कि मरीज अभी इसके बारे में सोच रहा है) के रूप में लेबल किए गए नोट्स में अक्सर "पहले," "इतिहास में," या "अतीत में" जैसे शब्द शामिल थे।
- उपमा: यह मौसम की रिपोर्ट की तरह है जो कहती है "बारिश हो रही है" जबकि नोट वास्तव में कहता है, "पिछले सप्ताह बारिश हुई थी।" लेबल कहता है "बारिश," लेकिन टेक्स्ट कहता है "अतीत की बारिश।"
"अनिश्चितता" का विलय (The "Unsure" Collapse): उन्होंने पाया कि "अनिश्चित" (Unsure) के रूप में चिह्नित नोट्स में संदेह दर्शाने वाले बहुत से शब्द (जैसे "संभवतः," "शायद," "अस्पष्ट") थे, जबकि "नकारात्मक" (Negative - कोई जोखिम नहीं) के रूपए चिह्नित नोट्स बहुत सीधे थे। लेकिन क्योंकि डेटासेट ने उन्हें मिला दिया था, रोबोट "मैं निश्चित नहीं हूँ" और "निश्चित रूप से नहीं" के बीच अंतर नहीं कर सका।

4. यह क्यों मायने रखता है (इसका महत्व क्या है?)

लेखक यह नहीं कह रहे हैं कि डॉक्टरों ने बुरा काम किया या डेटासेट "गलत" है। वे कह रहे हैं कि यह डेटासेट एक विशिष्ट उद्देश्य के लिए बनाया गया एक विशिष्ट उपकरण है, और हमें इसकी सीमाओं को जानने की आवश्यकता है।

जोखिम: यदि हम इन लेबलों को पूर्ण "ग्राउंड ट्रुथ" (अंतिम सत्य) के रूप में देखते हैं, तो हम ऐसे AI सिस्टम बना सकते हैं जो आत्मविश्वासी तो हैं लेकिन गलत हैं।
- उदाहरण: एक सिस्टम किसी मरीज को "उच्च जोखिम" के रूप में चिह्नित कर सकता है क्योंकि उसने अतीत में आत्महत्या के प्रयास का उल्लेख किया था, भले ही वह अब सुरक्षित हो, क्योंकि लेबल ने "अतीत" और "वर्तमान" के बीच अंतर नहीं किया।
समाधान: शोध पत्र सुझाव देता है कि हमें पारदर्शी होने की आवश्यकता है। हमें उपयोगकर्ताओं (और डॉक्टरों) को यह स्पष्ट रूप से बताना चाहिए कि डेटा कैसे बनाया गया था:
- "यह डेटा केवल एकल अस्पताल दौरों को देखता है।"
- "यह डेटा 'अनिश्चित' को 'कोई जोखिम नहीं' के साथ मिला देता है।"
- "यह डेटा केवल वही देखता है जो डॉक्टर ने लिखा, न कि वह जो मरीज ने कहा।"

सारांश

इस डेटासेट को एक मानचित्र (map) के रूप में समझें। शोध पत्र तर्क देता है कि यह मानचित्र डॉक्टरों द्वारा बनाया गया है, जिसमें नियमों का एक विशिष्ट सेट है जो लंबे समय के इतिहास को बाहर कर देता है और भ्रमित करने वाले क्षेत्रों को स्पष्ट क्षेत्रों में मिला देता है।

लेखक कह रहे हैं: **"केवल मानचित्र को न देखें और यह मान न लें कि यह पूरा क्षेत्र है। मानचित्र के लेजेंड (legend) को देखें ताकि यह समझ सकें कि मानचित्र निर्माता ने क्या शामिल किया, क्या बाहर रखा और क्या सरल बनाया। " केवल तभी आप उस रोबोट पर भरोसा कर सकते हैं जो मानचित्र पढ़ता है।