Same Facts, Different Diagnosis: Measuring and Mitigating Narrative Anchoring in Clinical Language Models
यह शोध पत्र "नैरेटिव एंकरिंग" (Narrative Anchoring) की पहचान करता है, जो एक ऐसा पूर्वाग्रह है जहाँ नैदानिक भाषा मॉडल केवल समाजशास्त्रीय रजिस्टर के आधार पर समान तथ्यों के लिए भिन्न निदान उत्पन्न करते हैं, और "नैरेटिवशील्ड" (NarrativeShield) प्रस्तावित करता है, जो एक तीन-एजेंट पाइपलाइन है जो इस अंतर को लगभग समाप्त करने के लिए तथ्यों को संरचनात्मक रूप से निकालती और सत्यापित करती है जबकि नैदानिक स्थिरता बनाए रखती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन सुरागों को खोजने के बजाय, आप संदिग्ध का इस आधार पर न्याय कर रहे हैं कि वह अपनी कहानी कैसे सुनाता है। यदि वह एक शानदार, पॉलिश की हुई आवाज़ में बोलता है, तो आप उस पर अधिक भरोसा कर सकते हैं। यदि वह एक खुरदरी, कामकाजी वर्ग की बोली या रंगीन रूपकों (metaphors) का उपयोग करता है, तो आप उस पर संदेह कर सकते हैं, भले ही अपराध के वास्तविक तथ्य बिल्कुल एक जैसे हों। यह "लार्ज लैंग्वेज मॉडल्स" (LLMs) की दुनिया है, जो बहुत ही स्मार्ट कंप्यूटर प्रोग्राम हैं जिन्हें इंसानों की तरह पढ़ने और लिखने के लिए प्रशिक्षित किया गया है। वैज्ञानिक अब इन कार्यक्रमों को "डिजिटल डॉक्टरों" के रूप में बीमारियों का निदान करने में मदद करने के लिए उपयोग करने की कोशिश कर रहे हैं। लेकिन एक डरावनी समस्या है: ये डिजिटल डॉक्टर न केवल इस बात से पक्षपाती हो सकते हैं कि रोगी कौन है (जैसे कि उसकी जाति या आय), बल्कि इस बात से भी कि रोगी अपने दर्द का वर्णन कैसे करता है। यह शोध पत्र इस छिपे हुए पूर्वाग्रह की गहराई में जाता है, और एक सरल लेकिन गहन प्रश्न पूछता है: यदि दो रोगियों के लक्षण बिल्कुल समान हैं, तो क्या कंप्यूटर उन्हें एक ही निदान देगा यदि एक व्यक्ति अपनी कहानी एक "समृद्ध" तरीके से बताता है और दूसरा एक "संघर्षरत" तरीके से?
शोधकर्ता इस चालाकी भरी समस्या को नैरेटिव एंकरिंग (Narrative Anchoring) कहते हैं। यह एक ऐसे दिशा-सूचक यंत्र (compass) की तरह है जो तथ्यों की सच्चाई के बजाय कहानी की शैली की ओर संकेत करने पर अटक जाता है। इसका परीक्षण करने के लिए, उन्होंने केवल कंप्यूटर से अनुमान लगाने के लिए नहीं कहा; बल्कि उन्होंने एक विशाल, अत्यंत सख्त खेल बनाया। उन्होंने 1,000 वास्तविक चिकित्सा परीक्षा प्रश्न (वे प्रश्न जो डॉक्टरों को लाइसेंस प्राप्त करने के लिए पास करने होते हैं) लिए और प्रत्येक को तीन बार फिर से लिखा। एक संस्करण तटस्थ (neutral) था, एक को ऐसा बनाया गया जैसे कोई वित्तीय तनाव का सामना कर रहा हो, और तीसरा ऐसा था जैसे कोई सांस्कृतिक रूपकों का उपयोग कर रहा हो। महत्वपूर्ण रूप से, उन्होंने यह सुनिश्चित किया कि सभी तीन संस्करणों में चिकित्सा तथ्य—जैसे कि बुखार, दर्द का स्थान और रक्त परीक्षण के परिणाम—बिल्ly समान रहें। उन्होंने यहाँ तक कि यह सुनिश्चित करने के लिए एक दूसरा कंप्यूटर और वास्तविक मानव डॉक्टरों को भी काम पर लगाया कि पुनलेखन के दौरान कोई तथ्य खोया या बदला न गया हो।
जब उन्होंने इन कहानियों को सात अलग-अलग AI मॉडलों को दिया, तो परिणाम चौंकाने वाले थे। भले ही चिकित्सा तथ्य समान थे, लेकिन AI मॉडलों ने कहानी की "आवाज़" के आधार पर अलग-अलग निदान दिए। यह हर उस मॉडल में हुआ जिसका उन्होंने परीक्षण किया। सटीकता का अंतर महत्वपूर्ण था: कुछ मॉडलों के लिए, "तटस्थ" आवाज़ को "संघर्षरत" आवाज़ की तुलना में लगभग 15% अधिक बार सही उत्तर मिला। उन्होंने इस समस्या को ठीक करने के लिए AI को "चरण-दर-चरण सोचने" (जिसे चेन-ऑफ-थॉट कहा जाता है) के लिए कहा, या बस इसे निर्देश दिया, "शैली को अनदेखा करें, तथ्यों पर ध्यान केंद्रित करें।" इन तरकीबों ने थोड़ी मदद की, लेकिन पर्याप्त नहीं। वास्तव में, AI को अधिक गहराई से सोचने के लिए कहना कभी-कभी उसे कुल मिलाकर सही उत्तर देने में और भी खराब बना देता है, जैसे कि एक छात्र जो एक साधारण गणित के सवाल का बहुत अधिक विश्लेषण करता है और गलत हो जाता है।
इसलिए, टीम ने नैरेटिवशील्ड (NarrativeShield) नामक एक नया टूल बनाया। इसे एक सख्त संपादक के रूप में सोचें जो डॉक्टर और रोगी के बीच बैठता है। AI डॉक्टर द्वारा कहानी देखे जाने से पहले, यह संपादक सभी फैंसी शब्दों, भावनात्मक लहजे और सांस्कृतिक रूपकों को हटा देता है, जिससे केवल ठंडे, कठोर चिकित्सा तथ्यों की एक बुनियादी सूची बचती है। फिर, AI डॉक्टर केवल उस सूची को देखता है। जब उन्होंने नैरेटिवशील्ड का उपयोग किया, तो पूर्वाग्रह लगभग गायब हो गया। विभिन्न आवाजों के बीच का अंतर लगभग शून्य ( -0.004 और 0.037 के बीच) हो गया, जिसका अर्थ है कि AI ने सभी कहानियों के साथ निष्पक्ष व्यवहार करना शुरू कर दिया, चाहे वे कैसे भी सुनाई गई हों। हालाँकि, एक पेच भी था: अधिकांश मॉडलों के लिए, इस सख्त संपादन ने AI को कुल मिलाकर थोड़ा कम सटीक बना दिया, जैसे कि एक अनुवादक जो कविता के अर्थ को पूर्ण बनाने के लिए उसके पूरे 'फ्लेवर' को हटा देता है।
शोध दल ने एक "बेसिक" मेडिकल AI का भी परीक्षण किया जिसे निर्देश देने के तरीके को अच्छी तरह से नहीं सिखाया गया था। यह मॉडल नए नियमों का पालन करने के लिए कहे जाने पर पूरी तरह विफल रहा, जिससे यह सिद्ध हुआ कि आप कंप्यूटर को केवल "निष्पक्ष होने" के लिए नहीं कह सकते यदि उसमें बुनियादी तौर पर निर्देशों को सुनने की क्षमता ही नहीं है। लेखक निष्कर्ष निकालते हैं कि समस्या केवल इस बारे में नहीं है कि हम रोगियों को क्या लेबल देते हैं; यह इस बारे में है कि कंप्यूटर इस बात को कैसे प्रोसेस करता है कि रोगी कैसे बोलते हैं। इसे ठीक करने के लिए, हमें केवल प्रॉम्प्ट (prompt) को बदलना नहीं है; हमें स्वयं सिस्टम के आर्किटेक्चर को बदलना होगा, यह सुनिश्चित करते हुए कि निदान किए जाने से पहले "तथ्यों" को "कहानी" से अलग कर दिया जाए। हालांकि यह एक आशाजनक कदम है, शोधकर्ता सावधानी बरतते हुए कहते हैं कि यह अभी एक शोध उपकरण है, अस्पतालों के लिए तैयार उत्पाद नहीं, और यह देखने के लिए और अधिक परीक्षण की आवश्यकता है कि क्या यह रोगी-डॉक्टर संवादों की वास्तविक और जटिल दुनिया में काम करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।