Evaluating LLMs for HIV Epidemiological Surveillance in Spanish: Clinical Summarization, Risk Factor Extraction, and Inference Stability across Models

एक अस्पताल के आपातकालीन कक्ष (इमरजेंसी रूम) के हलचल भरे, उच्च-दबाव वाले वातावरण में, डॉक्टर लगातार समय के विरुद्ध दौड़ रहे होते हैं। उन्हें जीवन रक्षक निर्णय लेने के लिए बिखरे हुए नोट्स, बिखरे हुए परीक्षण परिणामों और जल्दबाजी में किए गए अवलोकनों से एक मरीज की कहानी को जोड़कर समझना होता है। एचआईवी (HIV) वाले मरीजों के लिए, जो एक ऐसा वायरस है जो शरीर की प्रतिरक्षा प्रणाली को कमजोर कर देता है, यह प्रक्रिया विशेष रूप से महत्वपूर्ण है। जोखिम कारकों की जल्दी पहचान करना—जैसे कि असुरक्षित यौन संबंध, साझा सुइयां, या विशिष्ट लक्षण—ऐसे परीक्षण और उपचार की ओर ले जा सकता है जो इस वायरस को फैलने से रोकता है। हालांकि, जब एक डॉक्टर दिन भर में दर्जनों मरीजों के बोझ से दबा होता है, तो महत्वपूर्ण विवरण आसानी से छूट सकते हैं। चिकित्सा रिकॉर्ड में असंरचित पाठ (unstructured text) की भारी मात्रा हर प्रासंगिक सुराग को मैन्युअल रूप से निकालना कठिन बना देती है, जिससे एक ऐसी बाधा उत्पन्न होती है जहाँ छूटी हुई जानकारी निदान में देरी कर सकती है और बीमारी को इसके शांत प्रसार को जारी रखने की अनुमति दे सकती है।

इसे संबोधित करने के लिए, शोधकर्ता 'लार्ज लैंग्वेज मॉडल्स' (large language models) नामक उन्नत कंप्यूटर प्रोग्रामों के उपयोग की खोज कर रहे हैं। ये कृत्रिम बुद्धिमत्ता (AI) सिस्टम हैं जिन्हें विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है जो मानव भाषा को पढ़, समझ और सारांशित कर सकते हैं। विचार यह है कि ये उपकरण एक 'दूसरी जोड़ी आंखों' के रूप में कार्य कर सकते हैं, जो हजारों मेडिकल रिकॉर्ड को तेजी से स्कैन करके मुख्य विवरणों को उजागर कर सकते हैं और मरीज के इतिहास का सारांश प्रस्तुत कर सकते हैं। लेकिन वास्तविक अस्पताल में इसके काम करने के लिए, तकनीक का अविश्वसनीय रूप से विश्वसनीय होना आवश्यक है। यह तथ्य गढ़ नहीं सकता, महत्वपूर्ण जानकारी छोड़ नहीं सकता, या अप्रत्याशित व्यवहार नहीं कर सकता। इसके अलावा, क्योंकि इन उपकरणों का परीक्षण अक्सर स्पेनिश भाषी देशों में किया जा रहा है, उन्हें केवल अंग्रेजी ही नहीं, बल्कि स्पेनिश क्लिनिकल नोट्स की विशिष्ट चिकित्सा भाषा और सांस्कृतिक बारीकियों को भी समझना चाहिए।

स्पेन में शोधकर्ताओं की एक टीम ने हाल ही में इस विचार का परीक्षण किया। वे देखना चाहते थे कि क्या ये कृत्रिम बुद्धिमत्ता कार्यक्रम नए डेटा पर पुन: प्रशिक्षित हुए बिना, स्पेनिश टेक्स्ट से आपातकालीन कक्ष के रिकॉर्ड का सटीक सारांश निकाल सकते हैं और विशिष्ट एचआईवी जोखिम कारकों को पहचान सकते हैं। उन्होंने एक विश्वविद्यालय अस्पताल से 100 गुमनाम (anonymized) रोगी रिकॉर्ड एकत्र किए, जिसमें उन लोगों का मिश्रण था जिन्हें बाद में एचआईवी पाया गया और वे भी जो एचआईवी से मुक्त थे। रिकॉर्ड की लंबाई और जटिलता बहुत भिन्न थी, जो दैनिक आपातकालीन देखभाल की वास्तविक स्थिति को दर्शाती है। फिर शोधकर्ताओं ने इन रिकॉर्डों को ग्यारह अलग-अलग एआई मॉडल में डाला, जिनमें शक्तिशाली, क्लाउड-आधारित सिस्टम से लेकर ओपन-सोर्स प्रोग्राम तक शामिल थे जिन्हें अस्पताल के अपने सुरक्षित सर्वर पर चलाया जा सकता है। उन्होंने मॉडलों को दो काम करने के लिए कहा: मरीज के दौरे का एक संक्षिप्त, स्पष्ट सारांश लिखना, और यह पहचानना कि विशिष्ट जोखिम कारक मौजूद थे, अनुपस्थित थे, या टेक्स्ट में उनका उल्लेख ही नहीं किया गया था।

परिणामों ने सारांश बनाने के कार्य में एक स्पष्ट विजेता का खुलासा किया। गूगल के एक क्लाउड-आधारित सिस्टम ने एक ओपन-सोर्स विकल्प की तुलना में काफी अधिक सटीक और पूर्ण सारांश तैयार किए। जब डॉक्टरों ने इन सारांशों की समीक्षा की, तो उन्होंने पाया कि क्लाउड-आधारित मॉडल में गलतियां बहुत कम थीं। इसने शायद ही कभी ऐसे तथ्य गढ़े जो वहां नहीं थे, और यह महत्वपूर्ण विवरणों को बहुत कम छोड़ता था। ओपन-सोर्स मॉडल, सक्षम होने के बावजूद, अक्सर महत्वपूर्ण जानकारी छोड़ देता था, जैसे कि लंबित परीक्षण परिणाम या पिछला चिकित्सा इतिहास, जो खतरनाक हो सकता है यदि कोई डॉक्टर केवल सारांश पर भरोसा करता है। शोधकर्ताओं ने यह भी परीक्षण किया कि क्या एक एआई, मानव डॉक्टर की तरह इन सारांशों की गुणवत्ता का आकलन कर सकता है। उन्होंने पाया कि एआई जज मनगढ़ंत तथ्यों और स्पष्ट त्रुटियों को पकड़ने में बहुत अच्छा था, लेकिन छूटे हुए विवरणों के मामले में मानव डॉक्टरों के साथ सहमति बनाने में उसे कठिनाई हुई। यह सुझाव देता है कि जबकि एआई खराब सारांशों को छानने में मदद कर सकता है, सूक्ष्म चूक को पकड़ने के लिए मानवीय निगरानी अनिवार्य बनी हुई है।

जब विशिष्ट जोखिम कारकों को निकालने की बात आई, तो मॉडलों का प्रदर्शन इस बात पर बहुत अधिक निर्भर था कि परिणामों को कितनी सख्ती से मापा गया है। शोधकर्ताओं ने प्रत्येक मॉडल को उन्हीं रिकॉर्डों पर पांच बार चलाया ताकि यह देखा जा सके कि क्या वह हर बार एक ही उत्तर देता है। उन्होंने पाया कि मॉडल सामाजिक जोखिम कारकों, जैसे कि नशीली दवाओं का उपयोग या यौन इतिहास, को पहचानने में बेहतर थे, जो अक्सर मरीजों द्वारा सीधे बताए जाते हैं। हालांकि, वे नैदानिक जोखिम कारकों, जैसे कि विशिष्ट लक्षणों या पिछले संक्रमणों की पहचान करने में कम सुसंगत थे, जिनके लिए एक लंबे मेडिकल नोट के विभिन्न हिस्सों से बिखरे हुए सुरागों को जोड़ने की आवश्यकता होती है। यहाँ तक कि जब मॉडलों को यथासंभव सुसंगत होने के लिए सेट किया गया था, तब भी वे बार-बार किए गए परीक्षणों पर अलग-अलग उत्तर देते थे। यह अस्थिरता बताती है कि एक मॉडल जो एक एकल परीक्षण में उत्कृष्ट दिखता है, वह वास्तविक दुनिया के निरंतर वर्कफ़्लो में अलग प्रदर्शन कर सकता है।

अध्ययन ने निष्कर्ष निकाला कि हालांकि ये एआई उपकरण स्पेनिश भाषी आपातकालीन कक्षों को उनके कार्यभार को प्रबंधित करने में मदद करने के लिए बहुत आशाजनक हैं, लेकिन वे अभी भी पूर्ण नहीं हैं। सर्वोत्तम मॉडल डॉक्टरों द्वारा सारांश लिखने में लगने वाले समय को काफी कम कर सकते हैं और उन जोखिम कारकों को सामने ला सकते हैं जो अन्यथा छूट सकते हैं। हालांकि, शोधकर्ताओं ने जोर दिया कि इस तकनीक का उपयोग सावधानी के साथ किया जाना चाहिए। सबसे आम त्रुटि चीजें गढ़ना नहीं थी, बल्कि महत्वपूर्ण जानकारी को छोड़ देना था। एक प्रणाली के लिए जिसे छूटे हुए निदान को पकड़ने के लिए बनाया गया है, एक विवरण को छोड़ देना उतना ही खतरनाक है जितना कि एक तथ्य गढ़ना। निष्कर्ष बताते हैं कि सबसे प्रभावी दृष्टिकोण एक हाइब्रिड (मिश्रित) दृष्टिकोण है: भारी काम को संभालने के लिए एआई का उपयोग करना, जबकि परिणामों को सत्यापित करने और यह सुनिश्चित करने के लिए मानव डॉक्टरों को प्रक्रिया में शामिल रखना कि पहेली का कोई महत्वपूर्ण हिस्सा छूट न जाए। यह संतुलन आपातकालीन विभागों को एचआईवी के अधिक मामलों को जल्दी पकड़ने में मदद कर सकता है, जिससे उन समुदायों में वायरस के प्रसार को धीमा करने में मदद मिल सकती है जहाँ यह एक निरंतर चुनौती बना हुआ है।