A Configurable LLM System for Automated Data Extraction in Meta-Analysis Using a Minimal Atomic Unit Framework

आधुनिक चिकित्सा की दुनिया में, डॉक्टर और नीति निर्माता यह तय करने के लिए कि कौन से उपचार सबसे अच्छा काम करते हैं, एक कठोर प्रक्रिया पर भरोसा करते हैं जिसे 'सिस्टमैटिक रिव्यू' (व्यवस्थित समीक्षा) कहा जाता है। कल्पना कीजिए कि आप केवल एक अध्ययन को पढ़कर किसी नई दवा की प्रभावशीलता को समझने की कोशिश कर रहे हैं; वह तस्वीर अधूरी और संभावित रूप से भ्रामक होगी। इसके बजाय, विशेषज्ञ किसी विषय पर मौजूद हर प्रासंगिक अध्ययन को इकट्ठा करते हैं, प्रत्येक से विशिष्ट आंकड़े निकालते हैं, और एक स्पष्ट उत्तर खोजने के लिए उन्हें आपस में मिलाते हैं। यह प्रक्रिया, जिसे 'मेटा-एनालिसिस' (मेटा-विश्लेषण) कहा जाता है, साक्ष्य-आधारित निर्णयों के लिए स्वर्ण मानक (गोल्ड स्टैंडर्ड) है। हालाँकि, यह काम अविश्वसनीय रूप से श्रमसाध्य है। शोधकर्ताओं को दर्जनों सघन चिकित्सा रिपोर्टों को मैन्युअल रूप से पढ़ना पड़ता है, जिसमें वे सूक्ष्म विवरणों की तलाश करते हैं जैसे कि कितने रोगी सुधरे, उनकी शुरुआती स्वास्थ्य स्थिति क्या थी, और माप ठीक कब लिए गए थे। किसी संख्या को कॉपी करने या किसी तालिका को गलत पढ़ने की एक छोटी सी गलती भी पूरे अंतिम परिणाम को बिगाड़ सकती है, जिससे रोगी देखभाल के बारे में गलत निष्कर्ष निकल सकते हैं।

वर्षों से, वैज्ञानिक आशा करते आए हैं कि आर्टिफिशियल इंटेलिजेंस इस उबाऊ डेटा-खोजने के काम को संभाल सकता है। लार्ज लैंग्वेज मॉडल्स, वही तकनीक जो उन्नत चैटबॉट्स को शक्ति प्रदान करती है, मानव भाषा को समझने में उत्कृष्ट हैं। फिर भी, जटिल चिकित्सा रिपोर्टों से विशिष्ट संख्याएं निकालने के लिए कहा जाने पर, ये मॉडल अक्सर लड़खड़ा जाते हैं। वे मरीजों के एक समूह के परिणाम को दूसरे के साथ भ्रमित कर सकते हैं, पैराग्राफ में दबे हुए किसी महत्वपूर्ण विवरण को छोड़ सकते हैं, या इससे भी बुरा, एक ऐसा विश्वसनीय दिखने वाला नंबर बना सकते हैं जो मूल पाठ में कभी था ही नहीं। डेटा "हैलुसिनेट" (भ्रमित होकर गलत जानकारी देना) करने की यह प्रवृत्ति चिकित्सा में खतरनाक है, जहाँ सटीकता से कोई समझौता नहीं किया जा सकता। शीआन जियाओतोंग-लिवरपूल यूनिवर्सिटी के शोधकर्ताओं और उनके सहयोगियों के एक हालिया अध्ययन ने इस समस्या को हल करने के उद्देश्य से एक नया तरीका विकसित किया, जिससे आर्टिफिशियल इंटेलिजेंस को केवल एक सामान्य पाठक के रूप में नहीं, बल्कि एक सटीक डेटा निष्कर्षणकर्ता (डेटा एक्सट्रैक्टर) के रूप में सोचने का प्रशिक्षण दिया गया।

टीम ने एक ऐसी प्रणाली विकसित की जो एक चिकित्सा रिपोर्ट में मौजूद अराजक जानकारी को छोटे, प्रबंधनीय टुकड़ों में तोड़ देती है जिन्हें वे "मिनिमल एटॉमिक यूनिट्स" (न्यूनतम परमाणु इकाइयाँ) कहते हैं। कंप्यूटर को पूरा पेज पढ़ने और यह अनुमान लगाने के लिए कहने के बजाय कि कौन से नंबर कहाँ होने चाहिए, यह प्रणाली कंप्यूटर को एक समय में तथ्यों के एक विशिष्ट संयोजन पर ध्यान केंद्रित करने के लिए मजबूर करती है: मरीजों का एक विशिष्ट समूह, जांच का एक विशिष्ट समय, और मापा जा रहा एक विशिष्ट स्वास्थ्य परिणाम। इसे इस तरह समझें जैसे किसी से एक ही वाक्य में एक बिखरे हुए कमरे की सामग्री का वर्णन करने के लिए कहने के बजाय, उनसे पहले फर्श की वस्तुओं को, फिर मेज की वस्तुओं को, और फिर अलमारी की वस्तुओं को एक-एक करके सूचीबद्ध करने के लिए कहना। आर्टिफिशियल इंटेलिजेंस को इन छोटे, संरचित चरणों में निष्कर्षण कार्य करने के लिए मजबूर करके, शोधकर्ताओं ने यह सुनिश्चित किया कि कंप्यूटर द्वारा निकाला गया प्रत्येक नंबर सीधे उस विशिष्ट वाक्य या तालिका से जुड़ा हो जहाँ वह पाया गया था।

यह परीक्षण करने के लिए कि क्या यह तरीका काम करता है, शोधकर्ताओं ने पहले इसे तीन चिकित्सा रिपोर्टों के एक छोटे सेट पर आजमाया। उन्होंने नए, चरण-दर-चरण दृष्टिकोण की तुलना एक अधिक पारंपरिक पद्धति से की, जहाँ कंप्यूटर को बिना किसी संरचित विभाजन के एक साथ सब कुछ करने के लिए कहा गया था। परिणाम स्पष्ट थे। जब कंप्यूटर ने नई पद्धति का उपयोग किया, तो उसने सफलतापूर्वक पहचाना जो भी डेटा उसे ढूंढना था, और उसने कभी भी ऐसा नंबर नहीं बनाया जो वहां मौजूद नहीं था। इसके विपरीत, पारंपरिक दृष्टिकोण ने महत्वपूर्ण विवरणों के तीन-चौथाई से अधिक हिस्से को छोड़ दिया और मरीजों के विभिन्न समूहों के बीच अंतर करने में संघर्ष किया। शोधकर्ताओं ने उल्लेख किया, हालांकि, कि यह पहला परीक्षण केवल एक प्रारंभिक झलक थी, जिसमें सीखने और परीक्षण करने के लिए एक ही रिपोर्ट का उपयोग किया गया था, इसलिए यह सफलता का अंतिम प्रमाण नहीं था।

एक वास्तविक प्रदर्शन माप प्राप्त करने के लिए, टीम ने अपनी अंतिम प्रणाली को 88 चिकित्सा रिपोर्टों के बहुत बड़े और स्वतंत्र सेट पर लागू किया, जो चिकित्सा के पांच बहुत अलग क्षेत्रों को कवर करते थे: स्तन कैंसर सर्जरी, सिज़ोफ्रेनिया उपचार, हृदय रोग की रोकथाम, टाइप 2 मधुमेह प्रबंधन, और ऑर्थोपेडिक पुनर्वास। इन रिपोर्टों में जटिल तालिकाएं, मरीजों के कई समूह और सफलता को मापने के विभिन्न तरीके शामिल थे। प्रणाली ने इन दस्तावेजों को संसाधित किया और डेटा बिंदुओं की एक संरचित सूची तैयार की, जिसमें प्रत्येक संख्या को उसके मूल स्रोत पाठ से जोड़ा गया था ताकि एक मानव तुरंत इसकी पुष्टि कर सके। परिणाम उल्लेखनीय रूप से मजबूत थे। लगभग 26,000 व्यक्तिगत डेटा बिंदुओं में से जिन्हें निकालने के लिए प्रणाली को कहा गया था, उसने लगभग हर बार सही उत्तर दिया। इसने बहुत कम जानकारी छोड़ी, और जब इसने कोई गलती की, तो वह लगभग हमेशा एक खाली स्थान छोड़ने के रूप में थी, न कि गलत डेटा बनाने के रूप में। गलत डेटा बनाने की दर नगण्य थी, जो मामलों के एक बहुत ही छोटे प्रतिशत में ही हुई।

अध्ययन ने यह भी देखा कि विभिन्न चिकित्सा क्षेत्रों में सिस्टम कैसा प्रदर्शन करता है। यह स्तन कैंसर और हृदय रोग के अध्ययनों के लिए असाधारण रूप से अच्छा रहा, जहाँ इसने लगभग हर आवश्यक संख्या ढूंढ ली। यह मधुमेह के अध्ययनों के लिए थोड़ा कम सटीक रहा, जहाँ इसने कभी-कभी उन दोहराए गए नंबरों को छोड़ दिया जो तालिका की कई पंक्तियों में दिखाई दे रहे थे, लेकिन फिर भी, यह अत्यधिक सटीक बना रहा। शोधकर्ताओं ने पाया कि सबसे आम त्रुटियां जंगली अनुमान नहीं थीं, बल्कि सूचना का छूटना था जो पाठ में दोहराया गया था या समान दिखने वाले चिकित्सा शब्दों के बीच भ्रम था। महत्वपूर्ण रूप से, सिस्टम ने कभी भी बिना मूल रिपोर्ट के विशिष्ट पाठ को संलग्न किए बिना कोई परिणाम प्रस्तुत नहीं किया, जिससे यह सुनिश्चित हुआ कि एक मानव समीक्षक हमेशा उसके काम की जांच कर सके।

इन प्रभावशाली परिणामों के बावजूद, लेखक इस बात का दावा करने में सावधानी बरतते हैं कि समस्या पूरी तरह से हल हो गई है। वे इस बात पर जोर देते हैं कि उनकी प्रणाली मानव विशेषज्ञों की सहायता के लिए एक शक्तिशाली उपकरण है, न कि उनका विकल्प। नए और पुराने पद्धति के बीच तुलना विकास चरण के दौरान उपयोग किए गए रिपोर्टों के एक छोटे सेट पर आधारित थी, इसलिए हालांकि परिणाम दृढ़ता से संकेत देते हैं कि नई पद्धति बेहतर है, फिर भी इसे अभी तक अन्य प्रणालियों के विरुद्ध पूरी तरह से स्वतंत्र, आमने-सामने के परीक्षण में सिद्ध नहीं किया गया है। इसके अलावा, जहाँ यह किसी विवरण को छोड़ सकता है या असामान्य फॉर्मेटिंग के साथ संघर्ष कर सकता है, वहाँ अभी भी मानवीय निगरानी की आवश्यकता होती है। शोधकर्ता निष्कर्ष निकालते हैं कि यह दृष्टिकोण साक्ष्य संश्लेषण (एविडेंस सिंथेसिस) के लिए एक आशाजनक मार्ग प्रदान करता है, जो एक धीमी, त्रुटि-प्रवण मैन्युअल प्रक्रिया को एक तेज़, पता लगाने योग्य और अत्यधिक सटीक वर्कफ़्लो में बदल देता है, बशर्ते कि अंतिम आउटपुट को सत्यापित करने के लिए मानव विशेषज्ञ प्रक्रिया में शामिल रहें।