Validating Large Language Model Extraction of Actuarial Variables from Unstructured Claims Documents
यह अध्ययन वर्कर्स कंपनसेशनेशन (श्रमिक क्षतिपूर्ति) दावों से 14 बीमांकिक चरों (actuarial variables) को निकालने के लिए एक लार्ज लैंग्वेज मॉडल पाइपलाइन का मूल्यांकन करता है, जो मानव समीक्षकों के साथ मध्यम समग्र सहमति (क्वाड्रेटिक वेटेड कप्पा 0.53) और विभिन्न आयामों में महत्वपूर्ण परिवर्तनशीलता को प्रकट करता है, जो औपचारिक सत्यापन से पहले अंशांकन (कैलिब्रेशन) और चरणबद्ध परिनियोजन की आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि बीमा दावों (insurance claims) की एक विशाल लाइब्रेरी है। ये फाइलें बहुत अव्यवस्थित हैं: इनमें डॉक्टरों के हस्तलिखित नोट्स, फोन कॉल के ट्रांसक्रिप्ट, कानूनी पत्र और मेडिकल रिकॉर्ड शामिल हैं। दशकों से, बीमा विशेषज्ञ (एक्चुअरीज) को भविष्य के भुगतान के लिए कितनी राशि अलग रखनी चाहिए, यह पता लगाने के लिए इन अव्यवस्थित फाइलों को हाथ से पढ़ना पड़ता है। यह काम धीमा, महंगा और मानवीय त्रुटियों के प्रति संवेदनशील है।
यह शोध पत्र एक सरल प्रश्न पूछता है: क्या एक सुपर-स्मार्ट कंप्यूटर (एक लार्ज लैंग्वेज मॉडल, या LLM) इन अव्यवस्थित फाइलों को पढ़ सकता है और उन विशिष्ट नंबरों और तथ्यों को निकाल सकता है जिनकी एक्चुअरीज को आवश्यकता होती है, ठीक वैसे ही जैसे एक इंसान कर सकता है?
यहाँ उनके प्रयोग का विवरण दिया गया है, जिसे सरल भाषा में समझाया गया है:
सेटअप: एक "नकली" लाइब्रेरी टेस्ट
शोधकर्ता वास्तविक लोगों के निजी मेडिकल डेटा पर परीक्षण करने का जोखिम नहीं उठाना चाहते थे, इसलिए उन्होंने एक सिम्युलेटेड लाइब्रेरी बनाई। उन्होंने 20 "नकली" बीमा दावे उत्पन्न करने के लिए एक कंप्यूटर प्रोग्राम का उपयोग किया। क्योंकि कंप्यूटर ने इन्हें बनाया था, इसलिए शोधकर्ताओं को उन फाइलों में मौजूद हर एक तथ्य के लिए "सही" उत्तर (ग्राउंड ट्रुथ) पता था।
उन्होंने इन नकली फाइलों को अपने AI सिस्टम में डाला। AI को 14 विशिष्ट जानकारियां निकालने का काम सौंपा गया था, जैसे कि "चोट कितनी गंभीर थी?" या "क्या मुकदमे का जोखिम है?"
जज: मानव समीक्षक
यह देखने के लिए कि क्या AI अच्छा काम कर रहा है, उन्होंने AI के काम को ग्रेड देने के लिए दो विशेषज्ञ मानव समीक्षकों (उन्नत डिग्री वाले फार्मासिस्ट) को काम पर रखा। उन्होंने एक रिपोर्ट कार्ड का उपयोग किया जिसमें 10 अलग-अलग श्रेणियां थीं, जैसे कि:
- प्रासंगिकता (Relevance): क्या AI सही विषय के बारे में बात कर रहा था?
- सटीकता (Accuracy): क्या इसने तथ्यों को सही ढंग से प्राप्त किया?
- भ्रम/हैलुसिनेशन (Hallucination): क्या AI ने ऐसे तथ्य बना लिए जो फाइल में नहीं थे?
- लापता जानकारी (Missing Info): क्या AI ने कोई महत्वपूर्ण बात बताने से छोड़ दिया?
यदि दोनों मानव जजों के बीच बहुत अधिक अंतर था (5-पॉइंट स्केल पर 2 अंक से अधिक), तो एक तीसरा जज अंतिम निर्णय लेने के लिए आगे आता था।
परिणाम: "अच्छा, बुरा और अजीब"
1. समग्र स्कोर: "ठीक है, लेकिन पूर्ण नहीं"
दोनों जज बिल्कुल एक ही स्कोर पर 51% बार सहमत हुए। जब हम उनके "करीब" होने (एक अंक के भीतर) को ध्यान में रखते हैं, तो वे 81% बार सहमत थे। सांख्यिकी की दुनिया में, इसे "मध्यम" सहमति माना जाता है। यह वैसा ही है जैसे दो मौसम पूर्वानुमानकर्ता इस बात पर सहमत हों कि बारिश होगी, लेकिन एक कहता है "हल्की बूंदाबांदी" और दूसरा कहता है "भारी तूफान।"
2. अच्छी खबर: AI बुनियादी बातों में माहिर है
जज लगभग पूरी तरह से इस बात पर सहमत थे कि AI प्रासंगिक (सही विषय पर बात करना) और उपयुक्त (स्पष्ट रूप से लिखना) था। यदि AI कहता, "मरीज का पैर टूट गया है," तो जज सहमत थे कि वह सही विषय था।
3. बुरी खबर: AI "क्या गायब है" और "क्या नकली है" के मामले में संघर्ष करता है
यहीं पर जज सबसे ज्यादा बहस करते थे।
- लापता जानकारी (Missing Information): एक जज सोच सकता है कि AI ने एक महत्वपूर्ण विवरण छोड़ दिया है, जबकि दूसरा सोच सकता है कि AI ने सब कुछ प्राप्त कर लिया है। वे 40% समय असहमत थे। यह एक पहेली को देखने वाले दो लोगों की तरह है; एक सोचता है कि एक टुकड़ा गायब है, और दूसरा सोचता है कि चित्र पूरा है।
- हैलुसिनेशन (Hallucinations): AI कभी-कभी चीजें बना देता था। जजों को इस बात पर सहमत होने में कठिनाई हुई कि बनाए गए तथ्य कितने बुरे थे।
- संदर्भ (Context): AI कभी-कभी मेडिकल शब्दावली को गलत समझ लेता था, और जज इस बात पर सहमत नहीं हो पा रहे थे कि AI वास्तव में कितना भ्रमित था।
4. "कड़क" जज
एक मानव जज लगातार दूसरे की तुलना में सख्त था। जब वे असहमत होते थे, तो तीसरा जज (टाई-ब्रेकर) "उदार" जज (जो उच्च स्कोर दे रहा था) के पक्ष में 10 में से 15 बार निर्णय लेता था। इससे पता चलता है कि "सख्त" जज अत्यधिक सतर्क था, शायद वह उन चीजों के गायब होने को लेकर बहुत चिंतित था जो वास्तव में गायब नहीं थीं।
इसका भविष्य के लिए क्या अर्थ है?
शोधकर्ता अपने निष्कर्षों के आधार पर एक स्पष्ट रेखा खींचते हैं:
- "ट्राइएज" ज़ोन (अभी के लिए सुरक्षित): AI एक छँटाई करने वाले (sorter) के रूप में उपयोग करने के लिए विश्वसनीय है। कल्पना कीजिए कि एक मेलरूम है जहाँ AI पत्रों के ढेर को स्कैन करता है और कहता है, "हे, यह वाला जरूरी लग रहा है, इसे इंसान की मेज पर ऊपर रखें।" AI स्पष्ट चीजों को पहचानने में अच्छा है।
- "मनी" ज़ोन (अभी तैयार नहीं है): AI बीमा कंपनी को कितनी राशि बचाने की आवश्यकता है, इसके अंतिम गणना के लिए उपयोग किए जाने के लिए तैयार नहीं है। क्योंकि AI कभी-कभी विवरण छोड़ देता है या तथ्य गढ़ देता है, और क्योंकि इंसान भी इस बात पर सहमत नहीं हो सकते कि ये गलतियाँ हुईं या नहीं, इसलिए आप अभी खुद गणना करने के लिए AI पर भरोसा नहीं कर सकते।
निचोड़ (Bottom Line)
शोध पत्र निष्कर्ष निकालता है कि हमें AI पर भरोसा करने से पहले अपने मानव जजों को बेहतर तरीके से कैलिब्रेट (calibrate) करने की आवश्यकता है। अभी, AI एक सहायक इंटर्न की तरह है जो फाइलों को पढ़ने का भारी काम कर सकता है, लेकिन अंतिम नंबरों के लिए एक वरिष्ठ विशेषज्ञ को अभी भी डबल-चेक करने की आवश्यकता है, विशेष रूप से यह सुनिश्चित करने के लिए कि इंटर्न ने कुछ छोड़ा तो नहीं या कुछ मनगढ़ंत तो नहीं बना दिया।
शोधकर्ताओं ने यह भी नोट किया कि AI का "कॉन्फिडेंस स्कोर" (एक नंबर जो वह खुद को देता है कि "मैं 90% निश्चित हूँ!") बहुत उपयोगी नहीं था क्योंकि यह हमेशा उच्च रहता था, भले ही वह गलत हो। यह एक ऐसे छात्र की तरह है जो हमेशा कहता है "मुझे यकीन है कि मुझे 'A' ग्रेड मिला है" भले ही उसे 'C' मिला हो।
संक्षेप में: तकनीक आशाजनक है और फाइलों को छाँटने और फ्लैग करने के लिए अच्छी तरह से काम करती है, लेकिन वास्तविक धन गणनाओं को संभालने के लिए भरोसा करने से पहले इसे अधिक प्रशिक्षण और बेहतर मानवीय निरीक्षण की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।