Artificial Intelligence in Surgical Qualitative Research: A Comparison of Human and AI-Assisted Thematic Analysis
यह अध्ययन शल्य चिकित्सा संबंधी गुणात्मक अनुसंधान में मानव और एआई-सहायता प्राप्त विषयगत विश्लेषण (thematic analysis) की तुलना करता है, जिसमें यह पाया गया है कि हालांकि दोनों विधियाँ समान व्यापक विषयों की पहचान करती हैं, मानव-निर्मित कोडबुक स्पष्ट विषयगत सीमाओं के कारण उच्च अंतर-कोडर विश्वसनीयता (inter-coder reliability) प्रदान करती हैं, जो यह सुझाव देता है कि एआई दक्षता के साथ मानव शोधन को मिलाने वाला एक हाइब्रिड दृष्टिकोण इष्टतम हो सकता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास सर्जनों के 200 हस्तलिखित नोट्स का एक विशाल डिब्बा है। प्रत्येक नोट एक प्रश्न का उत्तर देता है: "आपके अस्पताल में एक विशिष्ट सर्जरी (LCBDE) करने में सबसे कठिन चीज़ क्या है?"
आपका लक्ष्य इन सभी नोट्स को पढ़ना, उन्हें उल्लेखित समस्याओं के आधार पर ढेर (piles) में छाँटना और प्रत्येक ढेर को एक लेबल देना है। इस प्रक्रिया को थीमैटिक एनालिसिस (Thematic Analysis) कहा जाता है। आमतौर पर, मनुष्य इसे लेबल पढ़ने, बहस करने और लेबल को परिष्कृत करने के माध्यम से करते हैं जब तक कि वे इस बात पर सहमत न हो जाएं कि प्रत्येक लेबल का अर्थ क्या है।
यह शोध पत्र एक सरल प्रश्न पूछता है: क्या एक रोबोट (आर्टिफिशियल इंटेलिजेंस) इस छँटाई के काम को इंसानों की तरह ही अच्छी तरह से कर सकता है?
यहाँ इस कहानी का विवरण दिया गया है कि उन्होंने इसे कुछ सरल उपमाओं (analogies) का उपयोग करके कैसे परखा।
दो टीमें
शोधकर्ताओं ने एक ही 200 नोट्स को छाँटने के लिए दो टीमों के बीच एक दौड़ आयोजित की:
- मानव टीम (The Human Team): दो डॉक्टरों ने नोट्स पढ़े। उन्होंने बिना किसी लेबल के शुरुआत की। जैसे-जैसे वे पढ़ रहे थे, उन्होंने श्रेणियों की अपनी स्वयं की सूची बनाई (जैसे "पर्याप्त पैसा नहीं," "पर्याप्त समय नहीं," "खराब उपकरण")। वे इन लेबलों को तब तक परिष्कृत करते रहे जब तक कि वे बहुत स्पष्ट और विशिष्ट नहीं हो गए। यह उनका ह्यूमन कोडबुक (Human Codebook) है।
- एआई टीम (The AI Team): उन्होंने सभी 200 नोट्स को एक साथ एक शक्तिशाली एआई (ChatGPT) में डाल दिया। उन्होंने एआई को निर्देश दिया, "इन नोट्स को देखें और अपनी श्रेणियों की एक सूची बनाएं।" एआई ने बिना किसी मानवीय सहायता या उदाहरण के इसे तुरंत कर दिया। यह एआई कोडबुक (AI Codebook) है।
परिणाम: किसने बेहतर छँटाई की?
दोनों टीमों ने समान बड़ी तस्वीर (big picture) वाली समस्याओं को ढूंढ लिया। चाहे इंसान नोट्स पढ़ रहा हो या रोबोट, दोनों इस बात पर सहमत थे कि मुख्य मुद्दे थे:
- उपकरणों की समस्या
- पैसा/लागत के मुद्दे
- समय की कमी
- बॉसों से समर्थन की कमी
- सर्जरी उतनी बार न करना (लो वॉल्यूम)
हालाँकि, नोट्स को छाँटने के तरीके में एक अंतर था।
"धुंधले ढेर" की समस्या (The "Fuzzy Pile" Problem)
सोचिए कि मानव टीम के लेबल स्पष्ट, अलग डिब्बों की तरह हैं। यदि किसी नोट में लिखा था, "हमारे पास सही उपकरण नहीं हैं," तो वह "उपकरण" वाले डिब्बे में गया। यदि इसमें लिखा था, "हमारे पास समय नहीं है," तो वह "समय" वाले डिब्बे में गया। उनके डिब्बे आपस में बहुत कम ओवरलैप (overlap) करते थे।
एआई टीम के लेबल थोड़े धुंधले और ओवरलैपिंग सर्कल्स की तरह थे। एआई ने कुछ बहुत ही व्यापक श्रेणियां बनाईं। उदाहरण के लिए, इसके पास "वर्कफ्लो और संस्कृति" जैसा लेबल हो सकता है। एक नोट जो कह सकता है कि "अस्पताल एक अलग सर्जरी को प्राथमिकता देता है," वह एक ही समय में तीन अलग-अलग एआई श्रेणियों में फिट हो सकता है।
चूंकि एआई की श्रेणियां इतनी व्यापक और ओवरलैपिंग थीं, इसलिए जिन दो मानव कोडर्स ने एआई की सूची का उपयोग करके नोट्स को छाँटने की कोशिश की, वे अधिक भ्रमित हुए। वे हमेशा इस बात पर सहमत नहीं हो पाते थे कि एक नोट उनके किस "धुंधले" ढेर में belongs करता है।
स्कोरकार्ड
शोधकर्ताओं ने मापा कि दो कोडर आपस में कितनी बार सहमत हुए (इंटर-कोडर रिलायबिलिटी)।
- मानव टीम: वे 95.1% बार सहमत हुए। उनका "सहमत स्कोर" (Kappa) 0.75 था।
- एआई टीम: वे 92.3% बार सहमत हुए। उनका "सहमत स्कोर" (Kappa) 0.64 था।
हालांकि एआई अभी भी काफी अच्छा था, लेकिन इंसान थोड़े अधिक सुसंगत (consistent) थे। शोध पत्र में उल्लेख किया गया है कि यह अंतर सांख्यिकीय रूप से महत्वपूर्ण (statistically significant) था, जिसका अर्थ है कि यह केवल एक इत्तेफाक नहीं था; मानव लेबल बस थोड़े अधिक स्पष्ट थे।
"हाइब्रिड" समाधान
शोध पत्र का निष्कर्ष है कि एआई एक तेज, सहायक असिस्टेंट की तरह है जो जल्दी से एक बिखरे हुए कमरे को देख सकता है और कह सकता है, "ठीक है, यहाँ अव्यवस्था के मुख्य प्रकार हैं: कपड़े, किताबें और बर्तन।"
लेकिन एआई यह परिभाषित करने में पूर्ण नहीं हो सकता है कि एक "मोजा" कहाँ जाता है यदि वह "तौलिये" के साथ मिला हुआ है। इंसानों की आवश्यकता बाद में यह कहने के लिए होती है कि, "वास्तव में, मोजों के लिए एक विशिष्ट नियम बनाते हैं ताकि हर कोई जानता हो कि वे कहाँ जाते हैं।"
मुख्य निष्कर्ष (The Takeaway):
आप मुख्य विषयों को जल्दी से खोजने के लिए एआई का उपयोग कर सकते हैं। लेकिन यह सुनिश्चित करने के लिए कि नियम स्पष्ट हों और हर कोई नोट्स को एक ही तरह से छाँटे, एक इंसान को आकर परिभाषाओं को परिष्कृत करने की आवश्यकता है। सबसे अच्छा दृष्टिकोण एक हाइब्रिड (hybrid) है: एआई को पहला दौर (first pass) करने दें, फिर इंसानों को लेबल को पॉलिश करने दें।
यह शोध पत्र क्या नहीं कहता
यह ध्यान रखना महत्वपूर्ण है कि इस अध्ययन ने क्या दावा नहीं किया:
- इसने यह दावा नहीं किया कि एआई पूरी तरह से मानव शोधकर्ताओं की जगह लेने के लिए तैयार है।
- इसने लंबे, जटिल इंटरव्यू पर एआई का परीक्षण नहीं किया (केवल छोटे सर्वेक्षण उत्तरों का परीक्षण किया)।
- इसने विभिन्न संस्करणों या एआई से सवाल पूछने के विभिन्न तरीकों का परीक्षण नहीं किया (इसने "जीरो-शॉट" पद्धति का उपयोग किया, जिसका अर्थ है कि इसने बिना किसी पूर्व प्रशिक्षण या उदाहरण के एआई से यह करने को कहा)।
- इसने यह दावा नहीं किया कि एआई विषयों के बारे में "गलत" था; एआई ने सही बड़े विचार खोजे, बस उसे इंसानों की तरह उनके बीच की रेखाएं स्पष्ट रूप से खींचने में कठिनाई हुई।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।