📄 medicine

Expert validation of AI-generated clinical assessment items for physician assistant certification: a multi-dimensional rubric and dual- reliability method

यह अध्ययन एआई-जनित फिजिशियन असिस्टेंट प्रमाणन परीक्षा के प्रश्नों का व्यवस्थित रूप से मूल्यांकन करने के लिए एक बहुआयामी रूब्रिक और दोहरी-विश्वसनीयता पद्धति प्रस्तुत और मान्य करता है, जो यह प्रदर्शित करता है कि एआई-निर्मित सामग्री विशेषज्ञ गुणवत्ता मानकों को पूरा करती है और छात्र प्रदर्शन एवं धारणा में मानव-लिखित प्रश्नों के समान ही है।

मूल लेखक: I Made Agus Setiawan, Maria Yuliana, Bayu Aryoyudanta, Firdaus A Indradhirmaya, Haomin Hu, Dipu Patel, David C. Beck, Andi Saptono, Bambang Parmanto

प्रकाशित 2026-08-14

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: I Made Agus Setiawan, Maria Yuliana, Bayu Aryoyudanta, Firdaus A Indradhirmaya, Haomin Hu, Dipu Patel, David C. Beck, Andi Saptono, Bambang Parmanto

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को डॉक्टर बनना सिखाने की कोशिश कर रहे हैं। आप केवल चाहते हैं कि वह तथ्यों को रटे नहीं; आप चाहते हैं कि वह एक परीक्षा दे, एक रहस्य सुलझाए और ठीक उसी तरह अपने तर्क समझाए जैसे एक मानव मेडिकल छात्र करता है। यह जेनरेटिव एआई (Generative AI) की शिक्षा में दुनिया है। एआई को एक सुपर-फास्ट, अथक लेखक के रूप में सोचें जो एक मानव प्रोफेसर द्वारा एक प्रश्न लिखने के समय में हजारों अभ्यास प्रश्न तैयार कर सकता है। लेकिन यहाँ एक पेंच है: उच्च-दांव वाली परीक्षाओं में, जैसे कि वे परीक्षाएँ जिन्हें फिजिशियन असिस्टेंट्स (PAs) को लाइसेंस प्राप्त करने के लिए पास करना होता है, एक बुरा प्रश्न केवल कष्टप्रद ही नहीं होता; वह खतरनाक भी हो सकता है। यदि प्रश्न भ्रमित करने वाला है या उत्तर गलत है, तो छात्र गलत चीज़ सीख सकते हैं।

वर्षों से, हमारे पास मानव-लिखित प्रश्नों की जाँच करने के लिए एक सख्त प्रणाली रही है। विशेषज्ञों की एक टीम हर एक प्रश्न को पढ़ती है ताकि यह सुनिश्चित किया जा सके कि वह नियमों का पालन करता है, स्पष्ट है, और सही कौशल का परीक्षण करता है। लेकिन किसी को नहीं पता था कि इसी "विशेषज्ञ निरीक्षण" को एआई पर कैसे लागू किया जाए। यदि कोई एआई एक प्रश्न लिखता है, तो आप कैसे जानते हैं कि वह वास्तव में अच्छा है? क्या यह केवल शब्दों का एक फैंसी समूह है, या यह चिकित्सा ज्ञान का वास्तविक परीक्षण है? यह शोध पत्र उस कमी को भरने के लिए आता है, पूछते हुए: क्या हम एआई द्वारा निर्मित चिकित्सा प्रश्नों को मान्य करने के लिए एक विश्वसनीय चेकलिस्ट बना सकते हैं, और क्या एआई वास्तव में मानव के समान अच्छा काम करता है?

एआई प्रश्न कारखाना और विशेषज्ञ निरीक्षक

पिట్స్‌बर्ग विश्वविद्यालय के शोधकर्ताओं ने एक "कारखाना" बनाने का निर्णय लिया जो फिजिशियन असिस्टेंट नेशनल सर्टिफाइंग एग्जामिनेशन (PANCE) के लिए अभ्यास प्रश्न उत्पन्न करने के लिए एआई का उपयोग करता है। लेकिन इससे पहले कि वे छात्रों को इन प्रश्नों का उपयोग करने दें, उन्हें कारखाने के आउटपुट का निरीक्षण करने का एक तरीका चाहिए था। वे केवल एआई पर भरोसा नहीं कर सकते थे; उन्हें एक मानव गुणवत्ता नियंत्रण टीम की आवश्यकता थी।

इसलिए, उन्होंने एक नया निरीक्षण उपकरण (inspection tool) बनाया, जो पांच विशिष्ट श्रेणियों वाले एक विस्तृत स्कोरकार्ड की तरह है। कल्पना कीजिए कि आप एक बेकिंग प्रतियोगिता का निर्णय कर रहे हैं। आप केवल "अच्छा केक" नहीं कहेंगे। आप जाँच करेंगे:

क्लिनिकल-एजुकेशनल अलाइनमेंट (Clinical-Educational Alignment): क्या यह प्रश्न वास्तव में उस चीज़ का परीक्षण करता है जिसे जानने की एक डॉक्टर को आवश्यकता है?
परिदृश्य पूर्णता (Scenario Completeness): क्या कहानी (रोगी के लक्षण) पूरी है, या बेकर अंडे डालना भूल गया?
उत्तर विकल्प की गुणवत्ता (Answer Option Quality): क्या गलत उत्तर (डिस्ट्रैक्टर्स) चतुर लेकिन निष्पक्ष हैं, या वे स्पष्ट रूप से गलत हैं?
भाषा और स्पष्टता (Language and Clarity): क्या प्रश्न पढ़ने में आसान है, या यह एक भ्रमित करने वाला ढेर है?
व्याख्या की गुणवत्ता (Explanation Quality): यदि छात्र गलत होता है, तो क्या व्याख्या उसे सिखाती है कि क्यों?

टीम ने 55 एआई-जनित प्रश्नों की जाँच करने के लिए इस स्कोरकार्ड का उपयोग किया। उन्होंने छह विशेषज्ञ पीए (PA) संकाय सदस्यों को न्यायाधीश के रूप में बुलाया। परिणाम आश्चर्यजनक रूप से अच्छे थे। प्रश्न समग्र गुणवत्ता पैमाने पर बहुत उच्च स्कोर (1.0 में से औसतन 0.9285) प्राप्त करते हैं, जिसका अर्थ है कि एआई सफलतापूर्वक अच्छे प्रश्न लेखन के नियमों का पालन कर रहा था। "क्वेश्चन ट्रैक" (पहले चार श्रेणियां) और "एक्सप्लेनेशन ट्रैक" (पांचवीं श्रेणी) दोनों ने "मजबूत" होने की दहलीज को पार कर लिया।

महान "सहमति" का रहस्य

यहाँ कहानी थोड़ी पेचीदा और दिलचस्प हो जाती है। जब छह विशेषज्ञों ने प्रश्नों को देखा, तो वे ज्यादातर सहमत थे: "हाँ, यह अच्छा है।" वास्तव में, वे लगभग 88% बार प्रश्नों की गुणवत्ता पर सहमत थे।

लेकिन जब शोधकर्ताओं ने यह मापने के लिए एक मानक गणितीय सूत्र (जिसे फ्लेस' κ (Fleiss' κ) कहा जाता है) का उपयोग करने की कोशिश की कि विशेषज्ञ कितने सहमत थे, तो संख्या अविश्वसनीय रूप से कम आई—लगभग शून्य (0.1201)। आमतौर पर, इतनी कम संख्या का अर्थ होता है कि विशेषज्ञ आपस में लड़ रहे थे और सहमत नहीं हो पा रहे थे। लेकिन वे तो सहमत थे!

शोध पत्र इसे एक "प्रिवेलेंस पैराडॉक्स" (prevalence paradox) के रूप में समझाता है। इसे एक ऐसी कक्षा के रूप में सोचें जहाँ 99% छात्र 'A' ग्रेड पाते हैं। यदि आप यह गणना करने का प्रयास करते हैं कि छात्र 'A' पाने वालों पर कितने सहमत हैं, तो गणित अजीब हो जाता है क्योंकि लगभग हर कोई एक ही काम कर रहा है। मानक सूत्र इस "बहुत अधिक सहमति" से भ्रमित हो जाता है और इसे केवल भाग्य मान लेता है।

इसे ठीक करने के लिए, शोधकर्ताओं ने एक अलग, अधिक मजबूत गणितीय उपकरण का उपयोग किया जिसे ग्वेट्स AC1 (Gwet's AC1) कहा जाता है। इसने एक उच्च स्कोर (0.8653) दिया, जिससे पुष्टि हुई कि विशेषज्ञ वास्तव में तालमेल में थे। शोध पत्र का तर्क है कि जब एआई अच्छा काम कर रहा होता है, तो हम अक्सर इस पैटर्न को देखेंगे: उच्च सहमति जो पुराने गणित को कम सहमति दिखाई देती है। उनका सुझाव है कि हमें एआई सामग्री वास्तव में उत्कृष्ट होने पर घबराने से बचने के लिए इस नए उपकरण का उपयोग करने की आवश्यकता है।

"मानव बनाम रोबोट" ब्लाइंड टेस्ट

अंत में, शोधकर्ता जानना चाहते थे कि क्या छात्र अंतर बता सकते हैं। उन्होंने 10 मेडिकल छात्रों के साथ एक ब्लाइंड टेस्ट आयोजित किया। छात्रों ने 30 प्रश्नों के उत्तर दिए: 15 एआई द्वारा लिखे गए और 15 मनुष्यों द्वारा लिखे गए। उन्हें नहीं पता था कि कौन सा किसका है।

परिणाम बराबरी का रहा। छात्रों ने एआई प्रश्नों के 70.0% सही उत्तर दिए और मानव प्रश्नों के 69.3% सही उत्तर दिए। सांख्यिकीय रूप से, यह बिल्कुल बराबर है। एआई प्रश्न उतने ही कठिन और स्पष्ट थे जितने कि मानव-लिखित प्रश्न।

हालाँकि, जब छात्रों ने अनुमान लगाने की कोशिश की कि कौन से प्रश्न एक रोबोट द्वारा लिखे गए थे, तो वे अक्सर गलत साबित हुए। उन्होंने केवल 52.67% बार सही अनुमान लगाया (जो कि लगभग एक सिक्के के उछाल जैसा है)। दिलचस्प बात यह है कि उनमें एक पूर्वाग्रह था: वे सोचते थे कि एआई प्रश्न मनुष्यों द्वारा लिखे गए थे, लेकिन वे मानव प्रश्नों को मानव के रूप में पहचानने में बेहतर थे। यह सुझाव देता है कि एआई इंसान की तरह दिखने में बहुत अच्छा हो रहा है, लेकिन यह अभी भी पूर्ण नहीं है।

इसका क्या अर्थ है (और क्या नहीं है)

शोध पत्र निष्कर्ष निकालता है कि उन्होंने चिकित्सा परीक्षाओं के लिए एआई प्रश्नों को मान्य करने के लिए एक कार्यशील "निरीक्षण उपकरण" बनाया है। उनके द्वारा परीक्षण किए गए एआई ने उच्च गुणवत्ता वाली सामग्री का उत्पादन किया जो विशेषज्ञ समीक्षा में पास हुई और एक छोटे छात्र परीक्षण में मानव-लिखित प्रश्नों के समान प्रदर्शन किया।

हालाँकि, लेखक यह कहने में सावधान हैं कि यह एक पूर्ण, आदर्श समाधान नहीं है। छात्र परीक्षण छोटा था (केवल 10 लोग), इसलिए वे इसे "प्रारंभिक" कहते हैं। वे यह भी नोट करते हैं कि एआई अभी भी "उत्तर विकल्प की गुणवत्ता" के साथ थोड़ा संघर्ष करता है—कभी-कभी गलत उत्तर उतने चतुर नहीं होते। उनके द्वारा बनाया गया उपकरण नर्सिंग या सर्जरी बोर्ड जैसे अन्य चिकित्सा परीक्षाओं के लिए भी उपयोग किया जा सकता है, लेकिन इसे पहले वहां परीक्षण करने की आवश्यकता है।

संक्षेप में, एआई अभी शिक्षकों को बदलने के लिए तैयार नहीं है, लेकिन इसके काम की जाँच करने के लिए इस नए "स्कोरकार्ड" के साथ, हम अंततः इसे उन अभ्यास परीक्षणों को लिखने में मदद करने दे सकते हैं जो डॉक्टरों की अगली पीढ़ी को तैयार करते हैं।

तकनीकी सारांश: AI-जनित नैदानिक मूल्यांकन मदों (Clinical Assessment Items) का विशेषज्ञ सत्यापन

समस्या विवरण
उच्च-दांव वाली प्रमाणन परीक्षाओं, जैसे कि फिजिशियन असिस्टेंट नेशनल सर्टिफाइंग एग्जामिनेशन (PANCE), के लिए उच्च-गुणवत्ता वाले नैदानिक अभ्यास प्रश्नों के विशाल बैंकों की आवश्यकता होती है। पारंपरिक विशेषज्ञ-संचालित मद विकास (item development), श्रम-गहन, विस्तार करने में धीमा है, और विकसित होते नैदानिक दिशानिर्देशों के साथ तालमेल बिठाने में संघर्ष करता है। जबकि जेनरेटिव AI (विशेष रूप से रिट्रीवल-ऑगमेंटेड जनरेशन के साथ लार्ज लैंग्वेज मॉडल्स) स्केलेबल कंटेंट उत्पादन के लिए एक मार्ग प्रदान करता है, लेकिन AI-जनित मूल्यांकन सामग्री को उन्हीं कठोर गुणवत्ता मानकों के विरुद्ध व्यवस्थित रूप से सत्यापित करने के लिए कोई स्थापित पद्धति मौजूद नहीं है, जो मानव-लिखित मदों के लिए अपेक्षित हैं। मौजूदा साहित्य AI की परीक्षा देने की क्षमता या AI टूल्स की तैनाती पर केंद्रित है, लेकिन छात्रों के उपयोग से पहले AI-जनित मदों की गुणवत्ता को प्रमाणित करने के लिए किसी पुन: प्रयोज्य, मानक-आधारित उपकरण की कमी है। इसके अलावा, जब विशेषज्ञ रेटर्स मुख्य रूप से AI सामग्री को स्वीकार करते हैं, तो पारंपरिक इंटर-रेटर रिलायबिलिटी मेट्रिक्स (जैसे Fleiss' $\kappa$ ) अक्सर विषम रेटिंग वितरण के कारण भ्रामक रूप से कम स्कोर देते हैं, जिससे एक "प्रवेलेंस पैराडॉक्स" (prevalence paradox) उत्पन्न होता है जो वास्तविक सहमति को अस्पष्ट कर देता है।

कार्यप्रणाली
अध्ययन ने एक दो-चरण वाली सत्यापन कार्यप्रवाह (validation workflow) का उपयोग किया जो मानक मानव मद-विकास प्रक्रियाओं को दर्शाता है, जिसे लेखकों द्वारा PANCE तैयारी के लिए विकसित एक रिट्रीवल-ऑगमेंटेड, एजेंटिक जनरेशन इंजन पर लागू किया गया।

सत्यापन उपकरण (Validation Instrument): प्रकाशित NCCPA मद-लेखन दिशानिर्देशों पर आधारित एक पांच-आयामी रूब्रिक विकसित किया गया। ये आयाम हैं:
- ट्रैक 1 (प्रश्न निर्माण): क्लिनिकल-एजुकेशनल एलाइनमेंट, परिदृश्य पूर्णता (Scenario Completeness), उत्तर विकल्प की गुणवत्ता, और भाषा एवं स्पष्टता।
- ट्रैक 2 (व्याख्या की गुणवत्ता): व्याख्या की गुणवत्ता।
- रेटिंग के लिए 3-पॉइंट ऑर्डिनल स्केल (खराब, स्वीकार्य, उत्कृष्ट) का उपयोग किया गया।
- एक "टू-ट्रैक क्वालिटी गेट" ने प्रश्न निर्माण को व्याख्या की गुणवत्ता से अलग किया, जिससे मदों को अभ्यास के उपयोग के लिए स्वीकृत किया जा सका, भले ही व्याख्याओं को संशोधन की आवश्यकता हो, और इसके विपरीत भी।
- विशिष्ट दोषों (जैसे, कई सही उत्तर, लुप्त नैदानिक विवरण) की पहचान करने के लिए डायग्नोस्टिक टैग और फ्री-टेक्स्ट कमेंट्स का उपयोग किया गया।
विशेषज्ञ सत्यापन (चरण 1 और 2):
- चरण 1 (पायलट): चार PA फैकल्टी ने 128 मदों की बाइनरी निर्णय (binary judgment) के साथ समीक्षा की। इस चरण ने आवर्ती सामग्री संबंधी मुद्दों (प्रासंगिकता, उत्तर विकल्प की वैधता, स्पष्टता) की पहचान की और उपकरण के परिशोधन में मदद की।
- चरण 2 (मुख्य अध्ययन): छह PA फैल्टी ने 14/15 PANCE अंग प्रणालियों (organ systems) में से 55 मदों की समीक्षा की।
- विश्वसनीयता विश्लेषण (Reliability Analysis): अध्ययन ने दोहरी इंटर-रेटर रिलायबिलिटी (IRR) सूचकांकों की रिपोर्ट दी: Fleiss' $\kappa$ (चांस-करेक्टेड) और Gwet's AC1/AC2 (प्रवेलेंस-रोबस्ट)। यह दृष्टिकोण वास्तविक असहमति को विषम वितरण के कारण होने वाले सांख्यिकीय आर्टिफैक्ट से अलग करने के लिए डिज़ाइन किया गया था।
छात्र धारणा अध्ययन (प्रारंभिक):
- 10 PA छात्रों के एक ब्लाइंडेड विदिन-सब्जेक्ट अध्ययन ने 15 AI-जनित मदों की तुलना 15 मैच किए गए मानव-लिखित मदों से की।
- कार्यों में स्पष्टता/यथार्थवाद को रेट करना, स्रोत का अनुमान लगाना (AI बनाम मानव), और प्रश्नों के उत्तर देना शामिल था।

प्रमुख परिणाम

सामग्री वैधता (Content Validity): समग्र स्केल-लेवल कंटेंट वैलिडिटी इंडेक्स (S-CVI/Ave) 0.9285 था, जो मजबूत वैधता के 0.90 थ्रेशोल्ड से अधिक है। दोनों क्वेश्चन कंस्ट्रक्शन ट्रैक (0.9356) और एक्सप्लेनेशन ट्रैक (0.9000) ने थ्रेशोल्ड पार किया। हालांकि, "उत्तर विकल्प की गुणवत्ता" (आयाम 3) सबसे कमजोर आयाम (S-CVI/Ave = 0.8545) था, जो इंजन परिशोधन के लिए एक प्राथमिक लक्ष्य को इंगित करता है।
प्रवेलेंस पैराडॉक्स (The Prevalence Paradox): विश्वसनीयता मेट्रिक्स में एक महत्वपूर्ण विसंगति देखी गई। प्रेजर्वड एग्रीमेंट उच्च ( $P_o \approx 0.88$ ) था, फिर भी Fleiss' $\kappa$ कम (0.1201) था, जो "खराब" श्रेणी में आता है। इसके विपरीत, Gwet's AC1 उच्च (0.8653) था। लेखक इसे "प्रवेलेंस पैराडॉक्स" का परिणाम मानते हैं: जब रेटर्स अत्यधिक मात्रा में मदों को स्वीकार करते हैं, तो $\kappa$ जैसे चांस-करेक्टेड इंडेक्स विषम वितरण के कारण कम हो जाते हैं, जबकि AC1 जैसे प्रवेलेंस-रोबस्ट इंडेक्स उच्च स्तर की सहमति को सटीक रूप से दर्शाते हैं। यह पैटर्न दोनों सत्यापन चरणों में सुसंगत था।
डायग्नोस्टिक निष्कर्ष: रेटर्स द्वारा चिह्नित किए गए सबसे सामान्य मुद्दे "उत्तर विकल्प की अखंडता" (जैसे, कई रक्षात्मक सही उत्तर) और "महत्वपूर्ण नैदानिक विवरण की कमी" से संबंधित थे।
छात्र धारणा (प्रारंभिक, n=10):
- ज्ञान समानता (Knowledge Equivalence): AI और मानव मदों ने लगभग समान उत्तर सटीकता (70.0% बनाम 69.3%, $p=0.89$ ) प्रदर्शित की।
- धारणात्मक समानता (Perceptual Equivalence): छात्रों ने स्रोतों के बीच स्पष्टता और यथार्थवाद को सांख्यिकीय रूप से समान माना।
- स्रोत पहचान (Source Detection): छात्र AI और मानव मदों के बीच अंतर करने में विश्वसनीय नहीं थे (52.67% समग्र सटीकता, जो संयोग से काफी भिन्न नहीं थी)। हालांकि, एक विषमता देखी गई: छात्रों ने मानव मदों को 59.3% बार सही ढंग से पहचाना, लेकिन AI मदों को केवल 46.0% बार (संयोग से भी कम) सही ढंग से पहचाना, जो "मानव" लेबल लगाने की ओर एक रिस्पॉन्स बायस का सुझाव देता है।

प्रमुख योगदान

एक पुन: प्रयोज्य सत्यापन उपकरण: यह अध्ययन एक पांच-आयामी रूब्रिक और एक टू-ट्रैक क्वालिटी गेट पेश करता है, जिसे विशेष रूप से प्रकाशित मद-लेखन मानकों के विरुद्ध AI-जनित नैदानिक मूल्यांकन मदों को मान्य करने के लिए डिज़ाइन किया गया है। इसे उपयुक्त ब्लूप्रिंट और दिशानिर्देशों के साथ किसी भी ब्लूप्रिंट-ड्रिवन सर्टिफिकेशन एग्जाम (जैसे NCLEX, USMLE) के लिए हस्तांतरणीय बनाया गया है।
विश्वसनीयता पर पद्धतिगत अंतर्दृष्टि: यह पेपर प्रदर्शित करता है कि "प्रवेलेंस पैराडॉक्स" उच्च-गुणवत्ता वाली AI सामग्री को मान्य करने का एक अनुमानित लक्षण है। यह तर्क देता है कि उच्च स्वीकृति दरों के कारण होने वाले सांख्यिकीय आर्टिफैक्ट से वास्तविक विशेषज्ञ असहमति को अलग करने के लिए Fleiss' $\kappa$ के साथ-साथ Gwet's AC जैसे दोहरे विश्वसनीयता सूचकांकों की रिपोर्ट करना आवश्यक है।
समानता का अनुभवजन्य प्रमाण: प्रारंभिक डेटा बताता है कि, जब मान्य किया जाता है, तो AI-जनित मदें कठिनाई, स्पष्टता और यथार्थवाद के मामले में मानव-लिखित मदों के बराबर पहुंच सकती हैं, हालांकि उत्तर विकल्प निर्माण के लिए विशिष्ट सुधारों की आवश्यकता है।

महत्व और दावे
लेखक दावा करते हैं कि यह कार्य चिकित्सा शिक्षा में एक महत्वपूर्ण अंतराल को भरता है, जो उच्च-जोखिम वाली परीक्षा की तैयारी में अनवैलिडेटेड AI के नैतिक और शैक्षणिक जोखिमों को संबोधित करने के लिए, AI सामग्री को तैनात करने से पहले उसे प्रमाणित करने की एक मानक-आधारित विधि प्रदान करता है। अध्ययन का तर्क है कि उपकरण का डिज़ाइन—जो प्रकाशित मानकों पर आधारित है और प्रवेलेंस-रोबस्ट रिलायबिलिटी दृष्टिकोण का उपयोग करता है—किसी भी ऐसे कार्यक्रम के लिए एक व्यावहारिक ढांचा प्रदान करता है जो गुणवत्ता से समझौता किए बिना कंटेंट प्रोडक्शन को स्केल करना चाहता है। लेखक स्पष्ट रूप से कहते हैं कि यह उपकरण PA प्रमाणन से बंधा नहीं है बल्कि अन्य स्वास्थ्य व्यवसाओं के लिए अनुकूलनीय है, बशर्ते आवश्यक डोमेन-विशिष्ट इनपुट (ब्लूप्रिंट, नॉलेज बेस, दिशानिर्देश) उपलब्ध कराए जाएं। प्रवेलेंस पैराडॉक्स के संबंध में निष्कर्ष भविष्य के अध्ययनों के लिए एक चेतावनी के रूप में कार्य करते हैं, जो शोधकर्ताओं को कम $\kappa$ मानों को खराब विशेषज्ञ सहमति के प्रमाण के रूप में गलत समझने से बचने का आग्रह करते हैं, जब अंतर्निहित सामग्री उच्च गुणवत्ता की हो।

एआई प्रश्न कारखाना और विशेषज्ञ निरीक्षक

महान "सहमति" का रहस्य

"मानव बनाम रोबोट" ब्लाइंड टेस्ट

इसका क्या अर्थ है (और क्या नहीं है)

इसी तरह के और पेपर