💬 NLP

Multi-LLM Thematic Analysis with Dual Reliability Metrics: Combining Cohen's Kappa and Semantic Similarity for Qualitative Research Validation

यह शोध पत्र एक मल्टी-एलएलएम (multi-LLM) विषयगत विश्लेषण ढांचे को प्रस्तुत करता है जो कोहेन के कप्पा (Cohen's Kappa) और सिमेंटिक समानता मेट्रिक्स को जोड़कर गुणात्मक अनुसंधान विश्वसनीयता को प्रमाणित करता है, और एक साइकेडेलिक आर्ट थेरेपी केस स्टडी के माध्यम से यह प्रदर्शित करता है कि जेमिनी (Gemini), जीपीटी-4ओ (GPT-4o) और क्लॉड (Claude) का उपयोग करने वाला एक एन्सेम्बल दृष्टिकोण उच्च इंटर-रेटर सहमति और सुदृढ़ सर्वसम्मति विषय निष्कर्षण प्राप्त करता है।

मूल लेखक: Nilesh Jain, Hyungil Suh, Seyi Adeyinka, Leor Roseman, Aza Allsop

प्रकाशित 2026-02-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nilesh Jain, Hyungil Suh, Seyi Adeyinka, Leor Roseman, Aza Allsop

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपने एक दोस्त द्वारा सुनाई गई एक बहुत ही जटिल, भावनात्मक कहानी को समझने की कोशिश कर रहे हैं। अतीत में, यदि आप यह सुनिश्चित करना चाहते थे कि आपने कहानी को सही ढंग से समझा है, तो आप अपने तीन या चार अन्य दोस्तों को उसे पढ़ने के लिए कहते, उन्हें अपने स्वयं के सारांश लिखने के लिए कहते, और फिर मुख्य बिंदुओं पर सहमत होने तक आपस में बहस करने के लिए बैठ जाते। यह वह तरीका था जिससे शोधकर्ता पारंपरिक रूप से "गुणात्मक अनुसंधान" (Qualitative Research) करते थे।

समस्या: यह प्रक्रिया धीमी, महंगी है, और अक्सर, मानव मित्र भी पूरी तरह से सहमत नहीं हो पाते हैं। वे इस बात पर बहस कर सकते हैं कि कोई विशिष्ट विवरण "उदासी" के बारे में था या "निराशा" के बारे में।

नया विचार: क्या होगा यदि हम आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग इस काम के लिए कर सकें? लेकिन इसमें एक पेच है: AI थोड़ा एक सपने देखने वाले (dreamer) की तरह है। यदि आप उससे एक ही सवाल दो बार पूछते हैं, तो वह आपको दो थोड़े अलग उत्तर दे सकता है क्योंकि यह संभाव्यता (probabilistic) पर आधारित है (यह पैटर्न के आधार पर अगले शब्द का अनुमान लगाता है)। यदि आप इसे केवल एक बार पूछते हैं, तो आपको पता नहीं चलेगा कि वह उत्तर एक ठोस सत्य है या केवल एक रैंडम अनुमान।

समाधान: यह पेपर एक "AI स्वप्नदर्शियों की टीम" (Team of AI Dreamers) दृष्टिकोण पेश करता है। एक AI को एक बार कहानी पढ़ने के लिए कहने के बजाय, वे एक ही AI के छह अलग-अलग संस्करणों (विभिन्न "रैंडम सीड्स" का उपयोग करके, जैसे पासा फेंकना) को कहानी छह बार पढ़ने के लिए कहते हैं, और फिर वे देखते हैं कि वे सभी छह उत्तरों में कहाँ सहमत हैं।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. "छह दोस्तों" की उपमा (एन्सेम्बल वैलिडेशन - Ensemble Validation)

कल्पना कीजिए कि आप एक ही रहस्य को सुलझाने के लिए छह अलग-अलग जासूसों को काम पर रखते हैं।

पुराना तरीका: आप एक जासूस से रिपोर्ट मांगते हैं। आपको पता नहीं होता कि वह भाग्यशाली रहा या उसने कुछ छोड़ दिया।
नया तरीका: आप छह जासूसों से पूछते हैं। यदि उनमें से पांच कहते हैं, "बटलर (बड़ा नौकर) ने यह किया," तो आप बहुत आश्वस्त हो सकते हैं कि यही उत्तर है। यदि एक कहता है "बटलर" और पांच कहते "माली," तो आप जानते हैं कि "बक्टर" वाला सिद्धांत कमजोर है।
पेपर में: शोधकर्ताओं ने AI को छह बार चलाया। उन्होंने उन विषयों (themes) को देखा जो 6 में से कम से कम 3 (या 6 में से 5) में दिखाई दिए। ये "सहमति वाले विषय" (Consensus Themes) हैं—वे हिस्से जिनके बारे में AI निश्चित है।

2. "दो रूलर" की उपमा (दोहरी विश्वसनीयता मेट्रिक्स - Dual Reliability Metrics)

आप कैसे जानते हैं कि जासूस वास्तव में सहमत हैं? पेपर सहमति को मापने के लिए दो अलग-अलग "रूलर" (पैमानों) का उपयोग करता है:

रूलर #1: "सटीक मिलान" वाला रूलर (कोहेन का कप्पा - Cohen's Kappa)
- यह जाँचता है कि क्या जासूसों ने बिल्कुल उन्हीं शब्दों का उपयोग किया है। यदि जासूस A कहता है "उदासी" और जासूस B कहता है "उदासी," तो उन्हें एक अंक मिलता है। यदि A कहता है "उदासी" और B कहता है "शोक (Grief)," तो यह रूलर कह सकता है, "कोई मिलान नहीं!"
- क्यों महत्वपूर्ण है: यह वह मानक, सख्त तरीका है जिसका उपयोग शोधकर्ताओं ने दशकों से विश्वसनीयता साबित करने के लिए किया है।
रूलर #2: "अर्थ मिलान" वाला रूलर (कोसाइन सिमिलैरिटी - Cosine Similarity)
- यह चतुर हिस्सा है। यह समझता है कि "उदासी" और "शोक" का अर्थ एक ही है, भले ही शब्द अलग हों। यह वाक्यों के भाव और अर्थ को देखता है।
- क्यों महत्वपूर्ण है: AI अक्सर चीजों को अपने शब्दों में फिर से लिखता है। यह रूलर सुनिश्चित करता है कि यदि AI एक रन में कहता है "क्लाइंट भारी महसूस कर रहा था" और दूसरे रन में "क्लाइंट बोझिल महसूस कर रहा था," तो इसे एक सहमति के रूप में गिना जाए।

3. "जादुई रेसिपी" (कॉन्फ़िगर करने योग्य पैरामीटर्स - Configurable Parameters)

शोधकर्ताओं ने एक ऐसा टूल बनाया है जो आपको AI की "व्यक्तित्व" को ट्यून करने की अनुमति देता है:

टेम्परेचर (Temperature): इसे आप AI का "रचनात्मकता डायल" मान सकते हैं।
- कम टेम्परेचर (0.0): AI एक रोबोट की तरह है। यह हर बार बिल्कुल एक ही उत्तर देता है। तथ्यों के लिए अच्छा है।
- उच्च टेम्परेचर (2.0): AI एक कलाकार की तरह है। यह रचनात्मक और उन्मत्त हो जाता है। नए विचारों की खोज के लिए अच्छा है।
- शोधकर्ताओं ने इसे एक "बिल्कुल सही" स्तर पर सेट किया ताकि सुसंगत लेकिन विचारशील उत्तर मिल सकें।
सीड्स (Seeds): इन्हें AI के मस्तिष्क के लिए "प्रारंभिक बिंदु" के रूप में सोचें। सीड बदलने से, आपको एक थोड़ा अलग दृष्टिकोण मिलता है, ठीक वैसे ही जैसे एक ही किताब को पढ़ने के लिए छह अलग-अलग लोगों से पूछना।

4. परिणाम: सबसे अच्छा जासूस कौन था?

उन्होंने आर्ट थेरेपी और केटामाइन उपचार के बारे में एक वास्तविक साक्षात्कार पर तीन प्रसिद्ध AI मॉडल (Gemini, GPT-4o, और Claude) का परीक्षण किया।

विजेता: Gemini 2.5 Pro सबसे सुसंगत जासूस था। वह सख्त रूलर पर 90.7% बार और अर्थ वाले रूलर पर 95.3% बार खुद के साथ सहमत हुआ।
रनर अप: GPT-4o और Claude भी बहुत अच्छे थे, जिन्होंने 84% से अधिक सहमति दर्ज की।
निष्कर्ष: तीनों मॉडल सहमति में "लगभग पूर्ण" (Almost Perfect) थे। यह साबित करता है कि यदि आप एक AI को कई बार चलाते हैं और सामान्य धागों को देखते हैं, तो आप परिणामों पर उतना ही भरोसा कर सकते हैं जितना कि आपने मानव विशेषज्ञों की एक टीम को नियुक्त किया होता।

यह आपके लिए क्यों मायने रखता है

यह पेपर शोधकर्ताओं के लिए एक गेम-चेंजर है।

पहले: विश्वसनीय परिणाम प्राप्त करने के लिए, आपको मनुष्यों को सैकड़ों डॉलर देने और नोट्स पर बहस करने में हफ्तों बिताने की आवश्यकता थी।
अब: आप कुछ डॉलरों में मिनटों में "लगभग पूर्ण" विश्वसनीयता प्राप्त करने के लिए इस मुफ्त, ओपन-सोर्स टूल का उपयोग कर सकते हैं।

यह मानव शोधकर्ताओं की जगह नहीं लेता है; इसके बजाय, यह उन्हें एक सुपर-पावर्ड असिस्टेंट देता है। AI पैटर्न खोजने और अपने काम की जांच करने का भारी काम करता है, और मानव शोधकर्ता सबसे महत्वपूर्ण विषयों पर अंतिम निर्णय लेने के लिए आगे आता है।

संक्षेप में: उन्होंने AI को "अपना होमवर्क खुद दोबारा चेक करना" सिखाया है—एक ही सवाल को छह बार खुद से पूछकर—और उन्होंने साबित किया है कि जब AI खुद के साथ सहमत होता है, तो आप उत्तर पर भरोसा कर सकते हैं।

यहाँ शोध पत्र "Multi-LLM Thematic Analysis with Dual Reliability Metrics: Combining Cohen's Kappa and Semantic Similarity for Qualitative Research Validation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

गुणात्मक अनुसंधान (Qualitative research) विषयगत विश्लेषण (thematic analysis) की विश्वसनीयता सुनिश्चित करने के लिए इंटर-रेटर रिलायबिलिटी (inter-rater reliability) पर बहुत अधिक निर्भर करता है। पारंपरिक तरीकों में कई मानव कोडर्स को स्वतंत्र रूप से डेटा का विश्लेषण करना आवश्यक होता है, जो एक ऐसी प्रक्रिया है जो:

समय-गहन और महंगी है: इसमें अक्सर हफ्तों का श्रम लगता है।
असंगत है: मानव कोडर अक्सर केवल मध्यम सहमति ( $\kappa = 0.40–0.60$ ) ही प्राप्त कर पाते हैं।
विषयपरकता (subjectivity) द्वारा सीमित है: विसंगतियों को हल करने के लिए व्यापक चर्चा की आवश्यकता होती है।

जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) विषयगत विश्लेषण को स्वचालित करने के लिए एक संभावित समाधान प्रदान करते हैं, वर्तमान दृष्टिकोण एक महत्वपूर्ण कमी से ग्रस्त हैं: व्यवस्थित विश्वसनीयता परिमाणीकरण (systematic reliability quantification) का अभाव। अधिकांश मौजूदा ढांचे एक एकल-रन आउटपुट को निश्चित निष्कर्ष के रूप में प्रस्तुत करते हैं, बिना मॉडल की स्टोकेस्टिक स्थिरता (stochastic stability) का आकलन किए। एक एकल जनरेशन (generation) किसी विशिष्ट रैंडम सीड या इंटरेक्शन पाथ का परिणाम हो सकता है, न कि एक मजबूत निष्कर्ष। AI-सहायता प्राप्त गुणात्मक अनुसंधान में स्थिर विषयगत संकेतों (thematic signals) और "भ्रमित शोर" (hallucinatory noise) के बीच अंतर करने के लिए कोई मानक मीट्रिक मौजूद नहीं है।

2. कार्यप्रणाली (Methodology)

लेखक एक बहु-परिप्रेक्ष्य सत्यापन ढांचे (Multi-Perspective Validation Framework) का प्रस्ताव करते हैं जो LLM विषयगत विश्लेषण को एकल-जनरेशन कार्य के बजाय एक सांख्यिकीय एन्सेम्बल (ensemble) समस्या के रूप में मानता है।

A. एन्सेम्बल वैलिडेशन दृष्टिकोण (Ensemble Validation Approach)

एकल रन के बजाय, यह ढांचा कई स्वतंत्र विश्लेषणात्मक रन (डिफ़ॉल्ट: 6) निष्पादित करता है, जिसमें फिक्स्ड रैंडम सीड्स (जैसे, 42, 123, 456, 789, 1011, 1213) और एक कॉन्फ़िगर करने योग्य टेम्परेचर ( $T=0.7$ ) का उपयोग किया जाता है।

सांख्यिकीय तर्क: छह रन 15 युग्म तुलनाएँ (pairwise comparisons) उत्पन्न करते हैं, जो वास्तविक स्कोर वेरिएंस बनाम एरर वेरिएंस का अनुमान लगाने के लिए पर्याप्त डेटा बिंदु प्रदान करते हैं, जिससे तीन रन की तुलना में स्टैंडर्ड एरर लगभग 41% कम हो जाता है।
सहमति तंत्र (Consensus Mechanism): एक एडेप्टिव एल्गोरिदम प्रत्येक रन से विषयों (themes) को निकालता है, समान अर्थ वाले विषयों को समूहित करता है (कोसाइन सिमिलैरिटी थ्रेशोल्ड $>0.70$ का उपयोग करके), और केवल उन्हीं को "कंसेंसस थीम्स" (consensus themes) के रूप में रखता है जो $\geq 50\%$ रन में दिखाई देते हैं।

B. दोहरे विश्वसनीयता मीट्रिक (Dual Reliability Metrics)

यह ढांचा आउटपुट को मान्य करने के लिए दो पूरक मीट्रिक पेश करता है:

कोहेन का कप्पा ( $\kappa$ ): यह रन के दौरान विषयों की उपस्थिति/अनुपस्थिति के लिए सांख्यिकीय इंटर-रेटर सहमति को मापता है, जो संयोग (chance) को ध्यान में रखता है। यह लैंडिस-कोच मानदंडों का पालन करता है (जहाँ $\kappa > 0.80$ "लगभग पूर्ण" है)।
कोसाइन सिमिलैरिटी (Cosine Similarity): यह सटीक लेक्सिकल मिलान से परे सिमेंटिक कंसिस्टेंसी (semantic consistency) को मापता है। all-MiniLM-L6-v2 एम्बेडिंग्स (384-आयामी) का उपयोग करते हुए, यह विभिन्न रन के बीच थीम विवरणों के बीच सिमेंटिक ओवरलैप की गणना करता है। यह तब भी समानता को पकड़ता है जब वाक्यांश भिन्न होते हैं (जैसे, "perfectionist barriers" बनाम "creative blocks")।

C. तकनीकी वास्तुकला और लचीलापन (Technical Architecture & Flexibility)

स्ट्रक्चर-एग्नोस्टिक पार्सिंग (Structure-Agnostic Parsing): सिस्टम किसी भी आउटपुट फॉर्मेट को संभालने के लिए रेगेक्स (regex) और JSON पार्सिंग का उपयोग करता है, जो पूर्वनिर्धारित स्कीमा की आवश्यकता के बिना मार्काडाउन को हटाता है और संरचना को मान्य करता है।
कॉन्फ़िगर करने योग्य पैरामीटर: शोधकर्ता सीड्स (1–6), टेम्परेचर (0.0–2.0), और वेरिएबल सब्स्टीट्यूशन (जैसे, {seed}, {text chunk}) के साथ कस्टम प्रॉम्प्ट का उपयोग कर सकते हैं।
क्लाइंट-साइड प्रोसेसिंग: यह टूल (Next.js/React के साथ निर्मित) एम्बेडिंग्स के लिए Transformers.js का उपयोग करके ब्राउज़र में स्थानीय रूप से डेटा को प्रोसेस करता है, जिससे कच्चे डेटा की गोपनीयता सुनिश्चित होती है। यह यूनिफाइड API के माध्यम से नौ LLM प्रोवाइडर्स (Gemini, Claude, GPT-4o, आदि) का समर्थन करता है।

3. प्रमुख योगदान (Key Contributions)

दोहरा विश्वसनीयता ढांचा: LLM-आधारित विषयगत विश्लेषण को मान्य करने के लिए विशेष रूप से कोहेन के कप्पा (सांख्यिकीय सहमति) और कोसाइन सिमिलैरिटी (सिमेंटिक निरंतरता) के एकीकरण वाला पहला ढांचा।
एन्सेम्बल वैलिडेशन प्रोटोकॉल: एकल-रन जनरेशन से मल्टी-रन कंसेंसस की ओर एक पद्धतिगत बदलाव, जो मापने योग्य स्थिरता मीट्रिक प्रदान करता है।
स्ट्रक्चर-एग्नोस्टिक कंसेंसस एक्सट्रैक्शन: एक लचीला एल्गोरिदम जो किसी भी JSON स्ट्रक्चर से कंसेंसस थीम्स निकालता है, जिससे शोधकर्ता बिना कोड संशोधन के अपने कस्टम विश्लेषणात्मक फ्रेमवर्क का उपयोग कर सकते हैं।
ओपन-सोर्स कार्यान्वयन: एक पूरी तरह से कार्यात्मक, गोपनीयता-संरक्षण उपकरण जो क्रॉस-मॉडल वैलिडेशन (विभिन्न LLM आर्किटेक्चर के आउटपुट की तुलना करना) का समर्थन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस ढांचे का मूल्यांकन केटामाइन-असिस्टेड आर्ट थेरेपी पर एक 28,377-कैरेक्टर के साक्षात्कार ट्रांसक्रिप्ट पर तीन अग्रणी LLMs: Gemini 2.5 Pro, GPT-4o, और Claude 3.5 Sonnet का उपयोग करके किया गया। प्रत्येक मॉडल के छह स्वतंत्र रन हुए।

मॉडल	कोहेन का कप्पा ( $\kappa$ )	कोसाइन सिमिलैरिटी	कंसेंसस थीम्स
Gemini 2.5 Pro	0.907 (रेंज: 0.745–0.977)	95.3%	6 थीम्स (50–83% निरंतरता)
GPT-4o	0.853 (रेंज: 0.672–0.988)	92.6%	5 थीम्स
Claude 3.5 Sonnet	0.842 (रेंज: 0.604–1.000)	92.1%	4 थीम्स

मुख्य निष्कर्ष:

उच्च विश्वसनीयता: सभी मॉडलों ने "लगभग पूर्ण" सहमति ( $\kappa > 0.80$ ) प्राप्त की, जो एन्सेम्बल दृष्टिकोण को मान्य करती है।
सिमेंटिक कोरिलेशन: कोसाइन सिमिलैरिटी कप्पा के साथ मजबूती से सह-संबंधित थी ( $r=0.97$ ), जो पुष्टि करता है कि सिमेंटिक एम्बेडिंग्स प्रभावी विश्वसनीयता माप हैं।
कंसेंसस एक्सट्रैक्शन: ढांचे ने स्प्यूरियस (spurious) विषयों को सफलतापूर्वक फ़िल्टर किया जबकि वैध विविधताओं को सुरक्षित रखा। उदाहरण के लिए, "Integration of Internal Family Systems (IFS)" को सभी मॉडलों में एक मजबूत थीम के रूप में पहचाना गया (प्रत्येक मॉडल के प्रति रन में 50–83% उपस्थिति)।
लागत दक्षता: AI दृष्टिकोण की लागत प्रति ट्रांसक्रिप्ट लगभग $0.15–$ 0.20 रही, जबकि पारंपरिक मानव कोडिंग के लिए $20–$ 40 खर्च होते हैं।

5. महत्व और निहितार्थ (Significance and Implications)

पद्धतिगत कठोरता (Methodological Rigor): यह कार्य "ब्लैक बॉक्स" जनरेशन से आगे बढ़कर मापने योग्य, पुनरुत्पादनीय विश्वसनीयता की ओर बढ़कर AI-सहायता प्राप्त गुणात्मक अनुसंधान के लिए एक नया मानक स्थापित करता है। यह शोधकर्ताओं को अपने AI-सहायता प्राप्त विश्लेषणों के लिए "लगतः पूर्ण सहमति" का दावा करने की अनुमति देता है।
स्केलेबिलिटी: यह ढांचा गुणात्मक अनुसंधान के समय और लागत की बाधाओं को काफी कम कर देता है, जिससे कठोर विषयगत विश्लेषण छोटे शोध समूहों के लिए भी सुलभ हो जाता है।
ह्यूमन-इन-द-लूप वैलिडेशन: यह सिस्टम मानव शोधकर्ताओं को प्रतिस्थापित नहीं करता है बल्कि मान्य शुरुआती बिंदु (validated starting points) प्रदान करता है। यह उच्च-विश्वास वाले विषयों (जिनके लिए न्यूनतम समीक्षा की आवश्यकता होती है) और मध्यम-विश्वास वाले विषयों (जिनके लिए शोधकर्ता के निर्णय की आवश्यकता होती है) के बीच अंतर करता है, जिससे स्वचालन और मानवीय रिफ्लेक्सिविटी के बीच प्रभावी संतुलन बनता है।
भविष्य की दिशाएं: लेखक सामाजिक विज्ञान अनुसंधान में AI विश्वसनीयता के लिए सीमा स्थितियों और मानक बेंचमार्क स्थापित करने हेतु विविध डोमेन, भाषाओं और सांस्कृतिक संदर्भों में बड़े पैमाने पर सत्यापन का आह्वान करते हैं।

निष्कर्षतः, यह शोध पत्र एक मजबूत, ओपन-सोर्स ढांचा प्रदान करता है जो LLMs की दक्षता और गुणात्मक अनुसंधान के लिए आवश्यक कठोर सत्यापन मानकों के बीच के अंतर को पाटता है, जिससे AI-संचालित विषयगत विश्लेषण में विश्वसनीयता के मूल्यांकन के तरीके को मौलिक रूप से बदल दिया गया है।