📊 statistics

Multidimensional Item Response Theory under General Latent Distributions

यह शोध पत्र मल्टीडायमेंशनल आइटम रिस्पॉन्स थ्योरी (MIRT) के लिए एक नवीन डेटा-संचालित, फ्लो-आधारित ढांचे का प्रस्ताव करता है जो व्युत्क्रमणीय रूपांतरणों (invertible transformations) के माध्यम से गैर-गौसियन (non-Gaussian) गुप्त वितरणों को मॉडल करके आइटम मापदंडों और गुप्त लक्षणों का संयुक्त रूप से अनुमान लगाता है, जिससे पारंपरिक गौसियन धारणाओं की सीमाओं को दूर किया जा सकता है और विषमता (skewness), भारी पूंछ (heavy tails), या बहुविधता (multimodality) की उपस्थिति में अनुमान की सटीकता में सुधार किया जा सकता है।

मूल लेखक: Chengyu Cui, Taoyi Chen, Chun Wang, Gongjun Xu

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chengyu Cui, Taoyi Chen, Chun Wang, Gongjun Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप लोगों के उत्तरों के आधार पर उनके छिपे हुए व्यक्तित्व या कौशल को समझने की कोशिश कर रहे हैं। मनोविज्ञान और शिक्षा की दुनिया में, इसे मल्टीडायमेंशनल आइटम रिस्पांस थ्योरी (MIRT) कहा जाता है। उन "छिपे हुए गुणों" (जैसे बुद्धिमत्ता, चिंता, या खुलापन) को कल्पनाशील रंगों के रूप में सोचें जो मिलकर लोगों के दृश्य उत्तर बनाते हैं।

लंबे समय से, सांख्यिकीविदों ने एक बहुत ही सुविधाजनक धारणा बना ली है: वे मानते हैं कि ये छिपे हुए रंग हमेशा एक आदर्श, सुचारू, घंटी के आकार के वक्र (गौसियन डिस्ट्रीब्यूशन) में मिश्रित होते हैं। यह ऐसा है जैसे यह मान लेना कि प्रत्येक समूह स्वाभाविक रूप से औसत है, जिसमें कोई चरम बाहरी मान (outliers), अजीब क्लस्टर या विषम आकार नहीं हैं।

"परफेक्ट बेल कर्व" की समस्या
इस शोध पत्र के लेखक तर्क देते हैं कि यह धारणा अक्सर गलत होती है। वास्तविक लोग जटिल होते हैं। कभी-कभी एक समूह में दो अलग-अलग उपसमूह होते हैं (द्वि-मोडता/bimodality), कभी-कभी डेटा एक तरफ झुका हुआ होता है (skewed), या कभी-कभी इसमें अत्यधिक बाहरी मान (heavy tails) होते हैं। यदि आप एक जटिल वास्तविकता को एक पूर्ण बेल कर्व में जबरदस्ती फिट करने की कोशिश करते हैं, तो आपके द्वारा लोगों की क्षमताओं और प्रश्नों की कठिनाई के अनुमान पक्षपाती हो जाते हैं—जैसे किसी चौकोर टुकड़े को गोल छेद में फिट करने की कोशिश करना।

समाधान: एक "आकार बदलने वाला" उपकरण
इसे ठीक करने के लिए, लेखक नॉर्मलाइजिंग फ्लो (Normalizing Flows) नामक एक नए, लचीले ढांचे का प्रस्ताव करते हैं।

उपमा: कल्पना कीजिए कि आपके पास चिकनी, आदर्श मिट्टी का एक ढेला (एक मानक गौसियन डिस्ट्रीब्यूशन) है। पुराने तरीके में, आपको इस मिट्टी को केवल थोड़ा खींचने या दबाने की अनुमति थी। नए तरीके में, लेखक आपको एक जादुई, आकार बदलने वाला उपकरण (एक न्यूरल नेटवर्क) देते हैं। आप उस चिकनी मिट्टी को ले सकते हैं और उसे किसी भी जटिल आकार में—चाहे वह पहाड़ों की श्रृंखला हो, दो कूबड़ वाला ऊंट हो, या एक ऊबड़-खाबड़ चट्टान हो—मोड़, खींच, तह और रूपांतरित कर सकते हैं, जबकि आप अभी भी यह जानते हैं कि वह परिवर्तन कैसे हुआ।
यह कैसे काम करता है: वे छिपे हुए गुणों को एक निश्चित आकार के रूप में नहीं, बल्कि एक सरल, यादृच्छिक शुरुआती बिंदु के रूपांतरण के रूप में मॉडल करते हैं। यह मॉडल को डेटा के वास्तविक आकार को सीखने की अनुमति देता है, चाहे वह कितना भी अजीब, विषम या कई चोटियों वाला क्यों न हो।

उत्तरों के लिए "जादुई अनुवादक"
शोध पत्र गणित को तेजी से चलाने के लिए एक चतुर तकनीक भी पेश करता है। आमतौर पर, किसी व्यक्ति के उत्तरों से उसके छिपे हुए गुणों का पता लगाना एक ऐसे पहेली को सुलझाने जैसा है जहाँ आधे टुकड़े गायब हैं।

उपमा: कल्पना कीजिए कि "पोस्टीरियर डिस्ट्रीब्यूशन" (किसी व्यक्ति के गुणों का सबसे अच्छा अनुमान) एक जटिल, धुंधला परिदृश्य है। पुराने तरीकों ने इस परिदृश्य को हर रास्ते पर चलकर मैप करने की कोशिश की, जिसमें बहुत समय लगा।
नया तरीका: लेखकों ने एक "मैजिक ट्रांसलेटर" (एक कंडीशनल फ्लो) बनाया है। हर रास्ता चलने के बजाय, आप ट्रांसलेटर को व्यक्ति के उत्तर और थोड़ा सा रैंडम नॉइज़ (noise) देते हैं। ट्रांसलेटर तुरंत व्यक्ति के छिपे हुए गुणों को बाहर निकाल देता है। यह एक जीपीएस (GPS) होने जैसा है जो न केवल आपको नक्शा दिखाता है, बल्कि तुरंत वह सटीक मार्ग भी तैयार कर देता है जिसकी आपको आवश्यकता है।

उन्होंने क्या पाया
शोधकर्ताओं ने इस नई पद्धति का परीक्षण दो तरीकों से किया:

सिमुलेशन (लैब टेस्ट): उन्होंने नकली डेटा बनाया जहाँ छिपे हुए गुण जानबूझकर अजीब (विषम, भारी-पूंछ वाले, या कई समूहों वाले) थे।
- परिणाम: जब डेटा "सामान्य" था, तो उनकी नई विधि पुराने, मानक तरीकों की तरह ही अच्छी तरह से काम करती थी। लेकिन जब डेटा "अजीब" था, तो पुराने तरीके सच्चाई खोजने में विफल रहे, जबकि उनकी नई विधि ने सटीक निशाना लगाया। इसने सही उत्तरों और छिपे हुए गुणों के सही आकारों को बहुत बेहतर तरीके से प्राप्त किया।
वास्तविक डेटा (बिग फाइव पर्सनैलिटी टेस्ट): उन्होंने इसे 8,000 से अधिक लोगों द्वारा दिए गए व्यक्तित्व परीक्षण (जो बहिर्मुखता और न्यूरोटिसिज्म जैसे गुणों को मापता है) के वास्तविक डेटासेट पर लागू किया।
- परिणाम: एक सांख्यिकीय परीक्षण ने पुष्टि की कि इस डेटा के लिए पुराना "बेल कर्व" का अनुमान गलत था। नए तरीके ने खुलासा किया कि जनसंख्या केवल एक बड़ा समूह नहीं थी। इसके बजाय, इसने स्पष्ट उपसमूहों की पहचान की। उदाहरण के लिए, "कॉन्शियसनेस" (Conscientiousness) के लिए, इसने तीन अलग-अलग समूह पाए: बहुत कम, मध्यम और बहुत उच्च। "एक्सट्रोवर्शन" (Extraversion) के लिए, इसने इंट्रोवर्ट्स, न्यूट्रल्स और एक्सट्रोवर्ट्स को अलग-अलग क्लस्टर्स के रूप में पाया।
- यह क्यों मायने रखता है: ये क्लस्टर केवल गणितीय त्रुटियां नहीं थे; वे वास्तव में लोगों के प्रश्नों के उत्तर देने के तरीके से मेल खाते थे। जो "अजीब" आकार मॉडल ने खोजे, वे वास्तव में मानवीय विविधता को दर्शाते थे।

संक्षेप में
यह शोध पत्र विश्लेषण के एक नए तरीके को प्रस्तुत करता है जो मानव व्यवहार को एक पूर्ण, सरल बॉक्स में फिट करने से रोकता है। एक लचीले, आकार बदलने वाले गणितीय उपकरण का उपयोग करके, यह लोगों के जटिल, बिखरे हुए और विविध समूहों को सटीक रूप से मॉडल कर सकता है, जिससे परीक्षण के प्रश्नों और परीक्षण देने वाले लोगों, दोनों के बेहतर अनुमान प्राप्त होते हैं।

तकनीकी सारांश: सामान्य लेटेंट वितरणों के अंतर्गत मल्टीडायमेंशनल आइटम रिस्पांस थ्योरी (MIRT)

समस्या विवरण
मल्टीडायमेंशनल आइटम रिस्पॉन्स थ्योरी (MIRT) यह मॉडल करने के लिए एक मानक ढांचा है कि कैसे कई लेटेंट लक्षण (latent traits) मिलकर देखे गए आइटम प्रतिक्रियाओं को प्रभावित करते हैं। हालांकि, अधिकांश मौजूदा अनुमान प्रक्रियाएं इस धारणा पर निर्भर करती हैं कि लेटेंट लक्षण वितरण एक मल्टीवेरिएट गौसियन (multivariate Gaussian) वितरण का अनुसरण करता है। हालांकि यह गणनात्मक रूप से सुविधाजनक है, लेकिन यह धारणा अक्सर प्रतिबंधात्मक होती है। व्यवहार में, विषम जनसंख्या, सीलिंग/फ्लोर प्रभावों, या उपसमूह संरचनाओं के कारण लेटेंट वितरण में विषमता (skewness), भारी पूंछ (heavy tails), या बहुविधता (multimodality) हो सकती है। लेटेंट वितरण का गलत निर्धारण (misspecification) आइटम मापदंडों और लेटेंट लक्षणों दोनों के अनुमानों को पक्षपाती बना सकता है, जिससे MIRT मॉडल की व्यावहारिक उपयोगिता सीमित हो जाती है। इसके अलावा, गैर-गौसियन वितरणों (जैसे, पैरामीट्रिक गैर-गौसियन मॉडल, सेमी-पैरामीट्रिक डेंसिटी एस्टीमेशन, या बेयसियन दृष्टिकोण) को संभालने वाली मौजूदा विधियां अक्सर प्रतिबंधात्मक कार्यात्मक रूपों, ट्यूनिंग मापदंडों के प्रति संवेदनशीलता, या उच्च-आयामी सेटिंग्स में खराब स्केलेबिलिटी जैसी सीमाओं से ग्रस्त होती हैं।

कार्यप्रणाली
लेखक MIRT मॉडल के अनुमान के लिए एक डेटा-संचालित, फ्लो-आधारित ढांचे का प्रस्ताव करते हैं जो गैर-गौसियन लेटेंट वितरणों के एक विस्तृत वर्ग को समाहित कर सकता है। मुख्य कार्यप्रणाली में दो प्रमुख घटक शामिल हैं:

फ्लो-आधारित लेटेंट प्रायर (Flow-Based Latent Prior): एक निश्चित गौसियन प्रायर मानने के बजाय, लेटेंट लक्षण वितरण $\pi(\theta)$ को एक सरल बेस गौसियन वितरण के प्रति परिवर्तनीय रूपांतरण (invertible transformation) के रूप में मॉडल किया जाता है। विशेष रूप से, लेटेंट लक्षण $\theta_i$ को $\theta_i = h_\eta(\epsilon_i)$ के माध्यम से उत्पन्न किया जाता है, जहाँ $\epsilon_i \sim N(0, I_K)$ और $h_\eta$ एक न्यूरल नेटवर्क द्वारा पैरामीटराइज्ड एक प्रतिवर्ती रूपांतरण (invertible transformation) है (जिसे "प्रायर फ्लो" कहा जाता है)। यह अनुमत घनत्व (induced density) जटिल संरचनाओं (विषमता, बहुविधता) को पकड़ने में सक्षम बनाता है जबकि 'चेंज-ऑफ-वेरिएबल्स' सूत्र के माध्यम से यह सुलभ रहता है।
कंडीशनल फ्लो पोस्टीरियर सन्निकटन (Conditional Flow Posterior Approximation): मार्जिनल लाइकलीहुड इंटीग्रल्स और पोस्टीरियर वितरण की गणना संबंधी जटिलता को संबोधित करने के लिए, लेखक एक कंडीशनल नॉर्मलाइजिंग फ्लो पेश करते हैं। यह फ्लो, जिसे $\phi$ द्वारा पैरामीटराइज किया गया है, देखे गए रिस्पॉन्स वेक्टर $Y_i$ और एक सहायक गौसियन नॉइज़ वेक्टर $\epsilon_i$ को सीधे लेटेंट स्पेस में मैप करता है: $\theta_i = g_\phi(Y_i, \epsilon_i)$ । यह अनुमानित पोस्टीरियर वितरणों का एक लचीला, डेटा-निर्भर परिवार $q_\phi(\theta | Y_i)$ निर्मित करता है।

अनुमान ढांचा (Estimation Framework)
लेखक आइटम मापदंडों ( $\psi$ ), प्रायर-फ्लो मापदंडों ( $\eta$ ), और पोस्टीरियर-फ्लो मापदंडों ( $\phi$ ) का संयुक्त रूप से अनुमान लगाने के लिए एक स्टोकेस्टिक ऑप्टिमाइजेशन एल्गोरिदम विकसित करते हैं।

ऑब्जेक्टिव फंक्शन: यह विधि मार्जिनल लॉग-लाइकीहुड के एक निचले स्तर (एक एविडेंस लोअर बाउंड या ELBO) को अधिकतम करती है, जिसे इस प्रकार तैयार किया गया है:
$\bar{L}(\psi, \eta, \phi) = \sum_{i=1}^N \mathbb{E}_{\theta_i \sim q_\phi(\cdot|Y_i)} [\log p_\psi(Y_i | \theta_i) + \log \pi_\eta(\theta_i) - \log q_\phi(\theta_i | Y_i)]$
इसमें अपेक्षित कंडीशनल रिस्पॉन्स लॉग-लाइकीहुड, अपेक्षित लॉग-प्रायर डेंसिटी और वेरिएशनल एप्रोक्सिमेशन से प्राप्त एंट्रॉपी टर्म शामिल है।
ऑप्टिमाइजेशन: एक स्टोकेस्टिक फर्स्ट-ऑर्डर ऑप्टिमाइजेशन एल्गोरिदम (AdamW का उपयोग करके) नियोजित किया गया है। एल्गोरिदम अपेक्षाओं (expectations) को अनुमानित करने के लिए मिनीबैच मोंटे कार्लो सैंपलिंग का उपयोग करता है। फ्लो के माध्यम से लेटेंट वेरिएबल्स को री-पैरामीटराइज करके, बैकप्रोपैगेशन के माध्यम से ग्रेडिएंट्स की कुशलतापूर्वक गणना की जा सकती है। यह दृष्टिकोण प्रत्येक व्यक्तिगत के लिए एक अलग डेंसिटी अनुमानित करने की आवश्यकता के बिना, सभी उत्तरदाताओं के लिए एक साझा कंडीशनल डेंसिटी फंक्शन सीखने की अनुमति देता है।

प्रमुख योगदान

लचीला लेटेंट मॉडलिंग: यह ढांचा कठोर गौसियन धारणा को एक लचीले, नॉन-पैरामीट्रिक फ्लो-आधारित प्रतिनिधित्व से बदल देता है, जो विशिष्ट पैरामीट्रिक रूपों या मिश्रण घटकों (mixture components) पर निर्भर किए बिना विषमता, भारी पूंछ और बहुविधता को पकड़ने में सक्षम है।
संयुक्त अनुमान (Joint Estimation): पारंपरिक वेरिएशनल EM दृष्टिकोणों के विपरीत, जो प्रत्येक व्यक्तिगत वेरिएशनल वितरण को अपडेट करने की आवश्यकता रख सकते हैं, यह विधि पोस्टीरियर के लिए एक साझा कंडीशनल फ्लो सीखती है, जिससे आइटम मापदंडों, लेटेंट वितरण और पोस्टीरियर सन्निकटन का स्केलेबल संयुक्त अनुमान संभव होता है।
स्केलेबिलिटी: स्टोकेस्टिक ऑप्टिमाइजेशन और न्यूरल नेटवर्क-आधारित फ्लो का उपयोग इस पद्धति को उच्च-आयामी लेटेंट स्पेस और बड़े डेटासेट तक स्केल करने की अनुमति देता है, जो क्वाड्रचर-आधारित या MCMC-आधारित विधियों की कम्प्यूटेशनल बाधाओं को दूर करता है।

परिणाम
पेपर व्यापक सिमुलेशन अध्ययनों और वास्तविक-डेटा अनुप्रयोग के माध्यम से प्रस्तावित पद्धति का मूल्यांकन करता है:

सिमुलेशन अध्ययन: प्रस्तावित पद्धति की तुलना गौसियन, मिक्सचर गौसियन, और स्टूडेंट-टी लेटेंट वितरणों के तहत MCEM और मेटापोलिस-हैस्टिंग्स रॉबिन्स-मोनरो (MHRM) एल्गोरिदम से की गई।
- जब वास्तविक लेटेंट वितरण गौसियन था, तो प्रस्तावित पद्धति बेंचमार्क विधियों के तुलनीय प्रदर्शन करती है, जिसमें कुछ सेटिंग्स में केवल मामूली RMSE वृद्धि देखी गई।
- जब लेटेंट वितरण गैर-गौसियन (मिक्सचर या हेवी-टेल्ड) था, तो प्रस्तावित पद्धति आइटम पैरामीटर रिकवरी और लेटेंट ट्रेट एस्टीमेशन दोनों के लिए बायस (bias) और RMSE के मामले में MCEM और MHRM की तुलना में काफी बेहतर प्रदर्शन करती है। यह लाभ उच्च-आयामी सेटिंग्स ( $K=10$ ) में विशेष रूप से स्पष्ट था।
वास्तविक डेटा अनुप्रयोग: इस पद्धति को 'बिग फाइव पर्सनैलिटी' डेटासेट ( $N=8,753$ $N = 8, 753$ ) पर लागू किया गया। एक लाइकलीहुड-आधारित परीक्षण ने नॉर्मलिटी के शून्य परिकल्पना को खारिज कर दिया ( $p < 10^{-18}$ $p < 1 0^{- 18}$ )।
- प्रस्तावित पद्धति ने स्पष्ट गैर-गौसियन विशेषताओं (जैसे, बहुविधता और विषमता) वाले लेटेंट ट्रेट वितरणों को प्रकट किया, जिन्हें MCEM और MHRM की गौसियन धारणाओं द्वारा सुचारू (smooth over) कर दिया गया था।
- अनुमानित लेटेंट वितरणों के गौसियन मिक्सचर एप्रोक्सिमेशन ने स्पष्ट उपसमूहों (जैसे, अंतर्मुखी बनाम बहिर्मुखी) की पहचान की, जो मूल लिकर्ट स्केल (Likert scale) पर व्यवस्थित रूप से भिन्न रिस्पॉन्स प्रोफाइल से मेल खाते थे, जो लचीले मॉडलिंग की सारगर्भित प्रासंगिकता को प्रमाणित करते हैं।

महत्व
पेपर का दावा है कि प्रस्तावित ढांचा MIRT अनुमान के लिए एक मजबूत और स्केलेबल समाधान प्रदान करता है जब वास्तविक लेटेंट वितरण अज्ञात हो या नॉर्मलिटी से विचलित होता हो। नॉर्मलाइजिंग फ्लो के माध्यम से लेटेंट वितरण और पोस्टीरियर सन्निकटन को संयुक्त रूप से सीखकर, यह पद्धति वितरण मिसस्पेसिफिकेशन से उत्पन्न होने वाले पक्षपात (bias) को कम करती है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण बड़े पैमाने के साइकोमेट्रिक डेटा के लिए विशेष रूप से मूल्यवान है जहाँ जटिल लेटेंट संरचनाएँ आम हैं, जो कम्प्यूटेशनल व्यवहार्यता से समझौता किए बिना कठोर गौसियन धारणाओं के लिए एक व्यावहारिक विकल्प प्रदान करता है। भविष्य की दिशाओं में फ्लो ट्रांसफॉर्मेशन में कोवेरिएट जानकारी को शामिल करना और फ्रेमवर्क को पोलिटोमस रिस्पॉन्स मॉडल तक विस्तारित करना शामिल है।

इसी तरह के और पेपर