📊 statistics

Heterogeneous Ordinal Structure Learning with Bayesian Nonparametric Complexity Discovery

यह शोध पत्र एक विषम क्रमिक संरचना-शिक्षण ढांचे (heterogeneous ordinal structure-learning framework) को प्रस्तुत करता है जो एआई के प्रति विविध सार्वजनिक दृष्टिकोणों को बेहतर ढंग से मॉडल करने के लिए बेयसियन गैर-पैरामीट्रिक जटिलता खोज (Bayesian nonparametric complexity discovery) को पुष्ट क्लस्टर-विशिष्ट DAG अनुमान (confirmatory cluster-specific DAG estimation) के साथ जोड़ता है, जो एक बड़े पैमाने के सर्वेक्षण डेटासेट पर मौजूदा एकल-ग्राफ और केवल-मिश्रण बेसलाइन की तुलना में महत्वपूर्ण भविष्य कहनेवाला सुधार प्रदर्शित करता है।

मूल लेखक: Amir Rafe, Subasish Das

प्रकाशित 2026-05-07

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Amir Rafe, Subasish Das

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।

बड़ी तस्वीर: क्यों एक ही पैमाना सबके लिए सही नहीं होता

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि आर्टिफिशियल इंटेलिजेंस (AI) के बारे में लोगों का समूह कैसा महसूस करता है। आप उनसे कुछ सवाल पूछते हैं, जैसे "क्या आप AI पर भरोसा करते हैं?" या "क्या आप चाहते हैं कि सरकार इसे विनियमित (regulate) करे?"

अधिकांश शोधकर्ता पूरे समूह को एक ही बड़े भीड़ के रूप में देखते हैं। वे मान लेते हैं कि यदि आप 5,000 लोगों से एक ही सवाल पूछते हैं, तो हर कोई एक ही तरह से सोच रहा है, बस तीव्रता का स्तर अलग-अलग है। यह ऐसा है जैसे यह मान लेना कि एक कमरे में मौजूद हर व्यक्ति एक ही गाना गा रहा है, बस कुछ लोग ज़ोर से और कुछ धीरे गा रहे हैं।

समस्या: यह शोध पत्र तर्क देता है कि यह धारणा गलत है। वास्तव में, वह कमरा अलग-अलग "कोरल" (choirs) से भरा हुआ है। एक समूह सोच सकता है, "यदि मैं AI पर भरोसा करता हूँ, तो मैं कम विनियमन चाहता हूँ।" दूसरा समूह सोच सकता है, "यदि मैं AI पर भरोसा करता हूँ, तो सुरक्षा के लिए मैं अधिक विनियमन चाहता हूँ।" यदि आप इन सभी अलग-अलग समूहों को एक औसत गाने में मिला देते हैं, तो आप वास्तविक धुन को खो देते हैं। आप एक भ्रमित करने वाला शोर पैदा करते हैं जो किसी भी एकल समूह का सटीक वर्णन नहीं करता।

समाधान: एक "डिस्कवरी-टू-कन्फर्मेशन" वर्कफ़्लो (खोज-से-पुष्टि प्रक्रिया)

लेखकों ने इन छिपे हुए "कोरल" (जिसे वे आर्केटाइप्स/archetypes कहते हैं) को खोजने और उनके विचारों के बीच के संबंध को मैप करने के लिए एक नया तरीका बनाया। उन्होंने इसे तीन चरणों में किया:

1. भाषा का अनुवाद (एम्बेडिंग - The Embedding)

सर्वेक्षण के उत्तर "ऑर्डिनल" (ordinal) होते हैं, जिसका अर्थ है कि वे क्रमबद्ध हैं (जैसे, "दृढ़ता से असहमत," "असहमत," "तटस्थ," "सहमत")। आप इन्हें केवल एक पैमाने पर संख्याओं की तरह नहीं मान सकते क्योंकि उनके बीच का अंतर समान नहीं होता।

उपमा: कल्पना कीजिए कि आप रबर बैंड से बने एक पैमाने का उपयोग करके लोगों की ऊंचाई मापने की कोशिश कर रहे हैं जो किसे माप रहे हैं उसके आधार पर अलग-अलग तरह से खिंचते हैं। लेखकों ने एक विशेष "अनुवादक" बनाया जो इन रबर-बैंड वाले उत्तरों को एक मानक, कठोर पैमाने (Gaussian scores) में बदल देता है ताकि गणित बिना अर्थ को विकृत किए सही ढंग से काम कर सके।

2. "डिस्कवरी" चरण (डेटा को बोलने देना)

सबसे पहले, उन्होंने कंप्यूटर को यह अनुमान लगाने के लिए स्वतंत्र छोड़ दिया कि कितने अलग-अलग समूह मौजूद हैं। उन्होंने "ट्रंकेटेड स्टिक-ब्रेकिंग प्रायर" (truncated stick-breaking prior) नामक एक सांख्यिकीय तकनीक का उपयोग किया।

उपमा: कल्पना कीजिए कि आपके पास एक लंबी छड़ी (जो पूरी आबादी का प्रतिनिधित्व करती है) है। आप इसे टुकड़ों में तोड़ते हैं ताकि यह देखा जा सके कि कितने अलग-अलग समूह स्वाभाविक रूप से बनते हैं। कंप्यूटर कई तरीकों से छड़ी तोड़ने की कोशिश करता है और देखता है कि कौन से टुकड़े वास्तविक समूहों के रूप में पर्याप्त बड़े हैं।
परिणाम: कंप्यूटर ने सुझाव दिया कि लगभग 5 विशिष्ट समूह थे। हालाँकि, लेखक जानते थे कि कंप्यूटर कभी-कभी बहुत उत्साहित हो सकता है और छड़ी को बहुत सारे छोटे, अर्थहीन टुकड़ों में तोड़ सकता है।

3. "कन्फर्मेशन" चरण (वास्तविकता की जाँच)

यह इस शोध पत्र का सबसे महत्वपूर्ण नवाचार है। केवल यह रिपोर्ट करने के बजाय कि कंप्यूटर ने क्या अनुमान लगाया, उन्होंने उस अनुमान (5 समूह) को लिया और यह पुष्टि करने के लिए एक सख्त परीक्षण किया कि क्या समूहों की संख्या सही थी।

उपमा: सोचिए कि "डिस्कवरी" चरण एक जासूस है जो सुराग ढूंढ रहा है और अनुमान लगा रहा है कि 5 संदिग्ध हैं। "कन्फर्मेशन" चरण वह जासूस है जो वापस अपराध स्थल पर जाता है यह देखने के लिए कि क्या सबूत वास्तव में ठीक 5 संदिग्धों के लिए खड़े होते हैं, न कि 4 या 6 के लिए। उन्होंने विभिन्न संख्याओं का परीक्षण किया और पाया कि 5 वास्तव में वह 'स्वीट स्पॉट' था जो उत्तरों का सबसे अच्छा पूर्वानुमान लगाता था।

उन्होंने क्या पाया: पाँच अलग-अलग "मानसिकताएँ"

जब उन्होंने 5 पुष्ट समूहों को देखा, तो उन्होंने केवल अलग-अलग औसत राय नहीं देखी। उन्होंने पाया कि विचारों को जोड़ने वाला तर्क (logic) प्रत्येक समूह के लिए अलग था।

समूह 1 और 2 (दो बड़े समूह): ये सबसे बड़े समूह थे। भले ही उनकी औसत राय समान थी, लेकिन उनके विश्वासों के जुड़ने का तरीका अलग था। एक समूह के लिए, "AI में विश्वास" और "विनियमन की इच्छा" आपस में मजबूती से जुड़े थे। दूसरे के लिए, ये दोनों विचार पूरी तरह से अलग थे।
समूह 3 और 4 (नियामक/Regulators): ये छोटे समूह विनियमन को लेकर जुनूनी थे। उनका दिमाग इस तरह से बना था कि विश्वास और विनियमन एक अनूठे तरीके से गहराई से जुड़े हुए थे।
समूह 5 (आउटलेयर्स/Outliers): एक छोटा समूह जिसका कोई जुड़ा हुआ तर्क नहीं था; उनके उत्तर बेतरतीब या असंबद्ध लग रहे थे।

मुख्य अंतर्दृष्टि: यदि आपने केवल "औसत" व्यक्ति को देखा होता, तो आप इस बात को मिस कर देते कि ये समूह मौलिक रूप से अलग तरह से सोचते हैं। एक समूह विश्वास और विनियमन को साथी के रूप में देखता है; दूसरा उन्हें अजनबी के रूप में देखता है।

क्या यह काम कर गया? (प्रमाण)

लेखकों ने अपने तरीके का परीक्षण डेटा विश्लेषण के दो अन्य तरीकों के विरुद्ध किया:

सिंगल ग्राफ (The Single Graph): यह मानना कि सभी एक ही तरह से सोचते हैं।
मिक्सचर ओनली (The Mixture Only): लोगों को उनके औसत उत्तरों के आधार पर समूह बनाना, लेकिन यह मानना कि वे सभी तार्किक रूप से एक ही तरह से सोचते हैं।

परिणाम: उनका नया तरीका काफी बेहतर था। इसने "सिंगल ग्राफ" पद्धति की तुलना में नए प्रश्नों के उत्तर देने की भविष्यवाणी 25.8% बेहतर तरीके से की और "मिक्सचर ओनली" पद्धति की तुलना में 4.6% बेहतर तरीके से की।

उन्होंने एक "नकली" डेटासेट भी बनाया जहाँ वे पहले से ही उत्तर जानते थे (एक सेमी-सिंथेटिक बेंचमार्क)। उनके तरीके ने छिपे हुए समूहों और सही तर्क को सफलतापूर्वक खोज लिया, जिससे यह साबित हुआ कि यह केवल एक इत्तेफाक नहीं था।

निचोड़ (Bottom Line)

यह शोध पत्र सर्वेक्षण डेटा का विश्लेषण करने का एक स्मार्ट तरीका पेश करता है। सभी को एक ही बॉक्स में डालने के बजाय, यह छिपे हुए उप-समूहों को खोजता है और उनके अद्वितीय "लॉजिक मैप्स" को मैप करता है। यह पहले यह पता लगाकर करता है कि कितने समूह मौजूद हैं और फिर यह सुनिश्चित करने के लिए उस संख्या का कड़ाई से परीक्षण करता है कि परिणाम स्थिर और विश्वसनीय हैं।

यह शोध पत्र क्या दावा नहीं करता है:

यह AI नीति को हल करने या सरकारों को क्या करना है, यह बताने का दावा नहीं करता है।
यह भविष्य के AI की भविष्यवाणी करने का दावा नहीं करता है।
यह दावा नहीं करता है कि ये समूह स्थायी हैं या वे पूरी अमेरिकी आबादी का प्रतिनिधित्व करते हैं (यह एक विशिष्ट सर्वेक्षण पर आधारित है)।
यह इन दृष्टिकोणों के "कारण" को खोजने का दावा नहीं करता है, बल्कि केवल यह कि दृष्टिकोण आपस में कैसे जुड़े हुए हैं।

तकनीकी सारांश: बेयसियन नॉनपैरामेट्रिक कॉम्प्लेक्सिटी डिस्कवरी के साथ हेट्रोजेनियस ऑर्डिनल स्ट्रक्चर लर्निंग

समस्या विवरण
आर्टिफिशियल इंटेलिजेंस (AI) के प्रति सार्वजनिक दृष्टिकोण को तेजी से बड़े पैमाने पर ऑर्डिनल सर्वे बैटरियों के माध्यम से मापा जा रहा है। मानक विश्लेषणात्मक दृष्टिकोण दो महत्वपूर्ण सरलीकरण धारणाओं से ग्रस्त हैं: (1) जनसंख्या एक साझा निर्भरता संरचना (एक साझा निर्देशित अचक्रीय ग्राफ या DAG) साझा करती है, और (2) ऑर्डिनल प्रतिक्रियाओं को बिना निर्भरता अनुमान को विकृत किए निरंतर (continuous) माना जा सकता है। लेखक तर्क देते हैं कि ये धारणाएं त्रुटिपूर्ण हैं। यदि उप-जनसंख्याएं इस बात में भिन्न हैं कि विश्वास, विनियमन और कथित लाभ कैसे परस्पर क्रिया करते हैं, तो एक एकल साझा ग्राफ प्रत्येक समूह का गलत चित्रण करता है। इसके अलावा, मौजूदा विधियाँ या तो एक साझा ऑर्डिनल ग्राफ सीखती हैं, या क्लस्टर-विशिष्ट निर्भरता संरचनाओं का अनुमान लगाने के बजाय सबग्रुप डिस्कवरी पर ध्यान केंद्रित करती हैं, या लेटेंट प्रोफाइल विश्लेषण के पक्ष में निर्भरता संरचना को पूरी तरह त्याग देती हैं। हेट्रोजेनियस ऑर्डिनल संरचनाओं को सीखने और उन्हें रक्षात्मक रूप से रिपोर्ट करने के लिए एक स्थिर वर्कफ़्लो की आवश्यकता है।

कार्यप्रणाली
यह शोध पत्र हेट्रोजेनियस ऑर्डिनल स्ट्रक्चर लर्निंग के लिए एक तीन-चरणीय ढांचे का प्रस्ताव करता है, जो "डिस्कवरी-टू-कन्फर्मेशन" वर्कफ़्लो के इर्द-गिर्द व्यवस्थित है:

मोनोटोन गॉसियन स्कोर एम्बेडिंग:
डेटा को विकृत किए बिना ऑर्डिनल डेटा को संभालने के लिए, यह विधि ऑर्डिनल आइटम्स को एक मोनोटोन गॉसियन स्कोर स्पेस में एम्बेड करती है। प्रत्येक आइटम $j$ के लिए जिसमें $c$ श्रेणियां हैं, अनुभवजन्य श्रेणी द्रव्यमान (empirical category mass) $p_{jc}$ का उपयोग एक संचयी मिडपॉइंट $u_{jc}$ को परिभाषित करने के लिए किया जाता है। श्रेणी स्कोर की गणना $s_j(c) = \Phi^{-1}(u_{jc})$ के रूप में की जाती है, जहाँ $\Phi^{-1}$ मानक सामान्य क्वांटाइल फंक्शन है। यह रूपांतरण श्रेणी क्रम और स्पियरमैन रैंक सहसंबंधों को सुरक्षित रखता है और लगभग मानक-सामान्य मार्जिनल्स उत्पन्न करता है, जिससे MCMC-आधारित लेटेंट वेरिएबल मॉडलों की कम्प्यूटेशनल लागत के बिना स्पार्स गॉसियन DAG अनुमान का उपयोग करना संभव हो जाता है।
बेयसियन नॉनपैरामेट्रिक (BNP) कॉम्प्लेक्सिटी डिस्कवरी:
लैटेंट आर्कटाइप्स की संख्या ( $K$ ) को पूर्व-निर्धारित करने के बजाय डेटा से सीखा जाता है। लेखक एक डिरिचलेट प्रोसेस (DP) मिश्रण के ट्रंकेटेड स्टिक-ब्रेकिंग रिप्रेजेंटेशन का उपयोग करते हैं। यह चरण एक पूर्ण 'मिक्सचर-ऑफ-DAGs' मॉडल को फिट करता है जहाँ प्रत्येक घटक का अपना स्पार्स लीनियर-गॉसियन DAG होता है। एल्गोरिदम एक E-स्टेप (सॉफ्ट रिस्पॉन्सिबिलिटीज़ को अपडेट करना) और एक M-स्टेप (एक ग्रीडी BIC-स्कोर वाले सर्च का उपयोग करके क्लस्टर-विशिष्ट DAG को रिफिट करना) के बीच बारी-बारी से कार्य करता है। यह नॉनपैरामेट्रिक चरण यह देखकर संभावित आर्कटाइप कॉम्प्लेक्सिटी की खोज करता है कि कितने घटकों को गैर-नगण्य द्रव्यमान प्राप्त होता है।
कन्फर्मेटरी फिक्स्ड- $K$ एस्टीमेशन:
यह पहचानते हुए कि व्यावहारिक रूप से नॉनपैरामेट्रिक फिट्स ओवर-स्प्लिट कर सकते हैं, ढांचा एक कन्फर्मेटरी चरण पेश करता है। BNP चरण से प्राप्त कॉम्प्लेक्सिटी अनुमान का उपयोग गाइड के रूप में करते हुए, लेखक एक निश्चित $K^*$ चुनने के लिए इनर-वैलिडेटेड मॉडल सिलेक्शन करते हैं। विशेष रूप से, वे एक ग्रिड (जैसे, $\{2, 3, 4, 5, 6\}$ ) से $K^*$ का चयन करते हैं जो होल्डआउट ट्रांसफॉर्मड-स्कोर MSE को कम करता है। एक अंतिम मॉडल को पूरे सैंपल पर ठीक $K^*$ घटकों के साथ रिफिट किया जाता है ताकि स्थिर, व्याख्या योग्य आर्कटाइप DAGs और प्रोफाइल्स तैयार किए जा सकें।

प्रमुख योगदान
यह शोध पत्र तीन प्राथमिक योगदान देता है:

हेट्रोजेनियस ऑर्डिनल स्ट्रक्चर लर्निंग: यह मोनोटोन स्कोर एम्बेडिंग को क्लस्टर-विशिष्ट ग्राफों के साथ जोड़कर ऑर्डिनल स्ट्रक्चर लर्निंग को सबग्रुप-विशिष्ट स्पार्स DAGs तक विस्तारित करता है, जो उन मौजूदा ऑर्डिनल BN विधियों की सीमा को संबोधित करता है जो एक साझा ग्राफ मानती हैं।
डिस्कवरी-टू-कन्फर्मेशन रणनीति: यह एक ऐसा वर्कफ़्लो पेश करता है जो संभावित कॉम्प्लेक्सिटी को कैलिब्रेट करने के लिए BNP चरण का उपयोग करता है और रिपोर्टिंग के लिए इनर-वैलिडेटेड फिक्स्ड- $K$ रिफिट का उपयोग करता है। यह कच्चे नॉनपैरामेट्रिक फिट्स की अस्थिरता और $K$ को पूर्व-निर्धारित करने की मनमानी प्रक्रिया से बचाता है।
अनुभवजन्य सत्यापन: यह 2024 पीव अमेरिकन ट्रेंड्स पैनल (ATP) वेव 152 (N=4,788) और एक नियंत्रित सेमी-सिंथेटिक बेंचमार्क पर प्रदर्शित करता है कि प्रस्तावित दृष्टिकोण व्याख्या योग्य आर्कटाइप्स को रिकवर करता है, मजबूत बेसलाइन्स की तुलना में प्रेडिक्टिव फिट में सुधार करता है, और स्पष्ट रूप से अपनी स्थिरता सीमाओं को प्रकट करता है।

परिणाम

वास्तविक दुनिया का डेटा (Pew W152): कन्फर्मेटरी $K^*=5$ मॉडल ने सिंगल-ग्राफ बेसलाइन की तुलना में होल्डआउट ट्रांसफॉर्मड-स्कोर MSE को 25.8% कम किया और एक मिक्सचर-ओनली क्लस्टरिंग मॉडल (जिसमें क्लस्टर-विशिष्ट DAGs का अभाव है) की तुलना में 4.6% कम किया।
आर्कटाइप डिस्कवरी: मॉडल ने पांच विशिष्ट आर्कटाइप्स की पहचान की। दो सबसे बड़े समूहों (लगभग 37% प्रत्येक) में ग्राफ घनत्व और एज कॉन्फ़िगरेशन दोनों में अंतर पाया गया। रेगुलेटरी-केंद्रित उप-समूहों ने विशिष्ट ट्रस्ट-रेगुलेशन लिंकेज दिखाए, जबकि एक छोटा चरम समूह न्यूनतम डिपेंडेंसी स्ट्रक्चर प्रदर्शित करता है। महत्वपूर्ण रूप से, विषमता (heterogeneity) न केवल औसत प्रतिक्रिया स्तरों में, बल्कि अंतर्नियुक्त निर्भरता संरचनाओं (जैसे, विश्वास के आइटम्स रेगुलेशन के आइटम्स से कैसे संबंधित हैं) में भी पाई गई।
सेमी-सिंथेटिक बेंचमार्क: W152 संरचना के अनुरूप एक टियर्ड बेंचमार्क (ईजी, मॉडरेट, हार्ड, स्ट्रेस) ने रिकवरेबल रेजीम्स में ज्ञात संरचनाओं को रिकवर करने की विधि की क्षमता को मान्य किया। "स्ट्रेस" स्थितियों (न्यूनतम सिग्नल) में, सभी विधियाँ ईमानदारी से विफल रहीं (निकट-शून्य ARI), जो यह दर्शाता है कि फ्रेमवर्क वहां संरचना का निर्माण नहीं करता जहां कोई संरचना नहीं है।
संवेदनशीलता (Sensitivity): मॉडल DP कंसंट्रेशन पैरामीटर ( $\alpha$ ) और आइटम-सेट परिवर्तनों के प्रति मजबूती दिखाता है। हालांकि, एक बड़ा न्यूनतम क्लस्टर आकार ( $n_{min} \ge 500$ ) थोपने से प्रदर्शन में गिरावट आई, जो इंगित करता है कि छोटे लेकिन वास्तविक आर्कटाइप्स सार्थक सिग्नल में योगदान देते हैं।

महत्ता और दावे
शोध पत्र का दावा है कि सार्वजनिक AI दृष्टिकोणों को एक एकल प्रो-वर्सेस-एंटी अक्ष या एक एकल डिपेंडेंसी ग्राफ द्वारा संक्षिप्त नहीं किया जा सकता है। इसके बजाय, समान औसत दृष्टिकोण वाली उप-जनसंख्याएं इस बात में भिन्न हो सकती हैं कि उनके विश्वास कैसे व्यवस्थित हैं (अर्थात, उनकी निर्भरता संरचनाएं)। प्रस्तावित वर्कफ़्लो इन संरचनात्मक अंतरों को उजागर करने के लिए एक रक्षात्मक विधि प्रदान करता है।

लेखक अपने दावों के दायरे के बारे में विनम्र हैं। वे स्पष्ट रूप से कहते हैं:

सीखे गए DAGs निर्भरता सारांश हैं, न कि क्रॉस-सेक्शनल डेटा के कारण कारण (causal) या अनुदैर्ध्य (longitudinal) ग्राफ।
स्ट्रक्चरल एस्टिमेटर पूरी तरह से सर्वे-वेटेड नहीं है; एज-लेवल निष्कर्ष डिजाइन-आधारित जनसंख्या मापदंडों के बजाय स्थिर पैटर्न डिस्कवरी का प्रतिनिधित्व करते हैं।
डिटरमिनिस्टिक एम्बेडिंग थ्रेशोल्ड अनिश्चितता को प्रसारित नहीं करता है।
सबसे छोटा आर्कटाइप (आर्कटाइप 5) रिसैंपलिंग के तहत अधिक नाजुक है।
यह विधि मध्यम आकार की ऑर्डिनल बैटरियों के लिए सबसे उपयुक्त है जिनमें सारगर्भित (substantively coherent) आइटम्स हों; बड़े इंस्ट्रूमेंट्स या अत्यधिक विसरित क्लस्टर संरचनाओं के लिए आगे के रेगुलराइजेशन और मिसिंग-डेटा उपचार की आवश्यकता होगी।

अंततः, यह शोध पत्र स्वयं को एक व्यावहारिक पाइपलाइन के रूप में प्रस्तुत करता है जहाँ उप-समूह-विशिष्ट निर्भरता, उप-समूह माध्यों जितने ही महत्वपूर्ण होने के बजाय, सार्वभौमिक समाधान के बजाय महत्वपूर्ण होती है।