तकनीकी सारांश: असंरचित डेटा से व्याख्यात्मक खोज (Making Interpretable Discoveries from Unstructured Data)

1. समस्या विवरण (Problem Statement)

सामाजिक वैज्ञानिक विशेष रूप से "अनसुपरवाइज्ड" (unsupervised) सेटिंग्स में अनुभवजन्य अंतर्दृष्टि (empirical insights) खोजने के लिए असंरचित डेटा (पाठ, ऑडियो, वीडियो) का उपयोग कर रहे हैं, जहाँ लक्ष्य पूर्व-निर्धारित परिणामों का पूर्वानुमान लगाना नहीं बल्कि खोज (discovery) करना है। ऐसे डेटा का विश्लेषण करने के पारंपरिक दृष्टिकोण अक्सर एक मैनुअल "कोडिंग" प्रक्रिया पर निर्भर करते हैं जहाँ शोधकर्ता पुनरावृत्ति के साथ अवधारणाओं और विषयों को परिभाषित करते हैं। यह शोध पत्र तर्क देता है कि वर्तमान स्थिति चार महत्वपूर्ण दोषों से ग्रस्त है:

1. स्ट्रीटलाइट प्रभाव (The Streetlet Effect): शोधकर्ता केवल स्पष्ट या आसानी से सुलभ अवधारणाओं को ही माप सकते हैं, जिससे वैज्ञानिक रूप से महत्वपूर्ण "अज्ञात अज्ञात" (unknown unknowns) छूट सकते हैं।
2. शोधकर्ता की स्वतंत्रता के स्तर (Researcher Degrees of Freedom): अवधारणाओं की विवेकाधीन परिभाषा से प्रेरित डेटा माइनिंग और चयनात्मक चयन (cherry-picking) का जोखिम पैदा होता है।
3. पोस्ट-सिलेक्शन इन्फरेंस (Post-Selection Inference): एक ही डेटासेट पर परिकल्पनाओं (hypotheses) को परिभाषित करना और फिर उनका परीक्षण करना, यदि सही ढंग से न किया जाए, तो अमान्य सांख्यिकीय निष्कर्षों की ओर ले जाता है।
4. पुनरुत्पादकता (Replicability): मैनुअल कोडिंग महंगी है, इसे दोहराना कठिन है, और यह शोधकर्ता के मनमाने विकल्पों के प्रति संवेदनशील है।

जबकि सैंपल स्प्लिटिंग (एक डेटासेट का उपयोग खोज के लिए और दूसरे का परीक्षण के लिए करना) इन्फरेंस की वैधता को संबोधित करती है, यह सांख्यिकीय शक्ति (statistical power) को कम करती है और शोधकर्ता के विवेक की समस्याओं को पूरी तरह से हल नहीं करती है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र असंरचित डेटा से सांख्यिकीय रूप से सिद्धांतबद्ध और व्याख्यात्मक खोज के लिए एक चार-चरणीय ढांचे का प्रस्ताव करता है। यह ढांचा अवधारणा निष्कर्षण (concept extraction) और मूल्यांकन को स्वचालित करके शोधकर्ता के विवेक के स्तर को न्यूनतम करता है।

चरण 1: अवधारणा एम्बेडिंग बनाना (Creating Concept Embeddings)

असंरचित डेटा बिंदुओं ($Z_i$) को उच्च-आयामी, विरल, बाइनरी वेक्टर्स में मैप किया जाता है जिन्हें कॉन्सेप्ट एम्बेडिंग ($Y_i \in \{0, 1\}^p$) कहा जाता है।

• तंत्र (Mechanism): यह डिक्शनरी लर्निंग मॉडल्स, विशेष रूप से स्पार्स ऑटोएनकोडर (SAEs) का उपयोग करके किया जाता है जो लार्ज लैंग्वेज मॉडल्स (LLMs) पर प्रशिक्षित होते हैं।
• आउटपुट: प्रत्येक तत्व $Y_{ij}$ डेटा बिंदु में एक विशिष्ट "अवधारणा" $j$ की उपस्थिति का बाइनरी संकेतक है। ये अवधारणाएं "मोनोसेमेंटिक" (monosemantic - एक अर्थ वाली) हैं और उन विशेषताओं का विस्तृत विवरण देती हैं जो अंतर्निहित LLM ने प्री-ट्रेनिंग के दौरान सीखी हैं।
• गुणधर्म: ये वेक्टर्स उच्च-आयामी ($p \gg n$, अक्सर $p \approx 10^5$) और विरल (sparse) होते हैं।

चरण 2: अवधारणा-स्तरीय परिकल्पनाओं का निर्माण (Formulating Concept-Level Hypotheses)

शोधकर्ता $p$ परिकल्पना परीक्षण (hypothesis tests) तैयार करता है, जो प्रत्येक अवधारणा संकेतक के लिए एक होता है।

• परिकल्पनाएं: प्रत्येक अवधारणा $j$ के लिए, एक शून्य परिकल्पना $H_{0,j}$ का परीक्षण किया जाता है (उदाहरण के लिए, अवधारणा $j$ के प्रकट होने की संभावना पर औसत उपचार प्रभाव का शून्य होना)।
• लचीलापन: यह ढांचा विभिन्न एस्टिमेंड्स (estimands - जैसे माध्य, रिग्रेशन गुणांक) की अनुमति देता है जो अवधारणा संकेतकों और सह-चरों (covariates) से प्राप्त होते हैं।

चरण 3: उच्च-आयामी बहु-परिकल्पना परीक्षण (High-Dimensional Multiple Hypothesis Testing)

$p \gg n$ सेटिंग और अवधारणाओं के बीच जटिल निर्भरता को संभालने के लिए, यह ढांचा उच्च-आयामी चयनात्मक अनुमान (high-dimensional selective inference) का उपयोग करता है।

• त्रुटि नियंत्रण (Error Control): किसी भी गलत अस्वीकृति के लिए फैमिलीवाइज एरर रेट (FWER) को नियंत्रित करने के बजाय (जो अत्यधिक रूढ़िवादी है), यह विधि $k$-FWER ( $k$ या अधिक गलत अस्वीकृतियों की संभावना) को नियंत्रित करती है।
• एल्गोरिदम: यह रोमानो और वोल्फ [2007] की स्टेप-डाउन प्रक्रियाओं को अपनाता है।
• सैद्धांतिक आधार: उच्च आयामों में इन प्रक्रियाओं की वैधता को रैंडम वेक्टर्स के योग के $k$-वें सबसे बड़े समन्वय (coordinate) के लिए उच्च-आयामी सेंट्रल लिमिट थ्योरी (CLT) के नए परिणामों का उपयोग करके स्थापित किया गया है (जो डिंग एट अल. [2025] और बेललोनी एट अल. [2018] के कार्यों का विस्तार करता है)।
• बूटस्ट्रैप (Bootstrap): स्वतंत्रता की धारणा के बिना निर्भरता संरचनाओं को ध्यान में रखने के लिए क्रिटिकल वैल्यूज को गौसियन मल्टीप्लायर बूटस्ट्रैप का उपयोग करके प्राप्त किया जाता है।

चरण 4: स्वचालित व्याख्याओं का निर्माण और मूल्यांकन (Generating and Evaluating Automatic Interpretations)

चरण 3 का आउटपुट खारिज की गई परिकल्पनाओं (अवधारणाओं के इंडेक्स) का एक सेट है, लेकिन इन इंडेक्सों के पास प्राकृतिक भाषा के विवरण नहीं होते हैं।

• निर्माण: एक "एक्सप्लेनर LLM" को एक प्राकृतिक भाषा विवरण (जैसे, "राजनीति की चर्चा") उत्पन्न करने के लिए उन डेटा बिंदुओं के उदाहरणों के साथ प्रॉम्प्ट किया जाता है जहाँ एक विशिष्ट अवधारणा अत्यधिक सक्रिय होती है।
• मूल्यांकन: इन विवरणों की गुणवत्ता का मूल्यांकन "डिटेक्शन स्कोरिंग" के सांख्यिकीय अनुमान दृष्टिकोण का उपयोग करके किया जाता है। एक होल्ड-आउट डेटासेट का उपयोग जेनरेट किए गए विवरण के आधार पर अवधारणा की उपस्थिति की भविष्यवाणी करने के लिए एक क्लासिफायर (LLM के माध्यम से) को प्रशिक्षित करने के लिए किया जाता है। A-स्कोर (सटीकता) को कॉन्फिडेंस इंटरवल के साथ अनुमानित किया जाता है, जो विवरण की गुणवत्ता का एक मात्रात्मक माप प्रदान करता है।

3. प्रमुख सैद्धांतिक योगदान (Key Theoretical Contributions)

यह शोध पत्र अर्थशास्त्र (econometrics) और सांख्यिकी में कई सैद्धांतिक योगदान देता है:

1. उच्च-आयामी $k$-FWER नियंत्रण: यह उच्च-आयामी सेटिंग ($p \gg n$) के लिए रोमानो और वोल्फ [2007] के स्टेप-डाउन एल्गोरिदम का विस्तार करता है, और सिद्ध करता है कि वे हल्के नियमों के तहत छोटे, स्थिर $k$ के लिए $k$-FWER को आसतत रूप से (asymptotically) नियंत्रित करते हैं।
2. ऑर्डर स्टैटिस्टिक्स के लिए उच्च-आयामी CLT: यह स्वतंत्र रैंडम वेक्टर्स के योग के $k$-वें सबसे बड़े समन्वय के लिए नए उच्च-आयामी CLTs विकसित करता है, जो बेललोनी एट अल. [2018] के "मेनी एप्रोक्सिमेट मीन्स" फ्रेमवर्क और डिंग एट अल. [2025] के ऑर्डर स्टैटिस्टिक्स परिणामों का विस्तार करता है।
3. "एप्रोक्सिमेट मीन्स" पर अनुमान: यह इन प्रक्रियाओं को केवल सटीक सैंपल मीन्स के बजाय उन एस्टिमेटर्स के लिए मान्य बनाता है जो आसतत रूप से रैखिक (asymptotically linear) हैं (जैसे, OLS गुणांक, स्टूडेंटाइज्ड सांख्यिकी)।
4. Autointerp का सांख्यिकीय औपचारिककरण: यह स्वचालित व्याख्या की गुणवत्ता (A-स्cores) के मूल्यांकन के लिए एक औपचारिक सांख्यिकीय ढांचा प्रदान करता है, मूल्यांकन को एक वैध कॉन्फिडेंस इंटरवल के साथ एक कंडीशनल इन्फरेंस समस्या के रूप में मानता है।

4. अनुभवजन्य परिणाम (Empirical Results)

इस ढांचे को अर्थशास्त्र के दो हालिया अध्ययनों के पुनर्मूल्यांकन के लिए लागू किया गया है:

• बर्सटुन एट अल. [2023] (इंफॉर्मेशन ट्रीटमेंट RCT) का पुनर्मूल्यांकन:

  • संदर्भ: पुलिस डिफंडिंग (police defunding) के संबंध में सामाजिक कवर ट्रीटमेंट पर खुले-अंत वाले (open-ended) प्रतिक्रियाओं का विश्लेषण।
  • परिणाम: $k=5$ (5 गलत खोजों की अनुमति देते हुए) का उपयोग करते हुए, ढांचे ने 9 महत्वपूर्ण अवधारणाओं की पहचान की, जबकि सख्त FWER नियंत्रण के तहत केवल 2 मिली थीं।
  • अंतर्दृष्टि: मूल निष्कर्ष (प्रतिष्ठित लेखक स्रोतों के संदर्भों) की पुष्टि करने के अलावा, इसने नई बारीकियों की खोज की: उपचार ने "प्रतिष्ठित लेखक स्रोतों" के उल्लेख को बढ़ाया और "अनिश्चितता/मोडैलिटी" की अभिव्यक्ति को कम किया, जो यह सुझाव देता है कि तंत्र विश्वसनीयता की धारणा पर निर्भर करता है और अटकलों को कम करता है।
  • दक्षता: विश्लेषण एक सिंगल GPU पर लगभग 1 घंटे में स्वचालित रूप से किया गया।

• स्टैन्चेवा [2024] (इन्फ्लेशन एटीट्यूड सर्वे) का पुनर्मूल्यांकन:

  • संदर्भ: "उच्च मुद्रास्फीति का कारण है..." पर खुले-अंत वाले उत्तरों का विश्लेषण।
  • परिणाम: ढांचे ने स्वचालित रूप से 744 व्याख्यात्मक खोजें (interpretable discoveries) खोजीं।
  • अंतर्दृष्टि: इसने बिना किसी मैनुअल कीवर्ड लिस्ट के ज्ञात विषयों (मौद्रिक नीति, लालच, आपूर्ति/मांग) को पुनः प्राप्त किया। इसने उच्च-ए-स्कोर के साथ "व्यक्तिगत अनिश्चितता" और "मैक्रोइकॉनॉमिक इंडिकेटर्स" के बारे में उच्च-आवृत्ति वाली अवधारणाओं को भी सामने लाया।
  • स्केलेबिलिटी: पद्धति ने $n=453$ और $p=3826$ गैर-डीजेनरेट फीचर्स को संभाला, जो छोटे-नमूने वाले सामाजिक विज्ञान डेटा के लिए व्यवहार्यता प्रदर्शित करता है।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह असंरचित डेटा से खोज के लिए एक सामान्य, लचीला और कम लागत वाला ढांचा प्रदान करता है जो पारंपरिक मैनुअल कोडिंग के वैज्ञानिक और सांख्यिकीय दोषों को संबोधित करता है।

• सिद्धांतबद्ध खोज (Principled Discovery): पूर्व-प्रशिक्षित SAEs का लाभ उठाकर, यह ढांचा डेटा पर एक "शक्तिशाली स्ट्रीटलाइट" चमकाता है, जिससे महत्वपूर्ण अवधारणाओं (अज्ञात अज्ञात) को चूकने का जोखिम कम हो जाता है।
• शोधकर्ता की स्वतंत्रता के स्तर में कमी: प्रक्रिया स्वचालित है; शोधकर्ता अवधारणाओं को मैन्युअल रूप से परिभाषित नहीं करता है, जिससे प्रेरित डेटा माइनिंग का जोखिम कम होता है। आवश्यक कुछ विकल्प (जैसे, मॉडल चयन) को प्री-रजिस्टर्ड किया जा सकता है।
• सांख्यिकीय वैधता: यह एकल डेटासेट के भीतर उच्च-आयामी चयनात्मक अनुमान का उपयोग करके पोस्ट-सिलेक्शन इन्फरेंस की समस्या को हल करता है, जिससे सैंपल स्प्लिटिंग से जुड़ी शक्ति की हानि से बचा जा जा सकता है।
• व्याख्यात्मकता और मूल्यांकन: यह उच्च-आयामी AI फीचर्स और मानव समझ के बीच के अंतर को पाटता है, प्राकृतिक भाषा विवरण उत्पन्न करता है और महत्वपूर्ण रूप से, उन विवरणों की गुणवत्ता के लिए सांख्यिकीय रूप से वैध स्कोर प्रदान करता है।
• पुनरुत्पादकता: इस ढांचे को आसानी से पुनरुत्पादक बनाने के लिए डिज़ाइन किया गया है और यह मॉडल चयन और हाइपरपैरामीटर के संबंध में त्वरित संवेदनशीलता विश्लेषण (sensitivity analysis) की अनुमति देता है।

लेखक इस ढांचे को सभी मौजूदा विधियों के प्रतिस्थापन के रूप में नहीं, बल्कि एक पूरक उपकरण के रूप में प्रस्तुत करते हैं जो उन सेटिंग्स में कठोर, खुले-अंत वाली खोज को सक्षम करता है जहाँ पारंपरिक परिकल्पना निर्माण कठिन या पूर्वाग्रह के अधीन होता है।