Measuring What Cannot Be Surveyed: LLMs as Instruments for Latent Cognitive Variables in Labor Economics

यहाँ क्रिस्टियन एस्पिनल माया के वर्किंग पेपर "Measuring What Cannot Be Surveyed: LLMs as Instruments for Latent Cognitive Variables in Labor Economics" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या: अंतर्निहित संज्ञानात्मक चरों (Latent Cognitive Variables) का मापन

अर्थशास्त्र एक निरंतर चुनौती का सामना कर रहा है: अंतर्निहित चरों (latent variables) का मापन—ऐसे निर्माण (constructs) जो सैद्धांतिक रूप से केंद्रीय हैं लेकिन सर्वेक्षणों या प्रशासनिक डेटा में सीधे देखे नहीं जा सकते। एक प्रमुख उदाहरण व्यावसायिक कार्यों की संज्ञानात्मक सामग्री (cognitive content of occupational tasks) है (जैसे, रूटीन सूचना प्रसंस्करण और प्रासंगिक निर्णय के बीच अंतर करना, या यह निर्धारित करना कि कोई कार्य AI द्वारा 'संवर्धित' (augmentable) होने के बजाय कितना 'प्रतिस्थापनीय' (substitutable) है)।

मौजूदा मापन दृष्टिकोण महत्वपूर्ण सीमाओं से ग्रस्त हैं:

• विशेषज्ञ पैनल (जैसे, O*NET): महंगे, धीमे, और नवीन निर्माणों के लिए कम अंतर-रेटिंग विश्वसनीयता (inter-rater reliability) के प्रति संवेदनशील।
• क्राउडसोर्सिंग (Crowdsourcing): तेज़ है लेकिन इसमें गैर-विशेषज्ञ शोर (non-expert noise) शामिल होता है।
• पेटेंट/कीवर्ड मिलान: यह तकनीकी क्षमता के आधार पर अप्रत्यक्ष प्रॉक्सी प्रदान करता है, न कि प्रत्यक्ष अर्थ संबंधी कार्य सामग्री के आधार पर, जिससे "संवर्धन" (augmentation) बनाम "प्रतिस्थापन" (substitution) जैसे सूक्ष्म अंतर को पकड़ने में विफलता होती है।

यह शोध पत्र व्यावसायिक कार्यों की अर्थ संबंधी सामग्री (semantic content) को मात्रात्मक बनाने के लिए एक स्केलेबल, लागत प्रभावी और सैद्धांतिक रूप से वैध विधि की आवश्यकता को संबोधित करता है।

2. कार्यप्रणाली: आर्थिक उपकरण के रूप में LLMs (LLMs as Econometric Instruments)

लेखक एक ऐसे ढांचे का प्रस्ताव करते हैं जिसमें लार्ज लैंग्वेज मॉडल्स (LLMs) को केवल स्कोरिंग टूल के रूप में ही नहीं, बल्कि अंतर्निहित चरों के लिए इकोनोमेट्रिक इंस्ट्रूमेंट्स (econometric instruments) के रूप में माना जाता है। मुख्य नवाचार उन चार वैधता शर्तों का औपचारिककरण है जिनके तहत LLM-जनित स्कोर का उपयोग प्रतिगमन विश्लेषण (regression analyses) में किया जा सकता है।

चार वैधता शर्तें

1. सिमेंटिक एक्सोजेनिटी (Semantic Exogeneity): LLM प्रॉम्प्ट को केवल कार्य की अर्थ संबंधी सामग्री (विवरण, कौशल) को संदर्भित करना चाहिए और श्रम बाजार के परिणामों (मजदूरी, रोजगार) को सख्ती से बाहर रखना चाहिए। यह सुनिश्चित करता है कि मापन त्रुटि (measurement error) परिणाम समीकरण की त्रुटि के लंबवत (orthogonal) है ($Cov(\eta, \epsilon) = 0$)।
2. कंस्ट्रक्ट रेलेवेंस (Construct Relevance): LLM स्कोर का अंतर्निहित चर के साथ सहसंबंध होना चाहिए। इसे अभिसारी वैधता (convergent validity), भविष्य कहनेवाला वैधता (predictive validity), और फेस वैलिडिटी (face validity) के माध्यम से स्थापित किया जाता है।
3. मोनोटोनिसिटी (Monotonicity): उच्च LLM स्कोर का उच्च स्तर के अंतर्निहित चर के अनुरूप होना चाहिए ($\partial \hat{H}/\partial H^* > 0$), जिससे प्रतिगमन संकेत (regression signs) व्याख्या योग्य रहें।
4. मॉडल इनवेरिएंस (Model Invariance): विभिन्न LLM मॉडलों के बीच व्यवसायों की रैंकिंग सुसंगत रहनी चाहिए, भले ही उनके पूर्ण स्तर (means) भिन्न हों।

अनुप्रयोग: संवर्धित मानव पूंजी सूचकांक (AHCo)

• डेटा: O*NET (संस्करण 30.2) से 18,796 अद्वितीय कार्य विवरण।
• स्कोरिंग: कार्यों को दो आयामों पर Claude Haiku 4.5 द्वारा स्कोर किया गया:
  • संवर्धन क्षमता (Augmentation Potential - $a_{ok}$): AI एक पूरक उपकरण के रूप में कितनी मदद कर सकता है।
  • प्रतिस्थापन जोखिम (Substitution Risk - $s_{ok}$): AI मानव को कितनी पूरी तरह से बदल सकता है।
• एकत्रीकरण (Aggregation): व्यवसाय-स्तरीय सूचकांक कार्य स्कोर के महत्व-भारित औसत (importance-weighted averages) हैं।
• वैलिडेशन सैंपल: अंतर-रेटिंग विश्वसनीयता का परीक्षण करने के लिए एक 20% उप-नमूने ($n=3,666$) को स्वतंत्र रूप से Claude Sonnet 4 द्वारा पुनः स्कोर किया गया।

3. मुख्य योगदान

1. सैद्धांतिक औपचारिककरण: यह शोध पत्र उन चार कठोर शर्तों (सिमेंटिक एक्सोजेनिटी, कंस्ट्रक्ट रेलेवेंस, मोनोटोनिसिटी, मॉडल इनवेरिएंस) को स्थापित करता है जो LLM आउटपुट को वैध आर्थिक उपकरणों के रूप में उपयोग करने के लिए आवश्यक हैं।
2. अनुभवजन्य सत्यापन (Empirical Validation): यह AHCo का छह मौजूदा AI एक्सपोजर इंडेक्स (Felten, Eloundou, Webb, Frey-Osborne, Eisfeldt) के विरुद्ध मूल्यांकन करके इन शर्तों का व्यापक मूल्यांकन प्रदान करता है।
3. इकोनोमेट्रिक लक्षण वर्णन: यह प्रदर्शित करता है कि LLM-जनित स्कोर एक शास्त्रीय मापन त्रुटि संरचना (classical measurement error structure) का पालन करते हैं। यह अटेंशन बायस (attenuation bias) को ठीक करने के लिए ओब्वियसली रिलेटेड इंस्ट्रुमेंटल वेरिएबल्स (ORIV) अनुमान के अनुप्रयोग की अनुमति देता है, जो एक मानक तकनीक है जिसे आमतौर पर मानव सर्वेक्षण डेटा के लिए आरक्षित किया जाता है।

4. मुख्य परिणाम

वैधता और विश्वसनीयता

• अभिसारी वैधता (Convergent Validity): AHCo स्थापित सूचकांकों के साथ मजबूत सहसंबंध दिखाता है, विशेष रूप से Eloundou GPT-$\gamma$ ($r=0.85$) और Felten AIOE ($r=0.79$) के साथ।
• विभेदक वैधता (Discriminant Validity): सूचकांक प्रत्यक्ष स्वचालन (automation) उपायों के साथ कमजोर रूप से सहसंबंधित है ($r=0.21$ Eloundou $\alpha$ के साथ), जो पुष्टि करता है कि "संवर्धन" और "प्रतिस्थापन" अलग-अलग निर्माण हैं।
• आयामीता (PCA): 11 सूचकांकों के प्रिंसिपल कंपोनेंट एनालिसिस (PCA) से दो अलग-अलग आयाम प्रकट होते हैं:
  • PC1 (62% विचरण): सामान्य "संज्ञानात्मक AI प्रासंगिकता"।
  • PC2 (15% विचरण): "संवर्धन बनाम प्रतिस्थापन"। AHCo का PC2 पर नकारात्मक भार है, जो पुष्टि करता है कि यह विशेष रूप से संवर्धन आयाम को पकड़ता है।
• अंतर-रेटर विश्वसनीयता (Inter-Rater Reliability):
  • Claude Haiku और Sonnet के बीच: Pearson $r = 0.76$, Krippendorff's $\alpha = 0.71$ (मीन-समायोजित)।
  • लेवल बायस (Level Bias): Sonnet के स्कोर व्यवस्थित रूप से Haiku से अधिक (+8.6 अंक) थे, लेकिन यह बायस स्कोर रेंज में स्थिर था (Bland-Altman plot), जो प्रस्ताव 1 (स्तर का बायस मानक प्रतिगमन गुणांकों को प्रभावित नहीं करता है) को संतुष्ट करता है।
  • प्रॉम्प्ट संवेदनशीलता: हालांकि प्रॉम्प्ट की शब्दावली पूर्ण पैमाने (absolute scale) को प्रभावित करती है, कार्य-स्तरीय विचरण प्रॉम्प्ट-प्रेरित विचरण पर हावी रहता है, और रैंकिंग सुसंगत रहती है।

इकोनोमेट्रिक गुण

• मापन त्रुटि सुधार: मॉडलों के बीच असहमति शास्त्रीय अटेंशन (classical attenuation) के अनुरूप है।
• ORIV अनुमान: एक संवर्धित मिन्सर वेज समीकरण (Mincer wage equation) में Haiku स्कोर के लिए Sonnet स्कोर को एक इंस्ट्रूमेंट के रूप में उपयोग करते हुए:
  • ORIV गुणांक ($\beta = 0.100$) OLS गुणांक ($\beta = 0.080$) से 25% बड़ा था, जिसने सफलतापूर्वक अटेंशन बायस को ठीक किया।
  • परिणाम पिछले साहित्य के बाहरी IV अनुमानों के साथ मेल खाते हैं, जो LLM दृष्टिकोण को मान्य करते हैं।
• भविdt शक्ति (Predictive Power): एक "हॉर्स रेस" प्रतिगमन में, मौजूदा इंडेक्स (जैसे Frey-Osborne) में AHCo को जोड़ने से $R^2$ में अतिरिक्त 0.86 प्रतिशत अंक की वृद्धि हुई, जो दर्शाता है कि AHCo अद्वितीय, पूरक जानकारी कैप्चर करता है।

5. महत्व और निहितार्थ

• लागत-गुणवत्ता सीमा (Cost-Quality Frontier): यह कार्यप्रणाली एक विशाल दक्षता लाभ प्रदान करती है। 18,796 कार्यों को स्कोर करने की लागत लगभग $5 आई और इसमें 6 घंटे लगे, जबकि पारंपरिक विशेषज्ञ पैनलों के लिए महीनों और उच्च लागत की आवश्यकता होती है।
• सामान्यीकरण (Generalizability): यह ढांचा श्रम अर्थशास्त्र से परे उन सभी क्षेत्रों में विस्तारित होता है जहाँ दस्तावेजों, नीतियों या संस्थानों की अर्थ संबंधी सामग्री के परिमाणीकरण की आवश्यकता होती है (जैसे, अनुबंध विश्लेषण, नीति मूल्यांकन, न्यायिक तर्क)।
• सर्वोत्तम अभ्यास (Best Practices): यह शोध पत्र चिकित्सकों के लिए एक ठोस प्रोटोकॉल प्रदान करता है, जो कई मॉडलों के उपयोग, मानकीकृत स्कोरिंग, प्रॉम्प्ट संवेदनशीलता विश्लेषण और मापन त्रुटि को कम करने के लिए ORIV अनुमान पर जोर देता है।

निष्कर्ष: यह शोध पत्र सफलतापूर्वक प्रदर्शित करता है कि यदि विशिष्ट वैधता शर्तों को पूरा किया जाए और ORIV जैसे इकोनोमेट्रिक तकनीकों का उपयोग करके मापन त्रुटि को उचित रूप से ठीक किया जाए, तो LLMs अंतर्निहित आर्थिक चरों के लिए वैध, विश्वसनीय और लागत प्रभावी उपकरण के रूप में कार्य कर सकते हैं।