The Proxy Presumption: From Semantic Embeddings to Valid Social Measures
यह शोध पत्र कंस्ट्रक्ट वैलिडिटी प्रोटोकॉल (CVP) और काउंटरफैक्चुअल न्यूट्रलाइजेशन को पेश करके कम्प्यूटेशनल सोशल साइंस में "प्रॉक्सी प्रिजम्प्शन" को संबोधित करता है, जो सिमेंटिक एम्बेडिंग्स को कठोरता से मान्य करता है, जिससे यह सुनिश्चित होता है कि वे विषय या शैली जैसे भ्रमित करने वाले गुणों के बजाय सामाजिक कंस्ट्रक्ट्स को मापते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नए आविष्कार की "रचनात्मकता" (creativity) को मापने की कोशिश कर रहे हैं। आप एक हाई-टेक रूलर का उपयोग करने का निर्णय लेते हैं जो नए आविष्कार और पुराने आविष्कारों के बीच की दूरी को मापता है। यदि दूरी बहुत अधिक है, तो आप उस आविष्कार को "अत्यधिक रचनात्मक" घोषित कर देते हैं।
यह शोध पत्र तर्क देता है कि आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, शोधकर्ता बिल्कुल यही कर रहे हैं, लेकिन वे एक खतरनाक गलती कर रहे हैं। वे यह मान रहे हैं कि क्योंकि दो चीजें AI के गणित में एक-दूसरे से "दूर" हैं, इसलिए वे वास्तविक दुनिया में भी "अलग" होंगी। लेखक इसे "प्रॉक्सी प्रिजम्प्शन" (Proxy Presumption) कहते हैं।
यहाँ उनके तर्क, उनके समाधान और उनकी खोजों का एक सरल विवरण दिया गया है।
1. समस्या: "भ्रमित रूलर" (The Confused Ruler)
लेखकों का कहना है कि AI मॉडल (विशेष रूप से वे जो टेक्स्ट को नंबरों में बदलते हैं, जिन्हें "एम्बेडिंग्स" कहा जाता है) एक किचन ब्लेंडर की तरह हैं।
- लक्ष्य (C): यह वह है जिसे आप वास्तव में मापना चाहते हैं, जैसे कि "रचनात्मकता", "पूर्वाग्रह" (bias), या "नवीनता" (novelty)।
- शोर (Z/Noise): यह वह सब कुछ है जो इसमें मिल गया है, जैसे कि टेक्स्ट का विषय, लेखक की लेखन शैली, वाक्य की लंबाई, या विशिष्ट शब्द।
जब आप एक टेक्स्ट को AI ब्लेंडर में डालते हैं, तो यह एक नंबर (वेक्टर) बाहर निकालता है। समस्या यह है कि यह नंबर लक्ष्य (Target) और शोर (Noise) दोनों का एक स्मूदी (smoothie) है।
उपमा (Analogy):
कल्पना कीजिए कि आप मापना चाहते हैं कि सूप कितना "तीखा" (spicy) है। आप एक थर्मामीटर का उपयोग करते हैं। लेकिन थर्मामीटर "गर्मी" (तापमान) के प्रति भी संवेदनशील है।
- यदि सूप गर्म और तीखा है, तो थर्मामीटर उच्च रीडिंग दिखाएगा।
- यदि सूप गर्म लेकिन बिना तीखेपन वाला है, तो थर्मामीटर भी उच्च रीडिंग ही दिखाएगा।
यदि आप केवल उच्च रीडिंग देखते हैं और कहते हैं, "आहा! यह सूप बहुत तीखा है!" तो आप गलत हैं। थर्मामीटर वास्तव में गर्मी को माप रहा है, न कि तीखेपन को।
AI में, शोधकर्ता अक्सर दो टेक्स्ट के बीच की "दूरी" को देखते हैं और कहते हैं, "यह टेक्स्ट बहुत रचनात्मक है!" लेकिन पेपर का तर्क है कि AI केवल यह माप रहा हो सकता है कि टेक्स्ट किसी अलग विषय के बारे में है या किसी अलग शैली में लिखा गया है, न कि यह कि वह वास्तव में अधिक रचनात्मक है। वे "गर्मी" (शोर) को "तीखेपन" (वास्तविक अवधारणा) समझ लेने की गलती कर रहे हैं।
2. गणितीय प्रमाण: आप केवल "अनुमान" क्यों नहीं लगा सकते
पेपर एक सरल बात को सिद्ध करने के लिए भारी गणित का उपयोग करता है: आप केवल सूप को देखकर तीखेपन को गर्मी से अलग नहीं कर सकते।
जब तक आपके पास गर्मी को छानने के लिए एक विशेष उपकरण नहीं है, आप कभी भी सुनिश्चित नहीं हो सकते कि थर्मामीटर पर उच्च तापमान मिर्च के कारण है या केवल चूल्हे के कारण। इसी तरह, विशेष चरणों के बिना, AI यह नहीं जान सकता कि एक टेक्स्ट "रचनात्मक" है या केवल "किसी अलग विषय" के बारे में है। गणित यह सिद्ध करता है कि AI का "रूलर" मौलिक रूप से भ्रमित है।
3. समाधान: "वैलिडिटी प्रोटोकॉल" (The Validity Protocol - CVP)
इसे ठीक करने के लिए, लेखक एक नया नियम प्रस्तावित करते हैं जिसे कंस्ट्रक्ट वैलिडिटी प्रोटोकॉल (CVP) कहा जाता है। इसे उन लोगों के लिए एक क्वालिटी कंट्रोल चेकलिस्ट के रूप में सोचें जो AI के साथ सामाजिक अवधारणाओं को मापने की कोशिश कर रहे हैं।
केवल यह कहने के बजाय कि "यहाँ रचनात्मकता का एक स्कोर है," अब शोधकर्ताओं को यह साबित करना होगा कि उनका रूलर वास्तव में रचनात्मकता को मापता है, न कि केवल शोर को। प्रोटोकॉल के तीन मुख्य चरण हैं:
- चरण 1: रेसिपी को परिभाषित करें। स्पष्ट रूप से समझाएं कि "रचनात्मकता" का क्या अर्थ है और इसका क्या अर्थ नहीं है।
- चरण 2: सामग्रियों को साफ करें। मापने से पहले, शोर को हटाने के लिए उपकरणों का उपयोग करें। उदाहरण के लिए, यदि आप "राजनीतिक पूर्वाग्रह" मापना चाहते हैं, तो आप टेक्स्ट को फिर से लिखने के लिए AI का उपयोग कर सकते हैं ताकि विशिष्ट विषय (जैसे "टैक्स") को हटाया जा सके, ताकि आप केवल रवैया (attitude) माप सकें, न कि विषय।
- चरण 3: "वैलिडिटी कार्ड"। यह एक रिपोर्ट कार्ड है जिसे प्रत्येक अध्ययन के साथ संलग्न किया जाना चाहिए। इसमें शामिल हैं:
- स्थिरता परीक्षण (Stability Test): यदि आप फॉन्ट या शब्दों के क्रम को थोड़ा बदलते हैं, तो क्या स्कोर वही रहता है? (यदि नहीं, तो रूलर टूटा हुआ है)।
- "अलग विषय" परीक्षण (The "Different Topic" Test): क्या स्कोर बदल जाता है यदि आप पूरी तरह से अलग विषय पर बात करते हैं? यदि विषय बदलने के कारण स्कोर बदल जाता है, तो आपका रूलर विषय को माप रहा है, अवधारणा को नहीं।
- "वास्तविक दुनिया" परीक्षण (The "Real World" Test): क्या यह स्कोर वास्तव में वास्तविक दुनिया के परिणामों की भविष्यवाणी करता है?
4. "फोरेंसिक" जांच
लेखकों ने केवल सिद्धांत की बात नहीं की; उन्होंने जासूसों की तरह काम किया। उन्होंने 17 हालिया, प्रसिद्ध शोध पत्रों को देखा जिन्होंने "पूर्वाग्रह" (bias), "विचारधारा" (ideology), और "रचनात्मकता" जैसी चीजों को AI का उपयोग करके मापने का दावा किया था।
उन्होंने क्या पाया:
- अधिकांश शोध पत्रों (17 में से 10) ने जो वे माप रहे थे उसका एक अच्छा विवरण दिया।
- लगभग सभी शोध पत्रों ने यह साबित करने के लिए कुछ उदाहरण दिखाए कि यह सही दिखता है।
- लेकिन, लगभग किसी भी पेपर ने यह साबित करने का कठिन काम नहीं किया कि उनका रूलर केवल "शोर" को नहीं माप रहा है।
- केवल 1 पेपर ने सिद्ध किया कि उनका माप अन्य समान मापों से अलग है।
- शून्य शोध पत्रों ने यह सिद्ध किया कि उनका माप केवल विषय या लेखन शैली को ट्रैक नहीं कर रहा है।
- शून्य शोध पत्रों ने "तीखेपन" को "गर्मी" से अलग करने के लिए आवश्यक सख्त गणित का उपयोग किया।
फैसला: लेखक इसे "जेंगल फैलेसी" (Jangle Fallacy) कहते हैं। यह तब होता है जब दो अलग-अलग अध्ययन एक ही नाम (जैसे, "Bias") का उपयोग करते हैं लेकिन वास्तव में दो पूरी तरह से अलग चीजें माप रहे होते हैं क्योंकि उन्होंने यह नहीं जांचा कि उनके रूलर साफ थे या नहीं। एक अध्ययन "अभद्र शब्दों" को माप सकता है, जबकि दूसरा "राजनीतिक विषयों" को माप रहा हो सकता है, लेकिन दोनों इसे "Bias" कहते हैं।
5. निष्कर्ष
पेपर निष्कर्ष निकालता है कि हम केवल शब्दों के बीच की दूरी को देखकर AI पर जटिल मानवीय विचारों जैसे "रचनात्मकता" या "पूर्वाग्रह" को मापने के लिए भरोसा नहीं कर सकते।
यदि हम चाहते हैं कि AI सामाजिक विज्ञान के लिए एक उपयोगी उपकरण बने, तो हमें AI के गणित को एक जादुई उत्तर के रूप में मानना बंद करना होगा। हमें वैलिडिटी प्रोटोकॉल का उपयोग करना होगा ताकि:
- डेटा को विकर्षणों (जैसे विषय और शैली) से साफ किया जा सके।
- यह सिद्ध किया जा सके कि स्कोर वास्तव में अवधारणा बदलने पर बदलता है।
- यह सिद्ध किया जा सके कि स्कोर विकर्षणों के बदलने पर नहीं बदलता है।
जब तक शोधकर्ता ऐसा करना शुरू नहीं करते, पेपर का तर्क है कि हम केवल सूप की "गर्मी" को माप रहे हैं और यह नाटक कर रहे हैं कि हमें पता है कि वह कितना "तीखा" है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।