तकनीकी सारांश: LINGUA-AUDIT

समस्या विवरण

जैसे-जैसे बड़े भाषा मॉडल (LLMs) बहुभाषी समाजों में सार्वजनिक सेवाओं और नागरिक कल्याण योजनाओं के लिए संवादात्मक इंटरफेस के रूप में तैनात किए जा रहे हैं, एक महत्वपूर्ण चुनौती उभर कर आई है: एआई-मध्यस्थ सूचना असमानता (AI-mediated information inequality)। इस घटना को विभिन्न भाषाई स्थितियों में समान सूचना संबंधी आवश्यकताओं वाले नागरिकों को प्रदान की जाने वाली सारगर्भित, तथ्यात्मक और कार्रवाई योग्य जानकारी में व्यवस्थित विचलन के रूप में परिभाषित किया गया है।

उच्च-जोखिम वाले नागरिक संदर्भों (जैसे, स्वास्थ्य देखभाल पात्रता, वैधानिक दस्तावेज़ीकरण, कल्याण योजनाएं) में, प्रदर्शन संबंधी विसंगतियां केवल शैलीगत या प्रवाह-आधारित नहीं होती हैं। इसके बजाय, ये उन गंभीर नुकसानों के रूप में प्रकट होती हैं जहाँ गैर-अंग्रेजी या कोड-स्विच्ड (जैसे, हिंग्लिश) प्रश्नों के लिए अंग्रेजी प्रश्नों की तुलना में अपूर्ण, पुरानी या तथ्यात्मक रूप से त्रुटिपूर्ण मार्गदर्शन प्राप्त होता है। मौजूदा बहुभाषी मूल्यांकन मुख्य रूप से सतही क्षमताओं (परप्लेक्सिटी, अनुवाद स्कोर, या बहुविकल्पीय परीक्षाओं) पर ध्यान केंद्रित करते हैं और यह आकलन करने में विफल रहते हैं कि क्या समान नागरिक सूचना संबंधी आवश्यकताओं को विभिन्न भाषाओं में समान रूप से पूरा किया गया है।

कार्यप्रणाली (Methodology)

यह शोध पत्र LINGUA-AUDIT प्रस्तुत करता है, जो एक पुनरुत्पादक ढांचा (reproducible framework) है जिसे व्यवस्थित रूप से सारगर्भित सूचना असमानता का मूल्यांकन करने के लिए डिज़ाइन किया गया है। यह एक बेंचमार्क-डिज़ाइन और माप प्रोटोकॉल है, न कि लाइव मॉडलों का अनुभवजन्य तुलनात्मक अध्ययन।

1. बेंचमार्क डिज़ाइन और कार्य निर्माण

• क्षेत्र (Scope): यह ढांचा भारत के पांच आवश्यक नागरिक डोमेन—स्वास्थ्य देखभाल, शिक्षा, सार्वजनिक सेवाएँ, वित्त और सामान्य ज्ञान—में 150 वास्तविक प्रशासनिक कार्यों को आधार बनाता है।
• ग्राउंड ट्रुथ (Ground Truth): प्रत्येक कार्य एक मास्टर टास्क रजिस्ट्री में दर्ज सार्वजनिक वैधानिक प्राधिकरणों (जो आधिकारिक दिशा-निर्देशों, राजपत्र अधिसूचनाओं, मंत्रालय के परिपत्रों और विभागीय डोमेन से प्राप्त किए गए हैं) पर आधारित है। हालाँकि, ग्राउंड ट्रुथ आधिकारिक प्रशासनिक योजनाओं के आधार पर परियोजना लेखक द्वारा आंतरिक क्यूरेशन का प्रतिनिधित्व करता है, न कि किसी स्वतंत्र रूप से प्रमाणित कानूनी गोल्ड स्टैंडर्ड का। रजिस्ट्री योजना के नाम और कट-ऑफ तिथियों को रिकॉर्ड करती है लेकिन इसमें प्रत्यक्ष URL, शाब्दिक वैधानिक उद्धरण और क्लॉज-टू-फैक्ट अलाइनमेंट मैपिंग का अभाव है। कार्यों को अंडरलाइंग इंफॉर्मेशन नीड्स (UINs) द्वारा अनुक्रमित किया गया है, जो संचार संबंधी इरादे और तथ्यात्मक दायरे के भाषा-तटस्थ वैचारिक विनिर्देश हैं, जो अंग्रेजी-केंद्रित पूर्वाग्रह को समाप्त करते हैं।
• तथ्य संरचना (Fact Structure): प्रत्येक कार्य में शामिल है:
  • क्रिटिकल फैक्ट्स (CF): प्रत्येक कार्य के लिए 3 अनिवार्य वैधानिक मानदंड (जैसे, आय सीमा, समय सीमा)।
  • इम्पॉर्टेंट फैक्ट्स (IF): प्रत्येक कार्य के लिए 2 आवश्यक प्रक्रियात्मक संदर्भ।
  • सेफ्टी कंस्ट्रेंट्स (Safety Constraints): वित्तीय शोषण को रोकने के लिए प्रत्येक कार्य के लिए 1 स्पष्ट सीमा।

2. प्रयोगात्मक विन्यास (Experimental Configuration)

यह ढांचा डेटा संग्रह और स्कोरिंग के लिए एक पूर्ण फैक्टोरियल मैट्रिक्स को परिभाषित करता है:

• 150 कार्य × 3 भाषा स्थितियाँ (औपचारिक अंग्रेजी, देवनागरी हिंदी, रोमनकृत हिंग्लिश) × 4 लक्षित मॉडल स्लॉट (Google, OpenAI, Anthropic, Meta) × 3 पुनरावृत्ति (Repetitions)।
• कुल सेल (Total Cells): 5,400 फैक्टोरियल सेल।
• वर्तमान स्थिति: शोध पत्र एक डिटरमिनिस्टिक सॉफ्टवेयर फिक्स्चर (सिंथेटिक बेसलाइन) की रिपोर्ट करता है जिसे पाइपलाइन अखंडता को सत्यापित करने के लिए इन-मेमोरी में उत्पन्न किया गया है। अभी तक कोई लाइव मॉडल API क्वेरी निष्पादित नहीं की गई है; 5,400 रिकॉर्ड प्रोग्रामेटिक फिक्स्चर हैं, वास्तविक मॉडल आउटपुट नहीं।

3. मापन मेट्रिक्स (Measurement Metrics)

यह ढांचा पांच आयामों में 13 रिस्पॉन्स-क्वालिटी मेट्रिक्स को संचालित करता है:

• तथ्यात्मक सटीकता (Factual Precision): दावा-स्तरीय सटीकता (M1) और केवल विरोधाभास-आधारित सटीकता (M1b)।
• पूर्णता और लोप (Completeness & Omission): क्रिटिकल फैक्ट कवरेज (M2a), वेटेड पूर्णता (M2c), और क्रिटिकल फैक्ट ओमिशन रेट (M3)।
• तथ्यात्मक त्रुटियाँ (Factual Errors): डीडुप्लिकेटेड त्रुटि गणना (M4a), बाइनरी एरर इंडिकेटर्स (M4b), और नॉर्मलाइज्ड एरर रेट्स (M4c)।
• प्रामाणिकता और सुरक्षा (Authenticity & Safety): साइटेशन क्वालिटी ग्रेड (M5), डोमेन सेफ्टी लेवल्स (M1), और UINs के सापेक्ष सिमेंटिक प्रिजर्वेशन (M7)।
• स्टोकेस्टिक निरंतरता (Stochastic Consistency): पुनरावृत्तियों के बीच पूर्णता भिन्नता (M8a) और क्रिटिकल फैक्ट जैकार्ड कॉनकॉर्डेंस (M8b)।

4. सांख्यिकीय विश्लेषण योजना

एक पूर्व-निर्दिष्ट सांख्यिकीय योजना निम्नलिखित का उपयोग करती है:

• आनुपातिक परिणामों (M1, M2a, M3 के लिए बाइनोमियल; M4a के लिए नेगेटिव बाइनोमियल) के लिए जनरलाइज्ड लीनियर मिक्स्ड मॉडल्स (GLMMs)।
• ऑर्डिनल रेटिंग्स (M5, M6, M7) के लिए क्युमुलेटिव लिंक मिक्स्ड मॉडल्स (CLMMs)।
• वेरिएंस और कॉनकॉर्डेंस मेट्रिक्स के लिए टू-पार्ट हर्डल मॉडल्स।
• मल्टीप्लिसिटी कंट्रोल: 9 परिकल्पनाओं (3 एंडपॉइंट्स × 3 भाषा कंट्रास्ट) के प्राथमिक पुष्टिकारी परिवार के लिए होल्म-बोर्नफेरोनी स्टेप-डाउन सुधार के माध्यम से फैमिली-वाइज एरर रेट नियंत्रण।

प्रमुख योगदान

1. नागरिक-सूचना बेंचमार्क डिज़ाइन: 150 प्रशासनिक कार्यों का एक क्यूरेटेड सेट जो भाषा-तटस्थ UINs द्वारा अनुक्रमित है, जो अनुवादित कॉर्पोरा से आगे बढ़कर वास्तविक स्थानीयकृत समस्या-समाधान का परीक्षण करता है।
2. बहु-आयामी परिचालन मेट्रिक्स: 13 मेट्रिक्स के गणितीय विनिर्देश जो विशेष रूप से सतही प्रवाह के बजाय सारगर्भित सूचना असमानता (लोप, मतिभ्रम, सुरक्षा जोखिम) को लक्षित करते हैं।
3. कार्यप्रणाली शासन (Methodological Governance): अमान्य पूर्व सिंथेटिक इवैल्यूएटर सत्यापन आर्टिफैक्ट्स (जहाँ स्वचालित इवैल्यूटर्स को "मानव" ग्राउंड ट्र truth के रूप में क्लोन किया गया था) को स्पष्ट रूप से क्वारंटाइन करना और सॉफ्टवेयर की शुद्धता तथा अनुभवजन्य कंस्ट्रक्ट वैधता के बीच स्पष्ट अलगाव।
4. पुनरुत्पादक सॉफ्टवेयर पाइपलाइन: एक ओपन-सोर्स पायथन स्कोरिंग आर्किटेक्चर जिसे 5,400-सेल फैक्टोरियल मैट्रिक्स के विरुद्ध 115 पास होने वाले यूनिट और रिग्रेशन टेस्ट द्वारा सत्यापित किया गया है।
5. कोड-स्विचिंग एकीकरण: औपचारिक अंग्रेजी और हिंदी के साथ हिंदी-अंग्रेजी कोड-स्विचिंग (हिंग्लिश) को एक प्राथमिक, प्रथम-श्रेणी की मूल्यांकन स्थिति के रूप में मानना।

परिणाम और सत्यापन स्थिति

शोध पत्र स्पष्ट रूप से बताता है कि कोई भी अनुभवजन्य मॉडल तुलना या भाषा विषमता रैंकिंग रिपोर्ट नहीं की गई है। प्रस्तुत परिणाम पूरी तरह से स्वयं ढांचे के तकनीकी सत्यापन हैं:

• पाइपलाइन अखंडता: सॉफ्टवेयर ने 100% कवरेज के साथ 5,400 सिंथेटिक रिकॉर्ड सफलतापूर्वक उत्पन्न और सत्यापित किए।
• क्रिप्टोग्राफिक सत्यापन: डेटासेट फिक्स्चर फ़ाइल को सत्यापित SHA-256 हैश के साथ ऑडिट किया गया था।
• बेसलाइन डायग्नोस्टिक्स: सिंथेटिक फिक्स्चर ने शून्य विलंबता (latency) और पुनरावृत्तियों के बीच शून्य भिन्नता दिखाई, जो डेटा को सही ढंग से पार्स और सीरियलाइज करने की पाइपलाइन की क्षमता की पुष्टि करता है।
• सत्यापन सीमाएँ: सभी 13 गुणवत्ता मेट्रिक्स वास्तविक द्विभाषी मानव एनोटेशन लंबित होने के कारण अनुभवजन्य रूप से अनवैलिडेटेड हैं। एक पूर्व स्वचालित इवैल्यूएटर सत्यापन पाया गया कि वह क्लोन्ड सिंथेटिक संदर्भों पर निर्भर था और उसे क्वारंटाइन कर दिया गया था।

महत्व और दावे

यह शोध पत्र LINGUA-AUDIT को बहुभाषी समाजों में एल्गोरिद्मिक गवर्नेंस के लिए एक आवश्यक बुनियादी ढांचे के रूप में स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

• मूल्यांकन प्रतिमान को बदलना: "सतही प्रवाह" से "सारगर्भित सूचना समानता" की ओर बढ़ना, यह पहचानते हुए कि नागरिक संदर्भों में, एक गायब अनिवार्य दस्तावेज़ या एक पुरानी समय सीमा एक मूर्त प्रशासनिक नुकसान (administrative harm) है।
• चक्रीय सत्यापन (Circular Validation) को रोकना: एक "चक्रीय स्व-सत्यापन" त्रुटि (जहाँ सिंथेटिक आउटपुट को मानव ग्राउंड ट्रथ के रूप में गलत समझा गया था) को उजागर करके और क्वारंटाइन करके, यह ढांचा पद्धतिगत पारदर्शिता के लिए एक कठोर मानक स्थापित करता है।
• भविष्य के लिए तैयार बुनियादी ढांचा: यह ढांचा उन पूर्व-निर्दिष्ट मापन उपकरणों और सांख्यिकीय वास्तुकला को प्रदान करता है जिनकी आवश्यकता लाइव डेटा संग्रह और मानव इवैल्यूएटर अंशांकन के बाद फ्रंटियर मॉडलों के ऑडिट के लिए होगी।

लेखक निष्कर्ष निकालते हैं कि LINGUA-AUDIT अभी यह उत्तर नहीं देता है कि विशिष्ट मॉडल असमानता प्रदर्शित करते हैं या नहीं; बल्कि, यह खुला, पुनरुत्पादक और सांख्यिकीय रूप से कठोर ढांचा प्रदान करता है जो आवश्यक अनुभवजन्य डेटा (लाइव मॉडल रिस्पॉन्स और मानव एनोटेशन) एकत्र होने के बाद ऐसी असमानता का पता लगाने और उसे मापने के लिए आवश्यक है।