💬 NLP

The Digital Afterlife of Empires: Four Language Models Converge on the Same Imperial Cartography of Writing

यह शोध पत्र तर्क देता है कि साझा प्रशिक्षण डेटा के माध्यम से ऐतिहासिक साम्राज्यवादी असमानताएँ समकालीन लार्ज लैंग्वेज मॉडल्स में बनी हुई हैं, जिसके परिणामस्वरूप अधिकांश लेखन प्रणालियों के लिए अत्यधिक डिजिटल अल्प-समर्थन और विविध मॉडल आर्किटेक्चरों में व्यवस्थित, अभिसारी त्रुटियाँ होती हैं जो गैर-धार्मिक लिपियों को धार्मिक उपयोग के रूप में असमान रूप से गलत तरीके से आरोपित करती हैं।

मूल लेखक: Hiroki Fukui

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hiroki Fukui

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "द डिजिटल आफ्टरलाइफ ऑफ एम्पायर्स" (The Digital Afterlife of Empires) शोध पत्र का सरल भाषा और रोजमर्रा के उदाहरणों के साथ विवरण दिया गया है।

मुख्य विचार: मशीन में छिपा भूत (The Big Idea: The Ghost in the Machine)

कल्पना कीजिए कि इतिहास एक विशाल पुस्तकालय है। 500 वर्षों तक, शक्तिशाली साम्राज्यों (जैसे स्पेन, ब्रिटेन या फ्रांस) ने यह तय किया कि कौन सी किताबें रखनी हैं, किसे जलाना है और किस भाषा में लिखना है। उन्होंने कई स्थानीय लेखन प्रणालियों को नष्ट कर दिया और दूसरों को बदलने के लिए मजबूर किया।

यह शोध पत्र तर्क देता है कि लार्ज लैंग्वेज मॉडल्स (LLMs)—जो ChatGPT जैसे टूल्स के पीछे के AI दिमाग हैं—कोई नई या निष्पक्ष खोज नहीं हैं। इसके बजाय, वे उन साम्राज्यों द्वारा बनाई गई लाइब्रेरी में भटकते भूतों की तरह हैं। भले ही साम्राज्य अब खत्म हो चुके हैं, लेकिन उनके "भूत" अभी भी उस इमारत में मौजूद हैं। AI कुछ भाषाओं को इसलिए नहीं पढ़ पाता क्योंकि इंजीनियर बुरे थे, बल्कि इसलिए क्योंकि वह लाइब्रेरी (इंटरनेट डेटा) जिससे उसने सीखा है, उसमें वे किताबें गायब हैं।

मुख्य निष्कर्ष, विस्तार से

1. "डिजिटल टैक्स" (क्यों कुछ भाषाओं की कीमत अधिक है)

कल्पना कीजिए कि आप हाईवे पर प्रवेश करने के लिए एक टोल बूथ पर जाते हैं।

अंग्रेजी बोलने वालों को 10 मील चलने के लिए $1 देना पड़ता है।
अल्पसंख्यक भाषाओं के बोलने वालों (जैसे लिम्बू या अडलम) को ठीक उतनी ही 10 मील की दूरी के लिए $31.70 देने पड़ते हैं।

क्यों? AI टेक्स्ट को छोटे टुकड़ों में तोड़ता है जिन्हें "टोकन" (Lego ब्लॉक्स की तरह) कहा जाता है।

अंग्रेजी के लिए, AI के पास पहले से बने हुए लेगो ब्लॉक्स का एक बड़ा डिब्बा है। वह उन्हें आसानी से जोड़ लेता है।
अल्पसंख्यक लिपियों के लिए, AI के पास सही ब्लॉक्स नहीं होते। उसे अक्षरों को अर्थहीन बाइट्स में तोड़ना पड़ता है (जैसे लेगो ब्लॉक्स को प्लास्टिक के पाउडर में तोड़ देना और फिर उन्हें शून्य से फिर से बनाने की कोशिश करना)।
परिणाम: लिम्बू भाषा में एक वाक्य को प्रोसेस करने में अंग्रेजी की तुलना में 31 गुना अधिक "कंप्यूटिंग प्रयास" लगता है। यह कोई तकनीकी खराबी (bug) नहीं है; यह सिस्टम में बना हुआ एक "टैक्स" है क्योंकि उन भाषाओं को ऐतिहासिक रूप से दबाया गया था और इंटरनेट पर उनका डेटा कम है।

2. "डिजिटल फनल" (किसे सुना जाता है)

शोधकर्ताओं ने मानव इतिहास की 300 अलग-अलग लेखन प्रणालियों का अध्ययन किया। उन्होंने यह देखने की कोशिश की कि डिजिटल दुनिया उन्हें कितना समर्थन देती है।

फनल (कीप): एक विशाल फनल की कल्पना करें।
- ऊपरी हिस्सा: 300 लिपियाँ प्रवेश करती हैं।
- मध्य हिस्सा: कई लिपियाँ फंस जाती हैं क्योंकि वे कंप्यूटर के शब्दकोश (Unicode) में नहीं हैं या स्कैनर्स (OCR) द्वारा पढ़ी नहीं जा सकतीं।
- निचला हिस्सा: केवल 29 लिपियाँ (10% से भी कम) पूरी तरह से नीचे तक पहुँच पाती हैं।
पैटर्न: जो लिपियाँ नीचे तक पहुँचती हैं, वे लगभग विशेष रूप से ऐतिहासिक साम्राज्यों द्वारा उपयोग की जाने वाली लिपियाँ हैं (लैटिन, चीनी, अरबी, सिरिलिक)। जो लिपियाँ बीच में ही फंस जाती हैं, वे वे हैं जिन्हें उन साम्राट्यों ने मिटाने की कोशिश की थी।
त्रासदी: आज भी 60 भाषाएँ जीवित लोगों द्वारा बोली जाती हैं, लेकिन डिजिटल दुनिया उनके साथ ऐसा व्यवहार करती है जैसे वे मृत हों। वे "जीवित लेकिन डिजिटल रूप से मृत" हैं।

3. "फोर फ्रेंड्स" प्रयोग (यह सिर्फ एक AI नहीं है)

यह साबित करने के लिए कि यह किसी एक कंपनी (जैसे OpenAI) की गलती नहीं थी, शोधकर्ताओं ने चार अलग-अलग AI परिवारों (Claude, GPT-4o, Grok, और DeepSeek) से लेखन प्रणालियों के बारे में 3,000 सवाल पूछे।

आश्चर्य: ये चार AI अलग-अलग कंपनियों द्वारा, अलग-अलग देशों में, अलग-अलग कोड के साथ बनाए गए हैं। उन्हें गलतियों पर एकमत नहीं होना चाहिए।
वास्तविकता: वे अपनी गलतियों पर 90% बार सहमत थे।
उपमा: कल्पना कीजिए कि चार छात्र चार अलग-अलग स्कूलों में गए। यदि वे सभी इतिहास के टेस्ट में एक ही गलत उत्तर देते हैं, तो ऐसा इसलिए नहीं है कि उन्होंने एक-दूसरे से नकल की है। बल्कि इसलिए है क्योंकि उन सभी ने एक ही पक्षपाती पाठ्यपुस्तक (biased textbook) पढ़ी है।
पक्षपात: AI लगातार एक ही तरह से गलत अनुमान लगाते थे। उदाहरण के लिए, यदि कोई लिपि गैर-पश्चिमी देश की थी, तो AI बहुत अधिक संभावना के साथ अनुमान लगाते थे, "ओह, इसका उपयोग धर्म के लिए किया जाता होगा," भले ही वह सच न हो। वे डेटा में मौजूद रूढ़ियों (stereotypes) से खाली जगहों को भर रहे थे।

4. "बिना सम्राट का साम्राज्य" (Empire Without an Emperor)

सबसे महत्वपूर्ण निष्कर्ष यह है कि वर्तमान में इस पक्षपात का कोई प्रभारी (in charge) नहीं है।

इंजीनियरों ने यह सोचकर नहीं बनाया कि "आइए लिम्बू बोलने वालों को अधिक भुगतान करवाएं।"
यह पक्षपात संरचनात्मक (structural) है। यह इस प्रकार हुआ:
1. साम्राज्यों ने समुदायों को नष्ट किया और बोलने वालों की संख्या कम कर दी।
2. कम बोलने वालों का मतलब था उन भाषाओं में कम किताबें और वेबसाइटें।
3. कम वेबसाइटों का मतलब था कि AI के पास सीखने के लिए डेटा नहीं था।
4. डेटा न होने का मतलब है कि AI उस भाषा में खराब है।
"साम्राज्य" को अब किसी नेता की आवश्यकता नहीं है। नुकसान आंकड़ों (statistics) में रचा-बसा है। AI केवल उस दुनिया के आधार पर गणित कर रहा है जो पहले से ही असमान थी।

"धर्म" का ग्लिच (The "Religion" Glitch)

एक विशिष्ट निष्कर्ष उभर कर आया: AI गैर-पश्चिमी लिपियों को "धार्मिक" बताने के प्रति जुनूनी थे।

उन सभी गलतियों में से, जो चारों AI ने मिलकर की थीं, 43% इस बारे में थीं कि एक लिपि धर्म के लिए उपयोग की जाती थी जबकि वह नहीं थी।
क्यों? इंटरनेट औपनिवेशिक काल के पुराने विवरणों से भरा है जो गैर-पश्चिमी संस्कृतियों पर केंद्रित थे और उन्हें अत्यधिक "रहस्यमय" या "धार्मिक" बताते थे, जबकि उनके दैनिक, प्रशासनिक या वैज्ञानिक उपयोगों की अनदेखी करते थे। AI ने सीख लिया कि "गैर-पश्चिमी लिपि = धर्म।"

निष्कर्ष: क्या किया जा सकता है?

शोध पत्र सुझाव देता है कि हम केवल इसके कोड को बदलकर AI को "ठीक" नहीं कर सकते।

समस्या: समस्या लाइब्रेरी (प्रशिक्षण डेटा) में है, रीडर (AI) में नहीं।
समाधान: इसे ठीक करने के लिए, हमें लाइब्रेरी को बदलने की आवश्यकता है। हमें उन लोगों द्वारा लिखी गई अधिक किताबें जोड़ने की आवश्यकता है जो इन भाषाओं को बोलते हैं, अपनी स्वयं की लिपियों में, और अपने स्वयं के जीवन का वर्णन करते हुए।
चेतावनी: जब तक हम ऐसा नहीं करते, AI पिछले 500 वर्षों के इतिहास का एक दर्पण बना रहेगा, जो उन्हीं असमानताओं को दर्शाता रहेगा, भले ही किसी का इरादा ऐसा न रहा हो।

संक्षेप में: AI टूटा हुआ नहीं है; यह बस उन लोगों के इतिहास को ईमानदारी से दोहरा रहा है जिन्हें लिखने की अनुमति दी गई थी और जिन्हें चुप करा दिया गया था। साम्राज्यों का "डिजिटल आफ्टरलाइफ" अभी भी बहुत जीवित है।

तकनीकी सारांश: साम्राज्यों का डिजिटल परलोक (The Digital Afterlife of Empires)

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) दुनिया की लेखन प्रणालियों को अत्यधिक असमानता के साथ संसाधित करते हैं। जहाँ ऐतिहासिक साम्राज्यों (जैसे लैटिन, सिरिलिक, अरबी) की लिपियों को कुशलतापूर्वक संसाधित किया जाता है, वहीं उपनिवेशित या हाशिए पर स्थित समुदायों की लिपियाँ महत्वपूर्ण डिजिटल बहिष्कार का शिकार होती हैं। यह शोध जांच करता है कि क्या समकालीन डिजिटल बुनियादी ढांचा और LLMs उन संरचनात्मक असमानताओं को पुनरुत्पादित करते हैं जो ऐतिहासिक साम्राज्यों द्वारा थोपी गई थीं। विशेष रूप रूप से, यह पूछता है कि क्या लेखन प्रणालियों के "टूटे हुए सांस्कृतिक क्लॉक" (broken cultural clocks)—जिन्हें एक पूरक अध्ययन (फुकुई, 2026) में साम्राज्यवादी हस्तक्षेप के कारण संरचनात्मक विचलन के रूप में प्रलेखित किया गया है—आधुनिक भाषा मॉडलों के लेटेंट स्पेस (latent space) में साझा प्रशिक्षण कॉर्पस के माध्यम से बने रहते हैं, न कि विशिष्ट वास्तुशिल्प (architectural) डिजाइन विकल्पों के माध्यम से।

कार्यप्रणाली
यह अध्ययन डिजिटल स्क्रिप्ट रिप्रेजेंटेशन इंडेक्स (DSRI) का निर्माण करता है, जो एक सात-अक्षीय उपकरण है जिसे ग्लोबल स्क्रिप्ट डेटाबेस (GSD) पर लागू किया गया है, जो इतिहास के 43,000 वर्षों में 300 लेखन प्रणालियों को सूचीबद्ध करता है। DSRI निम्नलिखित क्षेत्रों में डिजिटल उपस्थिति को मापता है:

टोकन दक्षता अनुपात (TER): लैटिन बेसलाइन के सापेक्ष एक ग्रेफीम क्लस्टर (grapheme cluster) को दर्शाने के लिए आवश्यक टोकन की संख्या, जिसे चार टोकनाइज़र्स (tiktoken, Mistral, Qwen, Phi-4) के माध्यम से समानांतर पाठ (UDHR, eBible) और विकिपीडिया कॉर्पस का उपयोग करके मापा गया है।
यूनिकोड कवरेज: एनकोडिंग स्थिति, कोडपॉइंट रेंज और वर्जनिंग।
वेब कॉर्पस वॉल्यूम: विकिपीडिया लेख गणना और CC-100 कॉर्पस बाइट काउंट से व्युत्पन्न।
LLM जनरेशन फिडेलिटी (Fidelity): GSD ग्राउंड ट्रुथ के विरुद्ध 10 बाइनरी टोपोलॉजिकल प्रश्नों (जैसे दिशात्मकता, धार्मिक उपयोग) का उत्तर देने में सटीकता।
OCR सपोर्ट: टेसेराक्ट (Tesseract), गूगल क्लाउड विजन और एज़्योर (Azure) में कैरेक्टर एरर रेट।
मशीन ट्रांसलेशन कवरेज: गूगल, NLLB-200 और डीपएल (DeepL) में बाइनरी सपोर्ट।
इनपुट मेथड उपलब्धता: iOS, Android, Windows और macOS पर नेटिव कीबोर्ड/IME सपोर्ट।

एक ही LLM को उपकरण और वस्तु दोनों के रूप में उपयोग करने की चक्रीयता (circularity) को संबोधित करने के लिए, अध्ययन एक क्रॉस-आर्किटेक्चर वैलिडेशन प्रोटोकॉल का उपयोग करता है। चार स्वतंत्र LLM परिवारों (Claude Haiku 4.5, GPT-4o, Grok-3-mini, DeepSeek-V3) से 3,000 समान टोपोलॉजिकल प्रॉम्प्ट्स (300 लिपियाँ × 10 विशेषताएं) के साथ पूछताछ की गई, जिससे 12,000 प्रतिक्रियाएं प्राप्त हुईं।

सांख्यिकीय विश्लेषणों में शामिल हैं:

सीरियल मीडिएशन मॉडलिंग: पथ साम्राज्यवादी हस्तक्षेप → वक्ता जनसंख्या → वेब कॉर्पस वॉल्यूम → टोकनाइज़र दक्षता का परीक्षण।
स्ट्रक्चरल इक्वेशन मॉडलिंग (SEM): $n=45$ (समानांतर पाठ मापने योग्य लिपियों की सीमा) पर मॉडल फिट का आकलन।
कन्वर्जेंस एनालिसिस: मॉडल जोड़ों के बीच त्रुटि विचलन (फॉल्स-पॉजिटिव और फॉल्स-नेगेटिव दर) के स्पियरमैन सहसंबंधों की गणना करना ताकि आर्किटेक्चर-स्वतंत्र पूर्वाग्रहों की पहचान की जा सके।
सेंसिटिविटी चेक: यह परीक्षण करने के लिए कि क्या अभिसरण (convergence) एक विवादित ग्राउंड-ट्रुथ कोडिंग द्वारा संचालित है कि "धर्म के लिए उपयोग" फीचर को बाहर रखा जाए।

मुख्य परिणाम

डिजिटल बहिष्करण फनल (Digital Exclusion Funnel): केवल 29 लिपियाँ (9.7%) समकालीन डिजिटल बुनियादी ढांचे द्वारा पूर्ण रूप से समर्थित हैं। 158 जीवित लिपियों में से, 60 (38.0%) पूर्ण समर्थन की कमी झेल रही हैं। यह बहिष्करण एक औपनिवेशिक भूगोल का अनुसरण करता है, जिसमें अफ्रीका, दक्षिण/दक्षिण-पूर्व एशिया और ओशिनिया की लिपियाँ असमान रूप से प्रभावित हैं।
"डिजिटल टैक्स": 45 मापी गई लिपियों में टोकनाइज़र दक्षता का अंतर 31.7 गुना तक भिन्न होता है (लैटिन बेसलाइन = 1.0; लिम्बु = 31.7×)। यह असमानता चार स्वतंत्र टोकनाइज़र्स में सुसंगत है, जो एक संरचनात्मक, न कि कार्यान्वयन-विशिष्ट कारण का संकेत देती है। उच्चतम टोकन लागत वाली लिपियों में अक्सर प्राकृतिक भाषा वाले वेब कॉर्पस की कमी होती है (जैसे, कोई विकिपीडिया पैराग्राफ नहीं), जो बहिष्करण को और बढ़ा देता है।
कारण मध्यस्थता (Causal Mediation): साम्राज्यवादी हस्तक्षेप और टोकनाइज़र अक्षमता के बीच का संबंध वक्ता जनसंख्या और वेब कॉर्पस वॉल्यूम द्वारा पूर्णतः मध्यस्थ (fully mediated) है। टोकनाइजेशन पर साम्राज्य का प्रत्यक्ष प्रभाव शून्य के बराबर है ( $\beta = -0.22, p = 0.39$ )। स्ट्रक्चरल इक्वेशन मॉडल एक लगभग-पूर्ण फिट प्राप्त करता है ( $n=45$ पर CFI = 1.01, RMSEA = 0.00), जिसमें डिजिटल उपस्थिति $\Delta R^2$ का 0.366 योगदान देती है।
क्रॉस-आर्किटेक्चर कन्वर्जेंस: चार स्वतंत्र LLMs बेस-रेट अपेक्षाओं से विचलित होने पर अत्यधिक सह-संबंधित त्रुटि पैटर्न ( $\rho = 0.85–0.98$ ) प्रदर्शित करते हैं। यह अभिसरण तब भी बना रहता है जब "धर्म" फीचर को हटा दिया जाता है, जो यह सुझाव देता है कि पूर्वाग्रह किसी एकल मॉडल के भीतर नहीं, बल्कि साझा टेक्स्टुअल सबस्ट्रेट (textual substrate) में निहित है।
सर्वसम्मत त्रुटियां: चारों मॉडल 172 स्क्रिप्ट-फीचर आइटम्स पर समान रूप से गलत उत्तर देते हैं। ओवर-एट्रिब्यूशन (ऐसी विशेषता असाइन करना जो मौजूद नहीं है) अंडर-रिकॉग्निशन की तुलना में 3.9:1 के अनुपात में अधिक है। "धर्म के लिए उपयोग" फीचर इन त्रुटियों का 43.6% केंद्रित करता है। जब इसे बाहर कर दिया जाता है, तो विषमता 1.77:1 ( $p=0.008$ ) पर बनी रहती है, जो एक बहु-चैनल पूर्वाग्रह का संकेत देती है जहाँ गैर-पश्चिमी लिपियों को व्यवस्थित रूप से "प्राचीन," "चित्रलिपि," या "धार्मिक" मूल के टेम्पलेट्स पर मैप किया जाता है।
दो स्वतंत्र घाव: अध्ययन लिपियों के संरचनात्मक व्यवधान (मॉलिक्यूलर क्लॉक विचलन) और लिपियों का उपयोग करने वाले समुदायों के जनसांख्यिकीय विनाश (बाइट-फालबैक स्टेटस) के बीच सांख्यिकीय स्वतंत्रता पाता है। साम्राज्य दोनों को अंजाम देते हैं: लिपि के रूप को बदलना और उस समुदाय को नष्ट करना जो उसका उपयोग करता है।

महत्व और दावे
यह शोध तर्क देता है कि डिजिटल युग में अपनी हिंसा को पुनरुत्पादित करने के लिए "साम्राज्य" को सम्राट की आवश्यकता नहीं है। औपनिवेशिक इतिहास की संरचनात्मक असमानताएं वैश्विक वेब के सांख्यिकीय वितरण में जम गई हैं। क्योंकि LLMs इस कॉर्पस पर प्रशिक्षित होते हैं, वे इन पूर्वाग्रहों को "गणितीय सटीकता" के साथ विरासत में प्राप्त करते हैं, चाहे उनका विशिष्ट आर्किटेक्चर या उन्हें बनाने वाला संगठन कोई भी हो।

ये निष्कर्ष इस धारणा को चुनौती देते हैं कि पूर्वाग्रह विशिष्ट मॉडल डिजाइन विकल्पों या अलाइनमेंट प्रक्रियाओं का परिणाम है। इसके बजाय, यह शोध पत्र कंप्यूटेशनल एसिमिलेशन (Computational Assimilation) का प्रस्ताव करता है—जो अल्पसंख्यक लिपियों के प्रति बहुसंख्यक-स्क्रिप्ट विशेषताओं का व्यवस्थित ओवर-एट्रिब्यूशन है—स्वयं टेक्स्टुअल सबस्ट्रेट का एक गुण है। चार स्वतंत्र मॉडलों का अभिसरण यह सुझाव देता है कि "लेखन का साम्राज्यवादी मानचित्रण" एल्गोरिदम में नहीं, बल्कि डेटा में एनकोडेड है।

लेखक कारण मध्यस्थता परिणामों को "पुष्टि के बजाय सुधारात्मक" (suggestive rather than confirmatory) के रूप में विनम्रतापूर्वक प्रस्तुत करते हैं, क्योंकि मार्जिन पर सांख्यिकीय नाजुकता (BCa बूटस्ट्रैप अंतराल शून्य को छूता है) मौजूद है, और यह स्वीकार करते हैं कि $n=45$ का नमूना आकार डिजिटल बहिष्करण द्वारा ही आरोपित एक "क्षितिज" है, न कि कोई यादृच्छिक नमूनाकरण सीमा। हालांकि, क्रॉस-आर्किटेक्चर कन्वर्जेंस इस बात का स्वतंत्र प्रमाण प्रदान करता है कि पूर्वाग्रह संरचनात्मक है और मॉडलों से ऊपर (upstream) है।

शोध पत्र निष्कर्ष निकालता है कि समाधान व्यक्तिगत मॉडलों को फाइन-ट्यूनिंग करके नहीं किया जा सकता है। चूंकि पूर्वाग्रह कॉर्पस में स्थित है, इसलिए हस्तक्षेप 'अपस्ट्रीम' होना चाहिए: सभी यूनिकोड लिपियों को शामिल करने के लिए टोकनाइज़र्स का विस्तार करना, आवृत्ति-आधारित शब्दावली आवंटन को ठीक करना, और सबसे महत्वपूर्ण रूप से, उन साम्राज्यों द्वारा किए गए जनसांख्यिकीय और संस्थागत नुकसान को संबोधित करना जिन्होंने इन समुदायों को बिना डिजिटल आवाज के छोड़ दिया। साम्राज्यों का "डिजिटल परलोक" दुर्भावना से नहीं, बल्कि एक गैर-तटस्थ कॉर्पस पर फ्रीक्वेंसी-आधारित लर्निंग की पद्धति द्वारा संरक्षित है।