तकनीकी सारांश: कंपोजिशनल डेटा विश्लेषण के माध्यम से भाषा पहचान (Language Identification)

समस्या विवरण (Problem Statement)

भाषा पहचान (LID) प्राकृतिक भाषा प्रसंस्करण (NLP) में एक महत्वपूर्ण पूर्व-प्रसंस्करण (preprocessing) चरण है, फिर भी वर्तमान पद्धतियां कम्प्यूटेशनल दक्षता और ज्यामितीय वैधता के बीच एक द्वंद्व का सामना करती हैं। जबकि न्यूरल आर्किटेक्चर अत्याधुनिक सटीकता प्राप्त करते हैं, वे द्विघात समय जटिलता ($O(L^2)$) का भार वहन करते हैं और भारी हार्डवेयर संसाधनों की आवश्यकता होती है। इसके विपरीत, $n$-ग्राम आवृत्तियों का उपयोग करने वाले शास्त्रीय सांख्यिकीय तरीके रैखिक-समय प्रदर्शन ($O(L)$) प्रदान करते हैं, लेकिन वे एक मौलिक गणितीय दोष से ग्रस्त हैं: वे सापेक्ष आवृत्ति डेटा पर सीधे मानक यूक्लिडियन (Euclidean) या मैनहट्टन (Manhattan) दूरी मेट्रिक्स लागू करते हैं।

सापेक्ष आवृत्तियाँ कंपोजिशनल डेटा (compositional data) हैं, जो एक संभाव्यता सिम्प्लेक्स (probability simplex) के भीतर सीमित हैं जहाँ घटक योग में एकता (unity) सुनिश्चित करते हैं। जैसा कि ऐचिसन (Aitchison) द्वारा स्थापित किया गया है, इस प्रतिबंधित स्थान पर मानक ज्यामिति लागू करने से आभासी नकारात्मक सहसंबंध (spurious negative correlations) और उप-संरचनात्मक असंगतता (subcompositional incoherence) उत्पन्न होती है। यह शोध पत्र एक नियतात्मक (deterministic), रैखिक-समय LID क्लासिफायर की आवश्यकता को संबोधित करता है जो कंपोजिशनल डेटा की अंतर्निहित ज्यामिति का सम्मान करता है, विशेष रूप से वर्णमाला प्रणालियों (जैसे लैटिन, सिरिलिक) के लिए जहाँ वर्णों का ओवरलैप सूक्ष्म सांख्यिकीय सीमाओं का निर्माण करता है।

कार्यप्रणाली (Methodology)

प्रस्तावित ढांचा कंपोजिशनल डेटा विश्लेषण (CoDA) के सिद्धांत के भीतर भाषा पहचान को औपचारिक रूप देता है। कार्यप्रणाली निम्नलिखित चरणों के माध्यम से आगे बढ़ती है:

1. फीचर स्पेस औपचारिकीकरण (Feature Space Formalization)

सिस्टम इनपुट टेक्स्ट $T$ से यूनिग्राम (unigram/character) और बिग्राम (bigram) गणनाएँ निकालता है। इन गणनाओं को उनके संबंधित संभाव्यता सिम्प्लेक्स ($S^{D_c-1}$ और $S^{D_b-1}$) में रहने वाले सापेक्ष आवृत्ति वैक्टर्स, $x^{(c)}_T$ और $x^{(b)}_T$ बनाने के लिए सामान्यीकृत (normalize) किया जाता है। स्पर्सिटी (sparsity) और लॉगरिदमिक रूपांतरण में गणितीय विलक्षणताओं (singularities) को संबोधित करने के लिए, सभी घटकों पर एडिटिव लैप्लेस स्मूथिंग (additive Laplace smoothing) लागू की जाती है।

2. CLR रूपांतरण और ऐचिसन ज्यामिति (CLR Transformation and Aitchison Geometry)

सिम्प्लेक्स में निहित ज्यामितीय विकृतियों को हल करने के लिए, यह शोध पत्र सेंटर्ड लॉग-रेशियो (CLR) रूपांतरण का उपयोग करता है। यह रूपांतरण प्रतिबंधित आवृत्ति वैक्टर्स को $\mathbb{R}^D$ के $(D-1)$-आयामी शून्य-योग उपस्थान (zero-sum subspace) पर बायजेक्टिव रूप से मैप करता है:
$$\text{CLR}(x)_i = \ln(x_i) - \frac{1}{D} \sum_{j=1}^{D} \ln(x_j)$$
इस रूपांतरित स्थान में, मानक यूक्लिडियन $\ell_2$ नॉर्म, ऐचिसन दूरी (Aitchison distance) के अनुरूप होती है, जो स्केल इनवेरिएंस (scale invariance), परम्यूटेशन इनवेरिएंस (permutation invariance) और उप-संरचनात्मक सुसंगतता (subcompositional coherence) को संतुष्ट करने वाला अद्वितीय मीट्रिक है।

3. वर्गीकरण पाइपलाइन (Classification Pipeline)

एल्गोरिदम इनपुट टेक्स्ट के CLR-रूपांतरित वैक्टर्स और प्रत्येक लक्षित भाषा $\ell$ के लिए पूर्व-निर्धारित संदर्भ प्रोफाइल्स के बीच की दूरी की गणना करता है। कुल विचलन (divergence) यूनिग्राम और बिगग्राम ऐचिसन दूरियों का एक भारित योग है:
$$d_{\text{total}}(\ell) = \lambda_c d_A^{(c)}(\ell) + \lambda_b d_A^{(b)}(\ell)$$
अनुभवजन्य ट्यूनिंग (Empirical tuning) ने निर्धारित किया कि समान भार ($\lambda_c = \lambda_b = 1$) सबसे मजबूत प्रदर्शन प्रदान करता है, जिससे बिगग्राम दूरियों का स्वाभाविक रूप से बड़ा परिमाण भेदभाव को संचालित करता है जबकि यूनिग्राम एक स्थिर आधार (stabilizing baseline) प्रदान करते हैं।

4. डियाक्रिटिक समायोजन (Diacritic Adjustment)

उन लघु टेक्स्ट को संभालने के लिए जहाँ डियाक्रिटिक्स (diacritics) अत्यधिक सूचनात्मक लेकिन विरल (sparse) होते हैं, दूरी स्कोर से एक लंबाई-निर्भर समायोजन पद $B(L)$ घटाया जाता है:
$$B(L) = \frac{\beta \cdot m}{1 + \alpha \cdot L}$$
जहाँ $m$ मिलान करने वाले डियाक्रिटिक्स की संख्या है, और $\alpha, \beta$ ग्रिड सर्च ($\alpha=0.05, \beta=2.0$) के माध्यम से ट्यून किए गए हाइपरपैरामीटर हैं। यह लघु अनुक्रमों में डियाक्रिटिक्स के प्रति उच्च संवेदनशीलता सुनिश्चित करता है जबकि लंबे टेक्स्ट में अत्यधिक दंड (over-penalization) को रोकता है।

पूर्वानुमानित भाषा $L^*$ वह है जो अंतिम स्कोर $S(\ell) = d_{\text{total}}(\ell) - B(L)$ को न्यूनतम करती है।

मुख्य योगदान (Key Contributions)

• ज्यामितीय सुधार (Geometric Correction): यह शोध पत्र एक नियतात्मक LID क्लासिफायर पेश करता है जो मानक दूरी मेट्रिक्स को ऐचिसन ज्यामिति से बदल देता है, जो पारंपरिक आवृत्ति-आधारित मॉडलों में "कंपोजिशनल डेटा गैप" को कठोरता से संबोधित करता है।
• रैखिक-समय दक्षता (Linear-Time Efficiency): एल्गोरिथ्म $O(L)$ कम्प्यूटेशनल जटिलता बनाए रखता है, जो इसे बिना GPU त्वरण या मॉडल प्रशिक्षण के एज डिवाइसेस और रियल-टाइम अनुप्रयोगों के लिए उपयुक्त बनाता है।
• प्रशिक्षण-मुक्त नियतत्ववाद (Training-Free Determinism): न्यूरल नेटवर्क के विपरीत, इस सिस्टम को पुनरावृत्ति प्रशिक्षण (iterative training) की आवश्यकता नहीं है। यह केवल निश्चित संदर्भ प्रोफाइल और व्याख्या योग्य हाइपरपैरामीटर पर निर्भर करता है, जो विभिन्न कंप्यूटिंग वातावरणों में पूर्ण पुनरुत्पादकता (reproducibility) सुनिश्चित करता है।
• एकीकृत पाइपलाइन (Unified Pipeline): एक एकल CoDA ढांचे के भीतर यूनिग्राम और बिगग्राम फीचर्स का एकीकरण, और एक विशिष्ट डियाक्रिटिक समायोजन तंत्र के साथ मिलकर, निकट संबंधी भाषाओं के बीच अंतर करने के लिए एक मजबूत समाधान प्रदान करता है।

प्रयोगात्मक परिणाम (Experimental Results)

इस ढांचे का मूल्यांकन छह भाषाओं (अंग्रेजी, जर्मन, तुर्की, रोमानियाई, हंगेरियन, डच) पर लैंग्वेज डेटर्मिनिज्म डेटा सेट (LDDS) और OPUS मल्टीलिंगुअल कॉर्पस का उपयोग करके किया गया।

• लंबाई के अनुसार सटीकता (Accuracy by Length): प्रदर्शन अनुक्रम की लंबाई के साथ मजबूती से सह-संबंधित है।
  • लघु अनुक्रम ($L < 50$): कुल सटीकता 84.0%। त्रुटियां मुख्य रूप से अंग्रेजी और डच के बीच होती हैं क्योंकि उनके यूनिग्राम वितरण ओवरलैप करते हैं और उनमें डियाक्रिटिक्स का अभाव होता है।
  • मध्यम अनुक्रम ($50 \le L \le 150$): सटीकता बढ़कर 95.6% हो जाती है।
  • लंबे अनुक्रम ($L > 150$): मॉडल सभी मूल्यांकित भाषाओं में 100.0% सटीकता प्राप्त करता है।
• बेसलाइन के साथ तुलना: CoDA दृष्टिकोण कच्चे यूक्लिडियन और मैनहट्टन दूरी बेसलाइन की तुलना में बेहतर प्रदर्शन करता है, विशेष रूप से विरल (sparse) स्थितियों में। यह langid.py और FastText जैसे अनुकूलित उपकरणों की मजबूती के बराबर या उससे थोड़ा अधिक है, जबकि उनके कम्प्यूटेशनल ओवरहेड से बचता है।
• प्रति-भाषा प्रदर्शन: तुर्की ने सभी लंबाई के लिए पूर्ण सटीकता (100%) प्राप्त की क्योंकि इसमें विशिष्ट रूपात्मक (morphological) विशेषताएं हैं। डच और रोमानियाई ने लघु अनुक्रमों में कम सटीकता दिखाई लेकिन टेक्स्ट की लंबाई बढ़ने के साथ 100% तक अभिसरित (converge) हो गए।

महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि कंपोजिशनल प्रतिनिधित्व एक नियतात्मक और कम्प्यूटेशनल रूप से कुशल विकल्प प्रदान करते हैं, विशेष रूप से उन सेटिंग्स में जहाँ व्याख्यात्मकता (interpretability) और कम संसाधन खपत आवश्यक है।

इस कार्य के महत्व के संबंध में प्रमुख दावे इस प्रकार हैं:

1. व्याख्यात्मकता (Interpretability): अपारदर्शी न्यूरल एम्बेडिंग्स के विपरीत, प्रत्येक वर्गीकरण निर्णय को ऐचिसन सिम्प्लेक्स के भीतर ज्यामितीय रूप से व्याख्या किया जा सकता है, जिससे पारदर्शी त्रुटि विश्लेषण की सुविधा मिलती है।
2. स्केलेबिलिटी (Scalability): यह ढांचा पुन: प्रशिक्षण लागत (retraining costs) से बचता है; एक नई भाषा जोड़ने के लिए केवल संदर्भ आवृत्ति वितरण के निर्माण की आवश्यकता होती है।
3. मजबूती (Robustness): यह पद्धति कच्चे आवृत्ति विश्लेषण में निहित ज्यामितीय विकृतियों को प्रभावी ढंग से हल करती है, जो सांख्यिकीय भाषा प्रोफाइलिंग के लिए एक गणितीय रूप से सुदृढ़ दृष्टिकोण प्रदान करती है।

सीमाएं (Limitations)

शोध पत्र स्पष्ट रूप से कई बाधाओं को स्वीकार करता है:

• एकभाषी धारणा (Monolingual Assumption): मॉडल एक एकभाषी इनपुट मानता है। कोड-स्विचिंग (मिश्रित-भाषा टेक्स्ट) ऐसे कंपोजिशनल वैक्टर्स की ओर ले जाती है जो कई वितरणों के रैखिक संयोजन हैं, जिससे मध्यवर्ती ऐचिसन स्पेस में संदिग्ध भविष्यवाणियां होती हैं।
• लिपि संबंधी बाधाएं (Script Constraints): वर्तमान कार्यान्वयन वर्णमाला प्रणालियों (लैटिन, सिरिलिक, ग्रीक) के लिए अनुकूलित है। फ्रेमवर्क को लोगोग्राफिक प्रणालियों (जैसे मंदारिन) या अबजाड्स (जैसे अरबी) तक विस्तारित करना चुनौतीपूर्ण है क्योंकि इसके लिए निश्चित साझा फीचर स्पेस और गतिशील आयामन (dynamic dimensionality $D$) को प्रबंधित करने की कठिनाई होती है।
• लघु टेक्स्ट स्पर्सिटी (Short Text Sparsity): वाक्यों और अनुच्छेदों के लिए प्रभावी होने के बावजूद, बहुत छोटे अनुक्रमों ($L < 50$) के लिए प्रदर्शन कम हो जाता है क्योंकि यह अनुभवजन्य आवृत्ति अनुमानों की अंतर्निहित विरलता (sparsity) के कारण होता है।