From Formal Language Theory to Statistical Learning: Finite Observability of Subregular Languages

यहाँ कत्सुहिको हायशी और हिदेताका कामिगाइटो के शोध पत्र "From Formal Language Theory to Statistical Learning: Finite Observability of Subregular Languages" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र प्राकृतिक भाषा की संरचना के संबंध में औपचारिक भाषा सिद्धांत (Formal Language Theory) और सांख्यिकीय शिक्षण सिद्धांत (Statistical Learning Theory) के बीच के अंतर को संबोधित करता है।

• संदर्भ: यह स्थापित तथ्य है कि कई प्राकृतिक भाषा संबंधी घटनाएँ (ध्वनिविज्ञान, रूपविज्ञान, वाक्य रचना) सबरेगुलर पदानुक्रम (subregular hierarchy) (रेगुलर भाषाओं के भीतर स्थित वर्ग, जैसे कि स्ट्रिक्टली लोकल, स्ट्रिक्टली पीसवाइज़, आदि) के अंतर्गत आती हैं। ये वर्ग 'सीखने योग्य' (learnable) माने जाते हैं।
• अंतराल (The Gap): हालाँकि सबरेगुलर भाषाओं के बीजगणितीय और तार्किक लक्षण मौजूद हैं, लेकिन एक ज्यामितीय परिप्रेक्ष्य (geometric perspective) की कमी है जो यह समझा सके कि वे सीखने योग्य क्यों हैं। विशेष रूप से, यह कठोरता से सिद्ध नहीं किया गया है कि ये वर्ग सीमित-आयामी फीचर स्पेस में रैखिक रूप से विभाज्य (linearly separable) हैं।
• लक्ष्य: लेखक यह सिद्ध करने का लक्ष्य रखते हैं कि मानक सबरेगुलर भाषा वर्ग परिमित रूप से अवलोकन योग्य (finitely observable) हैं, जिसका अर्थ है कि वे रैखिक रूप से विभाज्य हैं। यह प्राकृतिक भाषा मॉडलिंग पर सांख्यिकीय शिक्षण गारंटी (जैसे कि VC डायमेंशन, परसेप्ट्रॉन बाउंड्स) के सीधे अनुप्रयोग की अनुमति देता है।

2. कार्यप्रणाली (Methodology)

लेखक एक अंतराल को पाटने के लिए प्रेडिकेट्स (predicates) और परिमित अवलोकन क्षमता (finite observability) पर आधारित एक ढांचे का परिचय देते हैं।

A. मुख्य परिभाषाएँ

• प्रेडिकेट्स (Predicates): बुलियन-मूल्य वाले फलन $p: \Sigma^* \to \{0, 1\}$ जो स्ट्रिंग के परिमित गुणों (जैसे सबस्ट्रिंग, सबसीक्वेंस की उपस्थिति, या थ्रेशोल्ड गणना) का पता लगाते हैं।
• परिमित अवलोकन क्षमता (Finite Observability): एक भाषा वर्ग $\mathcal{C}$ तब 'फाइनाइटली ऑब्जर्वेबल' होता है जब प्रेडिकेट्स का एक परिमित सेट $P = \{p_1, \dots, p_n\}$ मौजूद हो जिससे किसी भी भाषा $L \in \mathcal{C}$ की सदस्यता केवल सत्य वेक्टर (truth vector) $(p_1(x), \dots, p_n(x))$ पर निर्भर करती है।
• मिनटर्म लीनियराइजेशन (Minterm Linearization): लेखक मिनटर्म्स के आधार पर एक फीचर मैप $\Phi(x)$ का निर्माण करते हैं। एक सत्य वेक्टर $r(x) \in \{0, 1\}^n$ के लिए, मिनटर्म इंडिकेटर $\mu_a(x)$ तब 1 होता है जब $r(x) = a$ हो और अन्यथा 0। यह स्ट्रिंग को एक $2^n$-आयामी बुलियन स्पेस में मैप करता है जहाँ प्रत्येक आयाम प्रेडिकेट परिणामों के एक अद्वितीय संयोजन के अनुरूप होता है।

B. सैद्धांतिक प्रमाण

• मुख्य प्रमेय: शोध पत्र सिद्ध करता है कि परिमित अवलोकन क्षमता $\implies$ रैखिक विभाज्यता (Linear Separability)।
  • यदि कोई भाषा 'फाइनाइटली ऑब्जर्वेबल' है, तो उसकी सदस्यता सत्य वेक्टर्स के एक उपसमुच्चय $S_L \subseteq \{0, 1\}^n$ पर निर्भर करती है।
  • मिनटर्म फीचर मैप का उपयोग करते हुए, लेखक एक हाइपरप्लेन का निर्माण करते हैं जो $S_L$ के मिनटर्म्स को उसके बाहर के तत्वों से अलग करता है।
  • परिणाम: पृथक करने वाला हाइपरप्लेन कम से कम $1/2$ का कार्यात्मक मार्जिन (functional margin) प्राप्त करता है।
• सीखने के परिणाम: चूंकि फीचर वेक्टर्स यूनिट नॉर्म के साथ 'वन-हॉट' (one-hot) होते हैं, इसलिए ज्यामितीय मार्जिन सीमित होता है। इसका तात्पर्य है:
  • परसेप्ट्रॉन बाउंड (Perceptron Bound): गलतियों की संख्या $4|S_L|^2$ द्वारा सीमित है।
  • VC डायमेंशन: हाइपोथीसिस स्पेस का VC डायमेंशन $2n$ से अधिक नहीं है, जो सामान्यीकरण (generalization) सुनिश्चित करता है।

C. व्यावहारिक कार्यान्वयन

यद्यपि सैद्धांतिक मिनटर्म एम्बेडिंग प्रेडिकेट्स की संख्या में घातीय (exponential) होती है, लेखक नोट करते हैं कि मानक सबरेगुलर वर्गों के लिए, निम्न-आयामी प्रेडिकेट फीचर्स (जैसे कि $k$-ग्राम या सबसीक्वेंस की उपस्थिति/अनुपस्थिति) घातीय वृद्धि के बिना अलगाव प्राप्त करने के लिए पर्याप्त हैं।

D. काउंटर-एग्जांपल (सीमाएँ)

शोध पत्र में एक प्रमाण (थ्योरम 4.1) शामिल है जो दिखाता है कि सभी रेगुलर भाषाएँ 'फाइनाइटली ऑब्जर्वेबल' नहीं हैं। प्रेडिकेट्स के एक निश्चित सेट को निर्धारित करके, आप केवल $2^n$ तुल्यता वर्गों (equivalence classes) को ही अलग कर सकते हैं। हालाँकि, रेगुलर भाषाओं को अनिश्चित संख्या में राइट-कॉन्ग्रुएंस क्लासेस (जैसे कि मॉड्युलो काउंटिंग) की आवश्यकता हो सकती है। अतः, पूर्ण रेगुलर भाषाओं को एक निश्चित परिमित प्रेडिकेट सेट द्वारा रैखिक रूप से अलग नहीं किया जा सकता, जो सबरेगुलर प्रतिबंध की विशिष्ट शक्ति को रेखांकित करता है।

3. मुख्य योगदान (Key Contributions)

1. परिमित अवलोकन क्षमता की परिभाषा: एक नई संपत्ति जो यह सुनिश्चित करती है कि भाषा की सदस्यता प्राथमिक अवलोकनों के एक परिमित सेट पर निर्भर करती है।
2. रैखिक विभाज्यता का प्रमाण: एक कठोर प्रमाण कि सभी मानक सबरेगुलर वर्ग (SL, SP, LT, PT, LTT, TSL) उपयुक्त बुलियन फीचर स्पेस में 'फाइनाइटली ऑब्जर्वेबल' और इसलिए रैखिक रूप से विभाज्य हैं।
3. सिद्धांतों का एकीकरण: यह कार्य बीजगणितीय भाषा सिद्धांत को सांख्यिकीय शिक्षण सिद्धांत से जोड़ता है, जो इस बात का ज्यामितीय आधार प्रदान करता है कि सबरेगुलर भाषाएँ सीखने योग्य क्यों हैं।
4. प्रायोगिक सत्यापन: प्रदर्शित किया कि इन फीचर्स पर प्रशिक्षित रैखिक मॉडल सिंथेटिक डेटा पर पूर्ण अलगाव प्राप्त करते हैं और वास्तविक डेटा पर भाषाई रूप से सार्थक बाधाओं को पुनः प्राप्त करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

A. सिंथेटिक प्रयोग

लेखकों ने स्ट्रिक्टली लोकल (SL), स्ट्रिक्टली पीसवाइज़ (SP), और लोकलली थ्रेशोल्ड टेस्टेबल (LTT) भाषाओं का परीक्षण किया।

• शोर-मुक्त स्थितियाँ (Noise-Free Conditions): लॉजिस्टिक रिग्रेशन मॉडल ने 100% सटीकता प्राप्त की, जो पूर्ण रैखिक विभाज्यता के सैद्धांतिक गारंटी की पुष्टि करती है।
• शोर संवेदनशीलता (Noise Sensitivity): जैसे-जैसे लेबल शोर बढ़ा, सटीकता घटती गई, जो मजबूती (robustness) को प्रदर्शित करती है।
• नमूना आकार (Sample Size): प्रशिक्षण डेटा बढ़ने के साथ प्रदर्शन तेजी से 100% की ओर अभिसरित (converge) हुआ, जो 'फाइनाइटली ऑब्जर्वेबल' परिकल्पना को प्रमाणित करता है।

B. वास्तविक डेटा प्रयोग (अंग्रेजी रूपविज्ञान/Morphology)

MorphoLex-en डेटाबेस का उपयोग करके, लेखकों ने अंग्रेजी व्युत्पन्न रूपविज्ञान (affix sequences) को मॉडल किया।

• सेटअप: सकारात्मक उदाहरण सुव्यवस्थित एफिक्स अनुक्रम थे; नकारात्मक उदाहरण विचलित (परिवर्तित या प्रतिस्थापित) किए गए थे।
• फीचर्स: पीसवाइज़ टेस्टेबल (PT) और लोकली थ्रेशोल्ड टेस्टेबल (LTT) प्रेडिकेट्स का उपयोग किया गया।
• प्रदर्शन: लॉजिस्टिक रिग्रेशन ने >85% सटीकता और 86% F1 स्कोर प्राप्त किया।
• व्याख्यात्मकता (Interpretability): सीखा गया भार (weights) भाषाई बाधाओं के साथ संरेखित था। उदाहरण के लिए, मॉडल ने सीमा-संवेदनशील प्रेडिकेट्स (जैसे शब्दों के अंत में -ly या -ness जैसे प्रत्यय) और विशिष्ट उपसर्ग-प्रत्यय इंटरैक्शन को भारी महत्व दिया, जो ज्ञात रूपात्मक नियमों को दर्शाता है।
• मार्जिन विश्लेषण: वर्गीकरण मार्जिन का वितरण सकारात्मक मानों की ओर अत्यधिक झुका हुआ था, जो यह दर्शाता है कि अधिकांश डेटा बिंदु निर्णय सीमा (decision boundary) के सही पक्ष पर स्पष्ट रूप से स्थित हैं।

5. महत्व और निहितार्थ (Significance and Implications)

• सैद्धांतिक आधार: यह शोध पत्र प्राकृतिक भाषा को मॉडल करने के लिए सरल रैखिक मॉडल (जैसे लॉजिस्टिक रिग्रेशन या लीनियर SVM) के उपयोग का एक कठोर औचित्य प्रदान करता है। यह सुझाव देता है कि प्राकृतिक भाषा की "जटिलता" अक्सर गलत फीचर स्पेस को देखने के कारण उत्पन्न होने वाला भ्रम है; सही सबरेगुलर फीचर स्पेस में, संरचना सरल और रैखिक रूप से विभाज्य है।
• व्याख्यात्मकता: डीप न्यूरल नेटवर्क (RNNs/Transformers) के विपरीत, जो अक्सर 'ब्लैक बॉक्स' होते हैं, यह दृष्टिकोण व्याख्यात्मक मॉडल (interpretable models) प्रदान करता है। इसके फीचर्स सीधे भाषाई बाधाओं (जैसे "वर्जित 3-ग्राम" या "स्वर सामंजस्य") के अनुरूप होते हैं।
• दक्षता: यह प्रदर्शित करता है कि इन विशिष्ट कार्यों के लिए इन विशिष्ट संरचनाओं को पकड़ने हेतु कंप्यूटेशनल रूप से हल्के मॉडल सैद्धांतिक रूप से पर्याप्त हैं, जो इन कार्यों के लिए विशाल, उच्च-क्षमता वाले न्यूरल नेटवर्क की आवश्यकता को चुनौती देते हैं।
• भविष्य की दिशाएं: लेखक यह जांचने का सुझाव देते हैं कि क्या बड़े भाषा परिवार समान अवलोकन क्षमता गुण प्रदर्शित करते हैं और क्या अभ्यास में न्यूरल मॉडल की प्रभावी क्षमता उनके सैद्धांतिक ऊपरी स्तरों की तुलना में सबरेगुलर संरचनाओं के अधिक निकट है।

संक्षेप में, यह शोध पत्र स्थापित करता है कि सबरेगुलर भाषाएँ स्वाभाविक रूप से सीखने में सरल हैं क्योंकि वे परिमित रूप से अवलोकन योग्य और रैखिक रूप से विभाज्य हैं, जो औपचारिक भाषा विज्ञान और आधुनिक सांख्यिकीय शिक्षण के बीच एक सेतु का काम करती हैं।