We can still parse using syntactic rules
यह शोध एक पारदर्शी और व्याख्यात्मक पार्सिंग प्रणाली प्रस्तुत करता है जो पारंपरिक सीमाओं को दूर करने के लिए कॉन्टेक्स्ट-फ्री और जनरलाइज्ड फ्रेज स्ट्रक्चर ग्रामर नियमों को एकीकृत करती है, जो शोर के प्रति सहनशीलता (noise tolerance) के साथ डिपेंडेंसी और कंस्टिट्यूएंसी दोनों ट्री उत्पन्न करती है और यूनिवर्सल डिपेंडेंसी बेंचमार्क पर मध्यम सटीकता प्राप्त करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल रेसिपी (व्यंजन विधि) को समझने की कोशिश कर रहे हैं जो एक ऐसे शेफ द्वारा लिखी गई है जो कभी-कभी सामग्री लिखना भूल जाता है, मुहावरों या बोलचाल की भाषा का उपयोग करता है, या गलती से एक पन्ना गिरा देता है। अधिकांश आधुनिक AI शेफ (जैसे प्रसिद्ध "ट्रांसफॉर्मर्स" या LLMs) केवल सामग्रियों का स्वाद चखकर अंतिम व्यंजन का अनुमान लगाने में माहिर होते हैं। वे शक्तिशाली हैं, लेकिन वे ब्लैक बॉक्स (black boxes) की तरह हैं: आप जानते हैं कि वे बेहतरीन खाना बनाते हैं, लेकिन आपको यह पता नहीं चलता कि उन्होंने चीनी के बजाय नमक क्यों डाला, या उन्होंने यह कैसे तय किया कि सॉस गाढ़ा होना चाहिए। वे बस "जानते" हैं कि यह सही लग रहा है।
यह शोध पत्र, शोधकर्ता हुसैन गली (Hussein Ghaly) द्वारा, एक सरल प्रश्न पूछता है: "क्या हमें अभी भी रेसिपी के वास्तविक नियमों को समझने की आवश्यकता है?"
लेखक का तर्क है कि हाँ, हमें इसकी आवश्यकता है। हमें "रेसिपी के चरणों" (syntax/वाक्य संरचना) को स्पष्ट रूप से देखने का एक तरीका चाहिए, ताकि हम समझा सकें कि एक वाक्य का अर्थ क्या है। इसे करने के लिए, उन्होंने एक नया प्रकार का "ग्रामर रोबोट" बनाया है जो केवल अनुमान नहीं लगाता; बल्कि वह नियमों के एक सख्त, पारदर्शी सेट का पालन करता है, ठीक वैसे ही जैसे एक मानव भाषाविद् करता है।
यहाँ उनके दृष्टिकोण का रोजमर्रा के उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. पुराने नियम बनाम नए नियम
लंबे समय तक, भाषाविदों ने कॉन्टेक्स्ट-फ्री ग्रामर (CFG) का उपयोग करके भाषा का वर्णन करने का प्रयास किया। इसे एक साधारण LEGO निर्देश पुस्तिका की तरह समझें जो कहती है: "एक घर बनाने के लिए, आपको एक दीवार और एक छत की आवश्यकता है।"
- समस्या: वास्तविक जीवन (और वास्तविक भाषा) अव्यवस्थित है। कभी-कभी आपके पास बिना छत वाला घर होता है, या एक ऐसी दीवार होती है जिसमें खिड़की गायब होती है। सरल LEGO मैनुअल तब टूट जाता है जब आप "वह आदमी जिससे मैं मिला [गायब शब्द] कल" जैसी जटिल संरचनाएं बनाने की कोशिश करते हैं।
लेखक एक पुराने, अधिक स्मार्ट नियमों के सेट को वापस लाते हैं जिसे GPSG (Generalized Phrase Structure Grammar) कहा जाता है।
- उपमा: केवल "दीवार + छत = घर" कहने के बजाय, GPSG एक स्मार्ट निर्माण दल (construction crew) है जिसके पास एक "स्लैश" (Slash) टूल है। यदि एक दीवार में खिड़की गायब है, तो दल उसे "स्लैश वाली दीवार" (Wall/Window) के रूप में चिह्नित करता है। वे जानते हैं कि वास्तव में क्या गायब है और वे पूरी दीवार को गिराकर फिर से बनाने के बजाय बाद में उस खाली जगह को भर सकते हैं। यह सिस्टम को अस्त-व्यस्त वाक्यों, अंतराल और त्रुटियों को सहजता से संभालने की अनुमति देता है।
2. "ड्यूल-व्यू" (दोहरा दृश्य) कैमरा
अधिकांश पार्सर (वाक्य विश्लेषक) वाक्य की दो में से एक फोटो लेते हैं:
- कन्स्टिट्यूएंसी पार्सिंग (Constituency Parsing): एक फैमिली ट्री (वंश वृक्ष) की फोटो लेने जैसा। यह समूहों को दिखाता है: "संज्ञा वाक्यांश (Noun Phrase)," "क्रिया वाक्यांश (Verb Phrase)।" यह पदानुक्रम (hierarchy) देखने के लिए बेहतरीन है लेकिन यह देखने में खराब है कि कौन, किसका क्या कर रहा है।
- डिपेंडेंसी पार्सिंग (Dependency Parsing): कमरे में मौजूद लोगों के बीच तीर (arrows) खींचने जैसा। यह दिखाता है कि "आदमी" "कुत्ते" से "प्रेम" करता है। यह संबंधों के लिए बेहतरीन है लेकिन बड़े समूहों को देखने में खराब है।
नवाचार: गली का सिस्टम एक 3D होलोग्राम प्रोजेक्टर की तरह है। यह केवल एक सपाट फैमिली ट्री फोटो या एक सपाट तीर आरेख नहीं लेता। यह एक ही समय में दोनों उत्पन्न करता है। यह आपको समूहों और संबंधों दोनों को एक साथ दिखाता है। यह आपको वाक्य की संरचना की बहुत समृद्ध तस्वीर प्रदान करता है।
3. "शोर" (Noise) को संभालना
वास्तविक दुनिया का टेक्स्ट अव्यवस्थित होता है। इसमें शामिल हैं:
- डिसफ्लुएंसीज़ (Disfluencies): "अह, वह किताब, उह, जो मैंने पढ़ी..."
- फॉर्मेटिंग: HTML टैग, बोल्ड टेक्स्ट, इमोजी, फुटनोट।
- टाइपो (Typos): "receive" के बजाय "recieve"।
पुराने पार्सर इस शोर पर अक्सर अटक जाते हैं, जैसे गड्ढे में आने पर कार का इंजन बंद हो जाना। गली का पार्सर एक मॉन्स्टर ट्रक के सस्पेंशन सिस्टम की तरह बनाया गया है। यह "उह", "अह", HTML टैग, और गायब शब्दों जैसे "गड्ढों" के ऊपर से बिना रुके चल सकता है। यह शोर की पहचान करता है, इसके ऊपर से निकल जाता है, और नीचे की ठोस जमीन पर वाक्य की संरचना बनाना जारी रखता है।
4. यह कैसे काम करता है (असेंबली लाइन)
यह सिस्टम एक इंक्रीमेंटल (क्रमिक) तरीके से काम करता है, जैसे कारखाने में असेंबली लाइन:
- टोकेनाइजेशन (Tokenization): यह वाक्य को व्यक्तिगत ईंटों (शब्दों) में तोड़ता है।
- टैगिंग (Tagging): यह हर ईंट पर एक लेबल लगाता है (जैसे, "यह एक क्रिया है," "यह एक संज्ञा है")। महत्वपूर्ण बात यह है कि यह केवल एक लेबल का अनुमान नहीं लगाता; यह आत्मविश्वास स्कोर के साथ संभावनाओं की एक छोटी सूची रखता है (जैसे, "90% संभावना कि यह एक क्रिया है, 10% संभावना कि यह एक संज्ञा है")।
- रूल स्कैनिंग (Rule Scanning): यह ईंटों को देखता है और पूछता है, "क्या हमारे कोई नियम यहाँ फिट बैठते हैं?"
- नियम: "यदि आप एक संज्ञा और एक क्रिया देखते हैं, तो वे एक वाक्य बना सकते हैं।"
- कार्रवाई: वे उन्हें आपस में जोड़ देते हैं।
- प्रोजेक्शन (Projection): एक बार जुड़ जाने के बाद, नया समूह एक "सुपर-ब्रिक" बन जाता है जिसका उपयोग और भी बड़े नियमों के लिए किया जा सकता है।
- रीरैंकिंग (Reranking): यदि असेंबली लाइन कुछ अलग-अलग संभावित संरचनाएँ बनाती है, तो सिस्टम उन्हें स्कोर करता है। यह अजीब संरचनाओं (जैसे दो सिर वाले वाक्य) को हटा देता है और सबसे तार्किक वाली को रखता है।
5. परिणाम: एक बात साबित करने के लिए "काफी अच्छा"
लेखक ने इस सिस्टम का परीक्षण वाक्यों के एक विशाल पुस्तकालय (Universal Dependencies) पर किया।
- स्कोर: इसने लगभग 54% सटीकता प्राप्त की।
- तुलना: एक बहुत ही लोकप्रिय, आधुनिक AI पार्सर (SpaCy) ने लगभग 58% प्राप्त किया।
रुको, क्या यह बदतर नहीं है?
बिल्कुल नहीं। लेखक स्वीकार करते हैं कि उनका सिस्टम एक प्रोटोटाइप (प्रारूप) है। इसमें केवल लगभग 145 नियम प्रोग्राम किए गए हैं (जैसे केवल 4 गियर वाली कार)। आधुनिक AI में लाखों पैरामीटर होते हैं। बिंदु यह नहीं है कि यह नया सिस्टम अभी बेहतर अनुमान लगाने में बेहतर है; बल्कि यह कि यह पारदर्शी (transparent) है।
- ब्लैक बॉक्स (AI): "मुझे लगता है कि इस वाक्य का अर्थ X है क्योंकि मेरे न्यूरल नेटवर्क ने ऐसा कहा है।" (आप पूछ नहीं सकते कि क्यों)।
- ग्लास बॉक्स (यह पेपर): "मुझे लगता है कि इस वाक्य का अर्थ X है क्योंकि नियम #42 ने ऐसा कहा था, और यहाँ वह सटीक मार्ग है जिससे शब्द गुजरे थे।"
मुख्य निष्कर्ष (The Big Takeaway)
यह पेपर एक आह्वान (call to action) है। यह कहता है: "हमें 70 साल के भाषाई सिद्धांत को फेंकने की आवश्यकता नहीं है सिर्फ इसलिए क्योंकि AI अनुमान लगाने में अच्छा हो गया है।"
पुराने जमाने के नियम-आधारित तर्क (rule-based logic) को आधुनिक कंप्यूटिंग के साथ जोड़कर, हम ऐसा AI बना सकते हैं जो न केवल मानव भाषा बोलता है, बल्कि उसके पीछे के व्याकरण को भी समझता है। यह व्याख्यात्मक AI (Explainable AI) के लिए महत्वपूर्ण है—ऐसे सिस्टम जहाँ डॉक्टरों, न्यायाधीशों या इंजीनियरों को यह जानने की आवश्यकता होती है कि कंप्यूटर ने निर्णय क्यों लिया, न कि केवल यह कि उसने निर्णय लिया है।
संक्षेप में: लेखक ने एक ऐसा ग्रामर रोबोट बनाया है जो अव्यवस्थित, वास्तविक दुनिया के टेक्स्ट को संभाल सकता है, वाक्य में "समूहों" और "संबंधों" दोनों को देख सकता है, और सबसे महत्वपूर्ण बात यह है कि वह आपको अपना होमवर्क दिखा सकता है ताकि आप देख सकें कि उसने समस्या को कैसे हल किया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।