How Useful are LLMs for Grammar Engineering? Cantonese ParGram Resources and Controlled Experimental Evaluation with English Baselines
यह शोध पत्र नए कैंटोनीज़ ParGram संसाधनों को प्रस्तुत करता है और एक नियंत्रित मूल्यांकन प्रस्तुत करता है जो यह दर्शाता है कि जबकि उन्नत LLMs स्थानीय रूप से प्रशंसनीय व्याकरण घटकों को उत्पन्न कर सकते हैं, वे जटिल औपचारिक बाधाओं के साथ संघर्ष करते हैं, जो यह संकेत देता है कि व्याकरण इंजीनियरिंग के लिए मानवीय भाषाई विशेषज्ञता आवश्यक बनी हुई है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भाषा एक जीवित, सांस लेती हुई चीज़ है, लेकिन कंप्यूटर को इसे समझने के लिए सिखाने हेतु भाषाविदों को अक्सर पहले एक कठोर कंकाल बनाना पड़ता है। यह क्षेत्र, जिसे ग्रामर इंजीनियरिंग (व्याकरण इंजीनियरिंग) कहा जाता है, विस्तृत नियम पुस्तिकाएं लिखने से संबंधित है जो सटीक रूप से बताती हैं कि शब्द अर्थ बनाने के लिए एक साथ कैसे जुड़ते हैं। इन नियम पुस्तिकाओं को केवल सही वाक्यों की सरल सूचियों के रूप में नहीं, बल्कि जटिल निर्देश नियमावली के रूप में देखें जो मशीन को यह बताती है कि एक वाक्य को उसके कार्यात्मक भागों में कैसे तोड़ा जाए, यह पहचानते हुए कि कौन, किसके साथ क्या कर रहा है, और वे भूमिकाएँ विभिन्न भाषाओं में एक-दूसरे से कैसे जुड़ती हैं। दशकों तक, इन नियमावलियों को बनाना एक धीमी, श्रमसाध्य प्रक्रिया रही है जिसमें गहरे मानवीय विशेषज्ञता की आवश्यकता होती है, क्योंकि इंजीनियरों को प्रत्येक वाक्य संरचना के सूक्ष्म तर्क को मैन्युअल रूप से एनकोड करना पड़ता है। हाल ही में, कार्यशाला में एक नया उपकरण आया है: लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल), वही शक्तिशाली कृत्रिम बुद्धिमत्ता प्रणाली जो निबंध लिख सकती है या प्रश्नों के उत्तर दे सकती है। भाषाविदों के लिए बड़ा सवाल यह है कि क्या ये एआई (AI) प्रणालियाँ वास्तव में उन जटिल नियम पुस्तिकाओं को बनाने में मदद कर सकती हैं जो कंप्यूटर को भाषा के बारे में सिखाने के लिए आवश्यक हैं, या क्या वे इतने सटीक कार्य के लिए बहुत अधिक त्रुटिपूर्ण हैं।
एक शोधकर्ता ने इस प्रश्न का परीक्षण करने के लिए कैंटोनीज़ (Cantonese) का उपयोग करते हुए एक प्रयोग किया, जो एक व्यापक रूप से बोली जाने वाली भाषा है जिसके पास ऐतिहासिक रूप से अंग्रेजी में उपलब्ध विस्तृत डिजिटल संसाधनों की कमी रही है। उन्होंने उच्च गुणवत्ता वाली संदर्भ सामग्री का एक नया सेट बनाया, जो मूल रूप से सही वाक्य संरचनाओं और उनके अंतर्निहित तार्किक संबंधों का एक 'गोल्ड स्टैंडर्ड' (मानक) था, ताकि एक बेंचमार्क के रूप में काम किया जा सके। इस आधार को स्थापित करने के बाद, उन्होंने यह देखने के लिए नियंत्रित प्रयोगों की एक श्रृंखला चलाई कि क्या दो अलग-अलग एआई मॉडल शून्य से आवश्यक व्याकरण नियम उत्पन्न कर सकते हैं। शोधकर्ता ने एआई से केवल टेक्स्ट का अनुवाद करने के लिए नहीं कहा; इसके बजाय, उन्होंने इसे एक ग्रामर इंजीनियर के रूप में कार्य करने के लिए कहा, जो विशिष्ट तकनीकी घटक उत्पन्न करे जो कंप्यूटर को वाक्यों को सही ढंग से पार्स (parse) करने के लिए आवश्यक हों। उन्होंने मॉडलों का परीक्षण विभिन्न स्थितियों में किया: कभी उन्हें केवल एक कच्चा वाक्य दिया, और अन्य समय में उन्हें कच्चा वाक्य और साथ ही सही तार्किक संरचना भी दी जिसका उन्हें लक्ष्य रखना था। उन्होंने कठिनाई के स्तर को भी बदला, एआई से एकल वाक्य प्रकारों बनाम संबंधित वाक्यों के समूहों को संभालने के लिए कहा जो जटिल तरीकों से परस्पर क्रिया करते हैं।
परिणामों ने क्षमता का एक स्पष्ट पदानुक्रम प्रकट किया। अधिक उन्नत एआई मॉडल ने दूसरे की तुलना में लगातार बेहतर प्रदर्शन किया, जिससे ऐसे व्याकरण नियम उत्पन्न हुए जिनके सही और उपयोगी होने की संभावना बहुत अधिक थी। हालाँकि, प्रॉम्प्टिंग (prompting) की विधि मॉडल स्वयं जितना ही महत्वपूर्ण थी। जब शोधकर्ता ने एआई को वाक्य के साथ लक्षित तार्किक संरचना प्रदान की, तो परिणामी व्याकरण नियम तब की तुलना में काफी बेहतर थे जब एआई को अकेले वाक्य से संरचना का अनुमान लगाना था। यह सुझाव देता है कि हालांकि एआई पैटर्न को पहचान सकता है, लेकिन यह एक स्पष्ट मार्गदर्शक के बिना भाषा के गहरे, अदृश्य तर्क को समझने में संघर्ष करता है। सबसे अच्छा प्रदर्शन करने वाला मॉडल भी, जब कई अलग-अलग वाक्य प्रकारों को एक साथ संभालने की चुनौती का सामना करता है, तो लड़खड़ाने लगा। यह अक्सर ऐसे नियम उत्पन्न कर सकता था जो सतह पर सही दिखते थे, लेकिन जब उन नियमों को एक जटिल वाक्य का विश्लेषण करने के लिए मिलकर काम करना होता था, तो वे विफल हो जाते थे। एआई अक्सर व्याकरण के विभिन्न भागों के बीच सूक्ष्म संबंधों को मिस कर देता था, जैसे कि कैसे वाक्य के एक भाग में एक विशिष्ट शब्द को दूसरे भाग में एक विशिष्ट भूमिका के साथ तार्किक रूप से मेल खाना चाहिए।
अध्ययन यह निष्कर्ष निकालता है कि ये एआई प्रणालियाँ अभी भी इन जटिल भाषा प्रणालियों को बनाने में मानव भाषाविदों को प्रतिस्थापित करने के लिए तैयार नहीं हैं। वे वाक्यों की सूची से स्वतंत्र रूप से एक मजबूत, कार्यशील व्याकरण नहीं बना सकते हैं। इसके बजाय, उनकी सबसे उपयोगी भूमिका एक सहायक के रूप में दिखाई देती है। शोध यह सुझाव देता है कि एक ऐसा वर्कफ़्लो (कार्यप्रवाह) हो सकता है जहाँ एआई तार्किक संरचनाओं या नियम उम्मीदवारों का एक पहला ड्राफ्ट तैयार कर सकता है, जिसकी बाद में एक मानव विशेषज्ञ द्वारा समीक्षा, सुधार और परिष्करण किया जा सकता है। इस साझेदारी में, एआई संभावनाओं को उत्पन्न करने का भारी काम संभालता है, जबकि मानव वह महत्वपूर्ण निर्णय प्रदान करता है जो यह सुनिश्चित करने के लिए आवश्यक है कि अंतिम प्रणाली तार्किक रूप से सुदृढ़ और सटीक हो। निष्कर्ष पुष्टि करते हैं कि हालांकि कृत्रिम बुद्धिमत्ता प्रक्रिया के कुछ हिस्सों को तेज कर सकती है, लेकिन एक विश्वसनीय व्याकरण इंजन बनाने के लिए आवश्यक गहरा, संरचनात्मक समझ अभी भी पूरी तरह से मानवीय विशेषज्ञता के क्षेत्र में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।