Can linguistic complexity predict machine translation quality?- a corpus-based study of complexity-quality nexus in philosophical texts

तकनीकी सारांश: क्या भाषाई जटिलता मशीन अनुवाद की गुणवत्ता का पूर्वानुमान लगा सकती है? दार्शनिक ग्रंथों में जटिलता-गुणवत्ता संबंध का एक कॉर्पस-आधारित अध्ययन

समस्या विवरण
जबकि आर्टिफिशियल इंटेलिजेंस और न्यूरल मशीन ट्रांसलेशन (NMT) ने उच्च-संसाधन डोमेन (जैसे कानूनी, पत्रकारिता, शैक्षणिक पाठ) में अनुवाद गुणवत्ता को महत्वपूर्ण रूप से उन्नत किया है, कम-संसाधन, संज्ञानात्मक रूप से चुनौतीपूर्ण डोमेन जैसे कि दार्शनिक ग्रंथों में इन प्रणालियों के प्रदर्शन को समझने में एक उल्लेखनीय अंतर मौजूद है। विशेष रूप से, मौजूदा साहित्य विविध मशीन ट्रांसलेशन (MT) प्रणालियों—जिसमें पारंपरिक NMT, डीपसीक (DeepSeek) जैसे LLM-आधारित सिस्टम, और डीपएल (DeepL) जैसे डीप लर्निंग-संचालित सिस्टम शामिल हैं—के बीच तुलना करने में सक्षम नहीं है, जब उन्हें जटिल, अमूर्त स्रोत सामग्री पर लागू किया जाता है। इसके अलावा, भाषाई जटिलता को अनुवाद त्रुटियों से जोड़ने वाले पिछले अध्ययन अक्सर विशिष्ट भाषा युग्मों (जैसे इन्फ्लेक्शनल भाषाएं) या शैलियों (जैसे पत्रकारिता) तक सीमित रहे हैं, जो अक्सर दार्शनिक और साहित्यिक संदर्भों में "जटिलता-गुणवत्ता संबंध" (complexity-quality nexus) का पता लगाने में विफल रहे हैं। यह अध्ययन इस प्रश्न को संबोधित करता है कि क्या जर्मन-से-चीनी दार्शनिक ग्रंथों में लेक्सिकल (शब्दकोश संबंधी) और सिंटैक्टिक (वाक्य संरचना संबंधी) जटिलता सूचकांक, मशीन अनुवाद की गुणवत्ता का पूर्वानुमान लगा सकते हैं।

कार्यप्रणाली
यह शोध जर्मन दार्शनिक थियोडोर डब्ल्यू. अडोर्नो के नाचगेलेने श्रिफ़्टन (Nachgelassene Schriften - मरणोपरांत लेखन) का उपयोग करते हुए एक कॉर्पस-आधारित प्रायोगिक डिज़ाइन नियोजित करता है। पूर्व-मौजूदा प्रशिक्षण डेटा से पूर्वाग्रह को समाप्त करने के लिए, लेखकों ने एक ऐसे पाठ का चयन किया जिसका पहले से कोई चीनी अनुवाद उपलब्ध नहीं था। एक संदर्भ अनुवाद एक वरिष्ठ अकादमिक अनुवादक द्वारा तैयार किया गया था और बैक-ट्रांसलेशन (मूल जर्मन के विरुद्ध 0.72 का BLEU स्कोर प्राप्त करते हुए) और शब्दावली संरेखण के माध्यम से सत्यापित किया गया था।

कॉर्पस में 254 पाठ खंड (लगभग 59,564 शब्द) शामिल हैं जिन्हें तीन अलग-अलग प्रणालियों द्वारा चीनी में अनुवादित किया गया है:

1. DeepL (डीप लर्निंग-संचालित)
2. DeepSeek (LLM-आधारित)
3. NMT (मानक न्यूरल मशीन ट्रांसलेशन मॉडल)

अनुवाद गुणवत्ता को मानव संदर्भ अनुवाद के विरुद्ध गणना किए गए BLEU स्कोर (बाइलिंघुअल इवैल्यूएशन अंडरस्टडी) का उपयोग करके मापा गया था। भाषाई जटिलता को 'ट्रांसलेशनिस' (translationese) और द्वितीय-भाषा लेखन पर पिछले शोध से अनुकूलित चीनी-विशिष्ट सूचकांकों के एक समूह का उपयोग करके मापा गया, जिन्हें निम्नलिखित श्रेणियों में विभाजित किया गया है:

• लेक्सिकल सूचकांक (Lexical Indices): टाइप-टोकन अनुपात (TTR1, TTR2, TTR1C, TTR2C), मीन वर्ड रैंक (MWR), और मीन कैरेक्टर रैंक (MCR)।
• सिंटैक्टिक सूचकांक (Syntactic Indices): वाक्यों की औसत लंबाई (MLS), उपवाक्यों की औसत लंबाई (MLC), T-यूनिट्स की औसत लंबाई (MLTU), प्रति वाक्य T-यूनिट्स (T/S), और प्रति वाक्य उपवाक्य (C/S)।

BLEU स्कोर की भविष्यवाणी करने के लिए तीन मल्टीपल रिग्रेशन मॉडल बनाए गए थे:

• मॉडल 1: केवल लेक्सिकल जटिलता पर आधारित।
• मॉडल 2: केवल सिंटैक्टिक जटिलता पर आधारित।
• मॉडल 3: दोनों लेक्सिकल और सिंटैक्टिक विशेषताओं को एकीकृत करने वाला एक संयुक्त मॉडल।

मुख्य परिणाम
विश्लेषण ने भाषाई जटिलता की भविष्य कहने वाली शक्ति के संबंध में निम्नलिखित निष्कर्ष दिए:

• सिस्टम प्रदर्शन: पूरे कॉर्पस में DeepL ने DeepSeek और मानक NMT मॉडल की तुलना में लगातार उच्च BLEU स्कोर प्राप्त किया। यह निष्कर्ष इस धारणा को चुनौती देता है कि LLM-आधारित प्रणालियाँ (जैसे DeepSeek) इस विशिष्ट डोमेन में पारंपरिक NMT मॉडल के लिए स्वाभाविक रूप से बेहतर विकल्प के रूप में कार्य करती हैं।
• मॉडल 1 (लेक्सिकल जटिलता): इसने 0.849 का R-squared प्रदर्शित करते हुए मजबूत व्याख्यात्मक शक्ति दिखाई। लेक्सिकल समृद्धि और विविधता (TTR1, TTR1C, TTR2, MWR, और MCR के लिए सकारात्मक गुणांक द्वारा इंगित) अनुवाद गुणवत्ता के महत्वपूर्ण सकारात्मक भविष्यवक्ता थे। इसके विपरीत, TTR2C ने एक नकारात्मक गुणांक दिखाया, जो सुझाव देता है कि अत्यधिक लेक्सिकल पुनरावृत्ति या अतिरेक (redundancy) गुणवत्ता को कम करता है।
• मॉडल 2 (सिंटैक्टिक जटिलता): इसने 0-395 का R-squared के साथ मध्यम व्याख्यात्मक शक्ति दिखाई। हालांकि लंबी वाक्य संरचनाओं (MLS) और उपवाक्यों (MLC) का गुणवत्ता के साथ सकारात्मक सहसंबंध था, लेकिन क्लॉज डेंसिटी (C/S) जैसे अन्य सिंटैक्टिक फीचर्स सांख्यिकीय रूप से महत्वपूर्ण नहीं थे। यह इंगित करता है कि सिंटैक्टिक जटिलता अकेले, लेक्सिकल जटिलता की तुलना में एक कमजोर भविष्यवक्ता है।
• मॉडल 3 (संयुक्त जटिलता): इसने 0.86 का R-squared के साथ उच्चतम व्याख्यात्मक शक्ति प्राप्त की। इस मॉडल ने पुष्टि की कि दोनों लेक्सिकल और सिंटैक्टिक विशेषताओं को एकीकृत करने वाला एक समग्र दृष्टिकोण अनुवाद परिणामों की सबसे व्यापक भविष्यवाणी प्रदान करता है। विशेष रूप से, संयुक्त मॉडल में, मुख्य और आश्रित उपवाक्यों का अनुपात (T/S) एक नकारात्मक गुणांक प्रदर्शित करता है, जो सुझाव देता है कि उच्च संरचनात्मक अधीनता (subordination) अनुवाद की कठिनाई को बढ़ा सकती है और गुणवत्ता को कम कर सकती है।

महत्व और योगदान
यह शोध पत्र मशीन ट्रांसलेशन क्वालिटी असेसमेंट (MTQA) के क्षेत्र में कई विशिष्ट तरीकों से योगदान देने का दावा करता है:

1. डोमेन विस्तार: यह उच्च-संसाधन या पत्रकारिता शैलियों के बजाय कम-संसाधन, अमूर्त डोमेन (दार्शनिक पाठ) में जटिलता-गुणवत्ता संबंध की जांच करके एक शोध अंतराल को भरता है।
2. सिस्टम तुलना: यह DeepL, DeepSeek (LLM), और मानक NMT के प्रदर्शन की तुलना करते हुए अनुभवजन्य डेटा प्रदान करता है, जो यह जानकारी देता है कि विभिन्न आर्किटेक्चरल दृष्टिकोण जटिल अर्थ संबंधी और सिंटैक्टिक संरचनाओं को कैसे संभालते हैं।
3. भविष्य कहने वाला मॉडलिंग (Predictive Modeling): यह अध्ययन भाषाई जटिलता के आधार पर अनुवाद गुणवत्ता की भविष्यवाणी करने के लिए रिग्रेशन मॉडल की उपयोगिता को मान्य करता है। यह स्थापित करता है कि लेक्सिकल समृद्धि, सिंटैक्टिक जटिलता की तुलना में एक अधिक प्रमुख कारक है, हालांकि दोनों का एकीकरण सबसे सटीक भविष्यवाणियां प्रदान करता है।
4. कार्यप्रणाली ढांचा: एक सत्यापित संदर्भ अनुवाद और विशिष्ट जटिलता सूचकांकों वाले कठोरता से निर्मित कॉर्पस का उपयोग करके, यह अध्ययन चुनौतीपूर्ण, गैर-मानकीकृत डोमेन में MT प्रदर्शन का आकलन करने के लिए एक पुनरुत्पादनीय ढांचा प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि वर्तमान MT प्रणालियां आशाजनक दिखती हैं, लेकिन दार्शनिक ग्रंथों में उनका प्रदर्शन स्रोत पाठ की लेक्सिकल विविधता और सिंटैक्टिक संरचना पर अत्यधिक निर्भर है। यह शोध MT प्रणालियों के मूल्यांकन और सुधार के लिए, विशेष रूप से कम-संसाधन और उच्च-जटिलता वाले अनुप्रयोगों के लिए, लेक्सिकल और सिंटैक्टिक विचारों के संतुलित एकीकरण की आवश्यकता को रेखांकित करता है।