From Traditional Taggers to LLMs: A Comparative Study of POS Tagging for Medieval Romance Languages

कल्पना कीजिए कि आप तीन अलग-अलग मध्यकालीन भाषाओं में लिखी गई प्राचीन पुस्तकों के पुस्तकालय को पढ़ने की कोशिश कर रहे हैं: मध्यकालीन ओकिटन (Occitan), मध्यकालीन कैटलन (Catalan), और मध्यकालीन फ्रेंच (French)। ये केवल आधुनिक भाषाओं के पुराने संस्करण नहीं हैं; ये उनके जंगली, अनियंत्रित चचेरे भाईओं की तरह हैं। स्पेलिंग (वर्तनी) हर पन्ने पर बदल जाती है (कभी "आग" को fuoc लिखा जाता है, तो कभी foc), व्याकरण जटिल है, और आपकी मदद के लिए बहुत कम शब्दकोश या शिक्षक उपलब्ध हैं।

इस शोध पत्र का लक्ष्य कंप्यूटर को यह सिखाना है कि इन पुस्तकों के हर शब्द को उसके "काम" (जैसे संज्ञा, क्रिया, या विशेषण) के साथ कैसे लेबल किया जाए। इस प्रक्रिया को पार्ट-ऑफ-स्पीच (POS) टैगिंग कहा जाता है। यह कंप्यूटर के लिए कहानी को वास्तव में समझने, अनुवाद करने या उसके इतिहास का विश्लेषण करने के लिए एक आवश्यक पहला कदम है।

शोधकर्ताओं ने पूछा: क्या आधुनिक "सुपर-स्मार्ट" AI (लार्ज लैंग्वेज मॉडल्स या LLMs) उन पुराने, पारंपरिक उपकरणों से बेहतर काम कर सकता है जिनका हम अब तक उपयोग करते आ रहे हैं?

यहाँ उनके प्रयोग का विवरण दिया गया है, जिसे सरल उपमाओं के माध्यम से समझाया गया है:

1. प्रतियोगी

अध्ययन ने दो प्रकार के "टैगर्स" के बीच एक दौड़ आयोजित की:

• पुराने दिग्गज (पारंपरिक टैगर्स): इन्हें नियमों का पालन करने वाले पुस्तकालयाध्यक्षों के रूप में सोचें। उनके पास आधुनिक भाषाओं पर आधारित एक सख्त नियम पुस्तिका है। वे किसी शब्द के आकार को देखकर और ज्ञात पैटर्न से तुलना करके उसके काम का अनुमान लगाने की कोशिश करते हैं। वे तेज़ और सस्ते हैं, लेकिन अजीब स्पेलिंग या दुर्लभ शब्दों के मामले में आसानी से भ्रमित हो जाते हैं।
• नए दावेदार (LLMs): ये प्रतिभाशाली बहुभाषी (polyglots) की तरह हैं जिन्होंने लगभग सब कुछ पढ़ा है। वे केवल नियमों का पालन नहीं करते; वे संदर्भ (context) को समझते हैं। वे एक वाक्य को देख सकते हैं और "महसूस" कर सकते हैं कि एक शब्द की संभावना क्या है, भले ही स्पेलिंग अजीब क्यों न हो।

2. प्रशिक्षण विधियाँ (उन्होंने AI को कैसे सिखाया)

शोधकर्ताओं ने केवल AI को अनुमान लगाने के लिए नहीं छोड़ा; उन्होंने इसे सिखाने के विभिन्न तरीके आजमाए:

• ज़ीरो-शॉट (एक "कोल्ड रीड"): उन्होंने AI को एक प्रॉम्प्ट दिया: "आप एक विशेषज्ञ हैं। यहाँ एक शब्द है, मुझे इसका काम बताएं," बिना उसे कोई उदाहरण दिखाए। यह एक पर्यटक से बिना किसी शब्दकोश के मेनू का अनुवाद करने के लिए कहने जैसा है।
• फ्यू-शॉट (एक "चीट शीट"): उन्होंने पहले AI को उदाहरणों की एक छोटी सूची दी (जैसे, "यह शब्द एक संज्ञा है, यह एक क्रिया है")। यह पर्यटक को शुरू करने से पहले कुछ प्रमुख वाक्यांश देने जैसा है।
• फाइन-ट्यूनिंग (एक "शिक्षुता/Apprenticeship"): उन्होंने AI को लिया और विशेष रूप से मध्यकालीन ग्रंथों पर इसे प्रशिक्षित किया। यह उस पर्यटक को काम पर रखने जैसा है जो केवल इन विशिष्ट पुस्तकों का अध्ययन करने के लिए एक महीने तक इंटर्न के रूप में काम करता है।
• क्रॉस-लिंगुअल ट्रांसफर (एक "भाषा परिवार का पुनर्मिलन"): यह सबसे दिलचस्प हिस्सा है। उन्होंने AI को भाषाओं के मिश्रण पर प्रशिक्षित किया। उदाहरण के लिए, उन्होंने इसे कैटलन और ओकिटन पर एक साथ सिखाया, फिर ओककिलन पर इसका परीक्षण किया। यह किसी को स्पेनिश और इतालवी सिखाने जैसा है, और फिर यह देखने के लिए कि क्या वे पुर्तगाली को बेहतर समझ सकते हैं क्योंकि भाषाएं संबंधित हैं।

3. परिणाम: कौन जीता?

परिणाम स्पष्ट थे, लेकिन कुछ दिलचस्प मोड़ भी थे:

• AI की जीत: लगभग हर मामले में, आधुनिक AI (LLMs) पुराने नियम-आधारित उपकरणों को हरा दिया। "प्रतिभाशाली बहुभाषी" ने अजीब स्पेलिंग को "नियमों का पालन करने वाले पुस्तकालयाध्यक्षों" की तुलना में बहुत बेहतर तरीके से संभाला।
• प्रशिक्षण मायने रखता है: AI तब सबसे अच्छा प्रदर्शन करता था जब इसे डेटा पर वास्तव में प्रशिक्षित (Fine-tuning) किया गया था, न कि केवल अनुमान लगाने के लिए छोड़ा गया था।
• भाषाओं को मिलाने का "गोल्डिलॉक्स" (सही संतुलन):
  • सबसे छोटे, कठिन डेटासेट के लिए (मध्यकालीन ओकिटन): AI ने सबसे अच्छा प्रदर्शन किया जब इसने तीनों भाषाओं को एक साथ सीखा (Trilingual)। यह ऐसा था जैसे छात्र को उस कठिन बोली को समझने के लिए सभी संबंधित बोलियों को सुनने की आवश्यकता थी।
  • चिकित्सा पाठ के लिए (मध्यकालीन फ्रेंच): AI ने सबसे अच्छा प्रदर्शन किया जब इसे केवल कैटलन के साथ जोड़ा गया (Bilingual)। तीसरी भाषा को जोड़ने से यह थोड़ा खराब हो गया। यह एक छात्र को फ्रेंच सीखने के लिए सिखाने जैसा है; कभी-कभी तीसरा भाषा (जैसे स्पेनिश) जोड़ना मदद करता है, लेकिन कभी-कभी किसी विशिष्ट, छोटे कार्य के लिए केवल निकटतम रिश्तेदार (इतालवी/कैटलन) पर ध्यान केंद्रित करना अधिक प्रभावी होता है।

4. जीत के पीछे का "क्यों"

शोधकर्ताओं ने पाया कि AI विशेष रूप से उन शब्दों को समझने में अच्छा था जिनका अर्थ और संदर्भ होता है, जैसे विशेषण (adjectives), क्रिया-विशेषण (adverbs), और सर्वनाम (pronouns)। पुराने उपकरण इनके साथ संघर्ष करते थे क्योंकि वे कठोर नियमों पर निर्भर होते हैं। हालाँकि, AI पूरे वाक्य को देख सकता था और कह सकता था, "आह, यह शब्द संज्ञा का वर्णन कर रहा है, इसलिए यह एक विशेषण होना चाहिए," भले ही स्पेलिंग अजीब क्यों न हो।

5. कमी (सीमाएँ)

पेपर ईमानदार है कि इसने क्या नहीं किया:

• लागत: "प्रतिभाशाली बहुभाषी" (बड़े AI मॉडल) को चलाना महंगा है और उन्हें शक्तिशाली कंप्यूटरों की आवश्यकता होती है। पुराने उपकरण मुफ्त और तेज़ हैं।
• डेटा का आकार: डेटासेट बहुत अलग आकार के थे (एक में 2,000 शब्द थे, दूसरे में 59,000)। शोधकर्ता यह पूरी तरह से अलग नहीं कर सके कि AI इसलिए अच्छा प्रदर्शन कर रहा था क्योंकि यह भाषा थी या केवल इसलिए क्योंकि इसके पास सीखने के लिए अधिक डेटा था।
• विशिष्टता: उन्होंने केवल इन तीन भाषाओं का परीक्षण किया। हमें अभी तक नहीं पता कि क्या यह अन्य प्राचीन भाषाओं के लिए भी काम करता है जो रोमांस भाषाओं (Romance languages) से संबंधित नहीं हैं।

निचोड़ (The Bottom Line)

यह पेपर साबित करता है कि बिखरे हुए, प्राचीन मध्यकालीन ग्रंथों को पढ़ने के लिए, आधुनिक AI एक शक्तिशाली नया उपकरण है। यह केवल पुराने तरीकों को बदलता नहीं है; यह उनमें महत्वपूर्ण सुधार करता है, विशेष रूप से तब जब आप इसे संबंधित भाषाओं को मिलाकर सिखाते हैं। हालाँकि, इसमें कोई "एक-आकार-सभी-के-लिए-उपयुक्त" (one-size-fits-all) रणनीति नहीं है। कभी-कभी आपको सभी भाषाओं को एक साथ मिलाने की आवश्यकता होती है, और कभी-कभी आपको केवल दो पर ध्यान केंद्रित करने की आवश्यकता होती है, यह इस पर निर्भर करता है कि आप किस विशिष्ट पाठ को पढ़ने की कोशिश कर रहे हैं।

इतिहासकारों और डिजिटल मानविकी विशेषज्ञों के लिए, इसका अर्थ यह है कि अब हम उन हजारों वर्षों के साहित्य को स्वचालित रूप से व्यवस्थित करने और समझने के लिए बेहतर उपकरण बना सकते हैं जो पहले कंप्यूटर के लिए बहुत जटिल थे।