GRDD+: An Extended Greek Dialectal Dataset with Cross-Architecture Fine-tuning Evaluation
यह शोध पत्र GRDD+ प्रस्तुत करता है, जो 10 विविधताओं और 6.3 मिलियन से अधिक शब्दों वाले एक महत्वपूर्ण रूप से विस्तारित ग्रीक बोली संबंधी डेटासेट को समाहित करता है, और फ्रंटियर मॉडलों के साथ तुलना करते हुए तीन LLM आर्किटेक्चर पर फाइन-ट्यूनिंग प्रयोगों के माध्यम से इसके प्रभाव का मूल्यांकन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया की कल्पना एक विशाल, अत्यंत बुद्धिमान पुस्तकालय के रूप में करें। लंबे समय तक, यह पुस्तकालय लगभग पूरी तरह से "स्टैंडर्ड मॉडर्न ग्रीक" में लिखी गई किताबों से भरा रहा—जो भाषा का वह औपचारिक, पाठ्यपुस्तक वाला संस्करण है जिसका उपयोग स्कूलों, समाचारों और आधिकारिक दस्तावेजों में किया जाता है।
लेकिन ग्रीस कई आवाजों का देश है। ठीक वैसे ही जैसे एक परिवार जहाँ हर किसी का अपना अनूठा लहजा, बोलचाल का तरीका और कहानी सुनाने की शैली होती है, ग्रीक में दर्जनों बोलियाँ (dialects) हैं। कुछ द्वीपों पर बोली जाती हैं, कुछ पहाड़ी गांवों में, कुछ इटली में, और कुछ तो वे प्राचीन भाषाएं भी हैं जो हजारों वर्षों से जीवित हैं।
समस्या क्या थी? AI पुस्तकालय में इन अनूठी आवाजों की भारी कमी थी। यदि आप AI से किसी विशिष्ट स्थानीय बोली में कहानी सुनाने को कहते, तो वह रोबोटिक, भ्रमित या बिल्कुल गलत सुनाई देता।
यह शोध पत्र, जिसका शीर्षक GRDD+ है, उस पुस्तकालय के लिए एक बड़े नवीनीकरण प्रोजेक्ट की तरह है। यहाँ सरल शब्दों में बताया गया है कि शोधकर्ताओं ने क्या किया:
1. "महान संग्रह" (डेटासेट)
शोधकर्ताओं ने इंटरनेट, पुरानी किताबों, गीतों और लोककथाओं से बहुत सारा टेक्स्ट इकट्ठा किया। वे केवल पहले से मौजूद मुख्य चार बोलियों तक सीमित नहीं रहे; वे ग्रीक की छह नई, दुर्लभ किस्मों की तलाश में निकले, जिनमें शामिल हैं:
- ग्रीको-कोर्सिकन (Greco-Corsican): कोर्सिका (फ्रांस) में बोली जाने वाली ग्रीक की एक बोली, जो अब विलुप्त हो चुकी है।
- ग्रिको (Griko): दक्षिणी इटली में बोली जाने वाली एक ग्रीक बोली।
- त्साकोनियन (Tsakonian): एक बहुत ही पुरानी, अनूठी बोली जो इतनी अलग है कि यह लगभग एक अलग भाषा है।
- काथरेवुसा (Katharevusa): ग्रीक का एक "शुद्धतावादी" संस्करण जिसका उपयोग लंबे समय तक आधिकारिक लेखन में किया जाता था।
अंततः उनके पास 10 विभिन्न किस्मों को कवर करने वाला 6.3 मिलियन शब्दों का एक विशाल संग्रह था। इसे पुस्तकालय में वास्तविक लोगों की प्रामाणिक आवाजों में लिखी गई हजारों नई किताबें भरने के रूप में समझें, न कि केवल पाठ्यपुस्तकों के रूप में।
2. "ट्रेनिंग कैंप" (फाइन-ट्यूनिंग)
किताबें होना अच्छी बात है, लेकिन AI (छात्र) को उन्हें पढ़ना सीखना होगा। शोधकर्ताओं ने तीन लोकप्रिय AI मॉडल (सोचिए कि ये तीन अलग-अलग छात्र हैं: Llama-3, Llama-3.1, और Krikri) को लिया और उन्हें एक विशेष ट्रेनिंग कैंप में डाला।
उन्होंने इन मॉडल्स को नया बोली संबंधी डेटा खिलाया। यह एक ऐसे छात्र को सिखाने जैसा है जो केवल औपचारिक अंग्रेजी जानता है, और फिर उसे एक साथ स्कॉटिश लहजा, दक्षिणी अमेरिकी लहजा और कॉकनी (Cockney) लहजा बोलने के लिए प्रशिक्षित करना।
3. "स्वाद परीक्षण" (मूल्यांकन)
एक बार प्रशिक्षण पूरा हो जाने के बाद, शोधकर्ताओं ने AI को परखने के लिए टेस्ट लिया। उन्होंने AI को इन बोलियों में छोटी कहानियाँ, संवाद और रचनात्मक रचनाएँ लिखने के लिए कहा।
फिर, वे नेटिव स्पीकर्स (वास्तविक इंसान जो इन बोलियों में पले-बढ़े हैं) को जज के रूप में लेकर आए। जजों ने AI को 1 से 5 तक का स्कोर दिया:
- 1: "यह पूरी तरह से नकली और रोबोटिक लगता है।"
- 5: "यह बिल्कुल एक मूल वक्ता की तरह लगता है; मैं बता नहीं सकता कि यह एक मशीन है।"
4. "चौंकाने वाले परिणाम"
यहीं से कहानी दिलचस्प होती है:
- "स्पेशलिस्ट" छात्र विफल रहा: एक छात्र, Krikri, विशेष रूप से ग्रीक के लिए बनाया गया था। आप सोचेंगे कि यह सबसे अच्छा होगा। लेकिन आश्चर्यजनक रूप से, यह बोली परीक्षणों में सबसे अच्छा प्रदर्शन नहीं कर सका। यह पता चला कि केवल मुख्य भाषा को अच्छी तरह से जानने का मतलब यह नहीं है कि आप स्थानीय लहजों में भी अच्छे होंगे।
- "जनरलिस्ट" छात्र चमके: अन्य दो मॉडल्स (Llama), जिन्हें विशेष रूप से ग्रीक के लिए नहीं बनाया गया था, प्रशिक्षण के बाद बोलियों को बेहतर ढंग से सीख गए।
- "बिग बॉस" मॉडल्स: शोधकर्ताओं ने अपने प्रशिक्षित मॉडल्स की तुलना दुनिया के सबसे शक्तिशाली, महंगे AI मॉडल्स (जैसे ChatGPT, Claude और Gemini के नवीनतम संस्करण) के साथ भी की।
- अच्छी खबर: उनके छोटे, प्रशिक्षित मॉडल्स अक्सर विशिष्ट बोलियों में बड़े और महंगे मॉडल्स को पछाड़ देते हैं! यह साबित करता है कि विशेषज्ञ प्रशिक्षण (specialized training) एक विशाल दिमाग होने से अधिक महत्वपूर्ण है।
- बुरी खबर: कुछ नवीनतम "बिग बॉस" मॉडल्स (जैसे नवीनतम Gemini) वास्तव में बोलियों को संभालने में बदतर हो गए, संभवतः इसलिए क्योंकि उन्हें अधिक "मानक" होने के लिए प्रशिक्षित किया गया था और उन्होंने स्थानीय विविधताओं को खो दिया।
5. "छोटे डेटा का जादू"
सबसे शानदार खोजों में से एक उत्तरी ग्रीक के बारे में थी। शोधकर्ताओं के पास इस बोली के लिए बहुत कम डेटा (लगभग 333 उदाहरण) था। आप सोचेंगे कि AI इसमें बुरी तरह विफल हो जाएगा। इसके बजाय, इसने बड़े डेटासेट के समान ही प्रदर्शन किया!
उपमा (Analogy): यह गाड़ी चलाना सीखने जैसा है। आपको बुनियादी बातें सीखने के लिए 10,000 मील गाड़ी चलाने की आवश्यकता नहीं है; कभी-कभी, सही परिस्थितियों में कुछ घंटों का केंद्रित, उच्च-गुणवत्ता वाला अभ्यास पर्याप्त होता है।
यह क्यों मायने रखता है?
यह शोध पत्र एक बड़ी बात है क्योंकि यह दिखाता है कि AI को "एक ही आकार सबके लिए" (one-size-fits-all) होने की आवश्यकता नहीं है। AI को मानव भाषा की समृद्ध, अव्यवस्थित और सुंदर विविधता तक पहुँच देकर, हम इसे हर किसी के लिए अधिक उपयोगी बना सकते हैं, न कि केवल उन लोगों के लिए जो "मानक" संस्करण बोलते हैं।
यह एक ऐसे AI की ओर एक कदम है जो केवल डिक्शनरी पढ़ने वाले रोबोट की तरह नहीं लगेगा, बल्कि एक ऐसा AI होगा जो क्रेते के किसी गाँव में रहने वाले दादाजी या साइप्रस के किसी मछुआरे के साथ बैठ सकता है और वास्तव में उन्हें समझ सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।