Tarab: A Multi-Dialect Corpus of Arabic Lyrics and Poetry
यह शोध पत्र 'तराब' (Tarab) का परिचय देता है, जो कि 2.5 संों (fourteen centuries) और कई बोलियों में फैले अरबी गीत के बोलों और कविता के 2.56 मिलियन छंदों का एक बड़े पैमाने पर खुला संग्रह है, जिसे संरचित मेटाडेटा और आधारभूत विश्लेषणात्मक उपकरणों के माध्यम से तुलनात्मक भाषाई और शैलीगत विश्लेषण को सुगम बनाने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि अरबी भाषा एक विशाल, प्राचीन पुस्तकालय है। लंबे समय तक, इस पुस्तकालय को पढ़ने वाले कंप्यूटरों (AI) को केवल "आधिकारिक" पुस्तकें ही समझ आती थीं: समाचार, विश्वकोश और औपचारिक पाठ्यपुस्तकें। वे समाचार पढ़ने में तो माहिर थे, लेकिन जब बात रंगीन, अव्यवस्थित और भावनात्मक चीज़ों की आई, तो वे पूरी तरह से खो जाते थे: जैसे शादियों में गाए जाने वाले गीत, गलियों के रैप बैटल्स और आग की रोशनी में फुसफुसाए जाने वाले प्राचीन काव्य।
अब आया, तराब (Tarab)।
तराब को केवल एक डेटाबेस के रूप में नहीं, बल्कि एक विशाल, जादुई टाइम मशीन के रूप में सोचें जिसने अंततः अरबी रचनात्मकता की पूरी कहानी सुनना सीख लिया है। "तराब" नाम स्वयं बहुत सुंदर है; यह उस संगीत संबंधी परमानंद या गहरे भावनात्मक उल्लास को संदर्भित करता है जो आपको तब महसूस होता है जब कोई गीत या कविता सीधे आपके दिल को छू लेती है।
यहाँ बताया गया है कि यह प्रोजेक्ट इतना विशेष क्यों है, सरल शब्दों में:
1. 1,400 वर्षों के "ग्रेटेस्ट हिट्स"
अधिकांश भाषा संग्रह एक एकल दिन के स्नैपशॉट की तरह होते हैं। तरब एक 14-सदशीय मूवी मैराथन है।
- समय यात्रा: यह इस्लाम के समय से पहले की कविता (1,400 साल से अधिक पहले) से शुरू होता है और आज के पॉप स्टार्स और आधुनिक कवियों तक जाता है।
- पैमाना: इसमें 25 लाख (2.5 मिलियन) से अधिक पंक्तियाँ शामिल हैं। यह इतनी सामग्री है जो मील लंबी लाइब्रेरी की शेल्फ को भर सकती है। इसमें राजाओं की भव्य, औपचारिक कविता से लेकर आधुनिक पॉप गीतों के आकर्षक, बोलचाल वाले बोल तक सब कुछ शामिल है।
2. एक भाषाई संगम (Linguistic Melting Pot)
अरबी केवल एक भाषा नहीं है; यह भाषाओं का एक परिवार है।
- आधिकारिक बनाम वास्तविक: आधुनिक मानक अरबी (MSA) को भाषा के "सूट और टाई" वाले संस्करण के रूप में सोचें—जिसका उपयोग समाचारों और स्कूलों में किया जाता है। बोलियों (Dialects) (जैसे मिस्र, खाड़ी या मोरक्कन) को "जींस और टी-शर्ट" वाले संस्करण के रूप में सोचें—जो लोग वास्तव में अपने दैनिक जीवन में पहनते और बोलते हैं।
- मिश्रण: तरब से पहले, AI मुख्य रूप से "सूट और टाई" वाले संस्करण को जानता था। तरब AI को "जींस और टी-शर्ट" को भी समझना सिखाता है। इसमें छह प्रमुख क्षेत्रीय बोलियाँ और प्राचीन "शास्त्रीय" संस्करण शामिल हैं। यह एक अनुवादक को न केवल किसी शब्द की शब्दकोश परिभाषा समझाने जैसा है, बल्कि उसके मुहावरों, चुटकुलों और क्षेत्रीय लहजों को भी समझाने जैसा है।
3. "छंद" (Verse) ही सितारा है
आमतौर पर, जब हम भाषा का अध्ययन करते हैं, तो हम पूरे वाक्यों या अनुच्छेदों को देखते हैं। तरब ने सूक्ष्म स्तर पर सबसे छोटे, सबसे संगीतमय इकाई पर ध्यान केंद्रित करने का निर्णय लिया: छंद (The Verse)।
- लेगो (Lego) का उदाहरण: कल्पना करें कि एक गाना या कविता लेगो ईंटों से बना एक विशाल महल है। पिछले अध्ययनों ने पूरे महल को देखा। तरब उस महल को अलग करता है और हर एक ईंट का अध्ययन करता है।
- क्यों? क्योंकि अरबी कविता और गीत में, "ईंट" (छंद) ही रहस्य समेटे होती है। यह आपको लय, तुकबंदी और भावना बताती है। डेटा को छंद-दर-छंद व्यवस्थित करके, शोधकर्ता 1,000 साल पुरानी कविता की तुलना 2020 के रैप गाने से आमने-सामने कर सकते हैं ताकि देख सकें कि भाषा कैसे बदली (या वैसी ही रही)।
4. संगीत किसने बनाया?
यह संग्रह केवल यादृच्छिक शब्द नहीं हैं; यह एक "हॉल ऑफ फेम" है।
- इसमें 2,598 अद्वितीय रचनाकार शामिल हैं।
- एक तरफ, आपके पास हैं अतीत के दिग्गज: प्राचीन कवि जैसे अल-मार्री और अल-शरीफ अल-रादी, जिन्होंने सदियों पहले लिखा था।
- दूसरी ओर, आपके पास हैं आज के सुपरस्टार्स: प्रसिद्ध गायक जैसे फ़ैरुज़ और अम्र दियाब।
- तरब उन्हें एक ही कमरे में रखता है, जिससे हमें यह देखने की अनुमति मिलती है कि 10वीं शताब्दी के कवि और 21वीं सदी के गायक शब्दों का उपयोग आश्चर्यजनक रूप से समान (या बहुत अलग) तरीके से कैसे कर सकते हैं।
5. हमें इसकी आवश्यकता क्यों है?
AI को एक छात्र के रूप में सोचें। यदि आप केवल समाचार लेखों के साथ एक छात्र को पढ़ाते हैं, तो वह अखबार पढ़ने वाले रोबोट की तरह सुनाई देगा। वह व्यंग्य, प्रेम गीत, या उस तरह को नहीं समझ पाएगा जैसे एक दादी अपने पोते-पोती से बात करती है।
- लक्ष्य: तरब AI को "सांस्कृतिक शिक्षा" देता है। यह कंप्यूटर को भाषा की व्याकरण के अलावा उसकी आत्मा को समझने में मदद करता है।
- परिणाम: यह शोधकर्ताओं को बेहतर अनुवाद उपकरण, बेहतर वॉयस असिस्टेंट जो लहजों को समझते हैं, बनाने में मदद करता है, और हमें अपनी सांस्कृतिक विरासत को डिजिटल प्रारूप में संरक्षित करने में भी मदद करता है।
पेच (सीमाएँ)
किसी भी महान परियोजना की तरह, यह अभी भी पूर्ण नहीं है।
- "धुंधली तारीख" की समस्या: कुछ प्राचीन कविताओं के लिए, हम जानते हैं कि वे "अब्बासिद युग" की हैं, लेकिन हमें सटीक वर्ष नहीं पता। यह जानने जैसा है कि एक फोटो 1920 के दशक की है लेकिन विशिष्ट दिन नहीं पता।
- कोई ऑडियो नहीं: तरब केवल शब्द है। इसमें वास्तविक संगीत या गायक की आवाज़ शामिल नहीं है। यह शीट म्यूजिक (संगीत लिपि) है, कॉन्सर्ट की रिकॉर्डिंग नहीं।
निष्कर्ष
तराब दुनिया के लिए एक उपहार है। यह एक विशाल, खुला पुस्तकालय है जो कहता है, "हम समाचारों को महत्व देते हैं, लेकिन हम गीतों, कविताओं और बोलियों को भी महत्व देते हैं।" यह प्राचीन अतीत और डिजिटल भविष्य के बीच के अंतर को पाटता है, यह सुनिश्चित करता है कि अरबी बोलने वाली दुनिया की समृद्ध, भावनात्मक और विविध आवाज़ अंततः कल की मशीनों द्वारा स्पष्ट रूप से सुनी जा सके।
आप खुद भी इन गीतों और कविताओं को देखने के लिए HuggingFace (AI डेटा साझा करने वाली एक लोकप्रिय साइट) पर इस डिजिटल लाइब्रेरी पर जा सकते हैं!
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।