← नवीनतम पेपर
💻 computer science

TRNEWS-2025: A Large-Scale, Manually Annotated Turkish News Dataset for Text Classification and NLP Research

यह शोध पत्र TRNEWS-2025 को प्रस्तुत करता है, जो 2025 तक के नौ विविध श्रेणियों वाले एक बड़े पैमाने के, मैन्युअल रूप से एनोटेट किए गए तुर्की समाचार डेटासेट को कवर करता है, जिसे ट्रांसफॉर्मर-आधारित और क्लासिक डीप लर्निंग मॉडल दोनों के साथ प्रयोगों के माध्यम से टेक्स्ट वर्गीकरण और एनएलपी अनुसंधान में प्रभावी उपयोग के लिए मान्य किया गया है।

मूल लेखक: Sengul Bayrak

प्रकाशित 2026-06-29
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Sengul Bayrak

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को समाचार पढ़ना सिखाने की कोशिश कर रहे हैं। आप उसे बस कागजों का एक ढेर थमा नहीं सकते; आपको एक विशाल, व्यवस्थित पुस्तकालय चाहिए जहाँ हर एक लेख पहले से ही सही शेल्फ में रखा हो। यह पेपर बिल्कुल यही पेश करता है: TRNEWS-2025।

इस डेटासेट को तुर्की भाषा के लिए एक विशाल, ताज़ा अपडेट किए गए डिजिटल पुस्तकालय के रूप में समझें। इससे पहले, जो शोधकर्ता कंप्यूटर को तुर्की समझने के लिए प्रशिक्षित करने की कोशिश कर रहे थे, उन्हें पुरानी किताबों, गायब पन्नों या ऐसे पुस्तकालयों के साथ काम करना पड़ता था जो बंद दरवाजों के पीछे बंद थे। यह नया पुस्तकालय उन समस्याओं को हल करता है।

यहाँ इस पेपर का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:

1. पुस्तकालय संग्रह (The Dataset)

लेखकों ने विभिन्न तुर्की वेबसाइटों से स्क्रैप किए गए समाचार लेखों का एक विशाल संग्रह बनाया।

  • सामग्री: इसमें 2023 और 2025 के बीच एकत्र किए गए हजारों वास्तविक समाचार लेख शामिल हैं। यह केवल पुराना समाचार नहीं है; यह वर्तमान है, जो दर्शाता है कि आज लोग वास्तव में कैसे बोलते और लिखते हैं।
  • संगठन: कल्पना कीजिए कि एक लाइब्रेरियन ने हर एक लेख को नौ विशिष्ट डिब्बों में से एक में छाँट दिया है:
    1. मैगजीन (Magazine)
    2. राजनीति (Politics)
    3. खेल (Sports)
    4. कला और संस्कृति (Arts & Culture)
    5. स्वास्थ्य (Health)
    6. वित्त और अर्थव्यवस्था (Finance & Economy)
    7. विज्ञान और प्रौद्योगिकी (Science & Technology)
    8. पर्यटन (Tourism)
    9. पर्यावरण (Environment)
  • गुणवत्ता नियंत्रण: यह सुनिश्चित करने के लिए कि छंटनी निष्पक्ष थी, उन्होंने केवल एक व्यक्ति से यह काम नहीं करवाया। उन्होंने एक "लाइब्रेरियन की टीम" का उपयोग किया। यदि दो लोग इस बात पर असहमत थे कि एक लेख किस डिब्बे से संबंधित है, तो अंतिम निर्णय लेने के लिए एक सुपरवाइजर हस्तक्षेप करता था। उन्होंने अपने काम की पुष्टि एक गणितीय सूत्र (कोहेन का कप्पा - Cohen's Kappa) के साथ भी की ताकि यह साबित हो सके कि वे ज्यादातर एकमत थे।

2. सफाई दल (Preprocessing)

रोबोटों के इन लेखों को पढ़ने से पहले, लेखकों को इन्हें साफ करना पड़ा।

  • उपमा: कल्पना कीजिए कि आपको एक पत्र प्राप्त हुआ है जिस पर स्टिकी नोट्स, HTML कोड (जैसे <b या <div) और अतिरिक्त स्थान (spaces) लगे हुए हैं। लेखक एक सफाई दल की तरह काम करते हैं। उन्होंने डिजिटल "गंदगी" (HTML टैग, विशेष वर्ण) को हटा दिया और यह सुनिश्चित किया कि सभी अक्षर एक ही आकार के हों (लोअरकेस)।
  • मोड़: उन्होंने इसे बहुत अधिक साफ नहीं किया। उन्होंने टेक्स्ट को इसके प्राकृतिक रूप में रहने दिया ताकि शोधकर्ता बाद में अपने विशिष्ट प्रयोग के आधार पर यह चुन सकें कि वे इसे कैसे साफ करना चाहते हैं।

3. टेस्ट ड्राइव (Experiments)

यह सिद्ध करने के लिए कि यह पुस्तकालय उपयोगी है, लेखकों ने इस नए डेटासेट का उपयोग करके दो बहुत अलग "पढ़ने वाले रोबोटों" को टेस्ट ड्राइव के माध्यम से परखा।

  • रोबोट A (BERT): यह एक आधुनिक, हाई-टेक रोबोट है जो इंसान की तरह पढ़ता है, संदर्भ और बारीकियों को समझता है। यह एक मेधावी छात्र की तरह है जिसने पूरा इंटरनेट पढ़ लिया है।
  • रोबोट B (BiLSTM+GloVe): यह एक पुराना, क्लासिक रोबलेट है। यह विश्वसनीय और तेज़ है, लेकिन यह अधिक मशीन की तरह पढ़ता है, जो गहरे संदर्भ के बजाय शब्द पैटर्न को देखता है।

परिणाम:

  • दोनों रोबोटों ने टेस्ट पास किया। यह डेटासेट आधुनिक छात्र और क्लासिक मशीन दोनों के लिए अच्छा काम करता है।
  • आधुनिक रोबोट (BERT) बड़ी तस्वीर को समझने में बहुत अच्छा था, विशेष रूप से स्पोर्ट्स और पॉलिटिक्स जैसी श्रेणियों के लिए। हालाँकि, यह कभी-कभी समान विषयों के बीच भ्रमित हो जाता था, जैसे "पर्यावरण" समाचार को "राजनीति" समाचार के साथ मिला देना (क्योंकि वास्तविक दुनिया में, ये विषय अक्सर आपस में जुड़े होते हैं)।
  • क्लासिक रोबोट (BiLSTM) आश्चर्यजनक रूप से स्थिर था। इसने लगातार सीखा और डेटा के अस्त-व्यस्त हिस्सों से आसानी से भ्रमित नहीं हुआ, हालांकि यह आधुनिक रोबोट की तरह गहरे संदर्भ को समझने में उतना तेज नहीं था।

4. यह क्यों महत्वपूर्ण है

पेपर का तर्क है कि लंबे समय से, तुर्की के शोधकर्ता सीमित उपकरणों के सेट के साथ स्मार्ट AI बनाने की कोशिश कर रहे थे। यह डेटासेट उन्हें एक बिल्कुल नया, पूरी तरह से स्टॉक किया गया टूलबॉक्स देने जैसा है।

  • यह ओपन एक्सेस है, जिसका अर्थ है कि कोई भी इसका उपयोग कर सकता है (उन पिछले पुस्तकालयों के विपरीत जो बंद थे)।
  • यह विविध है, जो कई अलग-अलग विषयों को कवर करता है ताकि AI केवल एक चीज़ के बारे में न सीखे।
  • यह सत्यापित है, जिसका अर्थ है कि लेबल भरोसेमंद हैं।

निचोड़

यह पेपर यह दावा नहीं करता है कि यह डेटासेट अपने आप बीमारियों का इलाज करेगा या राजनीतिक संकटों को हल करेगा। इसके बजाय, यह दावा करता है कि इसने एक उच्च-गुणवत्ता वाला, विश्वसनीय प्रशिक्षण मैदान बनाया है। जिस तरह एक पायलट को उड़ना सीखने के लिए एक यथार्थवादी फ्लाइट सिम्युलेटर की आवश्यकता होती है, अब तुर्की के AI शोधकर्ताओं के पास अपने मॉडलों को प्रशिक्षित करने के लिए एक यथार्थवादी, अद्यतित "न्यूज सिम्युलेटर" है। प्रयोगों ने दिखाया कि यह सिम्युलेटर आधुनिक और क्लासिक दोनों AI मॉडलों को प्रभावी ढंग से प्रशिक्षित करने के लिए पर्याप्त अच्छा है।

पुस्तकालय कहाँ खोजें:
लेखकों ने डेटासेट को ऑनलाइन (IEEE DataPort के माध्यम से) सार्वजनिक रूप से उपलब्ध कराया है ताकि अन्य शोधकर्ता इसे डाउनलोड कर सकें और तुरंत अपने स्वयं के प्रयोग शुरू कर सकें।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →