← नवीनतम पेपर
💬 NLP

POLAR: A Benchmark for Multilingual, Multicultural, and Multi-Event Online Polarization

यह शोध पत्र POLAR को प्रस्तुत करता है, जो ऑनलाइन ध्रुवीकरण के लिए एक व्यापक बहुभाषी और बहुसांस्कृतिक बेंचमार्क डेटासेट है, और विभिन्न भाषा मॉडलों की क्षमताओं का मूल्यांकन करता है, जिससे यह पता चलता है कि हालांकि वे ध्रुवीकरण का पता लगा सकते हैं, लेकिन वे विशिष्ट प्रकारों और अभिव्यक्तियों की पहचान करने के जटिल कार्यों में संघर्ष करते हैं।

मूल लेखक: Usman Naseem, Robert Geislinger, Juan Ren, Sarah Kohail, Rudy Garrido Veliz, P Sam Sahil, Yiran Zhang, Marco Antonio Stranisci, Idris Abdulmumin, Özge Alacam, Cengiz Acartürk, Aisha Jabr, Saba Anwar
प्रकाशित 2026-02-06
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Usman Naseem, Robert Geislinger, Juan Ren, Sarah Kohail, Rudy Garrido Veliz, P Sam Sahil, Yiran Zhang, Marco Antonio Stranisci, Idris Abdulmumin, Özge Alacam, Cengiz Acartürk, Aisha Jabr, Saba Anwar, Abinew Ali Ayele, Simona Frenda, Alessandra Teresa Cignarella, Elena Tutubalina, Oleg Rogov, Aung Kyaw Htet, Xintong Wang, Surendrabikram Thapa, Kritesh Rauniyar, Tanmoy Chakraborty, Arfeen Zeeshan, Dheeraj Kodati, Satya Keerthi, Sahar Moradizeyveh, Firoj Alam, Arid Hasan, Syed Ishtiaque Ahmed, Ye Kyaw Thu, Shantipriya Parida, Ihsan Ayyub Qazi, Lilian Wanzare, Nelson Odhiambo Onyango, Clemencia Siro, Jane Wanjiru Kimani, Ibrahim Said Ahmad, Adem Chanie Ali, Martin Semmann, Chris Biemann, Shamsuddeen Hassan Muhammad, Seid Muhie Yimam

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि इंटरनेट एक विशाल, वैश्विक शहर का चौक है। इस चौक में, दुनिया के हर कोने से लोग एक-दूसरे पर चिल्ला रहे हैं, बहस कर रहे हैं और कभी-कभी एक-दूसरे पर चीख रहे हैं। कभी-कभी, ये बहसें इतनी गरमा जाती हैं कि शहर दो ऐसे गुटों में बंट जाता है जो एक-दूसरे को देखने तक को तैयार नहीं होते। यही ध्रुवीकरण (Polarization) है।

लंबे समय से, इस शोर-शराबे का अध्ययन करने की कोशिश कर रहे वैज्ञानिक इसे एक बहुत ही संकीर्ण खिड़की से देख रहे थे। उन्होंने ज्यादातर अमेरिका या यूरोप के अंग्रेजी बोलने वालों को सुना, और उन्होंने ज्यादातर "चुनाव A बनाम चुनाव B" जैसे विशिष्ट तर्कों को देखा। यह एक ही देश में एक एकल फुटबॉल मैच देखने जैसा है। इसमें आप बाकी का खेल देखने से चूक जाते हैं।

यहाँ आता है POLAR

POLAR क्या है?

POLAR को दुनिया के विवादों की एक विशाल, बहुभाषी "ध्वनि रिकॉर्डिंग" के रूप में समझें। शोधकर्ताओं ने केवल एक भाषा नहीं सुनी; उन्होंने 22 अलग-अलग भाषाओं (अंग्रेजी और स्पेनिश से लेकर स्वाहिली और खमेर तक) में 1,10,000 बातचीत को रिकॉर्ड किया। उन्होंने केवल चुनावों को नहीं देखा; उन्होंने युद्ध, धर्म, लिंग, नस्ल और यहाँ तक कि जलवायु परिवर्तन के बारे में भी विवादों को देखा।

उन्होंने इस डेटासेट को विवादों के एक सार्वभौमिक अनुवादक (Universal Translator) के रूप में बनाया, जो यह पकड़ता है कि लोग अपने सांस्कृतिक परिवेश में कैसे बहस करते हैं, न कि केवल एक पश्चिमी क्लासरूम में।

तर्क के तीन स्तर

शोधकर्ताओं ने महसूस किया कि केवल यह कहना कि "यह एक बहस है" पर्याप्त नहीं है। उन्होंने प्याज के छिलके उतारने की तरह, इस शोर को तीन स्तरों में विभाजित किया:

  1. "क्या यह हो रहा है?" वाला स्तर (Detection - पहचान): क्या यह वास्तव में ध्रुवीकृत पाठ है, या यह केवल एक सामान्य राय है?
    • उपमा: क्या कमरे में आग लगी है, या कोई केवल एक मोमबत्ती पकड़े हुए है?
  2. "यह किस बारे में है?" वाला स्तर (Type - प्रकार): लड़ाई किस बात पर है? क्या यह राजनीतिक है? नस्लीय? धार्मिक?
    • उपमा: क्या वे इस बात पर लड़ रहे हैं कि घर किसका है, या वे इस बात पर लड़ रहे हैं कि कार कौन चलाएगा?
  3. "वे कैसे लड़ रहे हैं?" वाला स्तर (Manifestation - अभिव्यक्ति): वे किन तरकीबों का उपयोग कर रहे हैं? क्या वे नाम ले रहे हैं? क्या वे कह रहे हैं कि "आप इंसान नहीं हैं"? क्या वे "हमेशा" या "कभी नहीं" जैसे चरम शब्दों का उपयोग कर रहे हैं?
    • उपमा: क्या वे कीचड़ उछाल रहे हैं, हथौड़े का उपयोग कर रहे हैं, या केवल अपमान फुसफुसा रहे हैं?

प्रयोग: क्या कंप्यूटर लड़ाई को समझ सकते हैं?

शोधकर्ताओं ने इस विशाल डेटासेट को लिया और इसे दो प्रकार के "डिजिटल दिमागों" (AI मॉडल) को खिलाया ताकि वे देख सकें कि क्या वे समझ पा रहे हैं कि क्या हो रहा है।

  • छोटे दिमाग (SLMs): ये विशेष उपकरणों की तरह हैं। ये विशिष्ट कार्यों के लिए अच्छे हैं लेकिन जटिल सांस्कृतिक बारीकियों में भ्रमित हो सकते हैं।
  • बड़े दिमाग (LLMs): ये सामान्य ज्ञान के दिग्गजों की तरह हैं। वे दुनिया के बारे में बहुत कुछ जानते हैं लेकिन उन्हें विशेष रूप से "इंटरनेट की लड़ाई" पर प्रशिक्षित नहीं किया गया है।

परिणाम:

  • अच्छी खबर: कंप्यूटर पहले स्तर में काफी अच्छे थे। वे आमतौर पर बता सकते थे, "हे, यह एक लड़ाई है!" (बाइनरी डिटेक्शन)।
  • बुरी खबर: जब उनसे पूछा गया कि लड़ाई क्यों हो रही है या यह कैसे हो रही है, तो कंप्यूटर लड़खड़ा गए।
    • उन्हें संघर्ष के विशिष्ट प्रकार को पहचानने में कठिनाई हुई (जैसे, एक राजनीतिक बहस को नस्लीय बहस से अलग करना)।
    • वे तरीकों (manifestations) को पहचानने में वास्तव में संघर्ष करते रहे। वे सूक्ष्म कटाक्ष, सांस्कृतिक संकेतों (dog whistles), और उस गहरे द्वेष को पकड़ने में चूक गए जो हमेशा बड़े अक्षरों में नहीं लिखा होता है।

यह एक रोबोट को शब्दकोश देने और उससे स्टैंड-अप कॉमेडी समझने के लिए कहने जैसा है। रोबोट शब्द जानता है, लेकिन वह मजाक, व्यंग्य या सांस्कृतिक संदर्भ को नहीं समझता।

यह क्यों मायने रखता है

पेपर यह निष्कर्ष निकालता है कि जबकि हमारे वर्तमान AI उपकरण "आग" को पहचानने में बेहतर हो रहे हैं, वे अभी भी "आगजनी करने वाले के मकसद" या "लपट उठाने के तरीके" को समझने में बहुत खराब हैं।

शोधकर्ताओं ने पाया कि संस्कृति ही कुंजी है। एक देश में जो अपमानजनक शब्द माना जाता है, वह दूसरे देश में एक मजाक हो सकता है। जो एक भाषा में राजनीतिक बहस लग सकती है, वह दूसरी भाषा में धार्मिक बहस हो सकती है। क्योंकि AI मॉडल मुख्य रूप से अंग्रेजी डेटा पर प्रशिक्षित थे, इसलिए जब उन्होंने बाकी दुनिया को सुनने की कोशिश की, तो वे अक्सर भटक गए।

मुख्य निष्कर्ष (The Takeaway)

POLAR दुनिया के विवादों का एक नया, विशाल मानचित्र है। यह हमें दिखाता है कि हालांकि हमने संघर्ष का पता लगाने के लिए कुछ स्मार्ट उपकरण बनाए हैं, लेकिन हम अभी भी उन गहरे, सांस्कृतिक और सूक्ष्म तरीकों के प्रति अंधे हैं जिनसे लोग एक-दूसरे को विभाजित करते हैं। इंटरनेट की इन चिल्लाने वाली लड़ाइयों को ठीक करने के लिए, हमें ऐसे उपकरणों की आवश्यकता है जो न केवल भाषा बोलें, बल्कि संस्कृति, इतिहास और शब्दों के पीछे के छिपे अर्थों को भी समझें।

शोधकर्ताओं ने अपना सारा डेटा और उपकरण जनता के लिए जारी कर दिया है, इस उम्मीद में कि अन्य वैज्ञानिक इस मानचित्र का उपयोग भविष्य के लिए बेहतर, अधिक सांस्कृतिक रूप से जागरूक उपकरण बनाने के लिए कर सकें।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →