BioSentinel at EXIST 2026: Soft-Label Optimization with XLM-RoBERTa for Sexism Intent Classification in Memes

कल्पना कीजिए कि इंटरनेट एक विशाल, अराजक शहर का चौक है जहाँ हर कोई चिल्ला रहा है, फुसफुसा रहा है और दीवारों पर चित्र बना रहा है। कभी-कभी, ये चित्र (जिन्हें "मीम्स" कहा जाता है) केवल मज़ेदार चुटकुले होते हैं, लेकिन अन्य समय में, वे लिंग (gender) के बारे में अपमानजनक टिप्पणियों को छिपाते हैं जो पहचानने में कठिन होती हैं। यह सेक्सिज्म डिटेक्शन (sexism detection) की दुनिया है, जो कंप्यूटर विज्ञान की एक शाखा है जहाँ हम मशीनों को यह समझने के लिए प्रशिक्षित करते हैं कि कमरे का माहौल कैसा है और यह समझना कि क्या कोई मज़ाक हानिरहित है या हानिकारक।

लेकिन पेचीदा हिस्सा यहाँ है: इंसान हमेशा एक बात पर सहमत नहीं होते। एक व्यक्ति किसी मीम को सीधा अपमान देख सकता है, जबकि दूसरा उसे केवल एक सूक्ष्म, व्यंग्यात्मक चुटकुला मान सकता है, और तीसरा व्यक्ति इसमें कुछ भी गलत नहीं देख सकता। इसे असहमति (disagreement) कहा जाता है। अतीत में, कंप्यूटरों को केवल एक "सही" उत्तर चुनने के लिए सिखाया जाता था, जैसे एक शिक्षक जो एक सही कुंजी के साथ परीक्षा का मूल्यांकन करता है। हालाँकि, यह शोध पत्र तर्क देता है कि जब इंसान सहमत नहीं हो पाते, तो कंप्यूटर को केवल एक उत्तर का अनुमान नहीं लगाना चाहिए; उसे मतों के फैलाव को समझना चाहिए, ठीक वैसे ही जैसे एक मौसम पूर्वानुमान कहता है कि "बारिश होने की 60% संभावना है" बजाय इसके कि वह केवल चिल्लाकर कहे "बारिश हो रही है!" इस दृष्टिकोण को लर्निंग विद डिसएग्रीमेंट (Learning with Disagreement) कहा जाता है, और यह मशीनों को अधिक सूक्ष्म और कम अति-आत्मविश्वासी बनाने में मदद करता है।

---

बायोसेंटिनल टीम का मिशन: टेक्स्ट को पढ़ना, तस्वीर को अनदेखा करना

बायोसेंटिनल टीम से मिलिए, शोधकर्ताओं का एक समूह जिन्होंने EXIST 2026 नामक एक उच्च-दांव वाली प्रतियोगिता में भाग लिया। उनकी चुनौती क्या थी? एक ऐसा रोबोट बनाना जो मीम्स को देख सके और तय कर सके कि निर्माता डायरेक्ट (direct) (स्पष्ट रूप से सेक्सिस्ट) था, जजमेंटल (judgemental) (व्यंग्य या सूक्ष्म संकेतों का उपयोग करने वाला) था, या नो (no) (बिल्कुल भी सेक्सिस्ट नहीं) था।

ट्विस्ट क्या था? प्रतियोगिता केवल एक लेबल चुनने के लिए नहीं चाहती थी। यह चाहती थी कि रोबोट एक 'प्रोबेबिलिटी डिस्ट्रीब्यूशन' (probability distribution) दे—जो एक फैंसी तरीका है यह कहने का कि, "मैं 70% आश्वस्त हूँ कि यह डायरेक्ट है, 20% आश्वस्त हूँ कि यह जजमेंटल है, और 10% आश्वस्त हूँ कि यह हानिरहित है।" यह इस बात की नकल करता है कि कैसे मानव न्यायाधीश एक ही मीम पर अलग-अलग वोट दे सकते हैं।

रणनीति: एक टेक्स्ट-ओनली डिटेक्टिव

टीम ने, जिसका नेतृत्व चंद्रू मुनिसामी और भारत के साथियों ने किया, एक बहुत ही विशिष्ट खेल खेलने का निर्णय लिया। भले ही मीम्स टेक्स्ट के साथ चित्र होते हैं, उन्होंने पूरी तरह से चित्रों को अनदेखा करने का फैसला किया। वे एक ऐसे जासूस की तरह काम करते हैं जो चेहरे के भावों और शारीरिक भाषा को अनदेखा करते हुए केवल बातचीत के ट्रांसक्रिप्ट को पढ़ता है।

क्यों? वे देखना चाहते थे कि क्या वे दृश्य (visual) वाले भाग से विचलित हुए बिना शब्दों और लेबल्स की अनिश्चितता को समझने में वास्तव में कुशल हो सकते हैं। उन्होंने XLM-RoBERTa नामक एक शक्तिशाली भाषाई मस्तिष्क (एक मॉडल जिसमें 270 मिलियन पैरामीटर हैं जो अंग्रेजी और स्पेनिश दोनों बोल सकता है) का उपयोग किया और इसे एक विशेष ट्रिक सिखाई।

केवल मॉडल को यह बताने के बजाय कि, "यह उत्तर है," उन्होंने इसे दो प्रकार का होमवर्क दिया:

1. सॉफ्ट होमवर्क (The Soft Homework): "यहाँ बताया गया है कि इंसानों ने कैसे वोट दिया। उस सटीक विचारों के मिश्रण से मेल बिठाने की कोशिश करें।" उन्होंने KL डाइवर्जेंस (KL Divergence) नामक एक गणितीय उपकरण का उपयोग किया ताकि मॉडल के अनुमान मानवीय मतदान पैटर्न की तरह दिखें।
2. हार्ड होमवर्क (The Hard Homework): "यहाँ वोट का आधिकारिक विजेता है। सुनिश्चित करें कि आप इसे भी सही करें।" उन्होंने यह सुनिश्चित करने के लिए एक मानक उपकरण वेटेड क्रॉस-एन्ट्रॉपी (Weighted Cross-Entropy) का उपयोग किया कि मॉडल बहुत अधिक भ्रमित न हो जाए।

इन दो पाठों (70% सॉफ्ट, 30% हार्ड) को मिलाकर, वे उम्मीद करते थे कि वे एक ऐसा मॉडल बनाएंगे जो सटीक भी हो और मानवीय असहमति के प्रति जागरूक भी।

परिणाम: एक ठोस, लेकिन पूर्ण नहीं, प्रदर्शन

जब बायोसेंटिनल टीम ने उनके सिस्टम का आधिकारिक परीक्षा (टेस्ट सेट) पर परीक्षण किया, तो क्या हुआ:

• सॉफ्ट-लेबल स्कोर: उन्होंने 0.3229 (जिसे ICM-Soft-Norm कहा जाता है) प्राप्त किया। यह एक बुनियादी "सबसे सामान्य उत्तर का अनुमान लगाने वाले" रोबोट से बेहतर था, जिसने केवल 0.2835 प्राप्त किया था।
• हार्ड-लेबल स्कोर: एकल सबसे अच्छे उत्तर को चुनने के लिए, उन्होंने 0.4236 (F1-स्कोर) प्राप्त किया।
• रैंकिंग: 118 टीमों में से जिन्होंने सॉफ्ट-लेबल भविष्यवाणियां भेजी थीं, उनमें से वे 40वें स्थान पर आए। 187 टीमों में से जिन्होंने हार्ड-लेबल भविष्यवाणियां भेजी थीं, उनमें से वे 49वें स्थान पर थे।

टीम ने पाया कि उनकी "मिक्स-एंड-मैच" प्रशिक्षण विधि ने काम किया। जब उन्होंने "सॉफ्ट" पाठ (KL डाइवर्जेंस) को हटा दिया, तो मानवीय मतों से मेल बिठाने की उनकी क्षमता नाटकीय रूप से गिर गई ( 0.312 से गिरकर 0.142 हो गई)। जब उन्होंने "हार्ड" पाठ को हटाया, तो एकल उत्तरों पर उनकी सटीकता गिर गई। संयोजन ही उनकी सफलता की कुंजी था।

"जजमेंटल" संघर्ष

हालाँकि, रोबोट की एक कमजोरी थी। वह जजमेंटल (judgemental) सेक्सिज्म (सूक्ष्म, व्यंग्यात्मक प्रकार) को पकड़ने में बहुत खराब था। इस विशिष्ट श्रेणी के लिए उसका स्कोर बहुत कम 0.071 था।

क्यों? टीम को एहसास हुआ कि चित्र के बिना, रोबोट पंचलाइन मिस कर रहा था। इनमें से कई मीम्स एक दृश्य मजाक (visual joke) पर निर्भर करते हैं—जैसे कि एक कैरिकेचर या एक विशिष्ट चेहरे का भाव—जिसे केवल टेक्स्ट नहीं समझा सकता। उदाहरण के लिए, "अपने परिवार की मेज पर बैठना..." जैसा टेक्स्ट निर्दोष लग सकता है, लेकिन यदि चित्र में पिता को सबसे बड़ी मछली मिल रही है और माँ को सबसे छोटी मछली मिल रही है, तो मजाक स्पष्ट हो जाता है। चित्र के बिना, रोबोट ने केवल एक तटस्थ वाक्य देखा।

टीम ने यह भी गौर किया कि रोबोट कैसे सीखता है, इसके बारे में कुछ दिलचस्प था। प्रशिक्षण के पहले दो दिनों के दौरान, उसने एक बार भी "जजमेंटल" का अनुमान नहीं लगाया। उसने इस ट्रिकी श्रेणी को समझना तब शुरू किया जब वह पहले से ही "हानिरहित" और "डायरेक्ट" के बीच अंतर करना सीख चुका था। यह सुझाव देता है कि सूक्ष्म चीजें सीखने में सबसे कठिन होती हैं और उन्हें अधिक समय या विशेष प्रशिक्षण की आवश्यकता हो सकती है।

उन्होंने क्या नहीं किया (और क्यों यह महत्वपूर्ण है)

यह शोध पत्र इस बात के लिए बहुत ईमानदार है कि उन्होंने क्या नहीं किया। उन्होंने प्रतियोगिता आयोजकों द्वारा प्रदान किए गए ब्रेनवेव डेटा (EEG) या आई-ट्रैकिंग डेटा का उपयोग नहीं किया। क्यों? क्योंकि प्रशिक्षण और परीक्षण सेटों के बीच डेटा मेल नहीं खाता था। उन्होंने बड़े, अधिक जटिल मॉडल का भी उपयोग नहीं किया क्योंकि, उनके विशिष्ट सेटअप में, वे मॉडल अस्थिर और भ्रमित हो जाते थे।

उन्होंने एक "तापमान" (temperature) सेटिंग का भी परीक्षण किया (एक नॉब जो रोबोट के अनुमानों को अधिक या कम आत्मविश्वासी बनाता है)। अपने अभ्यास परीक्षण पर, इस नॉब को 0.7 पर घुमाने से रोबोट मानवीय मतों से मेल खाने में थोड़ा बेहतर हो गया (स्कोर को 0.317 से बढ़ाकर 0.326 कर दिया) और इसने उसके आत्मविश्वास को अधिक यथार्थवादी बना दिया। हालाँकि, अंतिम आधिकारिक परीक्षण के लिए, वे सुरक्षित रहने के लिए मानक सेटिंग्स पर टिके रहे।

मुख्य निष्कर्ष

बायोसेंटिनल टीम ने दिखाया कि आप केवल टेक्स्ट का उपयोग करके एक अच्छा सेक्सिज्म डिटेक्टर बना सकते हैं, जब तक कि आप इसे मानवीय असहमति का सम्मान करना सिखाते हैं। "सॉफ्ट" और "हार्ड" पाठों के मिश्रण का उपयोग करके, उन्होंने एक ऐसा मॉडल बनाया है जो पुराने तरीकों की तुलना में मानवीय राय के ग्रे एरिया (धुंधले क्षेत्रों) को बेहतर ढंग से समझता है।

लेकिन यह शोध पत्र हमें चेतावनी भी देता है: यदि आप चालाकी भरे, व्यंग्यात्मक चुटकुलों को पकड़ना चाहते हैं, तो आप केवल टेक्स्ट नहीं पढ़ सकते। आपको तस्वीर देखनी होगी। "जजमेंटल" श्रेणी के साथ रोबोट का संघर्ष साबित करता है कि कभी-कभी, दृश्य संदर्भ (visual context) ही एकमात्र चीज़ होती है जो मजाक (या अपमान) को अर्थपूर्ण बनाती है। टीम का सुझाव है कि भविष्य के रोबोटों को पूरी कहानी समझने के लिए शब्दों और चित्रों दोनों को देखने का प्रयास करना चाहिए।