PSK at SemEval-2026 Task 9: Multilingual Polarization Detection Using Ensemble Gemma Models with Synthetic Data Augmentation
PSK टीम ने GPT-4o-mini द्वारा जनरेट किए गए सिंथेटिक डेटा और प्रति-भाषा थ्रेशोल्ड ट्यूनिंग के साथ LoRA-फाइन-ट्यून्ड Gemma 3 मॉडल्स के एक एनसेंबल का उपयोग करके, 0.811 के मीन मैक्रो-F1 के साथ SemEval-2026 टास्क 9 में समग्र रूप से दूसरा स्थान प्राप्त किया, जबकि उन आर्किटेक्चर की तुलना में सामान्यीकरण (जनरलाइजेशन) के महत्वपूर्ण महत्व को प्रदर्शित किया जो डेवलपमेंट सेट्स पर अच्छा प्रदर्शन करते थे लेकिन टेस्ट सेट पर विफल रहे।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप 22 अलग-अलग छात्रों (जो 22 अलग-अलग भाषाओं का प्रतिनिधित्व कर रहे हैं) को सोशल मीडिया पोस्ट में एक "गरमागरम बहस" (heated argument) और एक "शांत बातचीत" (calm conversation) के बीच अंतर पहचानना सिखाने की कोशिश कर रहे हैं। यह SemлеV-2026 Task 9 की चुनौती थी, और टीम PSK (स्वतंत्र शोधकर्ता श्रीकर कश्यप पुलिपाका के नेतृत्व में) ने इस समस्या को हल करने के लिए एक सिस्टम बनाया।
यहाँ बताया गया है कि उन्होंने यह कैसे किया, जिसे सरल भाषा में समझाया गया है:
1. लक्ष्य: "गर्मी" को पहचानना
कार्य यह था कि 22 भाषाओं (अंग्रेजी से लेकर अम्महारिक तक) के सोशल मीडिया पोस्ट को पढ़ना और यह तय करना: क्या यह पोस्ट ध्रुवीकृत (stereotypes, नफरत या असहिष्णुता से भरी) है? या यह तटस्थ है?
- चुनौती: कुछ भाषाओं में सीखने के लिए बहुत कम उदाहरण थे, और "ध्रुवीकरण" हर संस्कृति में अलग तरह से दिखता है। यह किसी को यह सिखाने जैसा है कि "तूफान" को कैसे पहचाना जाए जब उसने केवल एक ही देश में बारिश देखी हो।
2. शिक्षक: "Gemma" मॉडल
हर भाषा के लिए एक विशाल शिक्षक का उपयोग करने के बजाय, टीम ने प्रत्येक भाषा के लिए दो विशिष्ट "ट्यूटर्स" को काम पर रखा:
- 12B ट्यूटर: एक स्मार्ट, कुशल मॉडल (12 बिलियन पैरामीटर्स)।
- 27B ट्यूटर: एक और भी अधिक स्मार्ट, अधिक शक्तिशाली मॉडल (27 बिलियन पैरामीटर्स)।
उन्होंने LoRA नामक तकनीक का उपयोग किया, जो इन ट्यूटर्स को एक विशेष "चीट शीट" देने जैसा है ताकि वे अपने पूरे मस्तिष्क को दोबारा लिखे बिना विशिष्ट भाषा को सीख सकें।
3. स्टडी बडी: सिंथेटिक डेटा (Synthetic Data)
टीम को एहसास हुआ कि कुछ छात्रों के पास अभ्यास के लिए पर्याप्त प्रश्न नहीं थे। इसलिए, उन्होंने एक AI (GPT-4o-mini) का उपयोग करके नकली अभ्यास प्रश्न (सिंथेटिक डेटा) लिखवाए।
- डायरेक्ट जनरेशन: AI ने नए, नकली तर्क शून्य से लिखे।
- पैराफ्रेसिंग (Paraphrasing): AI ने वास्तविक उदाहरणों को लिया और उन्हें अलग शब्दों में फिर से लिखा (जैसे कोई छात्र होमवर्क के प्रश्न को अपने शब्दों में फिर से लिखता है)।
- कॉन्ट्रास्टिव पेयर्स (Contrastive Pairs): AI ने "जुड़वां" उदाहरण बनाए—एक ध्रुवीकृत और एक शांत—ताकि मॉडल सटीक अंतर देख सके।
- फ़िल्टर: उन्होंने इस नकली डेटा को बिना सोचे-समझे नहीं डाला। उन्होंने इसे एक सख्त "क्वालिटी कंट्रोल" फ़िल्टर से गुजारा ताकि डुप्लिकेट और निरर्थक सामग्री को हटाया जा सके, जिससे यह सुनिश्चित हो सके कि छात्र केवल उच्च गुणवत्ता वाली सामग्री का अध्ययन करें।
4. रणनीति: "वॉल्यूम नॉब" को ट्यून करना
प्रशिक्षण के बाद, मॉडलों को अंतिम निर्णय लेना था। आमतौर पर, AI "हाँ" कहता है यदि वह 50% से अधिक आश्वस्त हो। लेकिन टीम ने पाया कि कुछ भाषाओं के लिए, 50% बहुत अधिक या बहुत कम था।
- समाधान: उन्होंने निर्णय लेने की सीमा (threshold) को एक वॉल्यूम नॉब की तरह माना। कुछ भाषाओं के लिए, उन्होंने नॉब को 30% तक नीचे कर दिया (अधिक बहसों को पकड़ने के लिए), और अन्य के लिए, उन्होंने इसे 70% तक ऊपर कर दिया (गलत अलार्म से बचने के लिए)। इस सरल बदलाव ने बिना किसी अतिरिक्त प्रशिक्षण के उनके स्कोर में 2-4% का सुधार किया।
5. "एन्सेम्बल" (Ensemble): न्यायाधीशों का एक पैनल
अंतिम निर्णय के लिए, उन्होंने केवल एक ट्यूटर की बात नहीं सुनी। उन्होंने एक एन्सेम्बल का उपयोग किया:
- उन्होंने 12B और 27B दोनों ट्यूटर्स को वोट करने दिया।
- कभी-कभी उन्होंने वोटों का औसत निकाला, तो कभी-कभी अधिक स्मार्ट ट्यूटर को अधिक महत्व दिया।
- प्रत्येक भाषा के लिए, उन्होंने अभ्यास परीक्षणों पर काम करने वाली सर्वोत्तम वोटिंग रणनीति चुनी।
6. परिणाम: कौन जीता?
- विजेता: टीम कुल 60 टीमों में से दूसरे स्थान पर रही।
- स्कोर: उन्होंने 0.811 का स्कोर (सटीकता का एक माप) प्राप्त किया। उन्होंने 3 भाषाओं में पहला स्थान और 8 अन्य में टॉप-3 स्थान हासिल किया।
- आश्चर्य: उन्होंने अन्य प्रसिद्ध AI मॉडल (XLM-RoBERTa और Qwen3) का भी परीक्षण किया। ये मॉडल अभ्यास परीक्षणों में बहुत अच्छा प्रदर्शन करते थे लेकिन वास्तविक परीक्षण में ध्वस्त हो गए, जिससे उनकी सटीकता 30-50% तक गिर गई।
- सबक: यह एक ऐसे मॉडल का उपयोग करने से बेहतर है जो सामान्यीकरण (generalize) कर सके (अर्थात ध्रुवीकरण की अवधारणा को सीख सके), बजाय उसके जो केवल अभ्यास के उत्तरों को रट लेता है। Gemma मॉडल ही एकमात्र ऐसे मॉडल थे जिन्होंने परीक्षण शुरू होने पर "भूलना" नहीं सीखा।
7. एक कमजोर कड़ी: इतालवी का "मिसिंग चैप्टर"
उनका सिस्टम इतालवी (Italian) के साथ सबसे अधिक संघर्ष करता है। क्यों?
- इतालवी के लिए प्रशिक्षण डेटा में विषयों की पूरी श्रेणियां (जैसे "राजनीति" या "अन्य" मुद्दे) गायब थीं।
- हालाँकि, अंतिम परीक्षण में उन गायब विषयों के बारे में कई प्रश्न शामिल थे।
- यह गणित के टेस्ट के लिए केवल जोड़ (addition) पढ़ने जैसा है, लेकिन अंतिम परीक्षा में विभाजन (division) का एक बड़ा हिस्सा शामिल है। मॉडल ने पहले कभी उन विशिष्ट प्रकार के तर्कों को नहीं देखा था, इसलिए वह सही अनुमान नहीं लगा सका।
सारांश
टीम ने एक ऐसा सिस्टम बनाया जो 22 भाषाओं में ऑनलाइन बहसों को पहचानने के लिए विशेषज्ञ AI ट्यूटर्स, AI-जनरेटेड अभ्यास प्रश्न, और कस्टम-ट्यून्ड निर्णय नियमों का उपयोग करता है। उनका गुप्त मंत्र केवल सबसे बड़ा AI उपयोग करना नहीं था, बल्कि उस AI का उपयोग करना था जो वास्तव में ध्रुवीकरण की अवधारणा को रटने के बजाय उसे सीख सके, और फिर प्रत्येक विशिष्ट भाषा के लिए नियमों को ठीक से ट्यून करना था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।