PSK@EEUCA 2026: Fine-Tuning Large Language Models with Synthetic Data Augmentation for Multi-Class Toxicity Detection in Gaming Chat
PSK@EEUCA 2026 की टीम ने Llama 3.1 8B को LoRA फाइन-ट्यूनिंग और 5% सिंथेटिक डेटा ऑग्मेंटेशन के साथ जोड़कर 0.6234 का F1-macro स्कोर प्राप्त करते हुए 'वर्ल्ड ऑफ टैंक टॉक्सिसिटी डिटेक्शन चैलेंज' में चौथा स्थान प्राप्त किया, जबकि उन्होंने एक महत्वपूर्ण "वैलिडेशन ट्रैप" की भी पहचान की जहाँ उच्च वैलिडेशन प्रदर्शन टेस्ट सेट पर सामान्य होने में विफल रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक विशाल, अराजक ऑनलाइन गेमिंग लॉबी (विशेष रूप से World of Tanks गेम के लिए) है जहाँ हर सेकंड हजारों खिलाड़ी चैट कर रहे हैं। अधिकांश समय, लोग सामान्य रूप से बात कर रहे होते हैं, लेकिन कभी-कभी वे गुस्सा हो जाते हैं, एक-दूसरे का अपमान करते हैं, या नफरत भरी बातें कहते हैं।
इस शोध का लक्ष्य एक "डिजिटल रेफरी" (एक AI) बनाना था जो इन चैट संदेशों को पढ़ सके और उन्हें छह अलग-अलग श्रेणियों में वर्गीकृत कर सके:
- सामान्य चैट (अधिकांश संदेश)
- अपमान (किसी को बुरा खिलाड़ी कहना)
- अन्य आपत्तिजनक (अभद्र लेकिन सीधा हमला नहीं)
- नफरत/उत्पीड़न (किसी की पहचान पर हमला करना)
- धमकी (हिंसा का वादा करना)
- कट्टरपंथ (नफरत वाली विचारधारा)
टीम, PSK@EEUCA, ने यह देखने के लिए एक प्रतियोगिता में भाग लिया कि कौन सबसे अच्छा रेफरी बना सकता है। वे 35 टीमों में से चौथे स्थान पर आए। उन्होंने इसे कैसे किया, इसका सरल विवरण यहाँ दिया गया है।
बड़ी समस्या: "खाली कमरा" बनाम "छोटा सा समूह"
मुख्य चुनौती यह थी कि चैट डेटा अविश्वसनीय रूप से असंतुलित था।
- 81% संदेश पूरी तरह से सामान्य थे।
- "बुरे" संदेश (जैसे धमकी या कट्टरपंथ) इतने दुर्लभ थे कि वे कुल संदेशों का 1% से भी कम थे।
उपमा: कल्पना कीजिए कि आप एक कुत्ते को घास के मैदान में एक विशिष्ट प्रकार के दुर्लभ फूल को खोजने के लिए सिखा रहे हैं। लेकिन 81% मैदान सिर्फ घास है, और दुर्लभ फूल एक छोटे से कोने में छिपे हुए हैं। यदि आप केवल कुत्ते को मैदान वैसा ही दिखाते हैं जैसा वह है, तो कुत्ता हर बार केवल "घास!" कहना सीख जाएगा क्योंकि वही सबसे सुरक्षित विकल्प है। वह अभ्यास परीक्षणों (practice tests) पर उच्च स्कोर प्राप्त करेगा (क्योंकि अधिकांश मैदान वास्तव में घास है), लेकिन वह तब विफल हो जाएगा जब वास्तव में उसे दुर्लभ फूलों को खोजने की आवश्यकता होगी।
"वैलिडेशन ट्रैप" (नकली स्कोर)
शोधकर्ताओं ने एक चालाकी भरी समस्या की खोज की जिसे वे "वैलिडेशन ट्रैप" (Validation Trap) कहते हैं।
जब उन्होंने अपने AI को प्रशिक्षित किया, तो उन्होंने इसे एक "अभ्यास सेट" (वैलिडेशन डेटा) पर परखा। कुछ सबसे बड़े, सबसे शक्तिशाली AI मॉडल अभ्यास सेट पर बहुत उच्च स्कोर प्राप्त कर रहे थे। क्यों? क्योंकि वे बहुत अधिक रूढ़िवादी (conservative) हो रहे थे। वे मूल रूप से कह रहे थे, "मैं 81% घास देख रहा हूँ, इसलिए मैं लगभग सब कुछ के लिए 'सामान्य' का अनुमान लगाऊंगा।"
- ट्रैप: ये मॉडल अभ्यास परीक्षण पर बहुत अच्छे दिखे क्योंकि वे "81% सामान्य" पैटर्न से पूरी तरह मेल खाते थे।
- वास्तविकता: जब उनका सामना अंतिम परीक्षण (जिसमें संदेशों का थोड़ा अलग मिश्रण था) से हुआ, तो ये "सुरक्षित" मॉडल बुरी तरह विफल हो गए। वे दुर्लभ विषाक्त (toxic) संदेशों को पहचानने में बहुत डर रहे थे।
समाधान: सिंथेटिक "नकली" डेटा का एक चुटकी भर उपयोग
इसे ठीक करने के लिए, टीम ने केवल AI को वास्तविक चैट लॉग नहीं खिलाए। उन्होंने एक चतुर तकनीक का उपयोग किया: सिंथेटिक डेटा ऑग्मेंटेशन (Synthetic Data Augmentation)।
इसे एक खाना बनाने की रेसिपी की तरह समझें।
- AI दुर्लभ "विषाक्त" सामग्रियों (जैसे धमकी या नफरत भरे भाषण) के उदाहरणों के लिए भूखा था।
- टीम ने एक शक्तिशाली AI का उपयोग करके नए, नकली चैट संदेश लिखे जो बिल्कुल असली विषाक्त संदेशों जैसे लगते थे, लेकिन उन्हें कंप्यूटर द्वारा बनाया गया था।
- उन्होंने इन नकली संदेशों को प्रशिक्षण डेटा में जोड़ा ताकि AI सीख सके कि दुर्लभ "बुरे" संदेश कैसे दिखते हैं।
सही संतुलन (The Sweet Spot):
उन्होंने इस "नकली" डेटा की विभिन्न मात्रा जोड़ने का प्रयास किया, और यह सूप में नमक की सही मात्रा खोजने जैसा था:
- बहुत कम (2-3%): AI दुर्लभ संदेशों के बारे में पर्याप्त नहीं सीख पाया।
- बहुत अधिक (10-15%): AI भ्रमित हो गया और उसे लगने लगा कि सब कुछ विषाक्त है, या उसने वास्तविक पैटर्न के बजाय नकली पैटर्न को याद कर लिया।
- बिल्कुल सही (5%): यही जादुई संख्या थी। ठीक 5% नकली डेटा जोड़ने से AI "निडर" हो गया। उसने हर चीज़ के लिए "सामान्य" का अनुमान लगाना बंद कर दिया और वास्तव में दुर्लभ विषाक्त संदेशों को पहचानने लगा।
जीतने वाली रणनीति
उनके जीतने वाले सिस्टम ने Llama 3.1 8B नामक एक विशिष्ट AI मॉडल का उपयोग किया।
- मॉडल: एक स्मार्ट, प्री-ट्रेन्ड लैंग्वेज मॉडल।
- प्रशिक्षण: उन्होंने इसे वास्तविक चैट लॉग और उस सटीक 5% सिंथेटिक (नकली) विषाक्त संदेशों के मिश्रण का उपयोग करके सिखाया।
- परिणाम: इस संयोजन ने उनके AI को "वैलिडेशन ट्रैप" से बाहर निकलने में मदद की। यह दुर्लभ, कठिन संदेशों को चिह्नित करने के लिए तैयार हो गया, जिससे अंतिम परीक्षण पर बहुत बेहतर स्कोर मिला।
उन्होंने क्या सीखा
- बड़ा होना हमेशा बेहतर नहीं होता: एक विशाल 12-बिलियन-पैरामीटर वाला मॉडल वास्तव में छोटे 8-बिलियन-पैरामीटर वाले मॉडल की तुलना में खराब प्रदर्शन करता है क्योंकि बड़ा मॉडल "वैलिडेशन ट्रैप" में अधिक आसानी से फंस जाता है।
- एन्सेम्बल्स (Ensembles) ने मदद नहीं की: उन्होंने कई अलग-अलग मॉडलों को एक साथ जोड़ने (जैसे एक समिति) की कोशिश की, लेकिन यह काम नहीं आया क्योंकि उनका एकल सबसे अच्छा मॉडल पहले से ही मुख्य कार्य कर रहा था।
- "वैलिडेशन ट्रैप" वास्तविक है: अभ्यास परीक्षणों पर उच्च स्कोर भ्रामक हो सकते हैं यदि AI केवल सुरक्षित खेलने की कोशिश कर रहा है।
अंतिम स्कोर
सिंथेटिक डेटा के उस सटीक 5% संतुलन को खोजकर, उनके सिस्टम ने 0.6234 का स्कोर प्राप्त किया, जिसने उन्हें 35 टीमों में से चौथे स्थान पर रखा। उन्होंने साबित किया कि कभी-कभी, सावधानीपूर्वक तैयार किए गए "नकली" डेटा का थोड़ा सा हिस्सा भी AI को वास्तविक दुनिया को बेहतर ढंग से समझने में मदद कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।