Team DACTYL at PAN 2026: Bayesian Data Mixing and Empirical X-risk Minimization for AI-text Detection
टीम DACTYL डेटासेट क्यूरेशन के लिए बेयसियन डेटा मिक्सिंग और एम्पिरिकल X-रिस्क मिनिमाइजेशन को नियोजित करके AI-टेक्स्ट डिटेक्शन में आउट-ऑफ-डिस्ट्रीब्यूशन प्रदर्शन अंतराल को संबोधित करती है, जिससे एक MCGrad-कैलिब्रेटेड ModernBERT-large मॉडल के साथ शीर्ष लीडरबोर्ड रैंक प्राप्त की गई जिसने PAN 2026 टेस्ट सेट पर 0.974 का माध्य स्कोर प्राप्त किया।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक नकली पेंटिंग को पहचानने की कोशिश कर रहे हैं। आपने जालसाजी की एक विशिष्ट गैलरी का अध्ययन करने में वर्षों बिताए हैं, इसलिए आप तुरंत बता सकते हैं कि कोई नई कृति उसी गैलरी से संबंधित है या नहीं। लेकिन क्या होता है जब जालसाज स्टूडियो बदल देता है, अलग ब्रशों का उपयोग करता है, या पूरी तरह से अलग शैली में पेंट करता है? अचानक, आपकी विशेषज्ञ दृष्टि विफल हो सकती है, इसलिए नहीं कि आप बुद्धिमान नहीं हैं, बल्कि इसलिए क्योंकि आपने गलत सुरागों को पहचानना सीख लिया है—जैसे कि एक विशिष्ट प्रकार का फ्रेम या एक अजीब सा धब्बा जो केवल पहली गैलरी में ही हुआ था। यही "AI-टेक्स्ट डिटेक्शन" (AI-पाठ पहचान) की समस्या का मूल है। वैज्ञानिक कंप्यूटर प्रोग्राम बना रहे हैं जो टेक्स्ट को पढ़ सकें और यह तय कर सकें कि इसे किसी इंसान ने लिखा है या किसी रोबोट (एक लार्ज लैंग्वेज मॉडल) ने। समस्या यह है कि ये प्रोग्राम अक्सर अपने ट्रेनिंग डेटा से विशिष्ट "रोबोट फिंगरप्रिंट्स" को पहचानने में बहुत अच्छे हो जाते हैं, लेकिन जब रोबोट नए तरीकों से लिखना शुरू करते हैं, तो वे भ्रमित हो जाते हैं। यदि हम अंतर नहीं कर सके, तो हम अनजाने में फर्जी खबरों पर भरोसा कर सकते हैं या वास्तविक मानवीय रचनात्मकता को खो सकते हैं। बड़ा सवाल यह है कि हम अपने डिजिटल जासूसों को वास्तव में स्मार्ट कैसे बनाएं, न कि केवल अतीत को याद रखने में कुशल?
यहाँ टीम DACTYL आती है, शोधकर्ताओं का एक समूह जिन्होंने PAN 2026 प्रतियोगिता के लिए इस समस्या को हल करने का निर्णय लिया, जो AI डिटेक्टरों के लिए एक उच्च-दांव वाली प्रतियोगिता है। केवल समस्या पर अधिक डेटा फेंकने के बजाय, उन्होंने एक चतुर, बहु-चरणीय रणनीति आजमाई जो स्काउट्स की एक टीम को भारी तोपखाने भेजने से पहले प्रशिक्षित करने जैसा महसूस होता है।
सबसे पहले, उन्हें एहसास हुआ कि विभिन्न डेटासेट को बस आपस में मिलाने से हमेशा मदद नहीं मिलती; कभी-कभी, यह मॉडलों को "शॉर्टकट लर्निंग" के साथ भ्रमित कर देता है, जहाँ AI परीक्षण को पास करने के लिए एक आसान चाल ढूंढ लेता है बजाय इसके कि वह वास्तविक सबक सीखे। इसे ठीक करने के लिए, उन्होंने एक नया, विशाल डेटासेट बनाया जिसे DACTYLv2 कहा गया। इसे कहानियों के एक विशाल पुस्तकालय के रूप में समझें जो इंसानों और विभिन्न AI मॉडलों द्वारा लिखी गई हैं, जिसमें मूवी स्क्रिप्ट से लेकर आर्थिक शोध पत्र तक सब कुछ शामिल है। लेकिन उन्होंने इन सभी किताबों को केवल ट्रेनिंग के ढेर में नहीं डाला। वे जानते थे कि कुछ किताबें "बुरे तत्व" थीं—ऐसे टेक्स्ट जो AI जैसे दिखते थे लेकिन वास्तव में मानव थे, या इसके विपरीत, या बस साधारण अजीब आउटलेयर्स जो ट्रेनिंग को खराब कर देते।
इन बुरे तत्वों को छानने के लिए, उन्होंने Bayesian BERT-tiny नामक छोटे, हल्के AI मॉडलों का उपयोग करके "स्काउट्स" की एक विशेष टीम बनाई। ये स्काउट्स विशेष हैं क्योंकि वे केवल "हाँ" या "ना" का उत्तर नहीं देते; वे आपको यह भी बताते हैं कि वे कितने निश्चित हैं। कल्पना कीजिए कि एक स्काउट कह रहा है, "मुझे लगता है कि यह एक रोबोट है, लेकिन मैं 100% निश्चित नहीं हूँ," बनाम "मैं पूरी तरह से आश्वस्त हूँ कि यह एक रोबोट है।" टीम ने इन विश्वास स्तरों का उपयोग स्मार्ट निर्णय लेने के लिए किया। यदि कोई टेक्स्ट स्काउट्स को भ्रमित कर रहा था (उच्च अनिश्चितता) या यदि स्काउट्स आत्मविश्वास से गलत थे (कम अनिश्चितता लेकिन गलत उत्तर), तो उन्होंने उस टेक्स्ट को बाहर निकाल दिया। उन्होंने केवल उन "स्वर्ण" टेक्स्टों को रखा जिन पर स्काउट्स सहमत थे, जिससे एक सुपर-क्लीन, उच्च-गुणवत्ता वाला ट्रेनिंग सेट तैयार हुआ।
एक बार जब उनके पास यह शुद्ध पुस्तकालय आ गया, तो उन्होंने दो शक्तिशाली "हेवीवेट" जासूसों को प्रशिक्षित किया: एक ModernBERT-large और एक DeBERTa-V3-large। ये स्काउट्स की तुलना में बहुत बड़े और अधिक स्मार्ट हैं। लेकिन यहाँ ट्विस्ट यह है: टीम ने इन बड़े मॉडलों को केवल अनुमान लगाने के लिए नहीं छोड़ा। उन्होंने Empirical X-risk Minimization (EXM) नामक तकनीक का उपयोग किया। केवल अधिक बार सही उत्तर पाने की कोशिश करने के बजाय, EXM मॉडल को "कठिन" मामलों को अलग करने में वास्तव में कुशल होने के लिए प्रशिक्षित करता है—वे पेचीदा टेक्स्ट जो इंसानों और रोबोटों दोनों के बहुत समान दिखते हैं। यह एक जासूस को केवल स्पष्ट नकली चीजों को पहचानने के लिए ही नहीं, बल्कि उन्हें पहचानने के लिए प्रशिक्षित करने जैसा है जो लगभग पूर्ण हैं।
अपने अंतिम करतब के लिए, उन्होंने एक "कैलिब्रेशन कोच" जोड़ा जिसे MCGrad कहा जाता है। भले ही स्मार्ट जासूस भी अति-आत्मविश्वासी हो सकते हैं। कभी-कभी एक मॉडल कह सकता है, "मैं 99% सुनिश्चित हूँ कि यह एक रोbot है," जबकि वास्तव में वह केवल 60% सुनिश्चित होता है। MCGrad कोच, छोटे स्काउट्स के अनिश्चितता संकेतों को देखता है और बड़े मॉडल के आत्मविश्वास स्कोर को समायोजित करता है ताकि वे अधिक ईमानदार बन सकें। यह एक कोच की तरह है जो एक आत्मविश्वासी एथलीट को कहता है, "तुम अच्छे हो, लेकिन इस एक चीज़ पर अपना पूरा वेतन मत लगा देना।"
परिणाम? टीम की रणनीति खूबसूरती से काम कर गई। उनके ModernBERT-large मॉडल ने, MCGrad द्वारा प्रशिक्षित होने के बाद, अंतिम परीक्षण पर 0.974 का शानदार औसत स्कोर प्राप्त किया। यह उन्हें लीडरबोर्ड पर दूसरे स्थान पर लाने के लिए पर्याप्त था, जिसने कई अन्य टीमों और यहाँ तक कि कई श्रेणियों में पिछले वर्ष के विजेता को भी पीछे छोड़ दिया। दिलचस्प बात यह है कि उनके दूसरे बड़े मॉडल, DeBERTa-V3-large ने समग्र रूप से थोड़ा कम सटीक (स्कोर 0.882) प्रदर्शन किया, लेकिन वह विशेष रूप से "रोबोट" टेक्स्ट को पहचानने में अविश्वसनीय रूप से अच्छा था, जो यह दर्शाता है कि विभिन्न रणनीतियों की अलग-अलग ताकत होती है।
यह पेपर सुझाव देता है कि AI डिटेक्टरों को हराने की कुंजी केवल बड़े कंप्यूटर या अधिक डेटा का उपयोग करना नहीं है, बल्कि इस बात पर बहुत ध्यान देना है कि आप किस डेटा का उपयोग करते हैं। छोटे, अनिश्चित मॉडलों का उपयोग करके शोर को छानने और फिर बड़े मॉडलों को सबसे कठिन मामलों पर ध्यान केंद्रित करने के लिए प्रशिक्षित करके, टीम DACTYL ने दिखाया कि सावधानीपूर्वक क्यूरेशन (चयन) अधिक सटीक डिटेक्टरों की ओर ले जा सकता है जो धोखा देने में बहुत कठिन होते हैं। हालांकि उनकी विधि हर एक परीक्षण पर पूरी तरह से काम नहीं करती थी (AI टेक्स्ट के कुछ नए प्रकार अभी भी उन्हें उलझा देते थे), यह साबित करता है कि एक स्मार्ट, स्तरित दृष्टिकोण हमारे डिजिटल जगत को ईमानदार बनाए रखने का एक शक्तिशाली तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।