CaRE Compute-aware Remasking Evaluation Protocol for Masked Diffusion Language Models
यह शोध पत्र CaRE को प्रस्तुत करता है, जो एक कंप्यूट-अवेयर (compute-aware) मूल्यांकन प्रोटोकॉल है जो फंक्शन इवैल्यूएशन, मेट्रिक्स और स्टोकेस्टिसिटी (stochasticity) को मानकीकृत करता है ताकि यह प्रकट किया जा सके कि अनियंत्रित चरों के कारण वर्तमान मास्कड डिफ्यूजन लैंग्वेज मॉडल रैंकिंग अक्सर तुलनीय नहीं होती हैं, और यह प्रदर्शित करता है कि इन्फॉर्म्ड रीमास्किंग (informed remasking) और स्टोकेस्टिक अनमास्किंग (stochastic unmasking) मौलिक रूप से एक-दूसरे के विपरीत हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अराजक रसोई में सबसे अच्छा शेफ कौन है, इसका फैसला करने की कोशिश कर रहे हैं। इस रसोई में, शेफ इंसान नहीं हैं, बल्कि विशाल कंप्यूटर दिमाग हैं जिन्हें "AI मॉडल" कहा जाता है। लंबे समय तक, ये मॉडल एक-एक करके सामग्री जोड़कर खाना बनाते थे, जैसे डोमिनोज़ की एक कतार गिर रही हो। लेकिन हाल ही में, खाना पकाने की एक नई शैली बहुत लोकप्रिय हो गई है: "मास्क्ड डिफ्यूजन" (Masked Diffusion)। इसमें सामग्री को एक-एक करके जोड़ने के बजाय, ये शेफ पूरे व्यंजन को एक साथ देखते हैं, अंदाज़ा लगाते हैं कि क्या गायब है, कुछ हिस्सों को पट्टी (मास्क) से ढक देते हैं, और फिर तब तक गायब हिस्सों का अंदाज़ा लगाते हैं जब तक कि व्यंजन एकदम सही न हो जाए। यह "गेस हू?" (Guess Who?) के खेल जैसा है जहाँ कंप्यूटर अपने ही अंदाज़ों को बार-बार मिटाता और फिर से लिखता है जब तक कि कहानी समझ में आने लगे।
समस्या यह है कि इस रसोई में हर कोई यह तय करने के लिए अलग-अलग नियमों का उपयोग कर रहा है कि कौन जीतता है। कुछ जज गिनते हैं कि शेफ ने कितनी बार व्यंजन को देखा (स्टेप्स), कुछ स्वाद के लिए मापते हैं (मेट्रिक्स), और कुछ उन्हें बेधड़क या बहुत सावधानी से अंदाज़ा लगाने देते हैं (स्टोकेस्टिसिटी/stochasticity)। क्योंकि नियम इतने अव्यवस्थित हैं, एक जज कह सकता है कि शेफ A सबसे अच्छा है, जबकि दूसरा जज कह सकता है कि शेफ A सबसे खराब है, भले ही वे बिल्कुल एक ही सूप का स्वाद ले रहे हों। यह पेपर एक समूह वैज्ञानिकों की तरह है जिन्होंने इस रसोई को साफ करने, नियमों को मानकीकृत करने और यह पता लगाने का फैसला किया कि वास्तव में सबसे अच्छा रसोइया कौन है जब हर कोई एक ही निष्पक्ष खेल खेल रहा हो।
द पेपर: CaRE – द ग्रेट किचन क्लीनअप (बड़ी रसोई की सफाई)
इस पेपर के पीछे के शोधकर्ताओं, यश शाह और अभिजीत चक्रवर्ती ने महसूस किया कि "मास्क्ड डिफ्यूजन" मॉडल इतने अच्छे होते जा रहे थे कि जिस तरह से हम उनका परीक्षण कर रहे थे, वह पीछे छूट रहा था। उन्होंने देखा कि सात अलग-अलग हालिया पेपर्स "रीमास्किंग" (remasking) नामक एक ट्रिक का उपयोग करके इन मॉडलों को बेहतर बनाने की कोशिश कर रहे थे (जो कि ऐसा है जैसे शेफ यह तय करता है कि उसने पहले से ही जिसका अंदाज़ा लगाया था, उसके एक हिस्से को फिर से ढक दे ताकि वह देख सके कि क्या वह बेहतर कर सकता है)। लेकिन चूंकि प्रत्येक पेपर ने अलग-अलग सेटिंग्स का उपयोग किया, उनके परिणाम अस्त-व्यस्त थे। एक पेपर ने दावा किया कि एक रणनीति चैंपियन है, जबकि दूसरे ने दावा किया कि वह एक विफलता है।
इसे ठीक करने के लिए, उन्होंने एक नया मूल्यांकन ढांचा बनाया जिसे CaRE (कंप्यूट-अवेयर रीमास्किंग इवैल्यूएशन) कहा जाता है। CaRE को एक सुपर-स्ट्रिक्ट रेफरी के रूप में सोचें जो हर शेफ को मजबूर करता है कि वे बिल्कुल समान मात्रा में ऊर्जा, बिल्कुल एक ही तरह के चम्मच और उही स्तर की यादृच्छिकता (randomness) का उपयोग करें। उन्होंने इसका परीक्षण LLaDA-8B और Dream-7B जैसे बड़े मॉडलों सहित 12 अलग-अलग AI मॉडलों पर, OpenWebText नामक एक विशाल टेक्स्ट लाइब्रेरी का उपयोग करके किया।
बड़ा आश्चर्य: यह रणनीति के बारे में नहीं है, यह "टेम्परेचर" के बारे में है
जब CaRE रेफरी ने हस्तक्षेप किया, तो उन्होंने पाया कि यह चौंकाने वाला था। AI के लेखन की गुणवत्ता निर्धारित करने वाला सबसे बड़ा कारक वह फैंसी "रीमास्किंग" रणनीति नहीं थी जिसे शेफ उपयोग कर रहे थे। इसके बजाय, यह टेम्परेचर (temperature) नामक एक सेटिंग थी (जो नियंत्रित करती है कि शेफ के अंदाज़ कितने यादृच्छिक या "जंगली" हैं)।
पेपर ने पाया कि टेम्परेचर ने गुणवत्ता के अंतर को 91% तक समझाया। यह कहने जैसा है कि क्या एक शेफ एक शानदार चाकू का उपयोग करता है या एक कुंद चाकू का, इससे बहुत कम फर्क पड़ता है, बजाय इसके कि क्या उसे खाना पकाने के दौरान चखने की अनुमति है। यदि आप टेम्परेचर को थोड़ा सा भी बढ़ाते हैं (0.0 से 0.1 तक), तो AI की लेखन गुणवत्ता इतनी बढ़ जाती है कि सभी रणनीतियों के अंतर बहुत छोटे लगने लगते हैं। वास्तव में, टेम्परेचर बदलने से गुणवत्ता स्कोर में 0.32 अंक का सुधार हो सकता था, जो कि सबसे अच्छे और सबसे खराब रणनीतियों के बीच के अंतर से भी अधिक था।
छिपा हुआ जाल: जब "स्मार्ट" रणनीतियाँ उल्टा असर करती हैं
यहाँ सबसे दिलचस्प मोड़ आया जो इस पेपर ने खोजा। जब AI को थोड़ा यादृच्छिक होने की अनुमति दी गई (स्टोकेस्टिक अनमास्किंग), तो सबसे भ्रमित करने वाले हिस्सों को लगातार फिर से ढकने की "स्मार्ट" रणनीति (high_entropy रीमास्किंग) ने चीजों को वास्तव में बदतर बना दिया।
पेपर ने दिखाया कि जब आप उच्च यादृच्छिकता को इस "स्मार्ट" री-कवरिंग रणनीति के साथ मिलाते हैं, तो गुणवत्ता स्कोर "none" (कुछ नहीं) रणनीति की तुलना में 0.296 अंक गिर जाता है, जो कि केवल शब्दों को बिना दोबारा ढके छोड़ने की रणनीति है। यह 256 स्टेप्स पर और 0.25 के टेम्परेचर पर हुआ। शोधकर्ता इस निष्कर्ष के बारे में बहुत आश्वस्त थे, जिसकी सांख्यिकीय संभावना p=0.020 थी, जिसका अर्थ है कि इसकी संभावना बहुत कम है कि यह कोई इत्तेफाक हो।
ऐसा क्यों हुआ? "स्मार्ट" रणनीति ने AI के मन को बहुत अधिक बदल दिया। यह एक ऐसे शेफ जैसा था जो बार-बार सूप चखता है, नमक डालता है, फिर उसे निकाल लेता है, फिर काली मिर्च डालता है, फिर उसे भी निकाल लेता है। सूप कभी स्थिर नहीं हुआ। AI शब्दों को "चर्न" (churn) करता रहा, जिससे लेखन सतह पर विविध तो लगा लेकिन वास्तव में पूरी कहानी कम सुसंगत हो गई। "डम्ब" (dumb) रणनीति, जो अनुमान लगाने के बाद शब्दों को वैसे ही छोड़ देती थी, वह यादृच्छिकता के मामले में बहुत बेहतर साबित हुई।
"फेक" लीडरबोर्ड
पेपर ने यह भी दिखाया कि पिछले लीडरबोर्ड भ्रामक थे क्योंकि वे "कंप्यूट" (वास्तविक काम) को सही ढंग से नहीं गिनते थे। कुछ रणनीतियों ने दावा किया कि वे 256 स्टेप्स का उपयोग कर रही हैं, लेकिन क्योंकि वे शब्दों को बार-बार फिर से ढक रही थीं, उन्हें वास्तव में कंप्यूटर को "none" रणनीति की तुलना में 4 गुना अधिक काम (अधिकतम 513 फॉरवर्ड पासेज) करना पड़ा।
जब CaRE रेफरी ने सबको समान मात्रा में काम करने के लिए मजबूर किया, तो रैंकिंग उलट गई। जो रणनीतियाँ पिछले पेपर्स में विजेता दिख रही थीं, वे अचानक हारने वाली दिखने लगीं। उदाहरण के लिए, HumanEval नामक कोडिंग टेस्ट पर, high_entropy नामक एक रणनीति "none" रणनीति को हराती हुई दिख रही थी, लेकिन केवल इसलिए क्योंकि वह 3.4 गुना अधिक कंप्यूटर पावर का उपयोग कर रही थी। जब उन्होंने पावर का उपयोग समान किया, तो "none" रणनीति उतनी ही अच्छी या उससे बेहतर थी।
मुख्य निष्कर्ष (The Takeaway)
CaRE का मुख्य सबक यह है कि हम केवल एक संख्या या एक रणनीति को देखकर यह नहीं कह सकते कि एक AI "बेहतर" है। यह पेपर प्रकट करता है कि जिस तरह से हम इन मॉडलों का परीक्षण कर रहे थे, वह असली कहानी को छिपा रहा था। जिन "स्मार्ट" ट्रिक्स के लिए लोग उत्साहित थे, वे अक्सर केवल परीक्षणों के सेटअप का एक हिस्सा मात्र थे। मॉडलों के परीक्षण को मानकीकृत करके—वास्तविक काम को गिनकर, यादृच्छिकता को नियंत्रित करके, और गुणवत्ता को मापने के कई तरीकों का उपयोग करके—शोधकर्ताओं ने पाया कि स्टोकेस्टिसिटी (यादृच्छिकता) ही असली बॉस है, और कभी-कभी, सबसे सरल दृष्टिकोण (कुछ अतिरिक्त न करना) ही सबसे अच्छा होता है जब AI को रचनात्मक होने की अनुमति दी जाती है।
उन्होंने एक नया "लीडरबोर्ड" और नियमों का एक सेट (सात-बिंदु प्रोटोकॉल) जारी किया है ताकि भविष्य के AI शेफ को निष्पक्ष रूप से आंका जा सके, यह सुनिश्चित करने के लिए कि जब कोई कहता है कि एक नई विधि एक बड़ी सफलता है, तो वह वास्तव में एक सफलता है और केवल एक अव्यवस्थित रसोई का परिणाम नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।