LLM Benchmark Datasets Should Be Contamination-Resistant
यह शोध पत्र तर्क देता है कि LLM बेंचमार्क डेटासेट को संदूषण-प्रतिरोधी (contamination-resistant) बनाने के लिए पुनर्गठित किया जाना चाहिए—जो प्रशिक्षण के दौरान सीखने में असमर्थ हो लेकिन अनुमान (inference) के दौरान हल करने योग्य बना रहे—ताकि संरचनात्मक विषमताओं और गणितीय प्रगतियों का लाभ उठाकर विश्वसनीय और पुनरुत्पादनीय मॉडल मूल्यांकन सुनिश्चित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र की व्याख्या दी गई है।
समस्या: फाइनल परीक्षा में नकल
कल्पना कीजिए कि आप एक शिक्षक हैं जो यह परीक्षण करने की कोशिश कर रहे हैं कि आपके छात्र कितने बुद्धिमान हैं। आप उन्हें एक फाइनल परीक्षा देते हैं। लेकिन, आपको पता नहीं है कि छात्रों ने परीक्षा के प्रश्नों के सटीक उत्तर पहले ही याद कर लिए हैं क्योंकि वे प्रश्न गलती से उनकी अध्ययन पाठ्यपुस्तकों (जिसे "प्रीट्रेनिंग डेटा" कहा जाता है) में शामिल हो गए थे।
जब छात्र परीक्षा देते हैं, तो वे पूर्ण अंक प्राप्त करते हैं। लेकिन आप यह नहीं जानते कि वे वास्तव में बुद्धिमान हैं या उन्होंने केवल परीक्षा को ही अच्छी तरह से रट लिया है। यह बेंचमार्क कंटैमिनेशन (Benchmark Contamination) की समस्या है। AI की दुनिया में, "बेंचमार्क" वे परीक्षण हैं जिनका उपयोग लार्ज लैंग्वेज मॉडल्स (LLMs) की क्षमता मापने के लिए किया जाता है। चूंकि ये परीक्षण सार्वजनिक होते हैं, इसलिए AI डेवलपर्स अक्सर अनजाने में (या जानबूझकर) टेस्ट के प्रश्नों को AI के ट्रेनिंग डेटा में डाल देते हैं। इसके बाद AI समस्या को हल करना सीखने के बजाय उत्तरों को रटकर "नकल" करता है।
प्रस्तावित समाधान: "जादुई लिफाफा" (The Magic Envelope)
इस शोध पत्र के लेखक AI मॉडल्स को टेस्ट देने का एक नया तरीका प्रस्तावित करते हैं ताकि वे नकल न कर सकें। वे इन्हें कंटैमिनेशन-रेसिस्टेंट डेटासेट्स (CRDs) कहते हैं।
एक मानक बेंचमार्क को एक छपे हुए टेस्ट पेपर के रूप में सोचें। यदि आप यह AI को देते हैं, तो वह पेपर को पढ़ सकता है, प्रश्नों को याद कर सकता है और उन्हें अपने मस्तिष्क में स्टोर कर सकता है।
लेखक टेस्ट को एक जादुई लिफाफे में बदलने का सुझाव देते हैं।
- AI के लिए (इन्फरेंस/Inference): AI लिफाफा खोल सकता है और "उत्तर कुंजी" (समस्या को हल करने के लिए आवश्यक तर्क) देख सकता है, बिना वास्तविक प्रश्न के टेक्स्ट को देखे। वह अभी भी टेस्ट दे सकता है और स्कोर प्राप्त कर सकता है।
- AI के मस्तिष्क के लिए (ट्रेनिंग/Training): यदि AI भविष्य के टेस्ट के लिए सीखने के उद्देश्य से लिफाफे की सामग्री का अध्ययन करने की कोशिश करता है, तो उसे कुछ भी उपयोगी नहीं मिलता। लिफाफे का "प्रश्न" वाला हिस्सा एक ऐसे कोड में बदल दिया गया है जिसे AI पढ़ या याद नहीं कर सकता। यह एक ऐसी भाषा सीखने जैसा है जिसमें आप उस शब्दकोश को देख रहे हैं जिसे आप बोल ही नहीं सकते।
जादू कैसे काम करता है? (असममितता/Asymmetry)
यह शोध पत्र आधुनिक AI मॉडल्स (जिन्हें "ट्रांसफॉर्मर" कहा जाता है) के काम करने के एक विशिष्ट गुण पर आधारित है। लेखक AI के आर्किटेक्चर में एक "वन-वे स्ट्रीट" (एकतरफा रास्ता) की ओर इशारा करते हैं:
- ट्रेनिंग (सीखना): सीखने के लिए, AI को शुरू से अंत तक पूरी कहानी देखने की आवश्यकता होती है। संदर्भ (context) को समझने के लिए उसे प्रश्न के कच्चे टेक्स्ट (raw text) की आवश्यकता होती है।
- इन्फरेंस (टेस्ट देना): एक प्रश्न का उत्तर देने के लिए, AI को फिर से पूरी कहानी की आवश्यकता नहीं होती। उसे केवल संदर्भ का एक विशिष्ट "स्नैपशॉट" (जिसे KV कैश कहा जाता है) और उत्तर से ठीक पहले की अंतिम स्थिति (penultimate state) की आवश्यकता होती है।
लेखक इस "स्नैपशॉट" फॉर्मेट में टेस्ट डेटा जारी करने का प्रस्ताव देते हैं।
- उपमा: कल्पना कीजिए कि एक फिल्म है। कहानी को सीखने के लिए, आपको पूरी फिल्म देखनी होगी। लेकिन अगले दृश्य की भविष्यवाणी करने के लिए, आपको केवल पिछले कुछ फ्रेम और वर्तमान मूड जानने की आवश्यकता है। लेखक कहते हैं, "आइए हम AI को केवल अंतिम कुछ फ्रेम और मूड दें। वह अगले दृश्य की भविष्यवाणी कर सकता है (टेस्ट दे सकता है), लेकिन वह पूरी फिल्म को दोबारा देखकर प्लॉट को याद नहीं कर सकता (टेस्ट से सीख नहीं सकता)।"
जादुई लिफाफे के तीन नियम
इस प्रणाली के काम करने के लिए, नए टेस्ट डेटा को तीन नियमों का पालन करना चाहिए:
- अपरिवर्तनीयता (Irreversibility - ताला): आपको लिफाफे को इतनी मजबूती से बंद करना होगा कि कोई भी इसे खोलकर मूल प्रश्न न देख सके। भले ही वे कोड को रिवर्स-इंजीनियर करने की कोशिश करें, यह बहुत कठिन या महंगा होना चाहिए।
- तुल्यता (Equivalence - निष्पक्षता): AI को मूल पेपर टेस्ट की तुलना में "जादुई लिफाफे" वाले टेस्ट पर समान स्कोर मिलना चाहिए। यदि लिफाफा टेस्ट को बहुत कठिन या बहुत आसान बना देता है, तो परिणाम बेकार हैं।
- इंटरऑपरेबिलिटी (Interoperability - यूनिवर्सल अडैप्टर): अलग-अलग AI मॉडल्स अलग-अलग "भाषाएं" बोलते हैं (उनके आंतरिक स्ट्रक्चर अलग होते हैं)। सिस्टम के पास एक ऐसा तरीका होना चाहिए जिससे वह "जादुई लिफाफे" को एक मॉडल की भाषा से दूसरे में अनुवाद कर सके, ताकि हर किसी को हर एक AI के लिए एक अद्वितीय संस्करण की आवश्यकता के बिना एक ही टेस्ट दिया जा सके।
हम मॉडल्स के बीच अनुवाद कैसे करते हैं?
चूंकि अलग-अलग AI मॉडल्स अलग तरह से बनाए जाते हैं, लेखक इन "जादुई लिफाफों" को अनुवाद करने के दो तरीके सुझाते हैं:
- "एंकर" विधि (अल्पकालिक): एक लोकप्रिय AI मॉडल को "स्टैंडर्ड ट्रांसलेटर" के रूप में चुनें। हर कोई पहले अपने टेस्ट डेटा को उस मॉडल की भाषा में बदलता है। फिर, अन्य मॉडल्स उस मानक भाषा को अपनी भाषा में अनुवाद करने के लिए एक गणितीय "अडैप्टर" का उपयोग करते हैं।
- "रिलेटिव" विधि (दीर्घकालिक): एक मानक मॉडल के बजाय, सार्वभौमिक "लैंडमार्क्स" (जैसे दिशा-सूचक यंत्र/कंपास) के एक सेट का उपयोग करें। आप डेटा की स्थिति को इन लैंडमार्क्स के सापेक्ष मापते हैं। यह एक सार्वभौमिक समन्वय प्रणाली (coordinate system) बनाता जिसे कोई भी मॉडल समझ सकता है, चाहे उसका आंतरिक डिज़ाइन कुछ भी हो।
कमियां क्या हैं?
शोध पत्र कुछ बाधाओं को स्वीकार करता है:
- स्टोरेज: ये "जादुic लिफाफे" (स्नैपशॉट्स) साधारण टेक्स्ट की तुलना में अधिक कंप्यूटर स्टोरेज स्थान लेते हैं। हालांकि, लेखक दिखाते हैं कि डेटा को कंप्रेस करके (जैसे फाइल को ज़िप करना), स्टोरेज लागत को प्रबंधनीय बनाया जा सकता है।
- जटिलता: यह केवल उन मॉडल्स के लिए काम करता है जो "ट्रांसफॉर्मर" आर्किटेक्चर पर बने हैं (जो अधिकांश वर्तमान AI हैं)। यह पुराने या पूरी तरह से अलग प्रकार के AI के लिए काम नहीं करेगा।
- विश्वास: चूंकि प्रश्न छिपे हुए हैं, इसलिए शोधकर्ता यह सत्यापित करने के लिए उन्हें पढ़ नहीं सकते कि वे निष्पक्ष हैं या नहीं। शोध पत्र विश्वास बनाने के लिए "वेरिफिकेशन प्रोटोकॉल" (जैसे यह जांचना कि क्या AI लगातार व्यवहार करता है) का उपयोग करने का सुझाव देता है।
निष्कर्ष
यह शोध पत्र तर्क देता है कि हमें टेस्ट प्रश्नों को छिपाने की कोशिश करना बंद कर देना चाहिए (जो असंभव है क्योंकि इंटरनेट पर सब कुछ कॉपी हो जाता है) और इसके बजाय टेस्ट को जारी करने के तरीके को बदलना चाहिए। डेटा को ऐसे फॉर्मेट में जारी करके जो AI को टेस्ट देने की अनुमति देता है लेकिन उसे टेस्ट को पढ़ने (स्टडी करने) से रोकता है, हम वास्तव में यह माप सकते हैं कि ये मॉडल्स कितने बुद्धिमान हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।