Memory or Generalization? Temporal Probing of Data Contamination in Bengali LLM Benchmarks
यह शोध पत्र "टेम्पोरल प्रोबिंग" (temporal probing) को पेश करता है, जो बंगाली एलएलएम (LLM) बेंचमार्क में डेटा संदूषण (data contamination) को मापने के लिए कठिनाई-समतुल्य, कट-ऑफ के बाद के आइटम्स का उपयोग करने वाला एक सीधा वैधता परीक्षण है, जिसमें यह पाया गया कि वर्तमान मॉडल BoolQ-bn डेटासेट पर याद रखने (memorization) के कारण कोई महत्वपूर्ण मुद्रास्फीति (inflation) नहीं दिखाते हैं, बावजूद इसके कि स्थिर, अनुवादित टेस्ट सेट व्यापक रूप से मौजूद हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, शोधकर्ता यह मापने के लिए परीक्षणों पर भरोसा करते हैं कि एक कंप्यूटर प्रोग्राम कितना बुद्धिमान है। ये परीक्षण, जिन्हें बेंचमार्क कहा जाता है, मशीनों के लिए मानकीकृत परीक्षाओं की तरह होते हैं। लंबे समय तक, ये परीक्षाएं अंग्रेजी में लिखी गई थीं। जैसे-जैसे तकनीक बढ़ी है, डेवलपर्स ने इन अंग्रेजी परीक्षणों का अन्य भाषाओं में अनुवाद किया है ताकि यह देख सकें कि उनके प्रोग्राम दुनिया की कई भाषाओं को कितनी अच्छी तरह समझते हैं। परीक्षण करने के लिए सबसे महत्वपूर्ण भाषाओं में से एक बंगाली है, जो लगभग ढाई सौ मिलियन लोगों द्वारा बोली जाती है। हालांकि, इन अनुवादित परीक्षणों पर एक साया मंडरा रहा है। क्योंकि इंटरनेट बहुत विशाल है, इसलिए इन परीक्षाओं का टेक्स्ट अक्सर उन डेटा के विशाल पुस्तकालयों के भीतर आ जाता है जो इन प्रोग्रामों को बोलना सिखाते हैं। यदि किसी प्रोग्राम ने प्रशिक्षण के दौरान परीक्षा के प्रश्नों को पहले ही पढ़ लिया है, तो वह उन्हें सही ढंग से उत्तर देकर वास्तव में अपनी बुद्धिमत्ता का प्रदर्शन नहीं कर रहा है; वह केवल उन उत्तरों को याद कर रहा है जो उसने पहले देखे थे। डेटा कंटैमिनेशन (डेटा संदूषण) के रूप में जानी जाने वाली यह समस्या यह जानना कठिन बना देती है कि उच्च स्कोर का अर्थ वास्तविक क्षमता है या केवल एक अच्छी स्मृति।
एमडी फहीम फैसल तन्हा नामक एक शोधकर्ता ने बंगाली भाषा मॉडल के लिए इस रहस्य को सुलझाने का बीड़ा उठाया। यह अनुमान लगाने के बजाय कि क्या किसी मॉडल ने किसी प्रश्न को देखा था, उन्होंने सत्य का पता लगाने के लिए समय को एक उपकरण के रूप में उपयोग किया। उन्होंने महसूस किया कि यदि किसी मॉडल को एक निश्चित तिथि तक के डेटा पर प्रशिक्षित किया गया था, तो वह उस तिथि के बाद प्रकाशित किसी भी चीज़ के बारे में जान ही नहीं सकता। इसका परीक्षण करने के लिए, उन्होंने पुराने, मौजूदा बंगाली परीक्षा प्रश्नों को लिया और 2025 और 2026 में प्रकाशित समाचार लेखों और टेस्ट पेपर्स का उपयोग करके बिल्कुल नए, कठिन-से-मिलान वाले प्रश्न बनाए। ये नए प्रश्न सावधानीपूर्वक पुराने प्रश्नों के समान ही कठिन बनाए गए थे, लेकिन वे गारंटी के साथ मॉडलों द्वारा अनदेखे थे क्योंकि उन्हें मॉडलों के सीखने बंद करने के बाद लिखा गया था। पुराने प्रश्नों बनाम नए प्रश्नों पर मॉडलों के प्रदर्शन की तुलना करके, वह देख सकते थे कि क्या पुराने स्कोर स्मृति द्वारा बढ़ाए गए थे।
अध्ययन ने सात अलग-अलग ओपन-सोर्स भाषा मॉडलों पर ध्यान केंद्रित किया, जो छोटे से मध्यम आकार के थे, और उन्हें चौरासी (84) प्रश्नों के जोड़ों पर परखा। परिणाम समुदाय के लिए आश्चर्यजनक रूप से आश्वस्त करने वाले थे। अधिकांश मॉडलों के लिए, पुराने प्रश्नों पर स्कोर, नए, अनदेखे प्रश्नों पर स्कोर के लगभग समान ही था। यह सुझाव देता है कि मॉडल पुराने परीक्षणों को रट नहीं रहे थे; वे वास्तव में समस्याओं को हल करने के लिए अपनी भाषा की समझ का उपयोग कर रहे थे। पाया गया सबसे बड़ा अंतर लगभग आठ प्रतिशत अंकों का एक छोटा सा अंतर था, जिसे सांख्यिकीय विश्लेषण ने दिखाया कि यह डेटा कंटैमिनेशन के संकेत के बजाय केवल रैंडम नॉइज़ (यादृच्छिक शोर) था। दूसरे शब्दों में, इन बंगाली मॉडलों के वर्तमान स्कोर भरोसेमंद प्रतीत होते हैं।
एक दिलचस्प अपवाद था जिसने शोधकर्ताओं को यह सिखाया कि इन परीक्षणों को कैसे डिजाइन किया जाए। एक मॉडल, जो क्यूवेन (Qwen) परिवार का एक बड़ा संस्करण था, वास्तव में पुराने प्रश्नों की तुलना में नए प्रश्नों पर काफी बेहतर प्रदर्शन करता था। शुरू में, यह अजीब लगा, लेकिन शोधकर्ताओं ने महसूस किया कि यह कंटैमिनेशन का संकेत नहीं था। इसके बजाय, इसका अर्थ था कि नए प्रश्न उस विशिष्ट मॉडल के लिए पुराने अनुवादित प्रश्नों की तुलना में उत्तर देने में सरल थे। पुराने प्रश्नों के लिए जटिल तर्क की आवश्यकता थी जिससे वह मॉडल संघर्ष कर रहा था, जबकि नए प्रश्न अधिक सीधे तथ्य थे। शोधकर्ताओं द्वारा अपनी मिलान प्रक्रिया को परिष्कृत करने के साथ यह अंतर कम हो गया, जिससे यह सिद्ध हुआ कि प्रारंभिक अंतर परीक्षण डिजाइन की खामी थी, न कि मॉडल के प्रदर्शन की खामी। यह खोज इस बात को उजागर करती है कि डेटा कंटैमिनेशन की जांच के लिए समय का उपयोग करने की नई विधि न केवल स्मृति, बल्कि सूक्ष्म कठिनाई के बेमेल होने को भी पकड़ने में सक्षम है।
अंततः, यह कार्य बंगाली आर्टिफिशियल इंटेलिजेंस समुदाय को महंगे उपकरणों या जटिल अनुमान लगाने के खेल की आवश्यकता के बिना अपने परिणामों को सत्यापित करने का एक व्यावहारिक तरीका प्रदान करता है। पुराने प्रश्नों की तुलना नए प्रश्नों से करने की एक सरल, मुफ्त पद्धति का उपयोग करके, शोधकर्ता अब अधिक आश्वस्त हो सकते हैं कि उनके उच्च स्कोर वास्तविक बुद्धिमत्ता को दर्शाते हैं। अध्ययन निष्कर्ष निकालता है कि परीक्षण किए गए मॉडलों के लिए, बेंचमार्क वैध हैं और स्कोर वास्तविक हैं। जैसे-जैसे भविष्य में नए और अधिक शक्तिशाली मॉडल आते हैं, इसी दृष्टिकोण का उपयोग यह सुनिश्चित करने के लिए किया जा सकता है कि रिपोर्ट की जा रही प्रगति वास्तविक क्षमता पर आधारित है, जिससे यह क्षेत्र ईमानदार बना रहे और ठोस जमीन पर आगे बढ़ सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।