LogitTrace: Detecting Benchmark Contamination via Layerwise Logit Trajectories
यह शोध पत्र LogitTrace प्रस्तुत करता है, जो एक ऐसा ढांचा है जो याद किए गए उदाहरणों के शुरुआती प्रतिबद्धता पैटर्न और वास्तविक रूप से तर्कसंगत प्रतिक्रियाओं के क्रमिक साक्ष्य संचय के बीच अंतर करने के लिए लेयरवाइज लॉजिट प्रक्षेप पथों (layerwise logit trajectories) का विश्लेषण करके लार्ज लैंग्वेज मॉडल्स में बेंचमार्क संदूषण (benchmark contamination) का पता लगाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ LogitTrace पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
बड़ी समस्या: क्लासरूम में "चीट शीट" (नकल की पर्ची)
कल्पल्पना कीजिए कि एक छात्र एक बहुत कठिन गणित की परीक्षा दे रहा है। उसे पूरे अंक मिलते हैं। आप सोच सकते हैं, "वाह, यह तो जीनियस है!" लेकिन क्या होगा अगर उसने वास्तव में पढ़ाई के दौरान उन विशिष्ट प्रश्नों के उत्तर रट लिए थे? वह गणित के माध्यम से तर्क (reasoning) नहीं कर रहा है; वह बस अपनी याददाश्त से उत्तरों को याद (recall) कर रहा है।
आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, इसे बेंचमार्क कंटैमिनेशन (benchmark contamination) कहा जाता है। यह तब होता है जब वे प्रश्न जिन पर AI का मूल्यांकन किया जाता है, गलती से AI के प्रशिक्षण डेटा (उस "पाठ्यपुस्तक" में जिसका उसने अध्ययन किया है) में शामिल हो जाते हैं। AI स्मार्ट दिखता है, लेकिन वास्तव में वह उत्तरों को याद करके नकल कर रहा होता है।
नकल पकड़ने का पुराना तरीका
पहले, शोधकर्ता इस नकल को पकड़ने के लिए सतह (surface) पर देखते थे:
- "कॉपी-पेस्ट" चेक: क्या AI ने उत्तर बिल्कुल वैसा ही लिखा जैसा कि ट्रेनिंग डेटा में था? (यदि शिक्षक प्रश्न को फिर से लिख देता है, तो AI इस चेक में फेल हो सकता है)।
- "कॉन्फिडेंस" चेक: क्या AI खुद पर बहुत अधिक विश्वास दिखाता है?
- "स्पीड" चेक: क्या यह बहुत तेज़ी से काम पूरा करता है?
कमी: ये तरीके नाजुक (fragile) हैं। यदि कोई प्रश्न को फिर से लिख देता है (जैसे, "2+2 क्या है?" को बदलकर "दो और दो का योग ज्ञात करें"), तो AI अभी भी उत्तर जान सकता है क्योंकि उसने उस अवधारणा (concept) को याद किया है, लेकिन पुराने डिटेक्टर इसे नहीं देख पाते। यह एक ऐसे छात्र की तरह है जिसने उत्तर कुंजी (answer key) रट ली है, लेकिन यदि शिक्षक फॉन्ट बदल दे, तो वह फेल हो जाता है।
नया समाधान: LogitTrace (एक "विचार प्रक्रिया" कैमरा)
लेखक LogitTrace नामक एक नया टूल प्रस्तावित करते हैं। केवल AI द्वारा लिखे गए अंतिम उत्तर को देखने के बजाय, LogitTrace इस बात पर नज़र रखता है कि AI समस्या को हल करते समय कैसे सोचता है।
उपमा: एक फैक्ट्री असेंबली लाइन
कल्पना कीजिए कि AI एक फैक्ट्री है जिसमें 30 अलग-अलग असेंबली स्टेशन (लेयर्स) एक पंक्ति में काम कर रहे हैं।
- साफ़ सोच (वास्तविक तर्क/Reasoning): जैसे-जैसे उत्पाद (उत्तर) लाइन में नीचे जाता है, प्रत्येक स्टेशन के कर्मचारी धीरे-धीरे सबूत जुटाते हैं। वे चर्चा करते हैं, विकल्पों को तौलते हैं, और धीरे-धीरे अंतिम उत्पाद पर सहमत होते हैं। निर्णय धीरे-धीरे और लगातार बनता है।
- याद की हुई सोच (नकल/Cheating): यदि AI ने यह समस्या पहले देखी है, तो यह एक ऐसे कर्मचारी की तरह है जो पहले से ही अंतिम उत्पाद को जानता है। उन्हें सबूत जुटाने की आवश्यकता नहीं है। वे पहले ही स्टेशन पर ही उत्तर के प्रति तुरंत प्रतिबद्ध (commit) हो जाते हैं। बाकी की फैक्ट्री बस उस शुरुआती निर्णय की नकल करती है।
LogitTrace एक हाई-स्पीड कैमरे की तरह है जो प्रश्न को प्रोसेस करते समय हर एक स्टेशन (लेयर) पर AI के "विश्वास स्तरों" (confidence levels) को रिकॉर्ड करता है। इसे अंतिम उत्तर की परवाह नहीं है; इसे उस ट्रैजेक्टरी (पथ) की परवाह है जिसे AI ने वहां तक पहुँचने के लिए अपनाया है।
यह कैसे काम करता है (चरण-दर-चरण)
- अंदर झाँकना: शोधकर्ता "लॉग लेंस" (Logit Lens) नामक तकनीक का उपयोग करके नेटवर्क की हर लेयर में AI के आंतरिक "विचारों" (संभावनाओं) को देखते हैं, न कि केवल अंत में।
- रास्ते को ट्रैक करना: वे ट्रैक करते हैं कि पहली लेयर से अंतिम लेयर तक एक विशिष्ट संख्या के लिए AI की प्राथमिकता कैसे बदलती है।
- साफ़ उदाहरण: पथ एक हल्की ढलान की तरह है। AI धीरे-धीरे अपने विकल्पों को कम करता है।
- कंटैमिनेटेड (दूषित) उदाहरण: पथ एक खड़ी चट्टान (steep cliff) की तरह है। AI बहुत जल्दी उत्तर पर लॉक हो जाता है और वहीं रहता है।
- जासूस: वे इन "थॉट पाथ्स" (विचार पथों) को एक छोटे, सरल AI डिटेक्टर (1D-CNN) में फीड करते हैं। यह डिटेक्टर "धीमी प्रगति" (साफ़) और "जल्द निर्णय लेने" (याद की गई) के बीच अंतर पहचानना सीख जाता है।
उन्होंने क्या पाया
उन्होंने गणित की समस्याओं का उपयोग करके कई AI मॉडलों पर इसका परीक्षण किया। यहाँ मुख्य निष्कर्ष दिए गए हैं:
- यह तब भी काम करता है जब प्रश्न बदल दिए जाते हैं: जब शोधकर्ताओं ने गणित की समस्याओं को फिर से लिखा, अनुवाद किया या थोड़ा बदल दिया, तो पुराने डिटेक्टर विफल हो गए (वे यह नहीं बता सके कि AI नकल कर रहा है)। LogitTrace फिर भी काम करता रहा। यह अभी भी देख सका कि AI बहुत जल्दी उत्तर पर "लॉक" हो रहा था, जिससे साबित हुआ कि वह तर्क करने के बजाय याद कर रहा था।
- "LoRA" प्रयोग (पक्का सबूत): यह साबित करने के लिए कि यह केवल एक संयोग नहीं था, उन्होंने एक साफ़ AI लिया और LoRA (फाइन-ट्यूनिंग का एक प्रकार) का उपयोग करके उसे विशिष्ट गणितीय समस्याओं को याद करने के लिए मजबूर किया।
- याद करने के लिए मजबूर करने से पहले, AI "साफ़" विचार पथ दिखाता था।
- याद करने के लिए मजबूर करने के बाद, AI के विचार पथ बदलकर बिल्कुल "नकल" वाले पैटर्न (जल्द प्रतिबद्धता) जैसा दिखने लगा।
- यह क्यों मायने रखता है: यह साबित करता है कि LogotTrace वास्तव में याद करने की क्रिया (act of memorization) का पता लगा रहा है, न कि केवल रैंडम शोर का।
निचोड़ (Bottom Line)
LogitTrace यह बताने का एक नया तरीका है कि क्या कोई AI वास्तव में बुद्धिमान है या केवल एक नकलची (parrot) है। यह केवल अंतिम परिणाम को देखने के बजाय, एक उत्तर बनाने के लिए AI की "आंतरिक यात्रा" को देखकर, यह भी पहचान सकता है कि नकल की जा रही है, भले ही टेस्ट के प्रश्नों को फिर से लिखा गया हो या छिपाया गया हो। यह एक अधिक ईमानदार दृष्टिकोण प्रदान करता है कि क्या AI मॉडल वास्तव में तर्क करना सीख रहे हैं या केवल अपनी पाठ्यपुस्तकों को रट रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।