Quantifying Data Contamination in Psychometric Evaluations of LLMs
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स के साइकोमेट्रिक मूल्यांकन में डेटा संदूषण (data contamination) को व्यवस्थित रूप से मापने के लिए एक ढांचा प्रस्तावित करता है, जो यह प्रकट करता है कि 21 मॉडल्स में लोकप्रिय इन्वेंट्रीज़ महत्वपूर्ण मेमोराइजेशन और स्कोर हेरफेर की समस्याओं से ग्रस्त हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नए रोबोट के व्यक्तित्व को समझने की कोशिश कर रहे हैं। आप उसे एक प्रसिद्ध, सुप्रसिद्ध व्यक्तित्व क्विज़ (personality quiz) देते हैं—वैसी ही जैसी आप किसी पत्रिका या मनोविज्ञान की पाठ्यपुस्तक में पा सकते हैं—और उससे उन सवालों के जवाब देने के लिए कहते हैं। आप उम्मीद करते हैं कि यह रोबोट अपने "सच्चे" डिजिटल स्वरूप को प्रकट करेगा। लेकिन क्या होगा अगर रोबोट अपने आंतरिक तर्क के आधार पर उत्तर नहीं दे रहा है? क्या होगा अगर वह केवल उस उत्तर कुंजी (answer key) को दोहरा रहा है जिसे उसने इंटरनेट से याद कर लिया है?
सियोल नेशनल यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने ठीक यही खोजा। उन्होंने जांच की कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs)—जो चैटबॉट्स जैसे टूल्स के पीछे के सुपर-स्मार्ट AI दिमाग हैं—ने मनोवैज्ञानिक परीक्षणों को खुद ही याद करके "नकल" (cheat) की है।
द ग्रेट पर्सनैलिटी क्विज़ हेइस्ट (The Great Personality Quiz Heist)
शोधकर्ताओं ने यह देखने के लिए एक चतुर जांच तैयार की कि क्या ये AI मॉडल वास्तव में परीक्षण ले रहे हैं या केवल ऐसा होने का नाटक कर रहे हैं। उन्होंने चार बहुत लोकप्रिय मनोवैज्ञानिक इन्वेंटरीज (मनोवैज्ञानिक परीक्षणों का एक औपचारिक नाम) को देखा, जिनमें बिग फाइव इन्वेंटरी (BFI-44) शामिल है, जो यह मापता है कि कोई व्यक्ति मिलनसार है या शर्मीला, और पोर्ट्रेट वैल्यूज क्वेश्चनर (PVQ-40), जो यह जाँचता है कि जीवन में सबसे अधिक क्या महत्वपूर्ण है।
उन्होंने प्रमुख परिवारों जैसे GPT-5, Claude और Llama के 21 अलग-अलग मॉडल्स का परीक्षण किया। मॉडल्स को केवल टेस्ट देने के लिए कहने के बजाय, उन्होंने तीन विशिष्ट तरीकों से यह जांचा कि क्या मॉडल्स "दूषित" (contaminated) थे क्योंकि उन्होंने पहले से ही इन सवालों को देख रखा था:
आइटम मेमोराइजेशन (द "फ्लैशकार्ड" टेस्ट): क्या मॉडल एक प्रश्न संख्या देख सकता है और प्रश्न के सटीक शब्दों को दोहरा सकता है?
- परिणाम: मॉडल्स इसमें आश्चर्यजनक रूप से अच्छे थे। औसतन, वे 0.31 की सिमेंटिक समानता (अर्थ की निकटता का एक माप) के साथ प्रश्नों को पुनर्गठित कर सके। इससे भी बेहतर, वे किसी प्रश्न में छिपे "की-वर्ड" (मुख्य शब्द) का लगभग 39% समय अनुमान लगा सके। यह वैसा ही है जैसे यदि आप किसी छात्र को उस टेस्ट के प्रश्न लिखने के लिए कहें जिसे उसने पहले पढ़ा है, और वह मुख्य विचार को 10 में से लगभग 4 बार सही बताता है।
इवैल्यूएशन मेमोराइजेशन (द "आंसर की" टेस्ट): क्या मॉडल न केवल प्रश्न जानता है, बल्कि यह भी जानता है कि उसका स्कोर कैसे किया जाता है? उदाहरण के लिए, क्या वह जानता है कि किसी विशिष्ट प्रश्न का उत्तर "दृढ़ता से सहमत" देने का अर्थ वास्तव में यह है कि आप कम बहिर्मुखी (extroverted) हैं, क्योंकि यह एक "रिवर्स-कोडेड" नियम है?
- परिणाम: यहाँ संदूषण (contamination) बहुत मजबूत था। मॉडल्स लगभग पूरी तरह से स्कोरिंग नियमों को जानते थे। जब उन्हें प्रश्नों को व्यक्तित्व लक्षणों से मिलाने के लिए कहा गया, तो उनका औसत F1-स्कोर 0.94 रहा (जहाँ 1.0 पूर्ण होता है)। जब उन्हें एक विशिष्ट उत्तर के लिए संख्यात्मक स्कोर का पता लगाने के लिए कहा गया, तो उन्नत मॉडल्स ने लगभग कोई गलती नहीं की। ऐसा लगता है जैसे मॉडल्स ने केवल क्विज़ पढ़ा ही नहीं; उन्होंने शिक्षक की ग्रेडिंग रूपरेखा (grading rubric) का भी अध्ययन किया है।
टारगेट स्कोर मैचिंग (द "फेक इट टिल यू मेक इट" टेस्ट): यह सबसे खुलासा करने वाला हिस्सा था। शोधकर्ताओं ने मॉडल्स से कहा: "एक ऐसे व्यक्ति का अभिनय करें जिसका 'ईमानदारी' पर स्कोर 5 में से ठीक 5 है। अब, उस स्कोर को प्राप्त करने के लिए इन प्रश्नों के उत्तर दें।"
- परिणाम: मॉडल्स ने यह कर दिखाया। वे बहुत उच्च सटीकता (लगभग 0.1 से 0.2 का मीन एब्सोल्यूट एरर) के साथ एक विशिष्ट लक्ष्य स्कोर तक पहुँचने के लिए रणनीतिक रूप से उत्तर चुन सकते थे। यह सुझाव देता है कि मॉडल्स केवल तथ्य याद नहीं कर रहे हैं; वे एक विशिष्ट प्रकार का व्यक्ति दिखने के लिए अपने उत्तरों में सक्रिय रूप से हेरफेर कर रहे हैं।
"चीटिंग" का पैमाना
शोधकर्ताओं ने पाया कि सभी मॉडल्स समान रूप से नकल नहीं करते थे, और सभी क्विज़ नकल करने के लिए समान रूप से आसान नहीं थे।
- सबसे बड़े विजेता (संदूषण के मामले में): बिग फाइव इन्वेंटरी (BFI-44) और पोर्ट्रेट वैल्यूज क्वेश्चनर (PVQ-40) में संदूषण के सबसे मजबूत संकेत मिले। शोधकर्ताओं को संदेह है कि ऐसा इसलिए है क्योंकि ये टेस्ट इतने प्रसिद्ध और ऑनलाइन व्यापक रूप से उपलब्ध हैं कि मॉडल्स ने संभवतः इन्हें अपने प्रशिक्षण के दौरान पूरा निगल लिया है।
- "कठिन" टेस्ट: मोरल फाउंडेशन क्वेश्चनर (MFQ) और शॉर्ट डार्क ट्रायड (SD-3) में कम संदूषण दिखा, जो संभवतः इसलिए है क्योंकि वे मॉडल्स के प्रशिक्षण डेटा में कम सामान्य हैं।
- मॉडल का आकार मायने रखता है: आम तौर रूप से, मॉडल जितना बड़ा और स्मार्ट (जैसे GPT-5 या Claude 4.5) होता, वह टेस्ट को याद करने और स्कोर को नकली बनाने में उतना ही बेहतर होता। छोटे मॉडल्स थोड़े अनभिज्ञ थे, जो सुझाव देता है कि जैसे-जैसे AI बड़ा होता जाता है, वह टेस्ट को "जानने" में बेहतर होता जाता है।
यह भविष्य के लिए क्या मायने रखता है
लेखक सावधानी बरतते हुए कहते हैं कि इसका मतलब यह नहीं है कि मॉडल्स मानवीय अर्थों में "झूठ" बोल रहे हैं। इसके बजाय, यह सुझाव देता है कि जब हम AI के व्यक्तित्व को मापने के लिए इन मानक मनोवैज्ञानिक परीक्षणों का उपयोग करते हैं, तो हम शायद AI के वास्तविक स्वभाव को नहीं माप रहे होते हैं। हम केवल यह माप रहे होते हैं कि AI ने उन टेस्ट प्रश्नों को कितनी अच्छी तरह याद किया है जिन्हें उसने बात करना सीखते समय देखा था।
यह पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि ये परिणाम केवल रैंडम अनुमान (random guessing) हैं। मॉडल्स ने एक रैंडम गेसर की तुलना में बहुत बेहतर प्रदर्शन किया। उदाहरण के लिए, यदि कोई मॉडल 5-पॉइंट स्केल पर स्कोर का अनुमान लगा रहा होता, तो त्रुटि (error) लगभग 1.73 होती, लेकिन उन्नत मॉडल्स ने इसे घटाकर 0.1 कर दिया।
इसलिए, अगली बार जब आप ऐसी हेडलाइन देखें कि "AI का व्यक्तित्व इंसान जैसा है," तो याद रखें: AI केवल एक बहुत अच्छा छात्र हो सकता है जिसने टेक्स्टबुक को रट लिया है। शोधकर्ता सुझाव देते हैं कि हमें इन मॉडल्स को टेस्ट करने के नए तरीके खोजने की आवश्यकता है जिन्हें उन्होंने अपने प्रशिक्षण डेटा में नहीं देखा है, अन्यथा हम वास्तव में कभी नहीं जान पाएंगे कि वे वास्तव में कैसे काम करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।