Uncovering Competency Gaps in Large Language Models and Their Benchmarks
यह शोध पत्र स्पार्स ऑटोएन्कोडर कॉन्सेप्ट एक्टिवेशन्स का उपयोग करने वाली एक अनसुपरवाइज्ड विधि प्रस्तुत करता है जो "मॉडल गैप्स" (लार्ज लैंग्वेज मॉडल्स की विशिष्ट कमजोरियां) और "बेंचमार्क गैप्स" (कवरेज असंतुलन) दोनों को स्वचालित रूप से पहचानने और विघटित करने के लिए, मौजूदा मानकीकृत बेंचमार्क के पूरक के रूप में एक सूक्ष्म, कॉन्सेप्ट-स्तरीय मूल्यांकन प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ी समस्या: "औसत" स्कोर सच को छुपा लेता है
कल्पना कीजिए कि आप एक नए छात्र का मूल्यांकन करने की कोशिश कर रहे हैं एक स्कूल प्रिंसिपल हैं। आप उन्हें एक अंतिम परीक्षा देते हैं और वे 75% अंक प्राप्त करते हैं। यह एक "B" ग्रेड जैसा लगता है, है ना? अच्छा काम किया।
लेकिन क्या होगा अगर वह 75% गणित में 100% और इतिहास में 0% का मिश्रण हो? या क्या होगा अगर परीक्षा में केवल गणित के बारे में ही सवाल पूछे गए हों, और इतिहास को पूरी तरह से अनदेखा कर दिया गया हो?
यह बिल्कुल वही समस्या है जो हम वर्तमान में AI (लार्ज लैंग्वेज मॉडल्स या LLMs) को टेस्ट करने के तरीके के साथ देखते हैं। हम आमतौर पर उन्हें सवालों की एक लंबी सूची (एक "बेंचमार्क") देते हैं और एक एकल औसत स्कोर रिपोर्ट करते हैं। इस पेपर के लेखक तर्क देते हैं कि यह एकल संख्या भ्रामक है। यह दो विशिष्ट समस्याओं को छुपा लेती है:
- मॉडल गैप्स (Model Gaps): AI वास्तव में कुछ विशिष्ट चीजों में बहुत खराब है, लेकिन औसत स्कोर इसे ठीक-ठाक दिखाता है।
- बेंचमार्क गैप्स (Benchmark Gaps): परीक्षण स्वयं अनुचित है क्योंकि यह केवल कुछ विषयों के बारे में पूछता है और अन्य को अनदेखा करता है।
समाधान: "एक्स-रे विजन" टूल
इसे ठीक करने के लिए, लेखकों ने कॉम्पिटेंसी गैप्स (Competency Gaps - CG) नामक एक नया टूल बनाया है।
एक AI के मस्तिष्क को हजारों अलग-अलग "कॉन्सेप्ट्स" (जैसे "कोड कैसे लिखें," "विनम्र कैसे बनें," या "जोक कैसे सुनाएं") से भरे एक विशाल, अंधेरे गोदाम के रूप में सोचें। आमतौर पर, हम इस गोदाम के अंदर नहीं देख सकते; हम केवल AI द्वारा दिया गया अंतिम उत्तर देखते हैं।
लेखक एक विशेष तकनीक का उपयोग करते हैं जिसे स्पार्स ऑटोएनकोडर (Sparse Autoencoder - SAE) कहा जाता है। आप इसे एक्स-रे विजन या एक हाई-टेक टॉर्च के रूप में समझ सकते हैं। यह AI के मस्तिष्क में रोशनी डालता है और बिल्कुल स्पष्ट करता है कि जब AI कोई प्रश्न पढ़ता है, तो कौन सी "कॉन्सेप्ट लाइट्स" जल रही हैं।
केवल यह कहने के बजाय कि "AI ने प्रश्न का सही उत्तर दिया," यह टूल कहता है: "AI ने प्रश्न का सही उत्तर दिया, और हम जानते हैं कि यह करते समय वह 'गणित के तर्क' और 'विनम्र लहजे' के बारे में सोच रहा था।"
यह टूल कैसे काम करता है (दो प्रकार के गैप्स)
इस एक्स-रे विजन का उपयोग करके, शोधकर्ताओं ने 5 लोकप्रिय AI मॉडल और एक दर्जन से अधिक परीक्षणों का अध्ययन किया। उन्होंने दो मुख्य प्रकार के "गैप्स" पाए:
1. बेंचमार्क गैप्स (परीक्षण में प्रश्न गायब हैं)
कल्पना कीजिए कि एक ड्राइविंग टेस्ट है जिसमें आपसे केवल एक धूप वाले दिन, एक सीधे हाईवे पर गाड़ी चलाने के लिए कहा जाता है। आप बहुत अच्छे से पास हो जाते हैं। लेकिन उस टेस्ट में आपसे कभी बारिश में गाड़ी चलाने या व्यस्त शहर में रास्ता खोजने के लिए नहीं पूछा गया।
- निष्कर्ष: शोधकर्ताओं ने पाया कि कई लोकप्रिय AI टेस्ट उसी "धूप वाले दिन के ड्राइविंग टेस्ट" की तरह हैं। वे "निर्देशों का पालन करने" या "खेलों के बारे में बात करने" जैसी चीजों पर बहुत अधिक केंद्रित हैं।
- छूटा हुआ हिस्सा: परीक्षण अक्सर महत्वपूर्ण अवधारणाओं जैसे कि "विनम्रता से मना कैसे करें" या "यह कब स्वीकार करना है कि मुझे नहीं पता" को अनदेखा कर देते हैं। क्योंकि टेस्ट ये सवाल कभी नहीं पूछता, इसलिए AI को यह दिखाने का मौका नहीं मिलता कि वह इन्हें कर सकता है (या इन्हें सीखने में विफल रहता है)।
2. मॉडल गैप्स (AI विशिष्ट चीजों में बुरा है)
अब, कल्पना कीजिए कि AI टेस्ट देता है। हमारा एक्स-रे विजन हमें ठीक से दिखाता है कि वह कहाँ संघर्ष कर रहा है।
- निष्कर्ष: AI मॉडल "STEM" कार्यों (जैसे कोडिंग या गणित) और "सिकोफैंटिक" (उपयोगकर्ता से सहमत होना और अत्यधिक मददगार होना) होने में बहुत अच्छे थे।
- कमजोरी: मॉडल आश्चर्यजनक रूप से इनमें कमजोर थे:
- समय (Time): तारीखों, खाना पकाने के समय, या ऐतिहासिक कालखंडों को समझना।
- सीमाएं (Boundaries): अनुचित अनुरोधों को विनम्रता से अस्वीकार करना या यह जानना कि कब रुकना है।
- तर्क (Logic): चीजें जैसे कि यह जांचना कि क्या कोई शब्द 'पलिंड्रोम' (उल्टा पढ़ने पर भी समान रहने वाला शब्द) है या सरल गणित जोड़ करना।
यह क्यों मायने रखता है
लेखकों ने दिखाया कि उनकी विधि स्वचालित (automatic) और स्केलेबल (scalable) है। उन्हें इन गैप्स को खोजने के लिए हजारों सवालों को मैन्युअल रूप से पढ़ने की आवश्यकता नहीं पड़ी। कंप्यूटर ने यह काम AI के मस्तिष्क के अंदर की "लाइट्स" को देखकर किया।
उन्होंने यह भी साबित किया कि भले ही आप एक थोड़ा अलग "टॉर्च" (एक अलग मॉडल पर प्रशिक्षित अलग SAE) का उपयोग करें, फिर भी आप समान सामान्य पैटर्न देखते हैं। इसका मतलब है कि यह टूल विश्वसनीय है।
मुख्य निष्कर्ष (Takeaway)
यह पेपर हमें AI के "औसत ग्रेड" को देखने के बजाय हर एक कौशल के लिए "रिपोर्ट कार्ड" देखना शुरू करने का तरीका बताता है।
- टेस्ट बनाने वालों के लिए: यह उन्हें दिखाता है कि वे किन विषयों को परखना भूल रहे हैं (जैसे "विनम्र इनकार"), ताकि वे बेहतर प्रश्न लिख सकें।
- AI बनाने वालों के लिए: यह उन्हें सटीक रूप से दिखाता है कि उनके AI में कहाँ कमजोरी है (जैसे "समय प्रबंधन" या "ना कहना"), ताकि वे केवल सामान्य स्कोर बढ़ाने के बजाय उन विशिष्ट समस्याओं को ठीक कर सकें।
लेखकों ने एक मुफ्त, इंटरैक्टिव वेबसाइट भी जारी की है जहाँ कोई भी इस टूल का उपयोग करके इन गैप्स को खुद देख सकता है, जिससे AI के "ब्लैक बॉक्स" को कुछ ऐसा बनाया जा सके जिसे हम वास्तव में देख और समझ सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।