Active Testing of Large Language Models via Approximate Neyman Allocation
यह शोध पत्र जनरेटिव लार्ज लैंग्वेज मॉडल्स के लिए एक नवीन सक्रिय परीक्षण एल्गोरिदम प्रस्तुत करता है जो मूल्यांकन पूलों को स्तरीकृत करने और अनुमानित नेमन एलोकेशन (Neyman allocation) करने के लिए सरोगेट मॉडल्स से प्राप्त सिमेंटिक एंट्रॉपी का लाभ उठाता है, जो यूनिफॉर्म सैंपलिंग और मौजूदा बेसलाइन्स की तुलना में मीन स्क्वेयर्ड एरर और लेबलिंग लागत को काफी कम कर देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास प्रश्नों की एक विशाल लाइब्रेरी (इवैल्यूएशन पूल) है और एक सुपर-स्मार्ट AI (लार्ज लैंग्वेज मॉडल) है जिसे आप टेस्ट करना चाहते हैं। आपको यह जानने की आवश्यकता है कि वह AI औसतन कैसा प्रदर्शन करता है।
समस्या क्या है? लाइब्रेरी में हजारों प्रश्न हैं, और प्रत्येक के लिए "सही उत्तर" प्राप्त करना महंगा है। इसके लिए अक्सर एक मानव विशेषज्ञ (human expert) को AI के काम को ग्रेड करने के लिए काम पर रखना पड़ता है। यदि आप विशेषज्ञ से हर एक प्रश्न को ग्रेड करने के लिए कहते हैं, तो इसमें बहुत पैसा खर्च होगा और बहुत समय लगेगा।
लक्ष्य: आप चाहते हैं कि विशेषज्ञ केवल कुछ ही प्रश्नों को ग्रेड करे, लेकिन फिर भी आप पूरी लाइब्रेरी के लिए AI का औसत स्कोर उच्च सटीकता के साथ जानना चाहते हैं। इसे "एक्टिव टेस्टिंग" (Active Testing) कहा जाता है।
पुराना तरीका: "अनुमान लगाने का खेल"
पहले, शोधकर्ता उन "दिलचस्प" प्रश्नों को चुनने की कोशिश करते थे जिन्हें ग्रेड किया जाना था। उन्होंने AI को एक साधारण बहुविकल्पीय (multiple-choice) मशीन की तरह माना। वे देखते थे कि AI कितना "भ्रमित" (confused) लग रहा था (इसे "एंट्रॉपी" नामक एक गणितीय ट्रिक का उपयोग करके देखा जाता था) और उन प्रश्नों को चुनते थे जहाँ AI सबसे अधिक अनिश्चित लग रहा था।
यह क्यों विफल रहा:
- गलत फोकस: आधुनिक AI केवल A, B, C या D नहीं चुनता। वे पैराग्राफ लिखते हैं। पुराने तरीके AI द्वारा लिखे गए अक्षरों को देखते थे, उनके अर्थ को नहीं। यह एक शेफ को इस आधार पर आंकने जैसा है कि उसने कितनी बार चम्मच गिराया, बजाय इसके कि भोजन का स्वाद कैसा है।
- "कॉन्फिडेंस ट्रैप" (आत्मविश्वास का जाल): ये स्मार्ट AI अक्सर अत्यधिक आत्मविश्वासी होते हैं। वे ऐसा व्यवहार करते हैं जैसे वे उत्तर जानते हैं, भले ही वे न जानते हों। पुराने तरीके इस नकली आत्मविश्वास से धोखा खा जाते थे और अंततः रैंडम (यादृच्छिक) प्रश्न चुनते थे, जो केवल अनुमान लगाने से बेहतर नहीं था।
नया समाधान: "स्मार्ट लाइब्रेरियन"
इस पेपर के लेखकों ने एक नया तरीका बनाया है जो एक स्मार्ट लाइब्रेरियन की तरह काम करता है। अक्षरों को देखने के बजाय, वे उत्तरों के अर्थ को देखते हैं।
यहाँ बताया गया है कि उनका तरीका कैसे काम करता है, चरण-दर-चरण:
1. "शैडो टीचर" (सरोगेट मॉडल)
महंगे मानव विशेषज्ञ से पूछने से पहले, वे एक छोटे, सस्ते और तेज़ AI (सरोगेट) का उपयोग करते हैं जो सभी प्रश्नों पर एक त्वरित नज़र डालता है।
- उपमा: कल्पना करें कि एक शिक्षण सहायक (सरोगेट) है जो मुख्य प्रोफेसर (टारगेट AI) जितना स्मार्ट नहीं है, लेकिन वह तेज़ और सस्ता है। TA पहले सभी प्रश्नों के उत्तर देने का प्रयास करता है।
2. "मीनिंग कन्फ्यूजन" मापना (सिमेंटिक एंट्रॉपी)
TA प्रत्येक प्रश्न के लिए कई अलग-अलग उत्तर उत्पन्न करता है।
- यदि TA पाँच पूरी तरह से अलग, निरर्थक उत्तर देता है, तो इसका मतलब है कि प्रश्न कठिन है और अर्थ अनिश्चित है।
- यदि TA पाँच उत्तर देता है जो सभी अलग-अलग शब्दों में एक ही बात कहते हैं, तो प्रश्न आसान है और अर्थ स्पष्ट है।
- नवाचार: नया तरीका इस "मीनिंग कन्फ्यूजन" (सिमेंटिक एंट्रॉपी) को मापता है न कि केवल अक्षरों को गिनता है। यह उन्हें बताता है कि कौन से प्रश्न वास्तव में पेचीदा हैं।
3. किताबों को छाँटना (स्ट्रैटिफिकेशन)
लाइब्रेरियन पूरे प्रश्नों की लाइब्रेरी को अलग-अलग "शेल्फ" (स्तरों/strata) में छाँटता है, जो इस आधार पर है कि TA कितना भ्रमित था:
- शेल्फ A: वे प्रश्न जहाँ TA पूरी तरह से आश्वस्त था (आसान)।
- शेल्फ B: वे प्रश्न जहाँ TA थोड़ा अनिश्चित था (मध्यम)।
- शेल्फ C: वे प्रश्न जहाँ TA पूरी तरह से खो गया था (कठिन)।
4. स्मार्ट बजट (एप्रोक्सिमेट नेयमैन एलोकेशन)
अब, आपके पास एक सीमित बजट है (उदाहरण के लिए, आप केवल 70 प्रश्नों को ग्रेड करने के लिए विशेषज्ञ को भुगतान कर सकते हैं)।
- पुरानी गलती: पूरी लाइब्रेरी से 70 रैंडम प्रश्न ग्रेड करना।
- नई रणनीति: विधि यह तय करने के लिए कि प्रत्येक शेल्फ से कितने प्रश्न ग्रेड किए जाने चाहिए, एक गणितीय नियम (नेयमैन एलोकेशन) का उपयोग करती है:
- यह अपने बजट का अधिक हिस्सा "कठिन" शेल्फ (शेल्फ C) पर खर्च करती है क्योंकि उन प्रश्नों में सबसे अधिक भिन्नता होती है और वे सबसे कठिन होते हैं।
- यह "आसान" शेल्फ (शेल्फ A) पर कम खर्च करती है क्योंकि उनके उत्तर अनुमानित होते हैं।
- यह TA के प्रदर्शन का उपयोग यह अनुमान लगाने के लिए करती है कि उत्तर कितने "विविध" होंगे, ताकि उसे अंतिम विशेषज्ञ ग्रेड देखने की आवश्यकता न पड़े।
परिणाम: पैसा और समय की बचत
इस पेपर ने विभिन्न कठिन कार्यों (जैसे उन्नत विज्ञान प्रश्न और इमेज विश्लेषण) पर विभिन्न AI मॉडल का परीक्षण किया।
- बेहतर सटीकता: वास्तव में काम आने वाले (भ्रमित करने वाले) प्रश्नों पर अपना सीमित बजट केंद्रित करके, उनकी विधि ने रैंडम अनुमान लगाने की तुलना में AI के कुल स्कोर की बहुत अधिक सटीक भविष्यवाणी की।
- बड़ी बचत: उन्होंने पाया कि वे विशेषज्ञ ग्रेडिंग पर 23% कम खर्च करके समान स्तर की सटीकता प्राप्त कर सकते हैं। कुछ मामलों में, उन्होंने लागत में 28% तक की बचत की।
- "ओरेकल" बेंचमार्क: एक सैद्धांतिक "परफेक्ट" तरीका है (जिसे ओरकल-नेयमैन कहा जाता है) जहाँ आप जादू से पहले ही जानते हैं कि हर प्रश्न कितना कठिन है। उनका नया तरीका इस परफेक्ट स्कोर के बहुत करीब पहुँच जाता है, भले ही उनके पास वह जादुई ज्ञान न हो।
सारांश
इसे सूप चखने की तरह समझें।
- पुराना तरीका: आप ऊपर, बीच और नीचे से एक-एक चम्मच लेते हैं। आप नीचे के नमकीन हिस्से को मिस कर सकते हैं।
- नया तरीका: आप एक सस्ते टेस्ट-टेस्टर (सरोगेट) का उपयोग करके यह पता लगाते हैं कि सूप कहाँ अजीब लग रहा है। फिर, आप उस अजीब स्वाद को समझने के लिए अपने महंगे टेस्टिंग बजट को विशेष रूप से उन अजीब जगहों पर खर्च करते हैं, ताकि पूरे बर्तन के असली स्वाद का पता चल सके।
यह तरीका कंपनियों को अपने महंगे AI मॉडल को अधिक विश्वसनीय रूप से टेस्ट करने की अनुमति देता है बिना मानव विशेषज्ञों पर भारी खर्च किए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।