Generative Active Testing: Efficient LLM Evaluation via Proxy Task Adaptation
यह शोध पत्र जेनेरेटिव एक्टिव टेस्टिंग (GAT) का परिचय देता है, जो एक अनिश्चितता-जागरूक ढांचा है जो जेनेरेटिव QA कार्यों के बेंचमार्किंग के लिए नमूनों को कुशलतापूर्वक चुनने हेतु LLMs को सरोगेट के रूप में और एक नवीन स्टेटमेंट अडैप्टेशन मॉड्यूल का उपयोग करता है, जिससे विशेषज्ञ लेबलिंग की लागत को कम करते हुए पारंपरिक सैंपलिंग विधियों की तुलना में अनुमान त्रुट को लगभग 40% तक कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मुख्य शेफ (head chef) हैं जो एक नया sous-chef (एक लार्ज लैंग्वेज मॉडल, या LLM) काम पर रखने की कोशिश कर रहे हैं। आपके पास 10,000 व्यंजनों वाली एक विशाल कुकबुक है, लेकिन आपके पास निर्णय लेने से पहले केवल 50 व्यंजनों को चखने का बजट और समय है।
समस्या क्या है? व्यंजन एक विदेशी भाषा में हैं, और कुछ बहुत पेचीदा हैं। यदि आप बस 50 व्यंजन यादृच्छिक रूप से (randomly) चुन लेते हैं (जैसे टोपी में से नंबर चुनना), तो आप गलती से ऐसे 50 आसान व्यंजन चुन सकते हैं जहाँ शेफ बहुत अच्छा दिखता है, या 50 असंभव व्यंजन जहाँ वह बुरी तरह विफल हो जाता है। आपको उसके कौशल की वास्तविक तस्वीर नहीं मिलेगी।
यह वह समस्या है जिसे "जेनरेटिव एक्टिव टेस्टिंग" (GAT) हल करता है। यहाँ बताया गया है कि वे इसे कैसे करते हैं, सरल शब्दों में:
1. समस्या: "पेचीदा मेनू" (The Tricky Menu)
वास्तविक दुनिया में (जैसे अस्पतालों या कानून फर्मों में), हमें जटिल कार्यों के लिए AI का परीक्षण करने की आवश्यकता होती है। लेकिन प्रत्येक परीक्षण प्रश्न को ग्रेड करने के लिए मानव विशेषज्ञ (जैसे एक डॉक्टर) को प्राप्त करना अविश्वसनीय रूप से महंगा और धीमा है।
पारंपरिक AI परीक्षण एक शेफ से पूछने जैसा है, "मेरे लिए एक सूप बनाओ।"
- समस्या: शेफ कह सकता है, "चिकन नूडल।" लेकिन क्या होगा अगर सवाल वास्तव में था "एक शाकाहारी (vegan) के लिए सूप बनाएं"? शेफ ने एक आत्मविश्वासी उत्तर दिया, लेकिन वह गलत था।
- भ्रम: AI के संदर्भ में, "विकल्प" हर प्रश्न के साथ बदलते हैं। कभी उत्तर "हाँ/नहीं" होता है, कभी एक लंबा पैराग्राफ। क्योंकि प्रारूप (format) बदल जाता है, AI का "कॉन्फिडेंस मीटर" भ्रमित हो जाता है। वह गलत उत्तर के बारे में बहुत आश्वस्त महसूस कर सकता है (hallucination) क्योंकि प्रश्न के प्रारूप ने उसे भ्रमित कर दिया।
2. समाधान: "सही/गलत" अनुवादक (The True/False Translator)
लेखकों ने स्टेटमेंट एडाप्टेशन (Statement Adaptation) नामक एक चतुर तकनीक बनाई है।
AI से "सूप बनाने" के बजाय (जिसकी अनंत संभावनाएं हैं), वे उसे एक सही/गलत (True/False) खेल खेलने के लिए मजबूर करते हैं।
- पुराना तरीका: "फ्रांस की राजधानी क्या है?" -> AI: "पेरिस।" (यह मापना कठिन है कि AI अनुमान लगा रहा था या उसे पता था)।
- नया GAT तरीका: सिस्टम AI के उत्तर को एक कथन (statement) में बदल देता है: "फ्रांस की राजधानी पेरिस है।"
- परीक्षण: अब AI से पूछा जाता है: "क्या यह कथन सत्य है या असत्य?"
यह गेम-चेंजर क्यों है?
यह अजीब आकार के पत्थरों के ढेर पर एक मानकीकृत पैमाने (standardized ruler) रखने जैसा है। अचानक, हर प्रश्न के पास समान दो उत्तर हैं: सत्य (True) या असत्य (False)। यह मापने के लिए आसान बनाता है कि AI कितना "अनिश्चित" है। यदि AI "सत्य/असत्य" पर 50/50 है, तो हम जानते हैं कि वह भ्रमित है। यदि वह 99% आश्वस्त है, तो हम जानते हैं कि वह आत्मविश्वास से भरा है।
3. गुप्त नुस्खा: "रनर-अप" रणनीति (The "Runner-Up" Strategy)
शोधकर्ताओं ने पाया कि केवल AI के पहले विकल्प की जांच करने के लिए कहना पर्याप्त नहीं था। कभी-कभी AI आत्मविश्वास के साथ गलत होता है।
इसलिए, उन्होंने "रनर-अप" (Runner-Up) का उपयोग किया।
कल्पना कीजिए कि AI एक छात्र है जो परीक्षा दे रहा है।
- सबसे आत्मविश्वासी: छात्र अपना पहला उत्तर चुनता है। (वह आत्मविश्वास के साथ गलत हो सकता है)।
- रनर-अप: सिस्टम AI से उसके दूसरे सबसे अच्छे अनुमान की जांच करने के लिए कहता है।
- जादू: यदि AI दो उत्तरों के बीच फंसा हुआ है (उच्च अनिश्चितता), तो "रनर-अप" रणनीति उस हिचकिचाहट को पकड़ लेती है। यह AI को यह स्वीकार करने के लिए मजबूर करती है, "मुझे नहीं पता कि इन दोनों में से कौन सा सही है।" यहीं पर वास्तविक त्रुटियां छिपी होती हैं, और यही वह जगह है जहाँ सिस्टम वास्तव में ध्यान केंद्रित करना चाहता है।
4. "स्मार्ट सैंपलर" (Acquisition Functions)
अब जब AI के पास एक मानकीकृत "सत्य/असत्य" स्कोर है, तो सिस्टम को यह तय करने की आवश्यकता है कि मानव विशेषज्ञ को कौन से 50 प्रश्न दिखाने हैं।
यादृच्छिक रूप से चुनने के बजाय, सिस्टम एक "स्मार्ट सैंपलर" का उपयोग करता है।
- रैंडम सैंपलर: आँख बंद करके तीर चलाने जैसा है।
- GAT स्मार्ट सैंपलर: AI के "सत्य/असत्य" स्कोर को देखता है। यह कहता है, "अरे, AI इस विशिष्ट चिकित्सा प्रश्न के बारे में वास्तव में भ्रमित है। आइए पहले इसे मानव डॉक्टर को दिखाएं!"
यह उन प्रश्नों को प्राथमिकता देता है जहाँ AI के गलत होने या सबसे अधिक भ्रमित होने की संभावना है। यह उन छात्रों पर ध्यान केंद्रित करने जैसा है जो संघर्ष कर रहे हैं, बजाय उनके जो पहले से ही उत्तर जानते हैं।
5. परिणाम: समय और धन की बचत
इस पद्धति का उपयोग करके, शोधकर्ताओं ने पाया कि वे:
- मानव विशेषज्ञों को दिखाने के लिए आवश्यक प्रश्नों की संख्या को बहुत कम कर सकते हैं।
- AI वास्तव में कितना अच्छा है, इसका अधिक सटीक स्कोर प्राप्त कर सकते हैं।
- "हैलुसिनेशन" (Hallucinations) (आत्मविश्वास के साथ बोले गए झूठ) को पहले की तुलना में बहुत बेहतर तरीके से पकड़ सकते हैं।
मुख्य बात (Bottom Line):
GAT को AI के परीक्षण के लिए एक स्मार्ट फिल्टर के रूप में समझें। मानव समय को आसान प्रश्नों या यादृच्छिक प्रश्नों को ग्रेड करने में बर्बाद करने के बजाय, यह "सत्य/असत्य" अनुवादक का उपयोग करता है ताकि उन सटीक प्रश्नों को खोजा जा सके जहाँ AI डगमगा रहा है। फिर यह केवल उन पेचीदा प्रश्नों को मानव विशेषज्ञ के पास भेजता है।
यह पैसा बचाता है, समय बचाता है, और यह सुनिश्चित करता है कि जब हम कहते हैं कि एक AI "अस्पताल के लिए तैयार" है, तो हमें वास्तव में पता हो कि वह तैयार है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।