Towards More Standardized AI Evaluation: From Models to Agents
यह शोध पत्र तर्क देता है कि जैसे-जैसे एआई (AI) प्रणालियाँ स्थिर मॉडलों से गतिशील एजेंटों में विकसित हो रही हैं, मूल्यांकन को पुराने स्थिर बेंचमार्क और समग्र स्कोर पर निर्भर रहने के बजाय एक निरंतर, विश्वास-निर्माण करने वाले मापन अनुशासन में बदलना चाहिए जो बड़े पैमाने पर गैर-नियत व्यवहारों (non-deterministic behaviors) को नियंत्रित करने में सक्षम हो।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर "Towards More Standardized AI Evaluation: From Models to Agents" की व्याख्या दी गई है।
बड़ी तस्वीर: "टेस्ट ड्राइवर" से "सेल्फ-ड्राइविंग कार" तक
कल्पना कीजिए कि AI मूल्यांकन (evaluation) का इतिहास कारों के परीक्षण के इतिहास जैसा है।
पुराना तरीका (Static Models):
अतीत में, हम AI का परीक्षण एक बंद ट्रैक पर एक टेस्ट ड्राइवर की तरह करते थे। हमने कार को एक विशिष्ट मार्ग (एक प्रॉम्प्ट) दिया, और हमने जाँच की कि क्या वह गंतव्य (उत्तर) तक पहुँचती है। यदि कार पहुँच गई, तो हमने उसे एक स्टार दिया। यह तब तक ठीक काम करता था जब AI केवल एक "टेक्स्ट प्रेडिक्टर" था जो एक-एक करके सवालों के जवाब देता था।
नया तरीका (AI Agents):
आज, AI सेल्फ-ड्राइविंग कारों के रूप में विकसित हो रहा है जो वास्तविक, अस्त-व्यस्त शहर के ट्रैफिक में खुद चलती हैं। वे केवल उत्तर नहीं देते; वे निर्णय लेते हैं, टूल्स का उपयोग करते हैं (जैसे दरवाज़े खोलना या वाइपर चालू करना), वे याद रखते हैं कि वे कहाँ गए थे, और वे अप्रत्याशित बाधाओं के अनुकूल ढल जाते हैं।
पेपर का तर्क है कि हमारे पुराने "बंद ट्रैक" वाले टेस्ट इन सेल्फ-ड्राइविंग कारों के लिए बेकार हैं। हम केवल यह जाँच नहीं कर सकते कि क्या वे एक बार गंतव्य तक पहुँच गए; हमें यह जानने की आवश्यकता है कि क्या वे दिन-ब-दिन, बारिश में, अलग-अलग यात्रियों के साथ, और जब GPS खराब हो जाए, तो सुरक्षित रूप से, लगातार और बिना दुर्घटना के चल सकते हैं।
मुख्य अवधारणाएँ (Key Concepts)
1. बदलाव: "क्या इसने उत्तर प्राप्त किया?" से "क्या इसने अच्छा व्यवहार किया?" तक
- पुरानी सोच: "क्या यह गणित का उत्तर सही है?" (हाँ/नहीं)।
- नई सोच: "क्या एजेंट ने समस्या को समझा, फंसने पर मदद मांगी, और गलती से गलत फ़ाइल डिलीट तो नहीं कर दी?"
- उपमा (Analogy): यह इस बात के बीच का अंतर है कि पायलट ने एक बार विमान को सफलतापूर्वक लैंड कराया या नहीं, बनाम यह जाँच करना कि क्या वे तूफान के बीच विमान को सुरक्षित रूप से उड़ा सकते हैं, इंजन की खराबी को संभाल सकते हैं, और बिना दुर्घटना के कल फिर से लैंड कर सकते हैं। निरंतरता (Consistency) ही सब कुछ है।
2. "साइलेंट बग्स" (छिपे हुए जाल)
पेपर चेतावनी देता है कि कई AI टेस्ट के "हाई स्कोर" नकली होते हैं क्योंकि उनमें सेटअप की त्रुटियाँ छिपी होती हैं।
- उपमा: कल्पना कीजिए कि एक छात्र गणित की परीक्षा दे रहा है, लेकिन शिक्षक ने गलती से उसे एक ऐसा कैलकुलेटर दे दिया जो केवल जोड़ (addition) के लिए काम करता है, गुणा (multiplication) के लिए नहीं। यदि छात्र का स्कोर कम आता है, तो क्या इसका मतलब है कि वह गणित में खराब है? नहीं, इसका मतलब है कि टूल टूटा हुआ था।
- AI में: कभी-कभी टेस्ट इसलिए फेल नहीं होता क्योंकि AI मूर्ख है, बल्कि इसलिए क्योंकि "टेस्ट हारनेस" (वातावरण) गलत तरीके से सेट किया गया है, निर्देश भ्रमित करने वाले हैं, या कंप्यूटर की मेमोरी खत्म हो रही है। ये "साइलेंट बग्स" हैं जो AI को वास्तव में जितना है उससे बेहतर या बदतर दिखाते हैं।
3. "गुडहार्ट का नियम" (जब टेस्ट ही लक्ष्य बन जाए)
- उपमा: कल्पना कीजिए कि एक शिक्षक छात्र से कहता है, "तुम्हें होमवर्क के हर पेज के लिए एक कुकी मिलेगी।" छात्र केवल पेज भरने के लिए बकवास लिखना शुरू कर देता है। उन्हें अधिक कुकीज़ मिलती हैं, लेकिन वे वास्तव में कुछ सीख नहीं रहे होते।
- AI में: जब हम एक विशिष्ट टेस्ट (जैसे लीडरबोर्ड) को लक्ष्य बना देते हैं, तो AI मॉडल वास्तविक कौशल सीखने के बजाय टेस्ट के उत्तरों को "रटने" लगते हैं। वे टेस्ट पास करने में बहुत अच्छे हो जाते हैं लेकिन वास्तविक दुनिया में वास्तविक काम करने में बहुत खराब। पेपर कहता है कि हमें ऐसे टेस्ट की आवश्यकता है जो इतने कठिन और जटिल हों कि आप उन्हें केवल रट न सकें।
4. "Pass@k" बनाम "Passk" (भाग्य बनाम विश्वसनीयता)
यह एक महत्वपूर्ण गणितीय अवधारणा है जिसे सरल रूप में समझाया गया है:
- Pass@k (क्षमता/Capability): "यदि मैं AI को 10 बार कविता लिखने के लिए कहता हूँ, तो क्या उसमें कम से कम एक अच्छी कविता है?" यह क्षमता (potential) को मापता है।
- Passk (विश्वसनीयता/Reliability): "यदि मैं AI को 10 बार कविता लिखने के लिए कहता हूँ, तो क्या हर एक अच्छी होगी?" यह भरोसे (trust) को मापता है।
- सबक: एक सेल्फ-ड्राइविंग कार के लिए, "Pass@k" मायने नहीं रखता। यदि कार 10 में से 9 बार दुर्घटनाग्रस्त होती है लेकिन एक बार सफल होती है, तो वह बेकार है। हमें किसी भी महत्वपूर्ण चीज़ के लिए Passk (100% विश्वसनीयता) की आवश्यकता है।
5. नए "प्लेग्राउंड्स" (सिम्युलेटेड दुनिया)
हम अब इन नए एजेंट्स का परीक्षण स्टेटिक बहुविकल्पीय प्रश्नों (multiple-choice questions) पर नहीं कर सकते। हमें उन्हें वीडियो गेम या वर्चुअल ऑफिस में डालना होगा।
- GAIA2: एक ऐसी टेस्ट की कल्पना करें जहाँ AI को एक नकली स्मार्टफोन में मानव सहायक की तरह कार्य करना होता है। उसे कैलेंडर चेक करना, ईमेल भेजना और राइड बुक करना होता है। यदि ईमेल सर्वर क्रैश हो जाता है, तो क्या AI इसे संभाल सकता है?
- TextQuests: एक टेक्स्ट-आधारित एडवेंचर गेम (जैसे Zork) की कल्पना करें। AI को याद रखना होगा कि उसने 50 कदम पहले एक चाबी उठाई थी। यदि वह भूल जाता है, तो वह फंस जाएगा। यह टेस्ट करता है कि क्या AI "सोच" और याद रख सकता है, न कि केवल अनुमान लगा सकता है।
यह आपके लिए क्यों मायने रखता है
पेपर निष्कर्ष निकालता है कि हम वर्तमान में एक खतरनाक अंतराल (gap) में हैं। हमारा AI स्मार्ट और स्वायत्त (जैसे कि एक सेल्फ-ड्राइविंग कार) होता जा रहा है, लेकिन इसे टेस्ट करने और इस पर भरोसा करने की हमारी क्षमता अतीत (जैसे कि एक साइकिल का परीक्षण करना) में अटकी हुई है।
- जोखिम: यदि हम पुराने टेस्ट का उपयोग करते रहे, तो हम ऐसे AI सिस्टम तैनात कर सकते हैं जो कागज़ पर तो बहुत अच्छे दिखते हैं लेकिन वास्तविक दुनिया में विनाशकारी रूप से विफल हो जाते हैं।
- समाधान: हमें मूल्यांकन को स्कूल के अंत में होने वाली "फाइनल परीक्षा" के रूप में नहीं, बल्कि एक निरंतर सुरक्षा जाँच (जैसे कि एक मैकेनिक द्वारा हर दिन कार का निरीक्षण करना) के रूप में देखने की आवश्यकता है। हमें बेहतर, अधिक जटिल, अधिक यथार्थवादी टेस्ट बनाने की आवश्यकता है जो केवल उत्तरों को नहीं, बल्कि व्यवहार को मापते हैं।
संक्षेप में: हमें यह पूछना बंद करना होगा कि "AI कितना स्मार्ट है?" और यह पूछना शुरू करना होगा कि "क्या हम इस पर बिना निगरानी के अपना काम करने के लिए भरोसा कर सकते हैं?"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।