Project Kaleidoscope: Contextual, Human-Aligned Evaluation for Real-World AI Applications
यह शोधपत्र कालिडोस्कोप (Kaleidoscope) को प्रस्तुत करता है, जो एक व्यावहारिक और पुनरावृत्ति आधारित वर्कफ़्लो है जो वास्तविक दुनिया के एआई अनुप्रयोगों के स्केलेबल और नीति-अनुरूप मूल्यांकन को सक्षम करने के लिए व्यक्तित्व-आधारित परीक्षण जनरेशन, संदर्भ-आधारित रूब्रिक्स और ह्यूमन-इन-द-लूप विश्वसनीयता गेटिंग को एकीकृत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट शेफ बना रहे हैं। आप उसे अविश्वसनीय गति से सब्जियां काटने और बर्गर पलटने के लिए सिखा सकते हैं, लेकिन आपको यह कैसे पता चलेगा कि वह वास्तव में आपके विशिष्ट परिवार के लिए एक अच्छा भोजन बना रहा है? शायद आपका परिवार तीखा खाना पसंद नहीं करता, या शायद आपके पास प्लास्टिक के डिब्बों का उपयोग न करने का एक सख्त नियम है। एक सामान्य कुकबुक कह सकती है, "यह रेसिपी 9/10 है," लेकिन यह आपके काम नहीं आएगी यदि आपके परिवार को धनिया (सिलेंटो) से एलर्जी है। यह वर्तमान में आर्टिफिशियल इंटेलिजेंस की दुनिया में एक बड़ी समस्या है। हमारे पास सुपर-स्मार्ट AI मॉडल हैं जो कहानियाँ लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं और मनुष्यों की तरह चैट कर सकते हैं, लेकिन उनका परीक्षण करना एक दुःस्वप्न है। वैज्ञानिकों द्वारा उपयोग किए जाने वाले मानक परीक्षण सामान्य ड्राइविंग टेस्ट की तरह हैं; वे यह जांचते हैं कि क्या एक कार रेड लाइट पर रुक सकती है, लेकिन वे आपको यह नहीं बताते कि क्या वह कार आपके विशिष्ट पड़ोस की बर्फीली, घुमावदार सड़कों पर चलाने के लिए सुरक्षित है।
इसे ठीक करने के लिए, हमें हमें हमारे विशिष्ट नियमों, हमारे विशिष्ट उपयोगकर्ताओं और हमारे विशिष्ट जोखिमों के आधार पर AI का परीक्षण करने के तरीके की आवश्यकता है। यहीं पर "फंक्शनल इवैल्यूएशन" (कार्यात्मक मूल्यांकन) का विचार आता है। यह इस बारे में नहीं है कि "क्या यह AI स्मार्ट है?" बल्कि यह है कि "क्या यह वह काम करता है जिसकी हमें आवश्यकता है, बिना हमारे नियमों को तोड़े?" चुनौती यह है कि इसे हाथ से करना धीमा और उबाऊ है, जबकि कंप्यूटर को कंप्यूटर को ग्रेड देने देना जोखिम भरा है क्योंकि कंप्यूटर पक्षपाती या आलसी हो सकता है। इसलिए, बड़ा सवाल यह है: हम एक ऐसा परीक्षण सिस्टम कैसे बना सकते हैं जो तेज़, निष्पक्ष हो और वास्तव में वास्तविक दुनिया के संदर्भ को समझता हो?
यहाँ प्रोजेक्ट कैलीडोस्कोप (Project KALEIDOSCOPE) आता है, जो GovTech सिंगापुर और विश्वविद्यालयों की एक टीम द्वारा इसी पहेली को सुलझाने के लिए डिज़ाइन किया गया एक नया वर्कफ़्लो है। कैलीडोस्कोप को केवल एक एकल परीक्षण के रूप में नहीं, बल्कि AI की जाँच करने के लिए एक हाई-टेक, मल्टी-लेंस कैमरा सिस्टम के रूप में सोचें। AI के प्रदर्शन की एक धुंधली फोटो लेने के बजाय, यह विभिन्न कोणों से सैकड़ों तस्वीरें खींचता है, उन्हें एक कस्टम नियम पुस्तिका के विरुद्ध जांचता है, और केवल तभी अंतिम स्कोर को मान्य करता है जब कैमरा सुनिश्चित हो कि वह सही ढंग से केंद्रित है।
यहाँ जादू कैसे होता है। सबसे पहले, सिस्टम पात्रों का एक समूह, या "पर्सोना" बनाता है। कल्पना कीजिए कि आप एक कस्टमर सर्विस बॉट का परीक्षण कर रहे हैं। केवल सामान्य प्रश्न पूछने के बजाय, कैलीडोस्कोप एक "गुस्सैल ग्राहक," एक "भ्रमित पर्यटक," और एक "टेक-सेवी किशोर" बनाता है। यह उन विशिष्ट पात्रों द्वारा पूछे जाने वाले प्रश्न उत्पन्न करता है जो वास्तव में पूछेंगे, जिसमें सामान्य स्थितियों से लेकर अजीब, एज-केस परिदृश्य तक सब कुछ शामिल है। यह सुनिश्चित करता है कि परीक्षण वास्तविक जीवन जैसा महसूस हो, न कि किसी रोबोट का सपना।
इसके बाद, सिस्टम को एक नियम पुस्तिका की आवश्यकता होती है। पुराने दिनों में, टीमें बस अनुमान लगाती थीं कि एक "अच्छा" उत्तर कैसा दिखता है। कैलीडोस्कोप उपयोगकर्ताओं को अपने स्वयं के रूब्रिक्स (scoring criteria) लिखने की अनुमति देता है—आपकी अनूठी स्थिति के लिए विशिष्ट स्कोरिंग मानदंड। एक फाइनेंस बॉट के लिए, नियम हो सकता है "संख्याओं के साथ 100% सटीक होना चाहिए।" एक चैटबॉट के लिए, यह हो सकता है "मैत्रीपूर्ण लगना चाहिए।" सिस्टम फिर AI के उत्तरों को लेता है और उन्हें ग्रेड देना शुरू करता है।
लेकिन यहाँ चालाक हिस्सा है: सिस्टम केवल कंप्यूटर को कंप्यूटर को ग्रेड देने के लिए भरोसा नहीं करता है। यह एक "रिलायबिलिटी गेट" (विश्वसनीयता द्वार) का उपयोग करता है। कल्पना कीजिए कि तीन अलग-अलग AI न्यायाधीशों का एक पैनल है। उन्हें अंतिम स्कोर देने की अनुमति मिलने से पहले, उन्हें अभ्यास प्रश्नों के एक छोटे से सेट पर एक मानव विशेषज्ञ के साथ सहमत होना पड़ता है। यदि AI न्यायाधीश कम से कम 50% बार (एक विशिष्ट थ्रेशोल्ड जो टीम ने निर्धारित किया है) मानव के तर्क से मेल नहीं खा पाते हैं, तो सिस्टम ब्रेक लगा देता है। यह कहता है, "रुको, ये जज अभी विश्वसनीय नहीं हैं," और परिणामों को अधिक मानव समीक्षा के लिए फ्लैग करता है। यह AI को गलत स्कोर आत्मविश्वास के साथ देने से रोकता है। केवल तभी जब जज इस परीक्षण में पास हो जाते हैं, वे एक अंतिम, स्वचालित स्कोर देने के लिए मिलकर वोट करते हैं।
टीम ने चार अलग-अलग वास्तविक दुनिया की टीमों के साथ तीन सप्ताह के पायलट में इसका परीक्षण किया: एक फाइनेंस बॉट, एक HR असिस्टेंट, एक प्रोक्योरमेंट बॉट, और एक स्टाफ हेल्पर। उन्होंने पाया कि सिस्टम ने अच्छा काम किया। वास्तव में, इसका उपयोग करने वाले 83% लोगों ने कहा कि इसने उनके ऐप्स का अधिक कुशलता से मूल्यांकन करने में मदद की। उन्होंने इस दौरान कुछ मूल्यवान सबक भी सीखे। उदाहरण के लिए, उन्होंने महसूस किया कि यदि आप AI को उस ऐप के बारे में पर्याप्त बैकग्राउंड जानकारी नहीं देते हैं जिसका वह परीक्षण कर रहा है, तो उसके द्वारा उत्पन्न टेस्ट केस अजीब और अवास्तविक हो सकते हैं। इसलिए, उन्होंने एक फीचर जोड़ा जहाँ सिस्टम ऐप के संदर्भ के बारे में अधिक जानने के लिए वेब सर्च कर सकता है यदि उपयोगकर्ता का विवरण बहुत छोटा है।
परिणाम बताते हैं कि यह "ह्यूमन-इन-द-लूप" दृष्टिकोण AI परीक्षण को व्यावहारिक बनाने का एक आशाजनक तरीका है। टीम ने पाया कि सब कुछ ग्रेड करने के लिए एक एकल AI जज का उपयोग करने से अक्सर असंगत परिणाम मिलते हैं, लेकिन न्यायाधीशों के एक "ज्यूरी" का उपयोग करना, जिन्हें पहले मनुष्यों के साथ सहमत होना पड़ता था, स्कोर को बहुत अधिक विश्वसनीय बनाता था। उन्होंने यह भी खोजा कि उत्तरों को छोटे दावों (जैसे तथ्यों के लिए प्रत्येक वाक्य की जाँच करना) में तोड़ना, केवल एक अस्पष्ट समग्र ग्रेड देने से बेहतर था।
हालाँकि, पेपर सावधानी बरतते हुए इसे एक पूर्ण समाधान नहीं कहता है। पायलट छोटा था, जिसमें केवल कुछ टीमें और सीमित संख्या में टेस्ट केस (108 एनोटेटेड पेयर्स) शामिल थे। लेखक सुझाव देते हैं कि हालांकि यह वर्कफ़्लो एक शानदार कदम है, लेकिन यह कोई जादुई छड़ी नहीं है जो सभी AI सुरक्षा समस्याओं को हल करती है। इसके लिए नियमों को सेट करने और परिणामों की समीक्षा करने के लिए अभी भी मानवीय प्रयास की आवश्यकता होती है, और यह यह जाँचने के लिए सबसे अच्छा काम करता है कि क्या कोई AI किसी प्रश्न का सही उत्तर दे रहा है, न कि जटिल, दीर्घकालिक व्यवहारों की जाँच करने के लिए जैसे कि एक AI एजेंट एक बहु-दिवसीय यात्रा की योजना बना रहा हो।
संक्षेप में, कैलीडोस्कोप एक ऐसा टूलकिट है जो टीमों को अनुमान लगाने के बजाय जानने में मदद करता है। यह मानवीय आवश्यकताओं की बिखरी हुई वास्तविकता और AI परीक्षण के कठोर तर्क के बीच एक पुल बनाता है, यह सुनिश्चित करता है कि जब कोई AI कहता है "मैं जाने के लिए तैयार हूँ," तो वह वास्तव में तैयार हो। स्मार्ट टेस्ट जनरेशन, कस्टम नियमपुस्तिकाओं और स्वचालित स्कोरिंग के लिए एक सख्त "विश्वास करें लेकिन सत्यापित करें" प्रणाली को जोड़कर, यह उन सभी के लिए एक व्यावहारिक मार्ग प्रदान करता है जो दुनिया में AI को तैनात करने का प्रयास कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।