From Values to Benchmarks: Evaluating Large Language Models for Governmental Use in Dutch
यह शोध पत्र "ग्रिप ऑन एलएलएम्स" (Grip on LLMs) फ्रेमवर्क प्रस्तुत करता है, जो डच नगर पालिका विशेषज्ञों के साथ मिलकर सरकारी उपयोग के लिए लार्ज लैंग्वेज मॉडल्स का छह प्रमुख आयामों में मूल्यांकन करने हेतु विकसित एक व्यापक मूल्यांकन सुइट है, जो यह प्रकट करता है कि कोई भी एकल मॉडल सभी क्षेत्रों में उत्कृष्ट नहीं है और गुणवत्ता, लागत एवं पर्यावरणीय प्रभाव के बीच महत्वपूर्ण समझौतों को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक सुपर-स्मार्ट रोबोटिक सहायक खरीदा है जो ईमेल लिख सकता है, सवालों के जवाब दे सकता है और लंबी रिपोर्ट का सारांश बना सकता है। यह एक ऐसे जीनियस लाइब्रेरियन की तरह है जो कभी सोता नहीं है। लेकिन यहाँ एक पेंच है: इस रोबोट को मुख्य रूप से अंग्रेजी में लिखी गई किताबों पर प्रशिक्षित किया गया था, और आपको इसे नीदरलैंड में एक शहर सरकार चलाने में मदद करने के लिए इसकी आवश्यकता है, जहाँ हर कोई डच बोलता है। आप इसे केवल "अपना सर्वश्रेष्ठ देने" के लिए नहीं कह सकते क्योंकि यदि यह गलती करता है, तो यह अनजाने में किसी को लाभ से वंचित कर सकता है, गलत खबरें फैला सकता है, या किसी समूह के साथ अनुचित व्यवहार कर सकता है।
यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है। इन्हें डिजिटल मस्तिष्क के रूप में समझें जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। वे बात करने और लिखने में अद्भुत हैं, लेकिन वे चतुर भी हो सकते हैं। वे आत्मविश्वास के साथ झूठ बोल सकते हैं (मनगढ़ंत बातें बनाना), कुछ लोगों के प्रति पक्षपाती हो सकते हैं, या इतनी बिजली का उपयोग कर सकते हैं कि वे एक छोटे पावर प्लांट की तरह महसूस हों। एक सरकार के लिए, इन रोबots का उपयोग करना केवल "सबसे स्मार्ट" वाले को चुनने के बारे में नहीं है; यह इस बारे में है कि चुनने वाला ईमानदार, निष्पक्ष और किफायती और पर्यावरण के अनुकूल हो। अब तक, इन रोबोटों को विशेष रूप से डच सरकारी नौकरियों के लिए परखने का कोई अच्छा तरीका नहीं था।
"ग्रिप ऑन एलएलएम (Grip on LLMs)" रिपोर्ट: रोबोटों का परीक्षण
एम्स्टर्डम शहर के शोधकर्ताओं की एक टीम ने, विश्वविद्यालय विशेषज्ञों के साथ मिलकर, इसे ठीक करने का निर्णय लिया। उन्होंने एक नया परीक्षण ढांचा बनाया जिसे "ग्रिप ऑन एलएलएम" कहा जाता है। केवल यह पूछने के बजाय कि, "यह रोबोट कितना स्मार्ट है?", उन्होंने शहर के कर्मचारियों, नीति निर्माताओं और विविधता विशेषज्ञों के एक समूह से पूछा: "जब आप शहर चलाने में मदद के लिए एक रोबोट को काम पर रखते हैं, तो आपके लिए सबसे महत्वपूर्ण क्या है?"
विशेषज्ञों ने उन्हें छह चीजें दीं जो मायने रखती हैं:
- तथ्यात्मकता (Factuality): क्या यह सच बोलता है?
- ईमानदारी (Honesty): यदि इसे उत्तर नहीं पता है, तो क्या यह स्वीकार करता है, या यह बस कुछ मनगढ़ंत बना लेता है?
- सामाजिक पूर्वाग्रह (Social Bias): क्या यह विभिन्न आयु, लिंग या पृष्ठभूमि के लोगों के साथ निष्पक्ष व्यवहार करता है?
- ऊर्जा खपत (Energy Consumption): यह कितनी बिजली का उपयोग करता है?
- लागत (Cost): इसे चलाने में कितने पैसे खर्च होते हैं?
- प्रशिक्षण डेटा पारदर्शिता (Training Data Transparency): क्या हमें पता है कि इसने किन किताबों और वेबसाइटों से सीखा है?
फिर उन्होंने इन छह मानदंडों का उपयोग करके 30 से अधिक अलग-अलग रोबोटिक दिमागों (कुछ प्रसिद्ध बड़ी टेक कंपनियों के और कुछ छोटे, ओपन-सोर्स) का परीक्षण किया। उन्होंने एक विशेष "रिपोर्ट कार्ड" बनाया जिसे कोई भी, यहाँ तक कि गैर-विशेषज्ञ भी, समझ सके।
सबसे बड़ा आश्चर्य: कोई भी पूर्ण रोबोट मौजूद नहीं है
सबसे महत्वपूर्ण बात जो उन्होंने पाई वह यह है कि कोई एक "सर्वश्रेष्ठ" रोबोट नहीं है। यह एक ऐसी कार खरीदने की कोशिश करने जैसा है जो सबसे तेज़, सबसे अधिक ईंधन-कुशल, सबसे सस्ती और सबसे सुरक्षित सभी एक साथ हो। आप सब कुछ एक साथ नहीं पा सकते; आपको समझौते करने होंगे।
- "स्मार्ट लेकिन चालाक" की समस्या: शोधकर्ताओं ने पाया कि "स्मार्ट" होना (उच्च तथ्यात्मकता) यह नहीं है कि रोबट "ईमानदार" भी है। वास्तव में, कुछ नवीनतम और सबसे शक्तिशाली मॉडल सवाल सही ढंग से हल करने में तो बेहतरीन थे, लेकिन यह स्वीकार करने में बहुत खराब थे कि उन्हें कुछ नहीं पता। वे "मुझे यकीन नहीं है" कहने के बजाय आत्मविश्वास के साथ उत्तर मनगढ़ंत बना लेते थे। सरकार के लिए, यह खतरनाक है क्योंकि एक आत्मविश्वासपूर्ण झूठ, "मुझे नहीं पता" कहने से कहीं अधिक बुरा होता है।
- शक्ति की कीमत: जो रोबोट सबसे स्मार्ट और सक्षम थे, उनकी लागत भी सबसे अधिक थी और वे सबसे अधिक ऊर्जा का उपयोग करते थे। यदि कोई शहर एक सुपर-स्मार्ट रोबोट चाहता है, तो उसे अधिक भुगतान करने और अधिक बिजली का उपयोग करने के लिए तैयार रहना होगा।
- पूर्वाग्रह एक अनिश्चित तत्व है: महंगा या स्मार्ट होना यह गारंटी नहीं देता था कि रोबोट निष्पक्ष था। कुछ सस्ते रोबोट बहुत पक्षपाती थे, जबकि कुछ महंगे रोबोट निष्पक्ष थे। आप केवल यह मानकर नहीं चल सकते कि अधिक पैसा खर्च करने से आपको एक "बेहतर" रोबोट मिलेगा। आपको पूर्वाग्रह की विशेष रूप से जांच करनी होगी।
समाधान: एक उपयोगकर्ता के अनुकूल डैशबोर्ड
क्योंकि परिणाम इतने जटिल थे, टीम ने केवल संख्याओं की उबाऊ सूची प्रकाशित नहीं की। उन्होंने एक रंगीन, आसानी से समझ में आने वाला डैशबोर्ड बनाया (जैसे कि वीडियो गेम का कैरेक्टर सिलेक्शन स्क्रीन)।
- हरे रंग की गोलियां (Green pills) दिखाती हैं कि रोबोट सच बोलने में कितना अच्छा है।
- लाल बार (Red bars) दिखाते हैं कि यह कितनी ऊर्जा या पैसा खर्च करता है।
- आइकन (Icons) दिखाते हैं कि क्या रोबोट कुछ समूहों के प्रति पक्षपाती है।
यह टूल एक शहर प्रबंधक को डैशबोर्ड देखने और यह कहने की अनुमति देता है कि, "ठीक है, हमें एक ऐसा रोबोट चाहिए जो बहुत ईमानदार और सस्ता हो, भले ही वह सबसे स्मार्ट न हो," या "हमें सबसे स्मार्ट वाला चाहिए, और हम उच्च ऊर्जा लागत चुकाने के लिए तैयार हैं।"
जो उन्होंने नहीं पाया (और आगे क्या है)
पेपर सावधानी से कहता है कि यह कोई अंतिम "विजेता" सूची नहीं है। यह वर्तमान स्थिति का एक चित्रण है। उन्होंने यह भी नोट किया कि हालांकि उन्होंने आयु, लिंग और मूल के विरुद्ध पूर्वाग्रह का परीक्षण किया, लेकिन कई अन्य प्रकार के पूर्वाग्रह (जैसे राजनीतिक विचार) भी हैं जिन्हें उन्होंने अभी तक पूरी तरह से कवर नहीं किया है। उन्होंने यह भी पाया कि कुछ रोबोट दस्तावेजों का सारांश बनाने में बेहतरीन थे लेकिन आम नागरिकों के लिए जटिल कानूनी पाठ को सरल बनाने में बहुत खराब थे।
मुख्य निष्कर्ष यह है कि सरकारें केवल एक मानक परीक्षण पर उच्चतम स्कोर वाले रोबोट को नहीं चुन सकतीं। उन्हें पूरी तस्वीर देखनी होगी। यदि वे डच नागरिकों के लिए एक सुरक्षित, निष्पक्ष और ईमानदार रोबोट चाहते हैं, तो उन्हें चुनाव करने और यह स्वीकार करने के लिए तैयार रहना होगा कि कोई भी एक रोबोट हर चीज़ में पूर्ण नहीं है। "ग्रिप ऑन एलएलएम" टूल वह मानचित्र है जो उन्हें बिना भटके इन विकल्पों को नेविगेट करने में मदद करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।