KorNAT: LLM Alignment Benchmark for Korean Social Values and Common Knowledge
यह शोध पत्र KorNAT को प्रस्तुत करता है, जो एक बड़े पैमाने के सर्वेक्षण के माध्यम से राष्ट्र-विशिष्ट सामाजिक मूल्यों की समझ और पाठ्यपुस्तक-आधारित प्रश्नों के माध्यम से सामान्य ज्ञान का आकलन करके दक्षिण कोरिया के साथ लार्ज लैंग्वेज मॉडल्स (LLMs) के संरेखण (alignment) का मूल्यांकन करने के लिए पहला बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान मॉडल अक्सर आवश्यक संरेखण मानकों पर खरे नहीं उतरते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, लार्ज लैंग्वेज मॉडल्स शक्तिशाली उपकरण बन गए हैं जो कहानियाँ लिखने, समस्याओं को हल करने और ऐसे प्रवाह के साथ सवालों के जवाब देने में सक्षम हैं जो कभी असंभव लगता था। ये सिस्टम इंटरनेट से टेक्स्ट की विशाल मात्रा पर प्रशिक्षित होते हैं, जिससे वे मानवीय भाषा और ज्ञान के पैटर्न को सीखते हैं। हालाँकि, इन मॉडल्स के विभिन्न संस्कृतियों के साथ संवाद करने के तरीके में एक महत्वपूर्ण अंतर उभर कर आया है। जहाँ वे सामान्य अवधारणाओं को समझने में उत्कृष्ट हैं, वहीं वे अक्सर उन विशिष्ट सामाजिक मूल्यों, ऐतिहासिक संदर्भों और रोजमर्रा के सामान्य ज्ञान को समझने में संघर्ष करते हैं जो किसी विशेष देश में जीवन को परिभाषित करते हैं। एक मॉडल भौतिक विज्ञान के तथ्यों को जान सकता है, जो सार्वभौमिक हैं, लेकिन वह स्थानीय कानूनों के संबंध में किसी समाज की सूक्ष्म राय या किसी राष्ट्र द्वारा अपने इतिहास को याद करने के विशिष्ट तरीके को समझने में विफल हो सकता है। एक आर्टिफिशियल इंटेलिजेंस के लिए वास्तव में किसी विशिष्ट देश में उपयोगी और सुरक्षित होने के लिए, इसे उस राष्ट्र के लोगों की सामूहिक मानसिकता और बुनियादी ज्ञान के साथ तालमेल बिठाना चाहिए।
दक्षिण कोरिया के शोधकर्ताओं ने यह समझने के लिए कि ये डिजिटल मस्तिष्क कोरियाई जीवन जीने के तरीके को कितनी अच्छी तरह समझते हैं, एक नया तरीका बनाकर इस समस्या को हल करने की दिशा में एक बड़ा कदम उठाया है। उन्होंने 'कोरनेट' (KorNAT) नामक एक बेंचमार्क पेश किया, जो एक व्यापक परीक्षण के रूप में कार्य करता है, जिसे विशेष रूप से यह देखने के लिए डिज़ाइन किया गया है कि क्या कोई मॉडल एक कोरियाई नागरिक की तरह सोच और महसूस कर सकता है। टीम ने इस परीक्षण को दो मुख्य स्तंभों के इर्द-गिर्द बनाया: सामाजिक मूल्य और सामान्य ज्ञान। सामाजिक मूल्यों का तात्पर्य उन साझा विचारों से है जो लोग महत्वपूर्ण सामाजिक मुद्दों के बारे में रखते हैं, जैसे कि क्या कुछ कानूनों को बदला जाना चाहिए या सामाजिक संघर्षों को कैसे संभाला जाना चाहिए। सामान्य ज्ञान में बुनियादी तथ्य और सांस्कृतिक मील के पत्थर शामिल हैं जो अधिकांश लोग स्कूल में सीखते हैं, जिसमें इतिहास और साहित्य से लेकर विज्ञान और भूगोल तक सब कुछ शामिल है। इन दो मोर्चों पर मॉडल्स का परीक्षण करके, शोधकर्ता यह निर्धारित कर सकते थे कि क्या एक आर्टिफिशियल इंटेलिजेंस केवल तथ्यों को दोहरा रहा है या वह वास्तव में राष्ट्र के सांस्कृतिक ताने-बाने को समझता है।
इस परीक्षण को बनाने के लिए, शोधकर्ताओं ने केवल कुछ विशेषज्ञों की राय नहीं ली। इसके बजाय, उन्होंने 6,174 अद्वितीय कोरियाई प्रतिभागियों को शामिल करते हुए एक विशाल सर्वेक्षण आयोजित किया। उन्होंने इन वास्तविक लोगों से वर्तमान सामाजिक मुद्दों के बारे में प्रश्नों की एक विस्तृत श्रृंखला पूछी, जिससे देश के लिए "सही" उत्तर कैसा दिखता है, यह स्थापित करने के लिए विविध प्रतिक्रियाएं एकत्र की गईं। परीक्षण के सामाजिक मूल्यों वाले हिस्से के लिए, कोई एक सही उत्तर नहीं है; बल्कि, लक्ष्य यह है कि आर्टिफिशियल इंटेलिजेंस सामान्य आबादी में पाए जाने वाले विचारों के वितरण से मेल खाए। यदि अधिकांश लोग किसी कथन से सहमत हैं, तो मॉडल को भी सहमत होना चाहिए। सामान्य ज्ञान वाले हिस्से के लिए, प्रश्न मानक कोरियाई पाठ्यपुस्तकों और शैक्षिक सामग्रियों से लिए गए थे, जिसमें कोरियाई इतिहास, सामाजिक अध्ययन और विज्ञान जैसे विषय शामिल थे। इन प्रश्नों के निश्चित सही उत्तर होते हैं, जो एक स्कूली परीक्षा के समान हैं, ताकि यह परीक्षण किया जा सके कि क्या मॉडल उन बुनियादी तथ्यों को जानता है जो प्रत्येक शिक्षित कोरियाई व्यक्ति को जानने चाहिए।
इसके बाद टीम ने दुनिया के सात सबसे उन्नत आर्टिफिशियल इंटेलिजेंस मॉडल्स को परीक्षण के घेरे में डाला। परिणामों ने उन मॉडल्स के बीच एक स्पष्ट विभाजन दिखाया जो सामान्य रूप से सक्षम हैं और वे जो वास्तव में कोरियाई संस्कृति के साथ संरेखित हैं। जबकि कुछ शीर्ष वैश्विक मॉडल्स ने काफी अच्छा प्रदर्शन किया, वे अक्सर सर्वेक्षण डेटा द्वारा निर्धारित मानक से पीछे रह गए। एक मॉडल, जिसे विशेष रूप से बड़ी मात्रा में कोरियाई टेक्स्ट पर प्रशिक्षित किया गया था, सबसे अधिक संरेखित होकर उभरा। इसने देश के सामाजिक मूल्यों और सामान्य ज्ञान दोनों की गहरी समझ प्रदर्शित की, और अन्य मॉडल्स की तुलना में काफी बेहतर प्रदर्शन किया। यह सुझाव देता है कि जबकि सामान्य बुद्धिमत्ता शक्तिशाली है, यह अपने आप में पर्याप्त नहीं है; एक मॉडल को वास्तव में स्थानीय आबादी के साथ जुड़ने के लिए विशिष्ट सांस्कृतिक प्रशिक्षण की आवश्यकता होती है।
अध्ययन ने यह भी रेखांकित किया कि सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल्स में भी सुधार की गुंजाइश है। सामाजिक मूल्यों के खंड में, केवल कुछ ही मॉडल्स उस स्तर के संरेखण तक पहुँच पाए जिसे शोधकर्ताओं ने एक संदर्भ स्कोर माना था। सामान्य ज्ञान के खंड में, परिणाम समान थे, जहाँ अधिकांश मॉडल्स देश में एक वयस्क से अपेक्षित बुनियादी ज्ञान के स्तर तक पहुँचने के लिए संघर्ष कर रहे थे। शोधकर्ताओं ने नोट किया कि कुछ मॉडल्स सामाजिक मूल्यों के बारे में प्रश्नों का उत्तर देने में हिचकिचा रहे थे, शायद इसलिए क्योंकि उन्हें विवादास्पद विषयों पर पक्ष लेने से बचने के लिए प्रोग्राम किया गया था। यह हिचकिचाहट, भले ही नेक इरादे वाली थी, इसका अर्थ था कि वे उन वास्तविक विचारों को प्रतिबिंबित करने में विफल रहे जिनका उन्हें सेवा करनी थी। निष्कर्ष बताते हैं कि आर्टिफिशियल इंटेलिजेंस को किसी विशिष्ट देश में प्रभावी ढंग से तैनात करने के लिए, इसे न केवल भाषा, बल्कि उस समाज के मूल्यों और साझा ज्ञान को समझने के लिए सावधानीपूर्वक ट्यून किया जाना चाहिए।
यह कार्य पहली बार है जब इस विशिष्ट तरीके से राष्ट्रीय संरेखण को मापने के लिए एक बेंचमार्क बनाया गया है, जो सरल भाषा अनुवाद से आगे बढ़कर सांस्कृतिक समझ का परीक्षण करता है। यह डेटासेट, जिसमें हजारों सावधानीपूर्वक क्यूरेट किए गए प्रश्न शामिल हैं, की समीक्षा की गई है और डेटा गुणवत्ता सुनिश्चित करने के लिए समर्पित एक सरकारी संबद्ध संगठन द्वारा अनुमोदित किया गया है। इस परीक्षण को उपलब्ध कराकर, शोधकर्ता आर्टिफिशियल इंटेलिजेंस के विकास को प्रोत्साहित करने की आशा करते हैं जो अधिक समावेशी हो और विभिन्न राष्ट्रों की विविध आवश्यकताओं के लिए बेहतर रूप से अनुकूलित हो। अंतिम लक्ष्य यह सुनिश्चित करना है कि जैसे-जैसे ये शक्तिशाली उपकरण दैनिक जीवन का हिस्सा बनते जा रहे हैं, वे लोगों की सहायता इस तरह से कर सकें जो स्वाभाविक, सम्मानजनक और उनकी अपनी संस्कृति की वास्तविकता में निहित महसूस हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।