Semantic Variability of Replies Across LLMs: Implications for Designing Conversation-Based Assessment
यह अध्ययन प्रदर्शित करता है कि LLM का चयन और संवादात्मक संदर्भ (conversational context) उत्पन्न प्रतिक्रियाओं की अर्थ संबंधी निरंतरता (semantic consistency) को महत्वपूर्ण रूप से प्रभावित करते हैं, जो यह सुझाव देता है कि वर्तमान प्रॉम्प्टिंग रणनीतियाँ बातचीत-आधारित मूल्यांकनों में विभिन्न मॉडलों के बीच स्थिर और तुलनीय प्रतिक्रियाओं को सुनिश्चित करने के लिए अपर्याप्त हैं।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
शिक्षा की आधुनिक दुनिया में, लोगों के संवाद करने और मिलकर काम करने की क्षमता को मापना लंबे समय से एक कठिन समस्या रही है। गणित के परीक्षण के विपरीत, जहाँ एक संख्या यह सिद्ध कर देती है कि छात्र को उत्तर पता है, सहयोग जैसे कौशल बातचीत के जटिल और निरंतर प्रवाह में घटित होते हैं। इसे निष्पक्ष रूप से मापने के लिए, शिक्षकों को यह सुनिश्चित करने की आवश्यकता है कि प्रत्येक छात्र के सामने एक समान चुनौती हो, भले ही बातचीत का मार्ग अलग हो जाए। हाल ही में, आर्टिफिशियल इंटेलिजेंस (कृत्रिम बुद्धिमत्ता) ने इसे हल करने का एक नया तरीका प्रदान किया है। बात करने और सुनने वाले कंप्यूटर प्रोग्रामों का उपयोग करके, स्कूल छात्रों के अभ्यास के लिए आभासी साथी (वर्चुअल पार्टनर्स) बना सकते हैं। ये प्रोग्राम छात्र द्वारा कही गई बातों के अनुकूल हो सकते हैं, जिससे एक स्वाभाविक बातचीत निर्मित होती है जो यह प्रकट करती है कि छात्र कितनी अच्छी तरह सोच रहा है और कार्य कर रहा है। हालाँकि, विशेषज्ञों के बीच एक शांत चिंता बढ़ी है: यदि कंप्यूटर प्रोग्राम बदलता है, तो क्या बातचीत भी बदल जाती है? यदि एक छात्र आज सॉफ्टवेयर के एक संस्करण के साथ परीक्षण देता है और दूसरा छात्र अगले वर्ष एक नए संस्करण के साथ परीक्षण देता है, तो क्या वे एक ही तरह के प्रश्नों के उत्तर एक ही तरीके से दे रहे होंगे? यह प्रश्न निष्पक्षता के मूल में प्रहार करता है। यदि कंप्यूटर की प्रतिक्रियाएँ इस आधार पर बहुत अधिक बदल जाती हैं कि कौन सा मॉडल उसे चला रहा है, तो परीक्षण छात्र की क्षमता को मापने के बजाय सॉफ्टवेयर की विचित्रताओं को मापने लगेगा।
एजुकेशनल टेस्टिंग सर्विस के एक शोधकर्ता ने इसी मुद्दे की जांच करने का निर्णय लिया। वे जानना चाहते थे कि क्या किसी कंप्यूटर की प्रतिक्रिया का अर्थ वही रहता है जब उसके पीछे चल रहा सॉफ्टवेयर बदल जाता है। यह पता लगाने के लिए, उन्होंने नकली बातचीत का आविष्कार नहीं किया। इसके बजाय, उन्होंने पिछले ऑनलाइन विज्ञान प्रोजेक्ट्स से वास्तविक संदेश लिए जहाँ दो लोगों ने समस्याओं को हल करने के लिए मिलकर काम किया था। उन्होंने इन चैट से 61 विशिष्ट क्षणों को चुना जहाँ एक व्यक्ति ने कुछ महत्वपूर्ण कहा था, और दूसरे व्यक्ति ने एक स्पष्ट और सहायक उत्तर दिया था। फिर शोधकर्ता ने एक बड़े लैंग्वेज मॉडल (लार्ज लैंग्वेज मॉडल)—जो मानव भाषा को समझने और उत्पन्न करने के लिए डिज़ाइन किया गया एक प्रकार का आर्टिफिशियल इंटेलिजेंस है—के चार अलग-अलग संस्करणों से उन
61 संदेशों पर प्रतिक्रिया देने के लिए कहा। उन्होंने प्रत्येक संदेश के लिए यह प्रयोग दो बार किया। पहले रन में, कंप्यूटर ने केवल उस एकल संदेश को देखा जिसे उसे उत्तर देना था। दूसरे रन में, उसने उस संदेश के साथ-साथ उससे पहले की पूरी बातचीत का इतिहास भी देखा। प्रत्येक संदेश के लिए, प्रत्येक कंप्यूटर मॉडल ने 100 अलग-अलग प्रतिक्रियाएँ उत्पन्न कीं ताकि यह देखा जा सके कि उनके उत्तरों में कितना अंतर है।
परिणामों ने दिखाया कि कंप्यूटर मॉडल का चुनाव और संवादात्मक संदर्भ (कन्वर्सेशनल कॉन्टेक्स्ट), दोनों ही प्रतिक्रिया की समानता को प्रभावित करते हैं। जब शोधकर्ता ने एक ही मॉडल द्वारा उत्पन्न 100 प्रतिक्रियाओं की तुलना की, तो उन्होंने पाया कि उत्तर एक-दूसरे के काफी समान थे, जिनकी समानता स्कोर 0.715 से 0.795 के बीच थी। लेकिन जब उन्होंने एक मॉडल की प्रतिक्रियाओं की तुलना दूसरे मॉडल की प्रतिक्रियाओं से की, तो समानता काफी कम हो गई। ऐसा लग रहा था जैसे प्रत्येक मॉडल की अपनी एक विशिष्ट आवाज़ और सोचने का तरीका था। बातचीत के इतिहास को जोड़ने का प्रभाव उपयोग किए गए विशिष्ट मॉडल पर निर्भर था; कुछ मामलों में, चैट इतिहास शामिल करने से मानवीय प्रतिक्रियाओं के साथ संरेखण (अलाइनमेंट) में थोड़ा सुधार हुआ, लेकिन इसने सभी मामलों में मॉडलों के बीच सहमति को नहीं बढ़ाया। अध्ययन में यह भी पाया गया कि सॉफ्टवेयर के एक ही परिवार के नए मॉडल, पुराने और अलग मॉडलों की तुलना में एक-दूसरे के प्रति अधिक समान उत्तर देने की प्रवृत्ति रखते हैं। यह सुझाव देता है कि सॉफ्टवेयर का "फैमिली ट्री" (वंशवृक्ष) इस बात में महत्वपूर्ण भूमिका निभाता है कि वह दिए गए विशिष्ट निर्देशों के साथ कैसे व्यवहार करता है।
शायद सबसे महत्वपूर्ण बात यह है कि शोधकर्ता ने पाया कि जब अंतर्निहित LLM बदल जाता है, तो केवल प्रॉम्प्टिंग और संवादात्मक संदर्भ पर निर्भर रहना अत्यधिक समान प्रतिक्रिया व्यवहार सुनिश्चित करने के लिए पर्याप्त नहीं हो सकता है। भले ही मॉडलों को बिल्कुल एक ही प्रॉम्प्ट और एक ही बातचीत का इतिहास दिया गया था, फिर भी मॉडल के चुनाव ने प्रतिक्रियाओं की अर्थ संबंधी सामग्री (सिमेंटिक कंटेंट) में महत्वपूर्ण अंतर पैदा किया। अध्ययन सुझाव देता है कि आर्टिफिशियल इंटेलिजेंस प्रणालियों के प्राकृतिक लचीलेपन पर भरोसा करना उच्च-दांव वाले परीक्षणों (हाई-स्टेक्स टेस्टिंग) के लिए जोखिम भरा है। यदि कोई परीक्षण इस बात पर निर्भर करता है कि कंप्यूटर बातचीत को सही दिशा में रखे, और कंप्यूटर अपडेट होने पर हर बार अपनी शैली बदल देता है, तो परीक्षण के परिणाम अविश्वसनीय हो सकते हैं। शोधकर्ता ने निष्कर्ष निकाला कि एक निष्पक्ष परीक्षण प्रणाली बनाने के लिए जो लंबे समय तक चले, वे केवल सॉफ्टवेयर को अपने आप सही काम करने के भरोसे नहीं छोड़ सकते। इसके बजाय, उन्हें सिस्टम में नियंत्रण की अतिरिक्त परतें—जैसे नियम या टेम्पलेट—बनानी होंगी जो यह सुनिश्चित करें कि कंप्यूटर की प्रतिक्रियाएँ एक सुरक्षित और सुसंगत सीमा के भीतर रहें, चाहे उसके नीचे चल रहे सॉफ्टवेयर का कोई भी संस्करण हो। इन सुरक्षा उपायों के बिना, आर्टिफिशियल इंटेलिजेंस का तीव्र विकास उस निष्पक्षता को कमजोर कर सकता है जिसे शैक्षिक परीक्षण का उद्देश्य होना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।