"Act Like a 5th Grader" is Not Enough: Bounding Knowledge in LLM-Based User Simulators
यह शोध पत्र कॉग्निटिवली बाउंडेड यूजर सिम्युलेटर (CBUS) प्रस्तुत करता है, जो एक आर्किटेक्चरल फ्रेमवर्क है जो युवा पाठकों की सीमित वर्किंग मेमोरी को मॉडल करने के लिए एक एपिसोडिक बॉटलनेक का उपयोग करता है, जिससे मानक LLM पर्सोना प्रॉम्प्टिंग के "सुपरह्यूमन बायस" पर विजय प्राप्त होती है और अधिक यथार्थवादी, उच्च-फिडेलिटी मानव व्यवहार सिमुलेशन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के तेजी से विकसित होते क्षेत्र में, शोधकर्ता मानव व्यवहार का अनुकरण करने के लिए बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) की ओर तेजी से मुड़ रहे हैं। ये डिजिटल एजेंट बातचीत की नकल कर सकते हैं, परामर्श दे सकते हैं, या सामाजिक विज्ञान प्रयोगों के लिए परीक्षण विषय के रूप में कार्य कर सकते हैं, और यह सब वास्तविक लोगों को भर्ती करने की लागत और लॉजिस्टिक्स के बिना किया जा सकता है। इसका लक्ष्य मानव का एक "डिजिटल ट्विन" बनाना है जो इतना वास्तविक व्यवहार करे कि उसका उपयोग वास्तविक उपयोगकर्ता तक पहुँचने से पहले ही सिस्टम का परीक्षण करने के लिए किया जा सके। हालाँकि, एक मौलिक समस्या उभर कर आई है: ये सिमुलेशन अक्सर बहुत अधिक 'परफेक्ट' होते हैं। जब एक बच्चे, एक छात्र, या सीमित ज्ञान वाले व्यक्ति की भूमिका निभाने के लिए कहा जाता है, तो आर्टिफिशियल इंटेलिजेंस एक 'सुपरह्यूमन' (अतिमानवीय) की तरह व्यवहार करने लगता है। वह सूचनाओं के विशाल भंडार तक तुरंत पहुँच प्राप्त करता है, त्रुटिहीन तर्क देता है, और ऐसे निश्चितता के साथ प्रश्नों के उत्तर देता है जो कोई भी वास्तविक मानव, विशेष रूप से एक विकसित होता बच्चा, कभी नहीं रख सकता। इस "सुपरह्यूमन बायस" (अतिमानवीय पूर्वाग्रह) का अर्थ है कि सिमुलेशन वास्तविक मानव विचार की अव्यवस्थित, परिवर्तनशील और अक्सर अपूर्ण प्रकृति को पकड़ने में विफल रहता है, जिससे यह उन प्रणालियों के परीक्षण के लिए बेकार हो जाता है जिन्हें वास्तविक लोगों के साथ बातचीत करने की आवश्यकता होती है।
यह समझने के लिए कि ऐसा क्यों होता है और इसे कैसे ठीक किया जाए, नॉर्वे के स्टैवेन्गर विश्वविद्यालय के शोधकर्ताओं की एक टीम ने युवा पाठकों की विशिष्ट संज्ञानात्मक सीमाओं का अध्ययन करने का निर्णय लिया। उन्होंने एक बहुत ही नियंत्रित वातावरण पर ध्यान केंद्रित किया: पठन बोध (रीडिंग कॉम्प्रिहेन्शन) परीक्षण। उन्होंने 2,359 प्राथमिक विद्यालय के छात्रों (उम्र आठ से ग्यारह वर्ष) के 71,000 से अधिक प्रतिक्रियाओं के विशाल डेटासेट को एकत्र किया, जिन्होंने नॉर्वे में मानकीकृत पठन मूल्यांकन दिए थे। इन परीक्षणों में संक्षिप्त पाठ पढ़ना और उन पर आधारित प्रश्नों के उत्तर देना शामिल था, जो सरल तथ्य-खोज से लेकर जटिल कार्यों तक विस्तृत थे, जिनमें पाठ के माध्यम से विचारों को जोड़ने की आवश्यकता होती थी। शोधकर्ताओं ने इस वास्तविक दुनिया के डेटा का उपयोग एक बेंचमार्क के रूप में किया ताकि यह देखा जा सके कि वर्तमान आर्टिफिशियल इंटेलिजेंस मॉडल एक सामान्य दस वर्षीय छात्र के प्रदर्शन की कितनी अच्छी तरह नकल कर सकते हैं।
जब शोधकर्ताओं ने पहली बार मानक तरीकों का उपयोग करके इन छात्रों का अनुकरण करने का प्रयास किया, तो परिणाम आश्चर्यजनक रूप से अवास्तविक थे। उन्होंने केवल आर्टिफिशियल इंटेलिजेंस को "पांचवीं कक्षा के छात्र की तरह व्यवहार करने" का निर्देश दिया और उसे वही पठन अंश और प्रश्न प्रदान किए। संघर्ष करने, गलतियाँ करने या वास्तविक छात्रों द्वारा प्रदर्शित क्षमता के स्वाभाविक उतार-चढ़ाव दिखाने के बजाय, आर्टिफिशियल इंटेलिजेंस लगभग पूरी तरह से सटीक रहा। उसने लगभग हर प्रश्न का सही उत्तर दिया, चाहे पाठ कितना भी कठिन क्यों न हो या तर्क कितना भी जटिल क्यों न हो। वास्तव में, आर्टिफिशियल इंटेलिजेंस मॉडल जितना अधिक शक्तिशाली था, सिमुलेशन उतना ही खराब होता गया; सबसे उन्नत मॉडल लगभग त्रुटिहीन प्रदर्शन की स्थिति में पहुँच गए, जिसका वास्तविक बच्चों के स्कोर के वितरण से कोई मेल नहीं था। शोधकर्ताओं ने पाया कि मशीन को केवल बच्चा होने का नाटक करने के लिए कहना उसकी विशाल प्रशिक्षण डेटा तक पहुँच को भूलने या उसकी तर्क क्षमता को सीमित करने के लिए पर्याप्त नहीं था।
इसे हल करने के लिए, टीम ने "कॉग्निटिवली बाउंडेड यूजर सिम्युलेटर" (संज्ञानात्मक रूप से सीमित उपयोगकर्ता सिम्युलेटर) नामक एक नया ढांचा विकसित किया। केवल मशीन से नाटक करने के लिए कहने के बजाय, उन्होंने मशीन के सूचना संसाधित करने के तरीके को बदल दिया ताकि वह एक युवा मानव मस्तिष्क की वास्तविक सीमाओं की नकल कर सके। उन्होंने संज्ञात्मक मनोविज्ञान की एक अवधारणा पर ध्यान केंद्रित किया जिसे 'वर्किंग मेमोरी' (कार्यकारी स्मृति) कहा जाता है, जो नए इनपुट को प्रोसेस करते समय मन में सूचना की एक छोटी मात्रा को बनाए रखने की मस्तिष्क की क्षमता है। एक विकसित होते पाठक के लिए, यह क्षमता सीमित होती है; वे एक विशिष्ट प्रश्न का उत्तर देने के प्रयास में एक लंबे पाठ के हर विवरण को याद नहीं रख सकते। शोधकर्ताओं ने इस सीमा को मशीन के आर्किटेक्चर में सीधे शामिल किया। उन्होंने एक दो-चरणीय प्रक्रिया बनाई जहाँ मशीन पहले पाठ पढ़ती है और केवल कुछ चुनिखंड मुख्य तथ्यों को निकालने के लिए मजबूर होती है—विशेष रूप से, एक अस्थायी "बफर" में चार अलग-अलग सूचनाओं से अधिक नहीं। एक बार जब इन सीमित तथ्यों को संग्रहीत कर लिया जाता है, तो मूल पाठ मशीन के दृश्य से पूरी तरह हटा दिया जाता है। मशीन को फिर केवल उन कुछ संग्रहीत तथ्यों का उपयोग करके प्रश्नों के उत्तर देने के लिए मजबूर किया जाता है, जैसा कि एक बच्चे को उन तथ्यों पर निर्भर रहना पड़ता है जिन्हें वह याद रखने में सफल रहा हो।
शोधकर्ताओं ने दो अलग-अलग तरीकों का परीक्षण किया कि मशीन इस सीमित स्मृति का उपयोग कैसे कर सकती है। एक दृष्टिकोण में, जिसे 'सिंगल-पास रीडिंग' कहा गया, मशीन ने पाठ को एक बार पढ़ा, चार सबसे महत्वपूर्ण तथ्य चुने, और फिर उस एकल स्मृति के आधार पर सभी प्रश्नों के उत्तर देने का प्रयास किया। दूसरे दृष्टिकोण में, जिसे 'टारगेटेड स्कैनिंग' कहा गया, मशीन ने पाठ और विशिष्ट प्रश्न को एक साथ पढ़ा, और फिर केवल उस विशेष प्रश्न के लिए प्रासंगिक दो तथ्यों को चुना। दोनों विधियों ने आर्टिफिशियल इंटेलिजेंस को वास्तविक छात्र की तरह व्यवहार करने के लिए सफलतापूर्वक मजबूर किया। सिमुलेशन ने सब कुछ सही नहीं बताया; इसके बजाय, उन्होंने स्कोर का एक प्रसार उत्पन्न किया जो वास्तविक 2,359 छात्रों के डेटा से बारीकी से मेल खाता था। मशीन ने कठिन प्रश्नों पर गलतियाँ कीं, जटिल निष्कर्षों के साथ संघर्ष किया, और मानव छात्रों द्वारा प्रदर्शित प्रदर्शन के समान प्रकार का स्वाभाविक उतार-चढ़ाव दिखाया।
शायद सबसे आश्चर्यजनक खोज यह थी कि सबसे शक्तिशाली आर्टिफिशियल इंटेलिजेंस मॉडल इस कार्य के लिए सबसे अच्छे नहीं थे। जब शोधकर्ताओं ने अपने नए संज्ञानात्मक ढांचे के भीतर छोटे, कम सक्षम मॉडलों का उपयोग किया, तो उनके द्वारा उत्पन्न सिमुलेशन अक्सर सबसे उन्नत प्रणालियों द्वारा उत्पन्न सिमुलेशन की तुलना में अधिक यथार्थवादी थे। यह सुझाव देता है कि एक निष्ठावान मानव सिमुलेशन बनाने की कुंजी मशीन को स्मार्ट बनाने या उसे अधिक डेटा देने में नहीं है, बल्कि सूचना तक उसकी पहुँच को इस तरह से प्रतिबंधित करने में है जो मानव संज्ञानात्मक सीमाओं को दर्शाता हो। अध्ययन ने प्रदर्शित किया कि इन बाधाओं को स्पष्ट रूप से मॉडल करके, सिमुलेशन और वास्तविकता के बीच के अंतर को काफी हद तक कम किया जा सकता है। शोधकर्ताओं ने निष्कर्ष निकाला कि मानव व्यवहार, विशेष रूप से विकसित होते शिक्षार्थियों के व्यवहार को वास्तव में सिम्युलेट करने के लिए, हमें केवल भूमिका निभाने (रोल-प्लेइंग) से आगे बढ़कर ऐसे आर्किटेक्चरल प्रतिबंध बनाने होंगे जो मशीन को मानव संज्ञानात्मक क्षमता की सीमाओं के भीतर काम करने के लिए मजबूर करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।