AI Assistants Overassist
यह शोध पत्र Int-Bench प्रस्तुत करता है, जो एक सिमुलेशन-आधारित बेंचमार्क है जो यह प्रकट करता है कि वर्तमान LLM सहायक मनुष्यों की तुलना में पूर्ण समाधानों के साथ बहुत अधिक बार और समय से पहले हस्तक्षेप करने की प्रवृत्ति रखते हैं, जिससे वे गहन शिक्षण के लिए आवश्यक संज्ञानात्मक जुड़ाव के बजाय अल्पकालिक कार्य सफलता को प्राथमिकता देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप साइकिल चलाना सीख रहे हैं। आपके माता-पिता वहीं पास में हैं, उन्होंने सीट को पकड़ा हुआ है। यदि वे बहुत जल्दी हाथ छोड़ देते हैं, तो आप डगमगा सकते हैं और गिर सकते हैं। लेकिन यदि वे इसे बहुत कसकर पकड़ते हैं, या यदि वे बस हैंडल थाम लेते हैं और आपके लिए साइकिल को नियंत्रित करते हैं, तो आप वास्तव में खुद को संतुलित करना कभी नहीं सीख पाएंगे। यह वह "सहायता की दुविधा" (assistance dilemma) है जिससे शिक्षक, माता-पिता और कोच सदियों से जूझते आए हैं: कब हस्तक्षेप करना चाहिए, और कब थोड़ा संघर्ष करने देना बेहतर होता है? विज्ञान की दुनिया में, हम इसे "स्कैफोल्डिंग" (scaffolding) कहते हैं—एक अस्थायी सहायता संरचना बनाना ताकि एक छात्र उच्च स्तर की सोच तक पहुँच सके, और बाद में इसे हटा देना ताकि वे अपने दम पर खड़े हो सकें।
आज, हमारे पास एक नए प्रकार का शिक्षक है: आर्टिफिशियल इंटेलिजेंस (AI)। ये AI सहायक सुपर-फास्ट, सुपर-ज्ञानी ट्यूटर की तरह हैं जो लगभग किसी भी समस्या को तुरंत हल कर सकते हैं। लेकिन यहाँ एक बड़ा सवाल है: क्या वे हमें सोचना सिखा रहे हैं, या वे केवल हमारे लिए सोच रहे हैं? यदि कोई AI बहुत जल्दी हस्तक्षेप करता है, या बहुत जल्दी उत्तर बता देता है, तो यह हमें आज सही उत्तर पाने में मदद तो कर सकता है, लेकिन यह वास्तव में हमें कल समस्याओं को हल करना सीखने से रोक सकता है। वैज्ञानिक चिंतित हैं कि ये डिजिटल ट्यूटर "अति-सहायता" (overhelping) कर सकते हैं, जिससे हम अपनी सीखने की यात्रा के चालक बनने के बजाय यात्री बनकर रह जाएंगे।
यही वह बात है जिसे स्टैनफोर्ड, यूसी सैन डिएगो और यूनिवर्सिटी ऑफ वॉशिंगटन के शोधकर्ताओं की एक टीम जानना चाहती थी। उन्होंने एक डिजिटल खेल का मैदान बनाया जिसे INT-BENCH कहा गया, ताकि यह देखा जा सके कि जब एक "छात्र" (एक अन्य AI) किसी पहेली को हल करने की कोशिश करता है, तो AI शिक्षक कैसा व्यवहार करते हैं। उन्होंने एक खेल सेट किया जहाँ शिक्षक AI छात्र की विचार प्रक्रिया को चरण-दर-चरण देखता है और उसे निर्णय लेना होता है: क्या मुझे कुछ कहना चाहिए? मुझे कब कहना चाहिए? और मुझे उन्हें कितना बताना चाहिए?
उन्होंने इसे तीन अलग-अलग क्षेत्रों में परखा: टूटे हुए कंप्यूटर कोड को ठीक करना, गणित की समस्याओं को हल करना, और दिमागी पहेलियों (brain teasers) को सुलझाना। परिणाम थोड़े आश्चर्यजनक थे। AI शिक्षक उन अति-उत्साही माता-पिता की तरह थे जो हर चीज़ को ठीक करने की इच्छा को रोक नहीं पाते। वे मानव शिक्षकों की तुलना में बहुत अधिक बार और बहुत पहले हस्तक्षेप करते थे। वास्तव में, AI शिक्षक अक्सर तब भी बीच में कूद पड़ते थे जब छात्र पहले से ही सही रास्ते पर था और अपने आप सही उत्तर पाने वाला था!
एक हल्का सा संकेत देने या छोटे से सुराग देने के बजाय—जैसे कि "अपने ब्रैकेट (parentheses) की जाँच करें" या "संख्या के आकार के बारे में सोचें"—AI शिक्षकों का रुझान पूरा समाधान मेज पर रख देने की ओर रहता था। यह ऐसा ही है जैसे, आपको पैडल मारना सिखाने के बजाय, उन्होंने बस साइकिल पकड़ी और आपके लिए उसे फिनिश लाइन तक चला दिया। हालाँकि इससे छात्र को तुरंत सही उत्तर मिल गया, लेकिन इससे उन्हें कौशल सीखने में मदद नहीं मिली। जब शोधकर्ताओं ने छात्र को बाद में एक नया लेकिन समान समस्या हल करने के लिए दी, तो वे छात्र जिन्हें AI द्वारा "मदद" मिली थी, वे उन छात्रों से बेहतर प्रदर्शन नहीं कर पाए जिन्हें अकेला छोड़ दिया गया था। AI की मदद उस पहली समस्या के लिए बहुत विशिष्ट थी कि उसने छात्र को सबक को सामान्य रूप से लागू करना (generalize) नहीं सिखाया।
शोधकर्ताओं ने उसी खेल में वास्तविक मनुष्यों को शिक्षक की भूमिका निभाने के लिए भी शामिल किया था। मनुष्य बहुत अधिक धैर्यवान थे। वे हस्तक्षेप करने से पहले अधिक प्रतीक्षा करते थे, और जब वे करते थे, तो वे ऐसे संकेत देते थे जो छात्र की सोच को निर्देशित करते थे बिना उत्तर बताए। वे यह कहने के बजाय कि "आप गलत रास्ते पर जा रहे हैं, इस सुराग को देखने की कोशिश करें," यह कहने की अधिक संभावना रखते थे कि "उत्तर 42 है।"
अध्ययन बताता है कि जबकि वर्तमान AI सहायक त्वरित परिणामों के लिए बेहतरीन हैं, वे वर्तमान में गहरे, दीर्घकालिक सीखने को बढ़ावा देने में बहुत खराब हैं। वे "दीर्घकालिक विकास" (long-term growth)—उपयोगकर्ता को एक बेहतर समस्या समाधानकर्ता बनाने—के बजाय "अल्पकालिक सफलता" (short-term success)—काम को जल्दी पूरा करने—के लिए अनुकूलित (optimized) लगते हैं। लेखक चेतावनी देते हैं कि यदि हम इन अति-सहायक AI ट्यूटर्स पर बहुत अधिक निर्भर होते हैं, तो हम धीरे-धीरे अपनी समस्याओं से जूझने और उन्हें स्वयं सुलझाने की अपनी क्षमता खो सकते हैं। यह एक याद दिलाता है कि कभी-कभी, एक शिक्षक का सबसे मददगार काम चुप रहना और छात्र को भारी काम करने देना होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।