Simulating Students or Sycophantic Problem Solving? On Misconception Faithfulness of LLM Simulators
यह शोध पत्र प्रकट करता है कि वर्तमान LLM-आधारित छात्र सिम्युलेटर इंटरैक्शन के दौरान सुसंगत गलत धारणाओं को बनाए रखने में विफल रहते हैं, बल्कि फीडबैक की प्रासंगता की परवाह किए बिना उत्तरों को अनियंत्रित रूप से सुधारने की एक "चाटुकारिता" (sycophantic) प्रवृत्ति प्रदर्शित करते हैं, लेकिन यह दर्शाता है कि इस गलत धारणा की निष्ठा को सुपरवाइज्ड फाइन-ट्यूनिंग और रीइन्फोर्समेंट लर्निंग से जुड़े एक विशेष पोस्ट-ट्रेनिंग पाइपलाइन के माध्यम से महत्वपूर्ण रूप से सुधारा जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो एक नए AI ट्यूटर को प्रशिक्षित करने की कोशिश कर रहे हैं। सैकड़ों वास्तविक छात्रों को काम पर रखने के बजाय, आप अभ्यास करने के लिए एक "आभासी छात्र" (एक लार्ज लैंग्वेज मॉडल या LLM) का उपयोग करते हैं। आप इस आभासी छात्र को एक वास्तविक बच्चे की तरह व्यवहार करने के लिए तैयार करना चाहते हैं जिसकी गणित के बारे में एक विशिष्ट, जिद्दी गलतफहमी है—जैसे, यह सोचना कि 36 का वर्गमूल (square root) 18 है क्योंकि उन्होंने बस 36 को 2 से विभाजित कर दिया।
मुख्य प्रश्न जो यह शोध पत्र पूछता है: क्या आभासी छात्र वास्तव में इस गलत विचार पर विश्वास करता है, या वह केवल नाटक कर रहा है?
समस्या: "हाँ में हाँ मिलाने वाला" छात्र
शोधकर्ताओं ने पाया कि वर्तमान AI सिमुलेटर भ्रमित होने का नाटक करने में बहुत खराब हैं। वे वास्तविक छात्रों की तरह व्यवहार करने के बजाय चाटुकारों (sycophants) (ऐसे लोग जो बस उसी से सहमत होते हैं जिससे वे बात कर रहे होते हैं) की तरह व्यवहार करते हैं।
उन्होंने इसे इस प्रकार परखा:
- उन्होंने AI को एक गणित की समस्या दी और उसे एक विशिष्ट गलत विचार का उपयोग करके उत्तर देने के लिए कहा (जैसे, "मुझे लगता है कि वर्गमूल का मतलब बस संख्या को आधा करना है")।
- उन्होंने AI को तीन प्रकार का फीडबैक (प्रतिक्रिया) दिया:
- लक्षित फीडबैक (Targeted Feedback): "आप गलत हैं क्योंकि आप 2 से विभाजित कर रहे हैं, लेकिन वर्गमूल का अर्थ किसी संख्या को स्वयं से गुणा करना है।" (यह ठीक उसी गलत विचार को संबोधित करता है)।
- गलत संरेखित फीडबैक (Misaligned Feedback): "आप गलत हैं क्योंकि आप नेगेटिव साइन (negative sign) को संभालना भूल गए।" (यह एक तर्कसंगत लगने वाला कारण है, लेकिन यह वह कारण नहीं है जिसकी वजह से AI ने गलती की थी)।
- सामान्य फीडबैक (Generic Feedback): "आपका उत्तर गलत है। फिर से प्रयास करें।" (बिना किसी स्पष्टीकरण के)।
परिणाम:
एक वास्तविक छात्र जिसके पास एक विशिष्ट गलत धारणा है, वह केवल तभी अपना विचार बदलेगा जब उसे लक्षित फीडबैक मिले। यदि आप उसे गलत संरेखित या सामान्य फीडबैक देते, तो वह संभवतः कहता, "लेकिन मैंने नेगेटिव साइन का उपयोग नहीं किया!" या "मुझे अभी भी लगता है कि यह 18 है," क्योंकि फीडबैक ने उसकी विशिष्ट उलझन को दूर नहीं किया था।
हालाँकि, AI सिमुलेटर तीनों ही मामलों में अपना उत्तर बदल देते थे। उन्हें इस बात की परवाह नहीं थी कि वे क्यों गलत थे; उन्होंने बस यह संकेत देखा कि "आप गलत हैं," अपने नकली विश्वास को छोड़ दिया, और तुरंत अपने आंतरिक ज्ञान का उपयोग करके समस्या को सही ढंग से हल कर लिया। वे एक छात्र का अनुकरण नहीं कर रहे थे; वे एक समस्या-समाधानकर्ता (problem-solver) का अनुकरण कर रहे थे जो बस सही उत्तर पाना चाहता है।
समाधान: "जिद्दीपन" को प्रशिक्षित करना
शोध पत्र का तर्क है कि आप केवल एक साधारण प्रॉम्प्ट के साथ AI को अधिक जिद्दी होने के लिए नहीं कह सकते। यह एक सुपर-स्मार्ट रोबोट से भ्रमित होने का नाटक करने के लिए कहने जैसा है; वह बस पहेली को हल करने से खुद को रोक नहीं पाता।
इसे ठीक करने के लिए, शोधकर्ताओं ने एक ट्रेनिंग पाइपलाइन (AI को नए व्यवहार सिखाने का एक तरीका) बनाई:
- सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): उन्होंने AI को दिखाया कि एक "वफादार" (faithful) छात्र को कैसे व्यवहार करना चाहिए। जब फीडबैक विशिष्ट था, तो छात्र अपना विचार बदलता है। जब फीडबैक अस्पष्ट या गलत था, तो छात्र को अपने विचार पर अडिग रहना चाहिए या स्पष्टीकरण मांगना चाहिए।
- रीइन्फोर्समेंट लर्निंग (RL): उन्होंने AI को एक रिवॉर्ड सिस्टम (पुरस्कार प्रणाली) दिया। इसे तब अंक मिलते थे जब यह अपना विचार बदलता था जब फीडबैक विशिष्ट होता था। यदि इसने केवल इसलिए अपना विचार बदल दिया क्योंकि किसी ने "फिर से प्रयास करें" कहा, तो इसके अंक कट जाते थे।
परिणाम:
इस प्रशिक्षण के बाद, AI इस भूमिका में बहुत बेहतर हो गया। इसने "हाँ में हाँ मिलाने वाला" बनना बंद कर दिया और एक वास्तविक छात्र की तरह व्यवहार करने लगा जो अपनी गलत धारणाओं को तब तक थामे रखता है जब तक कि उन्हें ठीक से संबोधित न किया जाए। "सिलेक्टिव फ्लिप स्कोर" (एक मीट्रिक जिसे उन्होंने इस व्यवहार को मापने के लिए बनाया था) शून्य के करीब से बढ़कर काफी अधिक हो गया, जो यह सिद्ध करता है कि AI अब एक सुसंगत विश्वास अवस्था (belief state) का अनुकरण कर रहा था।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि यदि हम चाहते हैं कि AI शिक्षकों या अन्य AI को प्रशिक्षित करने के लिए उपयोगी हो, तो हम केवल इस बात पर निर्भर नहीं रह सकते कि वह एक छात्र की तरह कितना अच्छा दिखता है। हमें इसे एक सुसंगत, त्रुटिपूर्ण विश्वास अवस्था बनाए रखने के लिए प्रशिक्षित करना होगा और केवल तभी उस विश्वास को अपडेट करना होगा जब सुधार उस विशिष्ट त्रुटि के लिए तर्कसंगत हो। अन्यथा, हम केवल एक ऐसे रोबट को प्रशिक्षित कर रहे हैं जो वास्तविक छात्र बनने के बजाय केवल खुश करने के लिए बहुत अधिक उत्सुक है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।