Can LLMs Simulate Personas with Reversed Performance? A Systematic Investigation for Counterfactual Instruction Following in Math Reasoning Context
यह शोध पत्र "प्रति-तथ्यात्मक निर्देश अनुपालन" (counterfactual instruction following) के लिए एक बेंचमार्क प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि अत्याधुनिक लार्ज लैंग्वेज मॉडल्स, जिनमें रीजनिंग मॉडल्स भी शामिल हैं, गणितीय तर्क कार्यों में विपरीत प्रदर्शन स्तरों (जैसे कम दक्षता वाले छात्रों) वाली व्यक्तित्वों का अनुकरण करने में मौलिक रूप से संघर्ष करते हैं, जो कि नस्ल जैसे जनसांख्यिकीय गुणों के साथ प्रदर्शन के प्रतिच्छेदन होने पर और भी बढ़ जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट, सर्वज्ञानी रोबोट सहायक है। आपने इसे दुनिया की हर गणित की किताब पर प्रशिक्षित किया है, इसलिए यह समस्याओं को हल करने में एक जीनियस है। अब, आप इस रोबोट को एक खेल खेलने के लिए कहते हैं: "एक ऐसे छात्र होने का नाटक करो जो गणित में बहुत संघर्ष कर रहा है। गलतियाँ करो, भ्रमित हो जाओ और अपनी हताशा दिखाओ।"
आप सोच सकते हैं, "आसान है! बस रोबोट को मूर्ख बनने के लिए कह दो।" लेकिन यह शोध पत्र एक चौंकाने वाला मोड़ प्रकट करता है: रोबोट मूर्ख बनने से इनकार कर देता है। भले ही आप उसे "एक खराब" छात्र होने के लिए बहुत विशिष्ट निर्देश दें, वह एक "अच्छा" छात्र बने रहने की कोशिश करता रहता है।
यहाँ बताया गया है कि शोधकर्ताओं ने क्या पाया, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए।
1. "वह अभिनेता जो अपनी लाइनें भूल नहीं सकता"
लार्ज लैंग्वेज मॉडल्स (LLMs) को उन मेथड एक्टर्स की तरह समझें जिन्होंने वर्षों तक "द परफेक्ट एक्सपर्ट" की भूमिका का अभ्यास किया है। वे इस भूमिका में इतने अच्छे हैं कि जब आप उन्हें "द स्ट्रगलिंग स्टूडेंट" (संघर्षरत छात्र) का किरदार निभाने के लिए कहते हैं, तो वे अपने किरदार से बाहर नहीं निकल पाते।
- लक्ष्य: शोधकर्ता यह देखना चाहते थे कि क्या ये AI मॉडल एक "काउंटरफैक्चुअल" व्यक्तित्व का अनुकरण कर सकते हैं—कोई ऐसा व्यक्ति जो उनकी स्वाभाविक प्रतिभा के विपरीत प्रदर्शन करता है।
- वास्तविकता: जब AI को एक "कम प्रदर्शन करने वाले छात्र" के रूप में गणित की समस्या हल करने के लिए कहा गया, तो AI अक्सर सही उत्तर ही देता रहा। यह एक पेशेवर शेफ से एक जला हुआ, कम नमक वाला भोजन बनाने के लिए कहने जैसा था, लेकिन शेफ अनजाने में मिशलिन-स्टार डिश ही बनाता रहा।
2. "खराब अभिनय" को मापने के दो तरीके
शोधकर्ताओं ने AI के प्रदर्शन को दो तरीकों से देखा:
- स्कोर (सटीकता): क्या AI ने गणित का सही उत्तर दिया?
- परिणाम: अधिकांश AI अभी भी सही उत्तर देते रहे, भले ही उन्हें असफल होने के लिए कहा गया था। वे गणित को गलत करने की हिम्मत ही नहीं जुटा सके।
- वाइब (तर्क करने की शैली): क्या AI संघर्ष करता हुआ ध्वानित हुआ?
- परिणाम: यहीं पर यह दिलचस्प हो गया। कुछ AI (जैसे OpenAI का o1) सही उत्तर प्राप्त करते थे लेकिन अपनी "आवाज़" बदल लेते थे। वे कहना शुरू कर देते थे, "हूँ, मुझे यकीन नहीं है..." या "मुझे अपनी उंगलियों पर गिनने दो..." भले ही अंतिम संख्या सही थी। यह एक ऐसे अभिनेता की तरह था जो सही लाइन बोलता है लेकिन करते समय हकलाता और पसीना बहाता है।
3. "डबल ट्रबल" प्रयोग
शोधकर्ताओं ने फिर एक दूसरा स्तर जोड़ा: जाति (Race)। उन्होंने AI को एक संघर्षरत छात्र होने का नाटक करने और एक विशिष्ट नस्लीय समूह (जैसे, अफ्रीकी अमेरिकी, श्वेत अमेरिकी, या हिस्पैनिक) होने का नाटक करने के लिए कहा।
- उपमा: कल्पना कीजिए कि अभिनेता को एक संघर्षरत छात्र का नाटक करने और एक विशिष्ट सांस्कृतिक लहजे में बोलने के लिए कहना।
- परिणाम: जाति के तत्व को जोड़ने से AI के लिए गणित में "खराब" प्रदर्शन करना और भी कठिन हो गया। AI अतिरिक्त निर्देशों से भ्रमित होता प्रतीत हुआ और वास्तव में बेहतर प्रदर्शन करता (अधिक सही उत्तर प्राप्त करता) था, बजाय इसके कि उसे केवल संघर्षरत छात्र होने के लिए कहा गया हो।
- पूर्वाग्रह (Bias): AI ने विभिन्न नस्लीय समूहों के साथ अलग-अलग व्यवहार भी किया। कुछ समूहों के लिए, AI को गणित में "असफल" करना आसान था; अन्य के लिए, यह कठिन था। यह सुझाव देता है कि AI के पास उनके बैकग्राउंड के आधार पर इस बारे में छिपे हुए पूर्वाग्रह हैं कि कौन गणित में "अच्छा" या "बुरा" है।
4. यह क्यों मायने रखता है? ("वर्चुअल क्लासरूम" की समस्या)
कोई AI को गणित में बुरा होने का नाटक करने के लिए क्यों कहेगा?
एक वर्चुअल क्लासरूम की कल्पना करें जहाँ AI छात्र वास्तविक छात्रों को सीखने में मदद करते हैं।
- "अच्छा" छात्र AI: समस्याओं को पूरी तरह से हल करके मदद करता है।
- "संघर्षरत" छात्र AI: सामान्य गलतियाँ करके मदद करता है। वास्तविक छात्र इन गलतियों को देख सकते हैं, त्रुटियों को पहचान सकते हैं, और यह सीख सकते हैं कि वे क्यों गलत हैं। इसे "शिक्षण द्वारा सीखना" (learning by teaching) कहा जाता है।
समस्या: यदि AI विश्वास योग्य तरीके से संघर्षरत छात्र होने का नाटक नहीं कर सकता है, तो "वर्चुअल क्लासरूम" अपनी विविधता खो देता है। यह एक ऐसे नाटक की तरह है जहाँ हर एक अभिनेता, स्क्रिप्ट के बावजूद, नायक बनने का आग्रह करता है। आपको एक वास्तविक कहानी नहीं मिलती, और न ही आपको एक वास्तविक शिक्षण वातावरण मिलता है।
5. निष्कर्ष (The Takeaway)
शोध पत्र निष्कर्ष निकालता है कि वर्तमान AI मॉडल "अनुपयोगी" होने के लिए बहुत अधिक "सहायक" हैं। वे इतने प्रशिक्षित हैं कि सटीक और तार्किक बने रहें, कि वे मानवीय त्रुटि, हिचकिचाहट या भ्रम का अनुकरण करने के लिए संघर्ष करते हैं, भले ही उन्हें स्पष्ट रूप से ऐसा करने के लिए कहा जाए।
- अच्छी खबर: AI सुरक्षित और विश्वसनीय है; यह आपको गलती से गलत गणित के उत्तर नहीं देगा।
- बुरी खबर: यदि हम विविध, यथार्थवादी सिमुलेशन (जैसे वर्चुअल क्लासरूम, थेरेपी बॉट्स, या सामाजिक प्रयोग) बनाना चाहते हैं, तो हमें इन रोबोटों को अपूर्ण, भ्रमित और मानव-समान गलतियाँ करने के लिए सिखाना होगा। अभी, वे बस बहुत अधिक "परफेक्ट" हैं।
संक्षेप में: आप एक सुपर-जीनियस रोबोट को "मूर्ख बनने" के लिए कह सकते हैं, लेकिन वह संभवतः केवल एक बहुत ही घबराए हुए जीनियस की तरह व्यवहार करेगा जो अभी भी सही उत्तर प्राप्त करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।